1999 年情報論的学習理論ワークショップ

1999 Workshop on Information-Based Induction Sciences (IBIS’99) Izu, Japan, August 26-27, 1999.

適応的に測定を選択できる場合での大偏差型評価 Large deviation evaluation in adaptive measurement

林正人^{∗} Masahito Hayashi

Abstract: This manuscript is based on the joint research with Dr. Matsumoto. We deal with a large deviation theory of adaptive experimental design. First, we propose a framework for the general discussion of asymptotic estimation and detection theory of adaptive experimental design. Then, two analogues of Bahadur inequality, and their attainability are proved under some regularity conditions.

キーワード: 量子推定, 大偏差型評価, 適応的測定選択, 推定と検定のギャップ, 実験計画, 能動学習

1 まえがき

本稿では, データの取り方 (測定) を適応的に選択できる場合に, パラメータ推定の大偏差型評価を試みる. データの取り方を適応的に選択できるという条件で未知パラメータを推定するという問題設定は極めて自然である. そのため, 数学的にはこれと同値である, 異なった名称で呼ばれている分野が複数存在する. 例えば, 実験計画や本研究集会のテーマと関連の深い能動学習などが挙げられる. 実験計画では情報行列を最適化するという戦略が取られる. 能動的学習では, システムの入力と出力との間に成立する条件付き確率を推定する問題を扱う. この場合, 適切に入力分布を選択することが問題となる.

これと同種な問題は量子力学に従う系で未知状態を (量子相関を用いない条件の下で) 推定するという問題を考えたときにも表れる. この場合についても, 単にデータから未知状態を推定する推定量を構成するのではなく, データの抽出過程である, 量子測定の選択の仕方が問題となる. このような理論は量子推定理論と呼ばれ 1960 年代後半に Helstrom により始められた [1]. 量子推定理論では未知パラメータを推定する際の誤差評価の方法として, 平均 2 乗型だけでなく大偏差型の評価も試みられている [2].

本稿では, 量子推定理論の表記にならい未知状態がパラメータ θ = (θ^{1}, …, θ^{d}) ∈ ℝ^{d} でパラメトライズされた状態族 S := {ρ_{θ}|θ ∈ Θ ⊂ ℝ^{d}} に含まれていることが既知の上で, 未知パラメータ θ を推定する問題を扱う. このような視点からの, 平均 2 乗誤差に注目した漸近理論は幾つかなされている [3, 4]. 本稿では, 大偏差型の評価で漸近理論を展開する. なぜなら大偏差を用いることによって, この問題設定の下での推定と検定の本質的相違が初めて明らかになるからである. なお, この相違を考える上で未知パラメータが複数の場合について考えることは本質的に不可欠である. なぜなら,1 次元の場合にはモデルがある種の正則を満たしている限りそのような相違が表れないからである.

ここでもし, 状態族 S とともに, 測定 M もあらかじめ指定されていたとすると, 確率分布 P_{θ}( dω) = P ( dω|ρ_{θ}, M) に従うデータ ω ∈ Ω を見て θ を推定するという単なる確率分布のパラメータ推定問題になる. 本稿で扱う問題ではあらかじめ指定されるのは条件付き確率 P ( dω|ρ_{θ}, M) (以下, 場合によっては P (ρ_{θ}, M) と記す) のみであり, データを取る操作である測定 M はこれまでに得られたデータをもとに適応的に最適なものを選択することが可能となる.

2 問題の定式化

2.1 全般的な定義及び例

以下, 数式を用いてもう少し細かい議論を行う. 測定 M の集合を M で表すことにする. そして測定値の集合を Ω で表すことにするが, このとき, 異なる測定 M_{1}, M_{2} ∈ M のサポートは disjoint になっているとする. すなわち,

∗京都大学大学院理学研究科数学教室, 〒 606-8502 京都市左京区北白川追分町 tel. 075-753-3695, e-mail masahito@kusm.kyotou.ac.jp, Department of Mathematics, Faculty of Science, Kyoto University, Kyoto, 606-8502, Japan

( ⋃_{θ∈Θ} SuppP (ρ_{θ}, M_{1})) ⋂ ( ⋃_{θ∈Θ} SuppP (ρ_{θ}, M_{2})) = ∅.

(1)

とする. (1) が満たされていない場合は改めて Ω × M を Ω と取り直すと満たされる. この問題設定の下で我々が可能な戦略は単に単独の測定 M ∈ M を用いるだけでなく, 確率的に測定 M ∈ M を用いることも含まれる. 従って, 我々が単一のサンプルに対して可能な選択は M 上の確率分布 μ で記述される. 以下 M 上の確率分布全体の集合を P (M) で表し, 単に測定と呼ぶときは P (M) の要素を指し, M の要素を指すときは基本測定と呼ぶことにする.

例 1 粒子が二次元空間中に拘束されて存在し, その座標は θ = (θ^{1}, θ^{2}) を中心として共分散行列 σ^{2}I_{2} のガウス分布にしたがって揺らいでいるとする. 今, 同じ二次元空間中に拘束されたカメラの映像を通じて θ = (θ^{1}, θ^{2}) を推定もしくは検定する問題を考える. このときカメラの映像は 1 次元に制限されているとする. 状態 ρ_{θ} は, 粒子の座標が従う確率分布に対応する. ある方向 x ∈ S^{1} ( S^{1} は単位ベクトルの集合すなわち単位円 ) から粒子を撮影するという測定を M_{x} と書くと, 得られるデータは粒子の位置を x 方向に射影で得られる. すなわち Supp(P (ρ_{θ}, M_{x})) = {tx|t ∈ ℝ} ⊂ ℝ^{2} となる. そしてその分布は P (ρ_{θ}, M_{x}) = P_{θ,x} ∘ P_{x}^{−1} で与えられる. なお P_{x} は ℝ^{2} から ℝ への射影で y ↦ (x, y) で与えられる. また ℝ 上の確率分布 P_{θ,x} は以下で与えられる.

P_{θ,x}(B) := \frac{1}{\sqrt{2πσ^{2}}} ∫_{B} exp (−\frac{(y − (θ, x))^{2}}{2σ^{2}} ) dy.

2.2 推定量及び検定量の定義

適応的な測定による未知パラメータ θ の推定 (もしくは検定) は以下のように定式化される. n 個の未知状態 ρ_{θ} が与えられとの仮定の下では, 未知パラメータの推定 (または検定) には k − 1 番目までの測定値 ω_{1}, …, ω_{k−1} から, k 番目の測定 (M 上の確率分布) μ_{k}(ω_{1}, …, ω_{k−1}) を与える関数の系列 E_{n} := {μ_{k}}_{k=1}^{n} と n 個の測定値 ω_{1}, …, ω_{n} から推定値 T_{n}(ω_{1}, …, ω_{n}) を与える関数 T_{n} が必要である. 以下表記の簡略化のために (ω_{1}, …, ω_{k}) ∈ Ω^{k−1} を ω_{k} で記すことにする. また同一の測定 μ を n 回行う測定の系列を μ × n で表すことにする. したがってこれらの組 (E_{n}, T_{n}) が最適化の対象となり, これを n 個のサンプルに対する推定量と呼ぶ. そして, 大偏差型評価ではその推定量の系列 E := {(E_{n}, T_{n})}_{n=1}^{∞} の裾確率の rate の極限を評価することになる.

また本稿では帰無仮説が θ ∈ Θ_{1} で対立仮説が θ = θ_{0} である場合の検定を考える. この場合, 検定量は先に与えた k 番目の測定を与える関数の系列 E_{n} := {μ_{k}}_{k=1}^{n} と n 個の測定値から推定値から帰無仮説が正しいか否かを判断する 2 値関数 T_{n} の組 (E_{n}, T_{n}) で記述される.

3 相対エントロピー,Fisher情報行列

真のパラメータが θ であるときに, 先に与えた k 番目の測定を与える測定の系列 E_{n} := {μ_{k}}_{k=1}^{n} にしたがって測定を行ってデータを取ったとき得られる確率分布 P (ρ_{θ}, E_{n}) は以下で与えられる.

P ( dω_{n}|ρ_{θ}, E_{n}) :=

P ( dω_{1}|ρ_{θ}, μ_{1})P ( dω_{2}|ρ_{θ}, μ_{2}(ω_{1})) ⋯ P ( dω_{n}|ρ_{θ}, μ_{n}(ω_{n−1})) .

なお, ここで μ ∈ P (M) に対して Ω 上の確率分布 P (ρ_{θ}, μ) を以下で定義した.

P ( dω|ρ_{θ}, μ) := ∫_{M} P ( dω|ρ_{θ}, M)μ( dM).

以下, 相対エントロピー D(p∥q) := ∫ log \frac{p}{q}p( dω) に関するいくつかの式を導入する. このとき条件(1) を用いると, 以下の式を示すことができる. なお以下では表記の簡略化のため D(P (ρ_{θ}, E_{n})∥P (ρ_{θ′}, E_{n})) ,D(P (ρ_{θ}, μ)∥P (ρ_{θ′}, μ)), D(P (ρ_{θ}, M)∥P (ρ_{θ′}, M)) をそれぞれ, D^{E_{n}}(θ∥θ′), D^{μ}(θ∥θ′), D^{M}(θ∥θ′) と書くことにする. (2) ついてはいきなり一般的に証明しようとすると手のつけようがないが, n = 2 の場合について考えて, 後で一般化を考えるとよい.

D^{E_{n}} (θ ∥θ′) = D^{μ_{1}}(θ∥θ′)

+ ∑_{k=2}^{n} ∫_{Ω^{k−1}} D^{μ_{k}(ω_{k−1})} (θ∥θ′) P ( dω_{k−1}|ρ_{θ}, E_{k−1}) (2)
D^{μ} (θ∥θ′) = ∫_{M} D^{M}(θ∥θ′)μ( dM).  (3)

ここで M 上の確率分布

μ_{n}(θ) := \frac{1}{n} (∑_{k=2}^{n} P (θ, E_{k−1}) ∘ μ_{k}^{−1} + μ_{1}) (4)

を用いると(2) は以下の式に書き換えられる.

D^{E_{n}}(ρ_{θ}∥θ′) = nD^{μ_{n}(θ)}(θ∥θ′).

なお(4) の右辺の ∑ 内は P M 上での確率分布を表しているいるが,(4) ではそれを M 上の確率分布と見なして μ_{n}(θ) を定義している.

さらに確率分布族 {P (ρ_{θ}, M)|θ ∈ Θ}, {P (ρ_{θ}, μ)|θ ∈ Θ} の θ ∈ Θ での Fisher 情報行列をそれぞれ J^{M}(θ), J^{μ}(θ) と書くことにする. すると(3) の極限を考えることにより以下の式を得る.

J^{μ}(θ) = ∫_{M} J^{M}(θ)μ( dM).

以下の節でこれらの式を用いて推定量及び検定量の漸近的評価を試みる.

4 検定量の漸近的評価

以下では検定量の系列 D := {(E_{n}, T_{n})}_{n=1}^{∞} について以下の評価を考える. まず検定量の系列 D に対して第 1 種の誤り ( θ ≠ θ_{0} であるのに θ = θ_{0} と判断する) 確率が漸近的に 0 に近づくとの仮定をおく. すなわち以下を仮定する.

(I) lim_{n→∞} P (T_{n} = θ_{0}|ρ_{θ}, E_{n}) = 0, ∀θ ∈ Θ_{1}.

上記の条件を満たす検定量の系列 D に対して第 2 種の誤り確率 ( θ = θ_{0} であるのに θ ≠ θ_{0} と判断する) 確率の rate R(D)(以下に定義する) の評価を考える.

R(D) := − lim_{n→∞} \frac{1}{n} log P (T_{n} ≠ θ_{0}|ρ_{θ_{0}}, E_{n}). (5)

定理 1 条件 (I) を満たす検定量の系列について以下の不等式が成立する.

R(D) ≤ inf_{θ∈Θ_{1}} sup_{M∈M} D^{M}(θ∥θ_{0}).  (6)

証明 p_{n}, q_{n} を以下のように定義する.

p_{n} := P (T_{n} ≠ θ_{0}|ρ_{θ_{0}}, E_{n}), q_{n}(θ) := P (T_{n} ≠ θ_{0}|ρ_{θ}, E_{n}).

条件 (I) より lim_{n→∞} q_{n}(θ) = 1 となる. h を 2 値エントロピーとすると相対エントロピーの単調性より以下の評価式を得る.

nD^{μ_{n}(θ)}(θ∥θ_{0}) = D^{E_{n}}(θ∥θ_{0}) ≥ −q_{n}(θ) log p_{n} − (1 − q_{n}(θ)) log(1 − p_{n}) − h(q_{n}(θ)).

この評価式を変形し極限を取ると次の評価式が得られる.

lim sup_{n→∞} −\frac{1}{n} log p_{n} ≤ lim sup_{n→∞} D^{μ_{n}(θ)}(θ∥θ_{0}). (7)

従って θ ∈ Θ_{1} 任意より(6) を得る. □ なお, Stein の補題の適応的測定版として, 第 1 種の誤り確率が ϵ 以下という条件の下でも第 2 種の誤り確率の rate が(6) の右辺で押さえられるのではないかとの予想が考えられる. 少なくともモデルがある正則性条件を満たす場合は示すことはできる. 例えば M が有限集合であればよい. 仮にその正則性条件を満たさない場合でも ((6) の右辺) ×(1 − ϵ) で押さえられることは容易に示せる.

定理 2 モデルが正則性条件 (2.1)(2.2) を満たすとする. 数列 {a_{n}} を a_{n} → ∞, a_{n}/n → 0 を満たす数列とする. このとき, 以下に定義する検定量の系列 {D_{θ_{0}}(a_{n})} は条件 (I) を満たし,(6) で等号を達成する.

\underline{\{D_{θ_{0}}(a_{n})\} の構成}: a_{n} を自然数列としたときに検定量の系列 {D_{θ_{0}}(a_{n})} は以下のように構成される. n 回の測定のうち最初の a_{n} 回は正則性条件 (2.1) を満たす測定 μ_{0} ∈ P (M) を a_{n} 回行い, 確率分布族 {P (ρ_{θ}, μ_{0} × a_{n})|θ ∈ Θ_{1}} に対して最尤推定 θ̌_{n} を得る. 次に正則性条件 (2.2) を満たす基本測定 M_{θ} を残り n − a_{n} 回行い帰無仮説 θ = θ̌_{n} 対立仮説 θ = θ_{0} となる場合の仮説検定で Stein の補題の意味で最適な検定を行い, その結果を最終的な検定結果とする. \underline{正則性条件 (2.1)}: 以下を満たす測定 μ_{0} ∈ P (M) が存在する.

D^{μ}(θ∥θ′) > 0, ∀θ, θ′ ∈ Θ_{1}.

\underline{正則性条件 (2.2)}: 任意の θ ∈ Θ_{1} に対して以下を満たす基本測定 M_{θ} が存在する.

D^{M_{θ}}(θ∥θ_{0}) ≥ inf_{θ∈Θ_{1}} sup_{M∈M} D^{M}(θ∥θ_{0}).

\underline{正則性条件 (2.3)}: 帰無仮説 P (ρ_{θ}, M_{θ}) 対立仮説 P (ρ_{θ_{0}}, M_{θ}) となる仮説検定で Stein の補題の意味で最適な検定を行ったときに, 第 2 種の誤り確率の rate が D^{M_{θ})}(θ∥θ_{0}) に収束する速さが θ ∈ Θ_{1} に関して一様であると仮定する. 証明正則性条件 (2.3) より検定量の系列 {D_{θ_{0}}(a_{n})} が(6) の等号を達成していることは容易に示すことが出来る. 条件 (I) についても正則性条件 (2.1) を考慮に入れると満足していることが分る. □

5 推定量の漸近的評価

5.1 rate の上からの評価

次に推定量の列 E := {(E_{n}, T_{n})}_{n=1}^{∞} に対する漸近的な評価を行う. 推定量の列 E := {(E_{n}, T_{n})}_{n=1}^{∞} が以下の条件 (II) を満たすとき弱一致であるという.

(II) 任意の θ ∈ Θ に対して以下の等式が成立する.

lim_{n→∞} P (∥T_{n} − θ∥ > ϵ| ρ_{θ}, E_{n}) = 0.

そして, 弱一致性を満たす推定量の系列 E := {(E_{n}, T_{n})}_{n=1}^{∞} に対して以下の量が収束すると仮定して以下の量を考える.

β (E, θ, ϵ) := − lim_{n→∞} \frac{1}{n} log P (∥T_{n} − θ∥ > ϵ| ρ_{θ}, E_{n}) .

そして β (E, θ, ϵ) の ϵ → 0 の極限として以下の量を導入する.

α(E, θ) := lim_{ϵ→0} \frac{β (E, θ, ϵ)}{ϵ^{2}}.  (8)

定理 3 極限の順序交換等に関する以下の式が成立していることとする.

lim_{ϵ→0} \frac{1}{ϵ^{2}} sup_{M∈M} D^{M}(θ_{0} + ϵξ∥θ_{0})

= sup_{M∈M} lim_{ϵ→0} \frac{1}{ϵ^{2}} D^{M}(θ_{0} + ϵξ∥θ_{0})

= \frac{1}{2} sup_{M∈M} ∑_{i,j} J_{i,j}^{M}(θ_{0})ξ^{i}ξ^{j} ∀ξ ∈ ℝ^{d}, ∀M ∈ M. (9)

ξ は ℝ^{d} の要素を表すので以下では ξ ∈ ℝ^{d} は省略する. このとき, 弱一致性を満たす推定の系列 E := {(E_{n}, T_{n})}_{n=1}^{∞} に対して以下の各点 Bahadur 型の評価式が成立する:

α(E, θ_{0}) ≤ B^{w}(θ_{0}).  (10)

ここで各点 Bahadur 型の上限 B^{w}(θ) は以下で定義した.

B^{w}(θ) := inf \{ sup_{M∈M} ∑_{i,j} \frac{J_{i,j}^{M}(θ)ξ^{i}ξ^{j}}{2} | ∥ξ∥ = 1\} . (11)

証明 Θ_{1} := {θ ∈ Θ|∥θ − θ_{0}∥ > ϵ} とおいて, 定理 1 を適用すると,

β (E, θ_{0}, ϵ) ≤ inf { sup_{M∈M} D^{M}(θ∥θ_{0})| θ : ∥θ − θ_{0}∥ > ϵ} .

従って ∥ξ∥ > 1 に対して以下の式を得る.

\frac{β (E, θ_{0}, ϵ)}{ϵ^{2}} ≤ \frac{1}{ϵ^{2}} sup_{M∈M} D^{M}(θ_{0} + ϵξ∥θ_{0}).

ここで条件(9) を用いて ϵ → 0 を考えると以下の式を得る.

α(θ_{0}) ≤ \frac{1}{2} sup_{M∈M} ∑_{i,j} J_{i,j}^{M}(θ_{0})ξ^{i}ξ^{j}.

また以下の式を示すことができる.

inf { sup_{M∈M} ∑_{i,j} J_{i,j}^{M}(θ_{0})ξ^{i}ξ^{j}| ∥ξ∥ > 1}

= inf { sup_{M∈M} ∑_{i,j} J_{i,j}^{M}(θ_{0})ξ^{i}ξ^{j}| ∥ξ∥ = 1} .

したがって(10) を得る. □ ここでさらに, 推定量の系列 E := {(E_{n}, T_{n})}_{n=1}^{∞} に対して弱一致性に加えて以下の条件を考える.

(III) (8) の右辺は θ_{0} の近傍で局所一様収束する.

(IV) α(E, θ_{0}) = lim_{θ→θ_{0}} α(E, θ).

以下の定理が成立する.

定理 4 任意の測定の列 μ_{n} に対して極限の順序交換等に関する以下の式が成立していることとする.

lim_{ϵ→0} \frac{1}{ϵ^{2}} lim inf_{n→∞} D^{μ_{n}}(θ_{0}∥θ_{0} + ϵξ)

= lim inf_{n→∞} lim_{ϵ→0} \frac{1}{ϵ^{2}} D^{μ_{n}}(θ_{0}∥θ_{0} + ϵξ)

= \frac{1}{2} lim inf_{n→∞} ∑_{i,j} J_{i,j}^{μ_{n}}(θ_{0})ξ^{i}ξ^{j} ∀ξ ∈ ℝ^{d}.  (12)

さらに集合 {J^{M}|M ∈ M} は有界であるとする. このとき, 推定量の系列 E が弱一致性 (II) に加えて,(III),(IV) を満たすとき以下の一様 Bahadur 型の不等式が成立する.

α(E, θ_{0}) ≤ B^{s}(θ_{0}).  (13)

ここで一様 Bahadur 型の下限 B^{s}(θ) は以下で定義した.

B^{s}(θ) := sup_{μ∈P (M)} inf \{∑_{i,j} \frac{J_{i,j}^{μ}(θ)ξ^{i}ξ^{j}}{2} | ∥ξ∥ = 1\} . (14)

ここで P (M) は M 上の確率分布のなす集合を表す.

証明 θ, θ′ ∈ Θ, ∥θ − θ′∥ > ϵ に対して, (7) と同様にして,

β(E, θ, ϵ) ≤ lim inf_{n→∞} D^{μ_{n}(θ′)}(θ′∥θ)  (15)

が示せる. ここで(15) の右辺が(7) と異なって lim inf でよいのは左辺が収束値になっているからである. したがって ∥ξ∥ > 1 となる任意の ξ ∈ ℝ^{d} について以下の式を得る.

\frac{β(E, θ_{0} + ϵξ, ϵ)}{ϵ^{2}} ≤ \frac{1}{ϵ^{2}} lim inf_{n→∞} D^{μ_{n}(θ_{0})}(θ_{0}∥θ_{0} + ϵξ).

ここで条件 (III),(IV) 及び(12) を用いて ϵ → 0 の極限を用いると次式を得る.

α(E, θ_{0}) ≤ \frac{1}{2} lim inf_{n→∞} ∑_{i,j} J_{i,j}^{μ_{n}(θ_{0})}(θ_{0})ξ^{i}ξ^{j}.

ここで {J^{M}|M ∈ M} は有界性より, {J^{μ}|μ ∈ P (M)} の有界性が得られる. 有界性を用いると以下の式が成立する.

inf \{ \frac{1}{2} lim inf_{n→∞} ∑_{i,j} J_{i,j}^{μ_{n}(θ_{0})}(θ_{0})ξ^{i}ξ^{j}| ∥ξ∥ > 1\} ≤ B^{s}(θ_{0})

したがって(13) が成立する. □ 一般的に B^{w}(θ) ≥ B^{s}(θ) が成り立つことは容易に分るが, どのような場合に両者が一致するのだろうか. しかしながら, その必要十分条件は見つかっていない. 少なくとも\overline{\{J^{M}(θ)|M ∈ M\}} が非負定値の意味で順序を入れたときに最大元を持つ場合には両者が一致する. したがって自明な場合として d = 1 のときは両者は一致する. ここで §2 の例 1 で扱った例について考える. x = (cos ϕ, sin ϕ) ∈ S^{1} とすると,

J^{M_{x}}(θ) = \frac{1}{2σ^{2}} ( \begin{matrix}cos^{2} ϕ & cos ϕ sin ϕ \\ cos ϕ sin ϕ & sin^{2} ϕ \end{matrix} )

したがって {J^{μ}(θ)|μ ∈ P (M)} は 2 次元の実対称行列でトレースが\frac{1}{2σ^{2}} の非負定値行列全体になる. この場合 B^{s}(θ) = \frac{1}{2σ^{2}} , B^{s}(θ) = \frac{1}{4σ^{2}} となり一致しない.

5.2 上限を達成する推定量の系列

次に条件 (II) のみを満たす推定量で各点 Bahadur 型の上限 B^{w}(θ_{0}) を達成する推定量の構成する. 一般にこのような推定量は条件 (III),(IV) を満たさないことを考えると, 一点でのみ非常によい rate を実現し, 他の点ではかろうじて弱一致性 (II) を満たしているものであると考えられる. その後で条件 (III),(IV) を満たし, 一様 Bahadur 型の上限 B^{s}(θ_{0}) を達成する推定量の構成する.

定理 5 モデルが正則性条件 (5.1)(5.2) を満たすとする. このとき, 数列 {a_{n}} を a_{n} → ∞, a_{n}/n → 0 を満たす数列とする. θ_{0} ∈ Θ に対して, 以下のように推定量の系列 {E_{θ_{0}}(a_{n})} を構成すると, 弱一致性 (II) を満たし θ_{0} において(10) の等号を達成する.

\underline{\{E_{θ_{0}}(a_{n})\} の構成}: b_{n} を自然数列としたとき推定量の系列 {E_{θ_{0}}(a_{n})} は次のように定義される. n 回の測定のうち最初の a_{n} 回は正則性条件 (5.1) を満たす測定 M_{0} を施し, 確率分布族 {P (ρ_{θ}, M_{0} ×a_{n})|θ ∈ Θ} の最尤推定量 θ̌_{n} を得る. ここで ξ̂_{n} := (θ̌_{n} − θ_{0})/∥θ̌_{n} − θ_{0}∥ とおく. 次に正則性条件 (5.2) を満たす測定 M_{θ_{0},ξ̂_{n}} を残り n−a_{n} 回行い, 確率分布族 {P (ρ_{θ_{0}+tξ̂_{n}}, M_{θ_{0},ξ̂_{n}} × (n − a_{n}))|t ∈ ℝ} の最尤推定量 t̂_{n−a_{n}} を得る. そして θ̂_{n} := θ_{0} + t̂_{n−a_{n}} ξ̂_{n} を最終的な推定値とする. \underline{正則性条件 (5.1)}: 以下の条件を満たす測定 μ_{0} が存在する. 確率分布族 {P (ρ_{θ}, μ_{0} × n)|θ ∈ Θ} の最尤推定量が弱一致性を満たす. \underline{正則性条件 (5.2)}: 以下の条件を満たす基本測定 M_{θ_{0},ξ} が存在する. 任意の十分小さな δ > 0 に対して, 確率分布族 {P (ρ_{θ_{0}+tξ}, M_{θ_{0},ξ} × n)|t ∈ ℝ} の最尤推定量 t̂_{n} が t = 0 のとき漸近的に Bahadur の意味での上限を達成する. すなわち

− lim_{ϵ→0} lim_{n→∞} \frac{1}{ϵ^{2}n} log P (|t̂_{n}| > ϵ|ρ_{θ}, M_{θ_{0},ξ} × n)

= \frac{1}{2} sup_{M∈M} ∑_{i,j} J_{i,j}^{M}(θ)ξ^{i}ξ^{j}.  (16)

なおこのとき ∥ξ∥ = 1 なる ξ ∈ ℝ^{d} に関して一様に収束するものとする. さらに, 状態族 {ρ_{θ_{0}+tξ}|t ∈ ℝ} から真のパラメータ θ までのノルムの意味で距離が δ より小さい点では上記, 最尤推定量 t̂_{n} から得られる推定値 θ_{0} + t̂_{n}ξ が真値から 2δ より大きくずれる確率が n → ∞ で 0 になる. このとき 0 に近づく速さは ∥ξ∥ = 1 となる ξ ∈ ℝ^{d} に関して一様であるとする.

定理 6 モデルが正則性条件 (6.1)〜(6.4) を満たすとする. 数列 {a_{n}} を a_{n} → ∞, a_{n}/n → c を満たす数列とする任意の θ ∈ Θ で以下に定義する推定量の系列 {E(a_{n})} について以下の式を得る.

α(E(a_{n}), θ) = (1 − c)B^{s}(θ).  (17)

なお a_{n}/n → 0 となる場合では(17) は成立しない. \underline{\{E(a_{n})\} の構成}: a_{n} を自然数列としたとき推定量の系列 {E_{θ}(a_{n})} は次のように定義される. n 回の測定のうち最初の a_{n} 回は正則性条件 (3) を満たす適当な測定 μ_{0} を施し, 確率分布族 {P (ρ_{θ}, μ_{0} × a_{n})|θ ∈ Θ} の最尤推定量 θ̌_{n} を得る. 次に以下の条件を満たす測定 μθ̌_{n} を残り n−a_{n} 回行い, 確率分布族 {P (ρ_{θ}, μθ̌_{n} ×(n−a_{n}))|θ ∈ Θ} の最尤推定量 θ̂_{n−a_{n}} を最終的な推定値とする. \underline{正則性条件 (6.1)}: 以下の条件を満たす測定 μ_{0} が存在する: 確率分布族 {P (ρ_{θ}, μ_{0} × n)|θ ∈ Θ} の最尤推定量 θ̂_{n} が ∀θ ∈ Θ について以下の式を満たす:

α({(θ̂_{n}, μ_{0} × n)}, θ) ≥ C(θ).  (18)

なお C(θ) は θ ∈ Θ ごとに決まる定数である.

\underline{正則性条件 (6.2)}: 任意の θ ∈ Θ に対して以下の条件を満たす測定 μ_{θ} が存在する: 任意の ϵ′ > 0 に対して以下の条件を満たす δ > 0 が取れる: ∥θ − θ′∥ > δ となる θ′ について以下の式が成立する:

− lim_{ϵ→0} lim_{n→∞} \frac{1}{ϵ^{2}n} log P (∥θ̂_{n} − θ′∥ > ϵ|ρ_{θ′}, μ_{θ})

≤ B^{s}(θ) − ϵ′. (19)

なお, θ̂_{n} は確率分布族 {P (ρ_{θ}, μ_{θ} × n)|θ ∈ Θ} の最尤推定量とする. \underline{正則性条件 (6.3)}: (19) の左辺の収束の速さであるが, θ ∈ Θ に関して局所一様に収束する.

\underline{正則性条件 (6.4)}: B^{s}(θ) は θ に関して連続である.

確率分布族のパラメータ推定の大偏差型評価の場合,

(10) 及び(13) に対応する評価は 1 次元の場合については Bahadur によりなされている [5]. この議論は多次元の確率分布族の場合にも容易に拡張できるがどうゆうわけか Bahadur の論文にはその記述が見られない. 一般に多次元の確率分布族のパラメータ推定では多次元でも両者の右辺は一致する. 逆に定理 6 のような任意の θ ∈ Θ での上限の達成は 1 次元の確率分布族の場合に Fu により尤度関数に関する正則性条件の下で示されている [6]. 一方, 多次元の上限達成に関する研究は見当たらない. 少なくとも問題となる確率分布族が曲指数型分布族となる場合では(10) の上限を達成する推定量は構成できる. したがって(14) の右辺の上限を達成する測定 μ_{θ} を行ったときに得られる確率分布族 {P (ρ_{θ}, μ_{θ})} が曲指数型分布族である場合には正則性条件 (6.1)(6.2)(6.4) は満たされる. 同様に(11) の右辺の上限を達成する測定 μ_{θ_{0},ξ} を行ったときに得られる確率分布族 {P (ρ_{θ}, μ_{θ_{0},ξ})} が曲指数型分布族である場合には正則性条件 (5.1) 及び (5.2) の前半は満たされる. なお例 1 で扱った例ではこれらの正則性条件は全て満たされている.

6 結論

本稿では推定量に条件 (II) のみを課したときの rate の上限 B^{w}(θ) とそれに付け加えて条件 (III),(IV) まで課したときの上限 B^{s}(θ) の 2 つの上限を導いた. B^{w}(θ) は §4 で扱った仮説検定の極限として導かれるものである. そして定理 5 で扱った B^{w}(θ) を達成する推定量の系列は定理 2 で扱った(6) の上限を達成する検定量の系列のある種の極限になっている. しかし一点でのみよい rate を実現するだけでは実際に推定量としては有効に機能しない. したがって §5.1 で導入した条件 (III),(IV) を満たす必要があり, 上限 B^{s}(θ) を本来の推定量の rate の上限として捉えるべきである. ただ正則な確率分布族の場合には 2 つの上限が一致するので推定は検定のある種の極限として捉えることができた. しかし, 本稿で扱った測定を適応的に選択できる場合では推定は検定の極限として捉えることはできず, 推定問題と §4 で扱った検定問題との間には大きなギャップがある. ただし, このような問題設定の下でも未知パラメータが 1 つの場合にはこのようなギャップが生まれない. このようなギャップを見るには多次元であることが本質的である.

なお, 量子相関を許さない量子推定に本稿の議論を適用するためには量子的に定義された測定集合 M から, 一様 Bahadur 型の上限 B^{s}(θ_{0}) や各点 Bahadur 型の上限 B^{w}(θ_{0}) を求めることが問題になる. B^{w}(θ_{0}) の方は比較的容易に求まるが, B^{s}(θ_{0}) については部分的にしか求まっていない. これの計算には, 非可換的な議論が必要になり, 極めて困難である.

なお, これと類似のギャップは 1 パラメータであっても, 非正則モデルの推定や量子相関を許した場合での量子推定には現れる [7, 8].

謝辞

本稿は松本啓史氏との共同研究に基づいている. 氏には本研究を進める上で貴重なアドバイスを頂いた. この場を借りて感謝の意を表したい.

参考文献

[1] C. W. Helstrom, Quantum detection and Estimation Theory ,Academic Press, (1976).

[2] 長岡浩司, “Kullbacl Divergence と Fisher 情報量について -古典系から量子系へ- ,” 情報理論とその応用学会ジョイントミニワークショップ講演資料, pp. 63 (1992).

[3] 松本啓史, “データのとり方を適応的に変えれる場合の一次漸近論の構想,” 情報理論的学習ワークショップ予稿集 (1998).

[4] 林正人, 松本啓史, “測定自由度をもつ統計モデルと量子力学,” 数理解析研究所講究録 1055, 96-110, (1998).

[5] R. R. Bahadur, Some Limit Theorems in Statistics Regional Conference Series in Applied Mathematics, No 4, SIAM, Philadelphia (1971).

[6] J. C. Fu, On a theorem of Bahadur on the rate of convergence of point estimator, Ann. stat., 1, 745-749 (1973).

[7] 林正人, “Affinity を用いた漸近論,” 数理解析研究所講究録 1101, 32-37, (1999).

[8] 林正人, “量子 1-パラメータ族の推定における大偏差型評価,” 「情報幾何の新しい展開」 (統計数理研究所共同研究会) 講演資料 (1999).