Affinity を用いた漸近理論

林正人^{1} 京都大学理学研究科数学教室

概要

本稿では,Akahira and Takeuchi [1] によって導入された Affinity を用いることによって非正則モデルにも適用できる漸近理論を展開する. その際, 大偏差の評価を用いることにする.

1 はじめに

S := {p_{θ}|θ ∈ Θ ⊂ ℝ} を確率空間 Ω 上の 1-パラメータ確率分布族とする. 今, ここで X_{1}, …, X_{n} を互いに独立に確率分布 p_{θ} に従う n 個の確率変数とする. このとき n 個のデータに対する未知パラメータ θ の推定量は Ω^{n} から ℝ への可測写像 T_{n} で与えられる. 以下では可測写像の列 T = {T_{n}}_{n=1}^{∞} を推定量と呼ぶことにする. さらに Ω 上の 2 つの確率分布 p, q の Affinity I(p∥q) を以下で定義する [1].

I(p∥q) := −8 log (∫_{Ω} \sqrt{\frac{∂p}{∂r}}\sqrt{\frac{∂q}{∂r}} r( dω)) .  (1)

r は p, q 双方が絶対連続となる測度とし, \frac{∂p}{∂r}, (\frac{∂q}{∂r} ) をそれぞれ p(q) の r に関する Radon-Nikodym の微分とする. 定義式 (1) は r の取り方に依存しないことに注意せよ. 本稿の主な目的は推定量 T の性能を漸近論の立場から評価することにある. 評価の基準としては平均 2 乗誤差及び大偏差型がよく用いられるが, 本稿では大偏差型で評価することにする. 大偏差型の評価では通常相対エントロピーを用いる手法が知られている. しかし, 非正則な場合は相対エントロピーが無限大となり, この方法による大偏差型の評価は破綻している. このような事情から, 大偏差型の評価においても, 非正則なモデルでは超有効性に類する現象が起きることが知られている [2, 3].

以下では Affinity を用いることによって大偏差型の下限を与える. 正則モデルでの大偏差型評価では弱一致性のみで下限が与えれたが, 非正則の場合の Affinity による下限は弱一致性よりも強い一致性条件の下で与えられる. その条件は本稿で導入されるもので, 局所強一致性条件と呼ばれる. さらに, そのような一致性条件が外れると先に述べたような超有効性に類する現象が起ることが確かめられる.

正則なモデルでは, 良く知られているように, 推定の大偏差型評価と検定の双方で相対エントロピーが用いられることを通して, 推定を検定の無限近似と見なすことが可能となる. しかし, 非正則なモデルでは検定の精度を評価する相対エントロピーが無限大になる一方で, 推定論的に意味のある Affinity による下限は有限となる. このようなギャップが生ずるために, 非正則モデルでは, 推定を検定の無限近似と見なすことは出来ない. 従って, 非正則モデルでは検定と推定では根本的に異なった取り扱いを必要とする.

同様な現象は量子状態の統計的推測を考えた時にも起ることが知られている. 量子系で検定を考えたときに, 検定の精度を表す量は (問題設定にもよるが) 相対エントロピーの量子的対応物である量子相対エントロピーで与えられる. これについては文献 [4, 5] が詳しい. 一方で,(1-パラメータ族の) 状態推定を考えたときには, Affinity の量子的対応物である量子 Affinity で大偏差型の下限が与えられる [6]. モデルに量子論的非可換性があるときには量子相対エントロピーの極限と量子 Affinity の極限は一致せず, 一般に, 前者方が後者よりも大きくなる. このような現象は前者が発散しない場合であっても起る. 基本的に量子論的な場合でも以下にのべる非正則モデルの場合とほぼ同様にして上記のことを示すことが出来る.

1e-mail address: masahito@kusm.kyoto-u.ac.jp

2 主定理とその証明

推定量 T, ϵ > 0 に対して β(T, θ, ϵ) を以下で定義する.

β(T, θ, ϵ) := − lim_{n→∞} \frac{1}{n} log p_{θ}^{n} (|T_{n} − θ| ≥ ϵ) .

以下では大偏差型評価とはこの量の評価を意味する. 非正則モデルではこの量の評価は困難であるため, ϵ → 0 での振る舞いを調べることにする. β^{+}(T, θ, a), β^{−}(T, θ, a) を以下で定義する.

β^{+}(T, θ, a) := − lim_{n→∞} \frac{1}{n} log p_{θ}^{n} (T_{n} ≥ a)
β^{−}(T, θ, a) := − lim_{n→∞} \frac{1}{n} log p_{θ}^{n} (T_{n} ≤ a) .

さらに β^{+}(T, θ, a), β^{−}(T, θ, a) を下半連続になるように再定義したものを\overline{β}^{+}(T, θ, a), \overline{β}^{−}(T, θ, a) と記すことにする. すなわち以下のように定義する.

\overline{β}^{+}(T, θ, a) := lim_{ϵ→+0} β^{+}(T, θ, a + ϵ)
\overline{β}^{−}(T, θ, a) := lim_{ϵ→−0} β^{−}(T, θ, a + ϵ).

β^{+}(T, θ, a) は a について単調増加であり, β^{−}(T, θ, a) は a について単調減少であることに注意せよ.

定理 1 θ′ > θ に対して以下の条件が成立するとき,

β^{+}(T, θ, θ) = β^{−}(T, θ′, θ′) = 0,

以下の不等式が成立する.

inf_{\{θ′′|θ′≥θ′′≥θ\}} \frac{\overline{β}^{+}(T, θ, θ′′) + \overline{β}^{−}(T, θ′, θ′′)}{2} ≤ \frac{1}{8}I(p_{θ}∥p_{θ′}).  (2)

証明 m を任意の整数とし, 区間 [θ, θ′] を m 等分する.i = 0, …, m に対して, θ_{i} := θ + \frac{θ′−θ}{m} i と定義する. さらに任意の ϵ > 0 に対して以下の条件を満たすような十分大きな整数 N をとる.

\frac{1}{n}p_{θ}^{n} (T_{n} ≥ θ_{i}) ≤ β^{+}(T, θ, θ_{i}) + ϵ
\frac{1}{n}p_{θ}^{n} (T_{n} ≤ θ_{i}) ≤ β^{−}(T, θ, θ_{i}) + ϵ, for ∀n ≥ N, 0 ≤ ∀i ≤ m.

affinity の単調性より

− \frac{n}{8}I(p_{θ}∥p_{θ′})

≤ log (\sqrt{p_{θ}^{n} (T_{n} ≤ θ)}\sqrt{p_{θ′}^{n} (T_{n} ≤ θ)} + ∑_{i=1}^{m} \sqrt{p_{θ}^{n} (θ_{i−1} < T_{n} ≤ θ_{i})}\sqrt{p_{θ′}^{n} (θ_{i−1} < T_{n} ≤ θ_{i})} + \sqrt{p_{θ}^{n} (θ′ < T_{n})}\sqrt{p_{θ′}^{n} (θ′ < T_{n})})

≤ log (\sqrt{p_{θ′}^{n} (T_{n} ≤ θ)} + ∑_{i=1}^{m} \sqrt{p_{θ}^{n} (θ_{i−1} < T_{n})}\sqrt{p_{θ′}^{n} (T_{n} ≤ θ_{i})} + \sqrt{p_{θ}^{n} (θ′ < T_{n})})

≤ log (exp (−n (\frac{β^{+}(T, θ, θ_{i−1}) + β^{−}(T, θ′, θ_{i})}{2} + ϵ)) + exp (−n (\frac{β^{+}(T, θ, θ′)}{2} + ϵ)) + exp (−n (\frac{β^{−}(T, θ′, θ)}{2} + ϵ)))

≤ log ((m + 2) exp (−n ( min_{1≤i≤m} \frac{β^{+}(T, θ, θ_{i−1}) + β^{−}(T, θ′, θ_{i})}{2} + ϵ)))

= (log(m + 2) − n ( min_{1≤i≤m} \frac{β^{+}(T, θ, θ_{i−1}) + β^{−}(T, θ′, θ_{i})}{2} + ϵ)) .

両辺を n で割った後で n → ∞ を考えると,

I(p_{θ}∥p_{θ′}) ≥ 8 ( min_{1≤i≤m} \frac{β^{+}(T, θ, θ_{i−1}) + β^{−}(T, θ′, θ_{i})}{2} + ϵ) .

ϵ > 0 は任意であるから,

I(p_{θ}∥p_{θ′}) ≥ 8 min_{1≤i≤m} \frac{β^{+}(T, θ, θ_{i−1}) + β^{−}(T, θ′, θ_{i})}{2}.

m → ∞ を考えると, (2) を得る. □ 定義 2 θ_{0} ∈ Θ の適当な近傍 U_{δ,θ_{0}} で

lim_{ϵ→0} \frac{β(T, θ, ϵ)}{I(p_{θ}∥p_{θ+ϵ})}.  (3)

が一様収束するとき推定量 T を θ_{0} で局所強一致推定量と呼ぶことにする. さらに (3) の量を α(T, θ) と呼ぶことにする. そして\overline{α}(T, θ) を以下のように定義する.

\overline{α}(T, θ) := lim sup_{ϵ→±0} α(T, θ + ϵ).

定理 3 推定量 T が θ_{0} ∈ Θ で局所強一致であるとき以下の不等式が成立する.

\overline{α}(T, θ_{0}) ≤ \begin{cases}\frac{1}{4}, & if lim_{ϵ→0} \frac{I(p_{θ}∥p_{θ+ϵ})}{ϵ} > 0 : \\ \frac{1}{8} lim_{ϵ→∞} \frac{I(p_{θ}∥p_{θ+2ϵ})}{I(p_{θ}∥p_{θ+ϵ})}, & if lim_{ϵ→0} \frac{I(p_{θ}∥p_{θ+ϵ})}{ϵ} = 0. \end{cases}  (4)

さらに

I(p_{θ}∥p_{θ_{ϵ}}) ≅ J_{θ_{0}}ϵ^{γ}, 1 < γ ≤ 2

となるときには (4) の右辺は\frac{2^{γ}}{8} となる. 以下の定理は超有効性がある場合に有効である. 定理 4 推定量 T が θ_{0} ∈ Θ で局所強一致であるとき以下の不等式が成立する.

B(α(T, θ_{0}), \overline{α}(T, θ_{0}), I(p_{θ}∥p_{θ+·})) ≤ \frac{1}{8}

ここで α_{1}, α_{2} > 0 と f(ϵ) → 0 as ϵ → 0 となる関数 f(ϵ) > 0 に対して B(α_{1}, α_{2}, f) を以下で定義した.

B(α_{1}, α_{2}, f) := lim_{ϵ→+0} \frac{1}{f(ϵ)} min_{\{γ|0≤γ≤ϵ\}} \frac{α_{1}f(γ) + α_{2}f(ϵ − γ)}{2}.  (5)

定理 4 は (4) の下のときのみ有効である. (4) の上の場合では (4) より良い評価を与えない. 系 5

α(T, θ) = ∞

であり, なおかつ T が θ で局所強一致であるときには, 以下の式が成立する.

\overline{α}(T, θ_{0}) ≤ \frac{1}{4}.  (6)

系 6 推定量 T が θ_{0} ∈ Θ で局所強一致であり,

I(p_{θ}∥p_{θ_{ϵ}}) ≅ J_{θ_{0}}ϵ^{γ}, 1 < γ ≤ 2

となるときには (5) は以下のように書き直される.

\frac{\overline{α}(T, θ_{0})α(T, θ_{0})^{\frac{γ}{γ−1}} + α(T, θ_{0})\overline{α}(T, θ_{0})^{\frac{γ}{γ−1}}}{(α(T, θ_{0})^{\frac{1}{γ−1}} + \overline{α}(T, θ_{0})^{\frac{1}{γ−1}} )^{γ}} ≤ \frac{1}{4}.

特に γ = 2 のときには以下のように書き換えられる.

\frac{\overline{α}(T, θ_{0})α(T, θ_{0})^{2} + α(T, θ_{0})\overline{α}(T, θ_{0})^{2}}{(α(T, θ_{0}) + \overline{α}(T, θ_{0}))^{2}} ≤ \frac{1}{4}.

3 例への適用

以下では前節の内容を具体例に適用して検討することにする. 例 1 一様分布を考える. すなわち密度関数 f_{θ}(x) が以下で定義される確率分布族 {p_{θ}|θ ∈ ℝ} を考える.

f_{θ}(x) := \begin{cases}1, & |θ − x| < \frac{1}{2} : \\ 0, & |θ − x| ≥ \frac{1}{2}. \end{cases}

そして X_{1}, …, X_{n} を確率分布 p_{θ} に従う確率変数とする. このとき

I(p_{θ}∥p_{θ+ϵ}) = −8 log(1 − ϵ) ≅ 8ϵ.

なので, T が局所強一致推定量ならば, 定理 3 の (4) が成立する. このとき推定量 M = {M_{n}} を以下のように定義する.

M_{n} := \frac{max_{1≤k≤n} X_{k} + min_{1≤l≤n} X_{l}}{2} .

このとき

p_{θ}^{n} (|M_{n} − θ| ≥ ϵ) = (1 − 2ϵ)^{n}

となる. 従って

α(M, θ) = lim_{ϵ→0} \frac{− log (1 − 2ϵ)}{−8 log(1 − ϵ)} = \frac{1}{4}.

従って推定量 M は (4) の下限を達成する. 次に推定量 M を変形して M′ を以下のように構成する.

M′_{n} := \begin{cases}0 & 全ての k についてX_{k} ∈ [−1/2, 1/2] \\ M_{n} & 上記以外. \end{cases}

このとき, 任意の ϵ > 0 について

p_{θ}^{n} (|M′_{n} − θ| ≥ ϵ) \begin{cases}= 0, & if θ = 0 \\ ≤ (1 − 2ϵ)^{n} + (1 − |θ|)^{n}, & if 0 < |θ| < \frac{1}{2} and |θ| ≤ ϵ \\ ≥ (1 − |θ|)^{n}, & if 0 < |θ| < \frac{1}{2} and |θ| ≤ ϵ \\ ≤ (1 − 2ϵ)^{n} , & if 0 < |θ| < \frac{1}{2} and |θ| ≥ ϵ \\ ≥ (1 − 2ϵ)^{n} − (1 − |θ|)^{n}, & if 0 < |θ| < \frac{1}{2} and |θ| > 2ϵ \\ = (1 − 2ϵ)^{n} , & if |θ| ≥ \frac{1}{2}. \end{cases}

任意の ϵ > 0 について

β(M′, θ, ϵ) \begin{cases}= ∞, & if θ = 0 \\ = − log(1 − |θ|), & if 0 < |θ| < \frac{1}{2} and |θ| ≤ ϵ \\ ≥ − log (1 − 2ϵ) , & if 0 < |θ| < \frac{1}{2} and |θ| ≥ ϵ \\ = − log (1 − 2ϵ) , & if 0 < |θ| < \frac{1}{2} and |θ| > 2ϵ \\ = − log (1 − 2ϵ) , & if |θ| ≥ \frac{1}{2}. \end{cases}

この場合は (3) で一様収束していないので定理は適用できないが以下のように計算できる.

α(M′, θ) = \begin{cases}∞ & if θ = 0 \\ \frac{1}{4} & if θ ≠ 0. \end{cases}

例 2 f(x) を [−1, 1] でのみ値を持ち以下の条件を満たす密度関数とする.

f(x − 1) ≅ A(x − 1)^{a−1} as x → 1
f(x + 1) ≅ A(x + 1)^{b−1} as x → −1

とし a, b > 2 とする. そして f_{θ}(x) := f(x − θ) で定義される確率分布 p_{θ} の族を考える. このとき Akahira and Takeuchi [1] より

J_{θ} := lim_{ϵ→0} \frac{I(p_{θ}∥p_{θ+ϵ})}{ϵ^{2}} < ∞.

を得る. そして X_{1}, …, X_{n} を確率分布 p_{θ} に従う確率変数とする. 最尤推定量を θ̂_{ML} := {θ̂_{ML,n}} と書くと以下の不等式を得る.

α(θ̂_{ML}, θ) = lim_{ϵ→0} lim_{n→∞} \frac{β(θ̂_{ML}, θ, ϵ)}{J_{θ}ϵ^{2}} = \frac{1}{2}.  (7)

このとき (4) の右辺は 1/2 なので最尤推定量は下限を達成している. また, 最尤推定量は位置に関して共変であるから, (7) は θ に関して一様収束している. さらに, 次に最尤推定量 θ̂_{ML} を変形して θ̂′_{ML} := {θ̂′_{ML,n}} を以下のように構成する.

θ̂′_{ML,n} := \begin{cases}0 & 全ての k についてX_{k} ∈ [−1, 1] \\ θ̂_{ML,n} & 上記以外. \end{cases}

このとき先ほどと同じような計算をすると, 以下の式を得る.

α(θ̂′_{ML}, θ) = lim_{ϵ→0} lim_{n→∞} \frac{β(θ̂′_{ML}, θ, ϵ)}{J_{θ}ϵ^{2}} = \begin{cases}∞, & if θ = 0 \\ \frac{1}{2}, & if θ ≠ 0. \end{cases}  (8)

局所強一致であれば系 5 の (6) が成立することを考えると, θ̂′_{ML} は局所強一致でないことが分る. すなわち (8) は 0 で局所一様収束しないことが分る. 一見 α(T, θ) の値だけを見ると θ̂_{ML} よりも θ̂′_{ML} の方が優れているように思われるが θ̂′_{ML} の方は上に見たように θ = 0 の近傍で (8) が一様収束しないので必ずしも θ̂′_{ML} の方が優れているとは言えない. 今後 (8) 型の評価を行うときは一様収束しているかどうかについても吟味する必要がある.

4 結論

本稿では今回新たに導入された局所強一致性という概念と Affinity を用いることによって, [2, 3] で指摘された超有効性を排除することに成功した. 例 1 及び例 2 で構成した推定量 M′ 及び θ̂′_{ML} は推定量と言うよりもむしろ θ = 0 であるか否かを調べる検定量として見るべきである. θ = 0 であるか否かを調べる検定量の rate は相対エントロピーで評価されることが知られている. 正則なモデルでは相対エントロピーの極限として得られる α(T, θ) の上限と Affinity の極限から得られる α(T, θ) の上限が一致するために, 検定量と推定量の差は ϵ → 0 で無視できた. しかし, 非正則なモデルでは上記 2 つの情報量の極限にギャップがあるために, 検定と推定には無視できない差が生じる.

今後非正則なモデルを扱うとき, 推定量に課すべき条件としては, 弱一致性だけではなく今回導入した局所強一致性を課して考える必要が有る.

参考文献

[1] M. Akahira and K. Takeuchi, Non-Regular Statistical Estimation LNS 107, Springer, (1995).

[2] I. A. Ibragimov and R. Z. Has’minskii, Statistical Estimation, Springer, (1981).

[3] 赤平昌文, “統計的推測と大偏差型確率,” 数理科学 2 月号, (1995).

[4] F. Hiai and D. Petz, Commun. Math. Phys. 143, 99-114 (1991).

[5] M. Hayashi, “Asymptotic Attainment for Quantum Relative Entropy,” LANL e-print quant-ph/9704044 (1997).

[6] 林正人, “量子１-パラメータ族の推定における大偏差型評価” 「情報幾何の新しい展開」（統計数理研究所共同研究会）講演資料, (1999).