ソース: https://dansblog.netlify.app/posts/2022-11-12-robins-ritov/robins-ritov.html
本ブリーフィングは、Dan Simpsonによるブログ記事「Un garçon pas comme les autres (Bayes)」で展開された、ロビンスとリトフが提示し、ラリー・ワッサーマンによって広められた統計学上の反例に関する詳細な分析を提供する。この反例は、「確信的・主観的ベイジアン（committed subjective Bayesian）」が尤度原理を厳密に順守すると、単純だが現実的なランダム化の下で重大な誤りを犯す可能性があることを示唆するものである。
Simpsonの核心的論点は、この反例がベイジアン手法の根本的な欠陥を示すものではなく、むしろその原理の硬直的で非現実的な解釈の問題点を浮き彫りにするものだということである。彼は、古典的なサーヴェイ統計学の手法（ホルビッツ＝トンプソン推定量）が容易に解決できるこの問題を、真のベイジアンもまた解決できると主張する。
その解決策は、尤度原理を直接破ることなく、算出された事後分布を事後的に処理することにある。具体的には、観測されたデータから得られた事後分布を生成モデルとして活用し、サンプリングメカニズム（補助統計量ξ_j）を考慮に入れて、関心のある母集団の量を推定するのである。このアプローチにより、ベイジアンはホルビッツ＝トンプソン推定量に近似する結果を導き出すことができ、ベイジアンの枠組みが十分に柔軟であることを示す。
最終的に、Simpsonは統計的手法の「純粋さ」を追求することの無益さを強調し、事後分布を真剣に受け止め、観測可能な量に焦点を当て、実用的な問題解決のためにモデルを活用することの重要性を説いている。
統計学におけるパラドックスや反例は、単に修正されるべき欠陥ではなく、むしろ「道徳劇」や「怪談」のような役割を果たす。それらは、特定の統計的アプローチに伴う潜在的な危険性を示す「道標」として機能し、研究者コミュニティの共有財産となる。
本稿で分析される「ベイジアンと補助的なコイン（The Bayesian and the Ancillary Coin）」の物語は、ジェイムズ・ロビンスとヤアコフ・リトフによって導入され、ラリー・ワッサーマンによって広く知られるようになった反例である。この例は、尤度原理を固守する主観的ベイジアンが、特定のランダム化の下でいかに誤った結論に至るかを示すために用いられる。
この問題は、非常に多くの層（strata）が存在する状況を想定している。
- パラメータ: J個の未知のパラメータ μ_j が存在する（Jは非常に大きい）。各 μ_j は層 j の平均値を表す。
- データ生成: 観測値 y_i は、層 x=j が与えられた下で、正規分布 N(μ_j, 1) からサンプリングされる。
- 推定対象: 推定したい量は、高次元のパラメータベクトル μ そのものではなく、その低次元の要約である母集団平均 μ = (1/J) Σμ_j である。このような設定は「半パラメトリック統計学」の領域に属する。
この単純な設定では、古典的な推定量（標本平均）もベイジアン推定量も、母集団平均 μ に対して √n 一致性を持つ。
この問題が複雑になるのは、次のランダム化が導入されたときである。
- 各層 j に対して、既知の確率 ξ_j（ただし 0 < δ ≤ ξ_j < 1-δ）を持つ偏ったコイン r_j が導入される。
- データ y_i は、対応するコイン r_i が1になった場合（r=1）にのみ観測される。
- このコインの結果 r は、μ の推定において**補助統計量（ancillary statistic）**となる。これは、尤度 p(y,x,r | μ) が p(y | x, μ) と μ に依存しない項に分解できるためである。
この設定は、臨床試験における共変量依存のランダム化や、単純な確率標本調査のモデル化となっている。
この問題に対して、二つのアプローチは対照的な結果を示す。
- 古典的推計量: 古典的なサーヴェイ統計学では、ホルビッツ＝トンプソン（Horvitz-Thompson）推定量が用いられる。これは、観測された各 y_i をそのサンプリング確率 ξ_{x_i} の逆数で重み付けするものである。 ȳ_HT = (1/n) Σ (y_i / ξ_{x_i}) この推定量は、μ に対して √n 一致性を持つことが容易に示される。
- ベイジアンの課題: ロビンス、リトフ、ワッサーマンは、「確信的・主観的ベイジアン」は尤度原理に従うと主張する。尤度原理によれば、推論に必要なすべての情報は尤度関数に含まれるべきであり、補助統計量に推論が依存してはならない。したがって、このベイジアンは事前分布を設定する際にサンプリング確率 ξ_j の情報を含めない。
- 結果: このベイジアンのアプローチでは、得られる推定量は真の値への収束が著しく遅くなる。特に、サンプリング確率 ξ_j が層の平均 μ_j と強い相関を持つ場合（例えば、y の値が大きい層ほど観測されやすい場合）、観測されたサンプルは深刻なバイアスを持つことになり、推論は極めて困難になる。ロビンスとリトフは、この場合、事後平均が真の平均に収束する速度が O((log log n)² log n) より速くなることはないことを証明している。
Simpsonは、この反例がベイジアン手法の敗北を意味するものではないと主張する。問題は、ベイジアン原理の硬直的な解釈にある。
Simpsonは、尤度原理の厳格な順守を「退屈な哲学ごっこ」と一蹴する。彼によれば、統計手法の優劣を哲学的な「純粋さ」で証明しようとする試みは、ベイジアン手法を実用的にし、困難な問題を解決するために用いることから人々を遠ざける、非生産的な行為である。
彼の提案する解決策は、ベイジアンの原則を破ることなく、事後分布を正しく利用することにある。
- 目的の転換: 抽象的なパラメータ μ を直接推定するのではなく、より具体的な「観測可能な量」を推定することを目的とする。例えば、「もし全ての y_i を観測できていたら、その標本平均はどうなっていただろうか？」という問いを立てる。
- 事後処理: この問いに答えるために、観測データから得られた事後分布を事後的に処理（post-processing）する。
具体的な手順は以下の通りである。
- 事後分布の計算: まず、観測された（疎な）データ y を用いて、各 μ_j の事後分布 p(μ_j | y) を標準的なベイジアンの方法で計算する。データの大部分は観測されていないため、多くの事後分布は事前分布とほぼ同じになる。
- 生成モデルとしての利用: 次に、得られた事後分布をデータ生成モデルとして用いる。既知のサンプリングメカニズム（n_j ~ Binom(N_j, ξ_j)）を考慮し、観測されなかったデータを含む「完全な」サンプルがどのようなものになるかをシミュレート（または期待値を計算）する。これは事後予測分布を利用することに相当する。
- 推定量の導出: この架空のサンプルに対する期待値を計算し、サンプルサイズを無限大に近づけることで、母集団平均の推定量を得る。このプロセスを通じて、サンプリング確率 ξ_j が自然に計算に組み込まれる。
この手順により導出される推定量は、以下のようになり、ホルビッツ＝トンプソン推定量に非常に近い形となる。
hat μ ≈ (1/N) Σ (n_j / ξ_j) m_j^post （ここで m_j^post は μ_j の事後平均）
Simpsonは、この導出が完全にベイジアンの枠組みの中で行われたと強調する。事後分布を計算し、それを用いて関心のある量を計算するという、ベイジアン推論の基本的な流れを踏襲している。
この事例の特殊性は、関心のある量（母集団平均）と観測されたサンプルとの間に直接的でない関係がある点にある。このギャップを埋めるために、サンプリングメカニズムという「ベイジアン外部の」情報を利用して事後予測分布を活用した。これは、モデルのパラメータを現実世界の母集団の量と結びつけるために不可欠なステップである。
ワッサーマンが用いた「頻度論追従（frequentist chasing）」という批判に対し、Simpsonは、事後分布という確率的記述を現実世界の問いに答えるために有用なものにすることは、単なる追従ではなく、ツールを適切に適用する行為であると反論する。ベイジアンの答えを必要としない問い（例：母集団に関する頻度論的な問い）に答えるために、ベイジアンのツールを使うことは何ら問題ではない。
この議論から、Simpsonは以下の3つの普遍的な教訓を提示する。
- 事後分布を真剣に受け止める: 事後分布を計算したなら、それを単なる結果として終わらせず、物事を実行するためのツールとして（例えば、確率モデルの一部として）活用すべきである。
- 観測可能な量で考える: 抽象的なパラメータよりも、観測可能な量（例：完全なサンプルの平均）の観点から考えることで、より堅牢な推論が可能になる。
- 純粋さへの固執は時間の無駄である: 統計的手法を哲学的な純粋さで評価しようとする試みは、実用的な進歩を妨げる。