「ただの確率的なパターンマッチ(次単語予測)の延長で、なぜ1文字のミスも許されない厳格なプログラムが書けるのか?」
これは非常に本質的で、AI研究者たちの間でも長らく驚きをもって議論されてきた鋭い疑問です。結論から言えば、LLMが厳格なコードを出力できるのは、「プログラミング言語が自然言語よりも遥かに予測しやすい(エントロピーが低い)から」であり、膨大なパターンの学習の果てに「モデル内部に擬似的なコンパイラ(世界モデル)が形成されるから」だと考えられています。
具体的には、以下の3つのメカニズムがその「厳格性」を支えています。
人間にとってプログラミングは論理的で難解な作業ですが、統計モデルから見ると、コードは自然言語の会話よりも遥かに「パターンが強固で予測しやすい」テキストです。