AIのハルシネーションが止まらない理由。作っている本人たちの答え

多くのAI利用の裏には、静かな仮定があります。次のモデルが直してくれる。ハルシネーションは生えかけの歯の痛みのようなもので、もう1回アップグレードすれば、確認は不要になる、と。

その希望への最強の反論を発表したのは、OpenAIの研究者たち自身でした。「Why Language Models Hallucinate」（Kalai、Nachum、Vempala、Zhang、2025年9月）は、ハルシネーションがパッチ待ちの欠陥ではなく、モデルの学習と評価の方法から予測可能に導かれる帰結であることを数学的に論じます。論文の例は拍子抜けするほど単純です。日付を推測すれば365分の1で得点、「分かりません」と言えば確実に0点。そのように作られたすべてのベンチマークが、すべてのモデルに同じ教訓を教えます。

モデルは精度のリーダーボードで比較され、ほとんどのリーダーボードは正直な不確かさに得点を与えません。慎重なモデルと自信満々なモデルがいれば、自信満々な推測者のほうが良い数字を出します。まぐれ当たりは得点になり、外れても棄権と同じコストしかかからないからです。たとえ慎重なほうが誠実であっても、です。

学習はスコアボードを追いかけるので、この誘因はモデル自身に染み込みます。著者たちの要点は、これが完璧なデータと無限の計算資源を生き延びることです。テストが空白より推測に報酬を与える限り、空白は埋められます。誤答減点のない試験で学生がはったりを書くのと同じ理由です。ルールを前提とすれば、合理的な振る舞いなのです。

構造的とは恒久的ということであり、恒久的なら戦略が変わります。待つことは防御ではありません。プロンプトだけでも防御になりません。モデルに、学習の逆を行けと頼んでいるだけだからです。持続する防御は、ゲームの構造そのものを作り替えます。

グラウンディングは、モデルが汲む場所を変えます。自由な想起ではなく検索されたソースから回答を組み立てることで、推測の空間を大きく削ります。正直な空白のアーキテクチャは、報酬を変えます。「情報源には含まれていません」と言うよう設計されたシステムは、棄権をスコアボードの罰ではなく一級の出力にします。そして検証は、残りを捕まえる人を変えます。あなたのワンクリックの該当箇所チェックです。グラウンディングされたシステムでさえ、難しい質問では2桁の誤り率が残ります。スタンフォードの測定では17%から33%でした。

この論文は、拒否の意味を捉え直させてくれます。あらゆる誘因が自信満々の推測へ押し流す世界で、「あなたの情報源はこの点について沈黙しています」と伝えるツールは、流れに逆らって意図的に設計された何かをしています。信頼できるシステムであなたが本当に対価を払っているのは、その設計に対してです。

だから、AIツールを評価するときは、デモの本能を裏返してください。どんな見事な回答を出すかだけでなく、正直な答えが「無い」であるときに何をするかを問うのです。ソースが答えられないと分かっている質問を投げて、観察してください。即興で答えたツールは、肝心な日にどう振る舞うかをもう教えてくれています。

これらはどれも、AIを避ける理由ではありません。人間の誤りが恒久的であることが、同僚を避ける理由にならないのと同じです。性質を乗り越えるのを祈るのではなく、性質とともに働く理由です。重要な質問は定義された情報源にグラウンディングする。棄権が設計に組み込まれたツールを選ぶ。そして、自分の名前を背負うものには検証の習慣を保つ。

それがTatsulokの設計思想です。あなたの文書とキュレーション済みコレクションだけからの回答、すべての主張の該当箇所リンク、そして設計された一級の回答としての「情報源には含まれていません」。推測の誘因は現実です。だから私たちは、推測の余地を取り除きました。

今週の練習です。登録は要りません。あなたの分野で、答えが公開されていないと知っている質問を、いつものAIツールに1つ投げてください。それでも答えてきたら、スコアボード問題を生で目撃したことになります。そして、あの論文が何の話なのかを、もう正確に知っています。