AIでAIをファクトチェックできるか。盲点は共有されている

よくあるワークフローになりました。1つのアシスタントから回答をもらい、別のアシスタントに貼り付けて、これは正しいですか、と尋ねる。2つ目のモデルは流暢で自信に満ちたテキストを読み、流暢で自信に満ちた同意を返します。2つのAIが承認した回答は、二重にチェックされたように感じられます。

実際に起きたのは、正しく聞こえるよう最適化されたシステムが、正しく聞こえるよう最適化された別のシステムの出力を審査したということです。どちらも出典を開いていません。生成されるほどもっともらしい主張は、たいてい審査も通るほどもっともらしく、そしてもっともらしさは最初から問題ではありませんでした。この儀式が検証のように感じられるのは、検証の形、つまりセカンドオピニオン、レビュー工程、承認をなぞっているからです。証拠を参照する部分だけが、抜けています。

Self-Correction Bench研究は、この比較を異例なほどきれいに行いました。研究者はまったく同じ誤りを2通りの方法で会話に注入しました。一度は外部の発言として、もう一度はモデル自身の以前の出力として。モデルは外部版の誤りをはるかに確実に修正しましたが、同一の間違いが自分の言葉として現れたときは、テストされた14のオープンソース・非推論モデルの平均で64.5%見逃したのです。

推論・計画タスクを対象にした別系統の研究は、より強いことを見つけました。自分の回答を批評して修正するよう促すと、性能がしばしば低下し、自己批評のラウンドを重ねるほど誤りは訂正されるどころか積み重なりました。そして、より深い理由は、OpenAI自身の研究者がハルシネーションの構造について示したことにつながります。学習は、正直な不確かさよりも自信に満ちた回答に報酬を与えます。同じ誘因の上に作られたチェッカーが、欠けている懐疑を突然身につけることはありません。

法廷でも、報道でも、科学でも、2人目の証人が重要なのは、その誤りが独立しているからです。別々に出来事を見た2人が、同じ間違った細部を発明する可能性は低い。独立性こそが、一致を情報に変えます。

2つの言語モデルは独立した証人ではありません。重なり合うデータで学習され、似た目的関数で最適化され、同じベンチマークから同じ自信に満ちた文体に報酬を受けています。モデルが間違えやすい種類の主張は、複数のモデルが一緒に間違え、互いの誤りを同じ流暢さで肯定しやすいのです。ソースロンダリングが複利で効くのもここです。2つ目のモデルは、1つ目のモデルの自信に満ちた語り直しを、それを生んだ弱い出典が剥ぎ取られた状態で相続し、来歴ではなく磨きを採点します。相関したシステム同士の一致は2票ではありません。1票が2回数えられただけです。

独立とは、判定が主張を生成しなかったものから来ることです。実務では、それは出典そのものです。文書、法令、論文、契約書。主張が載っている該当箇所を開き、回答が言うとおりのことが書いてあるかを読む。それが独立したチェックです。

グラウンディングされたシステムでは、これが意図的に最も安い工程になっています。すべての主張が該当箇所へのリンクを持てば、独立したチェックは数秒です。主張を読み、クリックし、比べ、判断する。すべてを確かめる必要はありません。実行するチェックが本物であればいい。意思決定を動かす主張、繰り返す予定の数字、驚いたものすべてに絞ってください。90秒の検証習慣が教えるのと同じトリアージです。

以上は、2つ目のAIが無価値だという意味ではありません。何を教えてくれて、何を教えてくれないかを知るという意味です。2つのモデルの不一致は有用な旗印です。事実の主張で食い違えば、少なくとも一方は間違っていて、出典を開くべき場所が正確に分かります。2つ目のモデルは、議論のストレステスト、反論の洗い出し、内部矛盾の発見も得意です。それらは世界ではなくテキスト自体の性質だからです。2つ目のモデルにできないのは、確認です。一致は弱い証拠であり、該当箇所は強い証拠です。

Tatsulokは、強い証拠がいつも手近にあるように作られています。回答はあなたの文書とキュレーション済みコレクションだけから生まれ、すべての主張が背後の該当箇所にリンクし、正直な空白は取り繕われずに語られます。盲点を共有しない独立したチェッカーであるあなたに、決着をつける唯一の意見への最短経路が渡されます。

今週の練習です。登録は要りません。AIの回答を1つ取り、別のAIに検証させ、そのうえで要となる主張を1つ、自分で出典まで確かめてください。AI検証者を該当箇所で採点します。一致がどれだけの価値かを再調整するには、たいてい一度で足ります。