RAGのハルシネーション率。実際の数字と、残存リスクへの向き合い方

素の言語モデルは、学習データのパターンから回答します。法令、数値、参考文献のような具体的な情報を求めると、真実が手元にあるかどうかに関係なく、もっともらしい文章を生成します。Scientific Reports誌に掲載された査読済みの検証では、GPT-3.5が生成した学術文献の55%、GPT-4でも18%が実在しないものでした。

検索拡張生成が変えるのは入力であって、モデルの性質ではありません。システムはまず定義されたコーパスから関連する箇所を検索し、その箇所に基づいて回答するようモデルに指示します。検索がうまく働けば、モデルは発明する代わりに証拠を言い換えます。測定された改善のほとんどは、この一点の変化から来ています。

3つの独立した測定が全体像を描きます。

1. グラウンディングなしの文献生成：GPT-3.5は生成した引用の55%を、GPT-4は18%を捏造しました（Scientific Reports、2023年）。

2. グラウンディングされたリーガルリサーチツール：スタンフォード大学のベンチマークでは、専門家が手作業で採点した202の法律質問に対し、Lexis+ AIが17%、Westlaw AI-Assisted Researchが33%の回答でハルシネーションを起こしました。同じ質問でグラウンディングなしのGPT-4は43%でした。

3. AIウェブ検索：コロンビア大学Towセンターの調査では、8つのAI検索エンジンが合計でニュースの質問の60%以上において出典を取り違えるか捏造し、最も優秀なPerplexityでも37%が誤りでした。

パターンは一貫しています。グラウンディングは率を半分以下に切り下げ、それでも開放的なタスクでは2桁が残ります。スタンフォード研究の対象となった2社はいずれもハルシネーションフリーまたはそれに近い製品として販売していましたが、研究者の評決は「プロバイダの主張は誇張されている」でした。

残存リスクは1つのバグではなく、失敗の一族です。検索は取り逃がします。関連箇所がモデルに届かず、モデルは結局一般知識から答えます。検索は誤誘導します。似て非なる質問についての箇所が、自信に満ちた誤答の錨になります。そして統合は漂流します。実在する出典を引用しながら、その内容を誤って特徴づける。スタンフォードのデータで最も微妙な失敗です。引用そのものは完璧に見えるからです。

これらに共通する点に注目してください。どれも回答自体からは見えません。本物らしい引用を添えた流暢な段落は、パイプラインが機能した場合と失敗した場合とでまったく同じに読めます。誤りは出典においてのみ可視化されます。

どんな信頼性の主張にも3つの質問をぶつけてください。タスクは何だったか。狭い抽出タスクで測った率は、開放的なリサーチには持ち越せません。誰が採点したか。専門家の手作業採点を伴わない自己申告の精度は、誤特徴づけ、まさにRAGが最も苦手とする種類の誤りを隠します。そして何をハルシネーションと数えるか。実在する判例を、支持していない命題のために引用すれば、リンクが開いても誤りです。

タスク、採点方法、誤りの定義を公表しないベンダーが報告しているのは、測定ではなくマーケティングです。スタンフォード研究が存在するのは、2つの自信に満ちた主張が1つの独立ベンチマークに出会ったからです。

グラウンディングされたシステムでも難しい質問では2桁の誤り率が下限だとすれば、設計上の問いは「プロンプトで率を消す方法」ではなく、「個々の回答を安く確認できるようにする方法」です。

それは引用アーキテクチャの問題です。すべての文が根拠となった該当箇所にリンクする回答なら、検証はワンクリックの読み取りになります。スタンフォードが特定した失敗モード、検索の取り逃がし、誤った錨、誤特徴づけは、出典が開いた瞬間にすべて目に見えます。これがTatsulokの設計原理です。回答はあなたのライブラリとキュレーション済みコレクションから組み立てられ、すべての主張が該当箇所にリンクし、情報源に答えがないときは即興の裏付けではなく「情報源にはありません」と明示します。残存する誤り率は、隠れた負債であることをやめ、各回答の目に見える検証可能な性質になります。