AIハルシネーションとは？どう見抜くか

AIハルシネーションとは、事実として提示される誤った、または誤解を招く情報を含むAIの回答のことです。この名称は人間の知覚への緩やかな比喩で、モデルは意図的に嘘をついているわけではなく、正しそうに見えるが現実に基づかないものを生成しているのです。

重要なのは、一般的な言語モデルは検証済みの答えを調べるのではなく、次に最も可能性の高い単語を予測して文章を生成する点です。分からないとき、モデルは立ち止まらず、最ももっともらしい続きを生成します。だからハルシネーションは流暢で具体的で自信ありげになり、まさにそれが危険なのです。表面的な品質では、その内容が誤りだという手がかりが何も得られません。

いくつかの根本原因があり、それらはこの技術の仕組みに組み込まれています。

• 取り出すのではなく予測する：事前学習は情報が欠けていても次の単語を推測することを報酬とするため、推測が例外ではなく既定の動作になります。 • データの欠落：モデルは不完全で古く、偏ったデータで学習されるため、欠けた部分を作り話で埋めます。 • 組み込みの真実の基準がない：単体のモデルは、権威ある文書を与えない限り、自らの出力を照合する手段を持ちません。

だから「より賢いモデルを使えばよい」だけでは完全には解決しません。高性能なモデルはハルシネーションの頻度こそ下がりますが、失敗の仕方は同じで、起きたときはより説得力を持ちます。確実な解決はアーキテクチャ的なもので、回答を具体的な出典に基づかせ、各主張の出どころを示すことです。

ハルシネーションは仮定の話ではありません。実際に記録された被害を生んでいます。

• 2023年の米国の裁判（Mata v. Avianca）では、弁護士がChatGPTの捏造した6件の判例を提出し、裁判所は5,000ドルの制裁金を科し、その捏造引用は大きく報じられました。 • 2024年、エア・カナダのサポートチャットボットが存在しない忌引運賃の規定を説明し、審判所はその架空の規定に航空会社を従わせました。 • ChatGPTが生成した引用の分析では、47%が完全な捏造、別の46%が実在の出典を指しつつ内容を誤って伝え、実在かつ正確だったのはわずか7%でした。 • 2025年までに、法的書面におけるAI捏造引用を追跡するデータベースには1,300件超の事例が登録され、これらのツールが大規模に使われると問題がいかに一般的になるかを示しています。

パターンは一貫しています。回答は権威ありげで、誰も出典を確認せず、代償は後からやってきたのです。

生成モデルからハルシネーションを完全になくすことはできませんが、見抜きやすくすることはできます。

• 回答を自分の文書に基づかせ、学習データではなく実在の出典から答えさせる。 • 出典を求め、すべての主張を開いて読める具体的な箇所にリンクさせる。 • 行動の前に検証する。特に法務・財務・医療・コンプライアンスのように誤りが高くつく業務で。

これはTatsulokが立脚する原則です。モデルを信用するよう求める代わりに、提供された文書から回答し、各主張を該当箇所まで出典で示し、関連テキストをハイライトします。検証は数秒で済むため、捏造や読み違いの主張は被害が出る前に捕まえられます。目標は決して誤らないモデルではなく、回答を鵜呑みにせずに済むワークフローです。