GoogleのAIによる概要は正確か。あの引用が証明していないこと

何かを検索すると、青いリンクの前に、直接答えてくれる整った段落が現れ、その脇に出典リンクが添えられています。あのリンクの存在は、心理的に本物の仕事をします。誰かが出典を示した、だから答えは出典付きだと読める。そして私たちのほとんどは、そこで先へ進みます。

検討する価値があるのは、まさにその感覚です。リンクが教えてくれるのは、システムがどのページを参照したかです。目の前の文が、そのページに実際に書いてあることだとは教えてくれません。出典を参照したことと、出典に裏付けられていることの間には、今のどのインターフェースも見せてくれない隙間があり、研究によればその隙間は小さくありません。

Oumiは、SimpleQAベンチマークの質問を実際のAIによる概要に通し、概要のテキストと各引用の該当テキスト断片の両方を収集したうえで、2つのことを別々に採点しました。回答が正しいかどうかと、その中のすべての主張が引用元に裏付けられているかどうかです。

この切り分けこそが発見でした。Gemini 3ベースの概要の約91%は正解を含んでいました。研究者が「信頼できる」と呼ぶ、正しくかつ完全に裏付けられた概要は、39%だけでした。質問単位ではなく個々の主張で集計すると、裏付けのある主張は67%。つまり約3分の1は、示された出典までたどれませんでした。最も居心地の悪い比較は、Gemini 3をGemini 2の時代と並べたときに現れます。正確さは上がり、そしてハルシネーションの率も上がったのです。新しく、より正確になったことは、より良く接地されたことを意味しませんでした。

私たちは自分の引用にも、このブログが説く基準を課します。ですから、弱点も含めて調査の形をそのまま書きます。判定はモデルが行いました。正確さはGPT-4、裏付けは専用の主張検証モデルです。そして25件のサンプルを人が検証し（誤検出0%、見逃し約3%）、誤差を仮定ではなく推定できるようにしています。質問はOpenAIが構築したベンチマークSimpleQAから取られました。Googleの広報担当者はまさにその選択に異議を唱え、SimpleQAは実際の利用者の質問を代表しておらず、正解データ自体に誤りを含むと述べ、Googleが構築した代替を推しました。研究者は、Googleの製品をGoogleのデータセットで評価することの居心地の悪さに触れつつ、この判断を読者に委ねています。

ですから、具体的な数値は確定した定数ではなく、1つの入念な測定として扱ってください。異議を経ても残るのは、形のほうです。回答が正しいことと、回答が引用に裏付けられていることの間に、繰り返し観測される大きな隙間がある。あなたの習慣が覆うべきなのは、その隙間です。

これが持ち運べる考え方で、Googleをはるかに超えて当てはまります。引用は、静かに束ねられた3つの主張をしています。この出典は実在する。この出典は関連している。そしてこの出典は、私が今言ったことを述べている。自動化されたシステムは、1つ目には信頼でき、2つ目はまずまず、3つ目については当てになりません。3つ目を検証できるのは、あなたの目だけです。

だから確認は、20秒ほどで終わります。回答の中から、あなたの判断が実際に載っている主張を1つ選ぶ。その引用を開く。ページではなく該当箇所を読み、その主張を述べているのか、含意しているのか、それとも話題の近くにあるだけなのかを問う。失敗のほとんどは3つ目です。だいたい正しい主題についての実在する出典が、帰属された具体的な断言をどこにもしていない。回答全体を監査するのではありません。荷重を支える梁を1本、試すのです。

公開ウェブでこの確認が高くつくのは、インターフェースが抵抗するからです。渡されるのは該当箇所ではなくページのリンクなので、1文を確かめるには、それを支えているかもしれない部分を探して記事を読み流すことになります。それを1日の仕事量に掛ければ、誰もやらなくなります。

その摩擦は設計上の選択であり、別の選び方ができます。Tatsulokでは、回答はあなた自身の文書とキュレーション済みコレクションだけから生まれ、すべての主張がそれが載っている該当箇所にリンクします。だからチェックは、記事ではなくその文へ着地するワンクリックです。出典が沈黙しているときは、もっともらしい何かに手を伸ばす代わりに、そう言います。要点は、私たちをもっと信頼してほしいということではありません。20秒の確認が、2秒で済むべきだということです。

今週の練習です。登録は要りません。次に見かけたAIによる概要で、誰かに伝えるとしたらこれ、という主張を1つ取り、その引用を開いて、それを支える文を探してください。見つかったか、見つからなかったか、近いけれど同じではないものが見つかったかを記録します。これを3回やれば、いちばん上のあの整った箱がどれだけの価値かについて、あなた自身の正直な較正ができあがります。