AIの「分かりません」は、いちばん信頼できる一言かもしれない

丁寧に質問を組み立てて送ると、ツールがこう返してきます。提供された情報源には、この質問に答えるのに十分な情報が含まれていません。がっかりして、少し苛立つかもしれません。あっちのAIなら、今ごろ自信に満ちた3段落をくれていたのに。

その考えを、少しだけ持ち直してください。まさに逆だからです。あっちのAIがくれる3段落は、パターンともっともらしさから組み立てられたもので、あなたはそれを会議に持ち込むところでした。立ち止まったツールは、本当に難しいことをやってのけました。自分の証拠の縁に気づき、それがどこにあるかをあなたに伝えたのです。間違いにコストが伴う仕事において、この一文は失敗のメッセージではありません。製品が約束を守っている音です。

言語モデルの生来の本能は、文章をもっともらしく続けることです。答えを求めれば、真実が手元にあってもなくても、答えの形をした何かが出てきます。捏造された引用はこうして生まれます。スタンフォード大学によるAIリーガルリサーチツールのベンチマークでは、ハルシネーションフリーと宣伝された製品でさえ、17%から33%の質問でハルシネーションを起こしていました。空白を埋めることが既定であり、空白を認めることが例外だからです。

誠実な拒否は、誰かがその既定に逆らって設計したことを意味します。システムは検索した証拠を確認し、不十分だと判断し、流暢な推測ではなく気まずい真実を選びました。「情報源にはありません」という表示は、安全装置が白昼堂々と作動している姿です。

すべての拒否が称賛に値するわけではありません。3つの質問で見分けてください。

1. 拒否は具体的ですか。誠実な空白は範囲を名指しします。「アップロードされた契約書には早期解約の定めがありません」。壊れた拒否は曖昧または全面的で、情報源に明らかに含まれる内容まで拒否します。

2. 見つけたものを見せられますか。正常なシステムは、答えに届かなくても、最も近い関連箇所を列挙できます。関連すると分かっている情報源から何も見つからないなら、それは証拠の空白ではなく検索の問題を示唆します。

3. 質問を狭めると結果が変わりますか。誠実な空白は精度に反応します。答えを含む情報源に対してどんな言い換えも成功しないなら、その拒否は壊れており、ツールを替えるのが正当です。

誠実な「分かりません」は、何が欠けているかの地図を手渡してくれます。地図の上の手は3つだけです。

質問を狭める。「契約書は解約について何と言っているか」では失敗しても、「解約通知期間を規律する条項はどれか」なら成功することがあります。精度は、検索が正しい箇所を見つける助けになります。

足りない資料を加える。空白は、しばしば文字通りの意味です。最新の規程改定、修正された別紙、より新しい判決が、束の中にないのです。加えて、もう一度尋ねてください。

あるいは、発見として受け入れる。「情報源は沈黙している」こと自体が答えであり、価値ある答えのことがあります。契約書がそのシナリオに触れていないと知ることは、本当の仕事が始まる発見です。

ここからが少し不都合な話です。ほとんどのAIツールは、知らないときに知らないと伝えるようには設計されていません。デモでは自信に満ちた回答のほうが見栄えがするからです。ツールが自分の空白について誠実でいられるのは、定義された情報源にグラウンディングされ、その縁で止まるよう設計されている場合だけです。

それが要求すべき基準であり、Tatsulokが設計されている基準です。回答はあなたの文書とキュレーション済みコレクションだけから生まれ、すべての主張が該当箇所にリンクし、情報源が尽きたときは即興ではなく、はっきりそう伝えます。この拒否は、我慢している制限ではありません。他のすべての回答を信頼に値するものにしている機能です。

今週の練習です。登録は要りません。使っているAIツールに、手元の資料では答えられないと分かっている質問をしてください。何が起きるかを見てください。それでも答えてくるなら、そのツールの自信に満ちた回答の価値を学んだことになります。立ち止まってそう言うなら、証拠の縁を尊重するツールを見つけたことになり、それがどういう姿かをもう知っています。