AIが隙間を隠せなくなる質問の作り方

まっとうな質問をしたのに、返ってきたのは美しい文章の壁でした。流れるようで、権威がありそうで、そして掴みどころがありません。出典の名前はなく、主張と主張の境目もなく、確かめようにも、どこから始めればいいのか分からない。

この壁は偶然ではありません。制約のない質問は、モデルに「最ももっともらしい作文」を書くよう招待し、もっともらしい作文は、文と文のあいだの目地に空白を隠します。解決策は、より賢いモデルではありません。すべての主張が、独立した、出典付きの、確認できる1個のレンガとして届くように、質問の形を変えることです。

まず、AIが使ってよいものを名指しします。「添付した契約書だけから答えてください」「2025年版の規程だけから」「引用を示せる情報源だけから」。限定には2つの仕事があります。モデルが即興できる空間を狭めること、そして次の要求を実行可能にすることです。

次に、領収書を要求します。「すべての主張に、該当する条項または箇所への引用を付けてください」。重要なのは「主張ごと」です。末尾の参考文献リストは、1つの実在する出典に、根拠のない10の文を洗浄させてしまいます。主張ごとの引用なら、すべての文は証拠を携えているか、目に見えて裸かのどちらかであり、目に見えて裸というのは、まさにあなたが見たいものです。査読済みの検証では、GPT-4が自由に生成した参考文献の18%が実在しないものでした。だからこそ、引用はモデルの想像の中ではなく、あなたが限定した情報源の中を指していなければなりません。

ほとんどの人が飛ばす要素であり、これがゲーム全体を変えます。一文を加えてください。「情報源に答えが含まれていない場合は、一般知識から答えるのではなく、その旨を明示してください」。

この許可がないと、モデルはあなたの質問と真実の板挟みになり、あなたの質問を選ぶように作られています。許可があれば、正直な空白が許された出力になり、それがどれほど頻繁に現れるかに驚くはずです。受け取った「情報源はこの点に触れていません」の一つひとつが、起こらなかった捏造であり、あなたが今知ることのできたリサーチの空白です。

時間の境界を設定します。「この日付時点で」「添付した版に基づき、その後の改正は含めない」。古い答えは静かな失敗モードです。区切りは、時間を暗黙の前提から明示の条件に変えます。

そして形を固定します。「番号付きリストで、1行に1つの主張、各主張の直後に引用、情報源が答えていない論点は最後に別セクションで」。形こそが検証を速くします。行ごとに引用が付いた番号付きリストは届いた順に確認でき、未解決セクションは、モデルが不確かさを塗り込める代わりに、見える場所に置くことを強制します。

コピーして使えるテンプレートの全文です。「[情報源]だけを使い、[日付]時点の情報として、次の質問に答えてください：[質問]。すべての主張に該当箇所への引用を付けてください。情報源に答えがない場合は、その旨を明示してください。形式：引用付きの番号付き主張、その後に情報源が未解決のまま残す論点のセクション」。

これで誠実さは招待されました。しかし汎用チャットボットの中では、それはまだ招待にすぎません。モデルは今日は見事に従い、明日はずれるかもしれず、生成された引用には依然として90秒チェックが必要です。お願いは、強制の仕組みではないからです。

グラウンディングを中心に設計されたツールは、この5要素をマナーからアーキテクチャに変えます。Tatsulokは設計上、すべての回答をあなたの文書とコレクションに限定し、すべての主張に該当箇所へのリンクを自動で添え、「情報源には含まれていません」を、恩恵ではなく一級の回答として扱います。それでもプロンプトのパターンは習得する価値があります。それはどこへでも、あなたと一緒に旅をするからです。

今週の練習です。登録は要りません。最近AIにした質問を1つ取り出し、5つの要素をすべて入れて聞き直してください。2つの回答を並べて、確認できる主張の数を数えてください。最初の回答で数えられた数と、2回目の数。その差が、このパターンの買ってくれるものです。