AIの回答を検証し、ハルシネーションを防ぐ方法

汎用的なAIモデルは、検証済みの記録から事実を参照するのではなく、学習データのパターンから尤もらしい単語の並びを予測して文章を生成します。最も自然に聞こえる続きが誤っている場合でも、モデルはそれを確信を持って提示します。これがいわゆるAIのハルシネーションです。

多くの主張には特定の出典が存在せず、回答は確認できない不透明な学習データから再構成されるため、モデルには各主張がどの出典から来たかを示す仕組みが本来備わっていません。流暢で自信に満ちた回答が正しい回答と同じではない理由、そして検証がモデルの約束ではなく利用者自身の責任である理由はここにあります。

AIの回答の検証は、すべての事実上の主張を実在する確認可能な出典までさかのぼることに尽きます。第一に、文書全体への曖昧な参照ではなく、使用した該当箇所そのものをAIに引用させます。第二に、その文章を読み、主張を実際に裏付けているかを確認します。引用が実在する文書であっても、回答が示唆する内容を述べていない場合があるためです。第三に、引用された箇所で元の文書を開き、その文章が実在し文脈に沿っているかを確かめます。出典のない主張は、見つかるまで未検証として扱います。

信頼できるAIの回答とは、信じるよう求められるものではなく、自分で確認できるものです。確認を可能にする二つの性質が、根拠付けと追跡可能性です。回答は不透明な学習データではなく既知の文書群から構築されるべきであり、各主張はその根拠となった該当箇所にリンクしているべきです。

Tatsulokはこの考え方に基づいて作られています。あなたが提供した文書、すなわちあなたのライブラリから回答し、すべての回答を出典の該当箇所に引用し、その文章のハイライト表示されたプレビューと元の文書への直接リンクを示します。回答が自分自身の出典に基づいているため、盲信するのではなく確認できます。

Tatsulokは、根拠を回答のすぐ隣に置きます。すべての主張は出典文書の該当箇所そのものに引用され、その文章のハイライト表示されたプレビューと元のファイルへの直接リンクが表示されるため、回答の確認は別途検索することなく一目で済みます。

回答はあなたがアップロードした文書、すなわちPDF、Word、表計算、スライドからのみ生成されるため、各回答の背後には実在する出典があります。さらに、組み込みのGoogle Scholar検索により、必要に応じて公開された研究を取り込めます。あなたの文書とプロンプトは初期設定で非公開であり、保存時も通信時も暗号化され、AIの学習には一切使用されず、モデルプロバイダーとの間でゼロデータ保持が適用されます。回答の検証のために出典の管理を手放す必要はありません。