なぜAIはあなたのコンテキストを忘れ続けるのか。そしてどう解決するか

月曜日にチャットボットを開き、先週の火曜日に貼り付けたのと同じ背景を貼り付けます。顧客は誰か、プロジェクトは何を対象にするか、どの規則が適用されるか。良い回答が得られます。翌日、AIはその何も覚えておらず、あなたはまた一からやり直します。このループに覚えがあるなら、あなたが何かを間違えているのではありません。これらのツールの仕組みの基本的な限界にぶつかっているのです。

この苛立ちが本物なのは、仕事が本物だからです。法務、研究、財務、オペレーションで本格的な仕事をする人は、おもちゃで遊んでいるのではありません。AIに自分のコンテキストを知り、知り続けてほしいのです。忘れられると、ツールは負担をそっとあなたに戻します。あなたがAIの記憶役になり、同じコンテキストを何度も与え直すのです。これこそ解決する価値のある問題です。

AIモデルにはセッション間の記憶がありません。あなたの個別の状況について知っていることはすべて、毎回モデルの前に置かれる必要があり、それはコンテキストウィンドウ、つまり一度に考慮できる文章の最大量（トークンで測られ、1トークンはおよそ単語の4分の3）の中に収まります。あなたのプロンプト、貼り付けた文書、これまでの会話、そして書かれる回答が、その一つの予算を共有します。

ですから「忘れる」のは不具合ではなく、初期状態です。新しいチャットが始まるとウィンドウは空です。ウィンドウを超えると、古い内容は視界から外れます。モデルは人間のように忘れているのではなく、あなたのコンテキストをそもそもどこにも保存しておらず、与えた分も持続しないのです。この考えを覚えておいてください。重要なのはウィンドウの大きさではなく、あなたのコンテキストがどこに存在し、肝心なときにどうやってモデルの前に届くか、です。

ありがちな対処はそれぞれ壁にぶつかります。プロンプトをどんどん長くしても、ウィンドウを早く埋めるだけで、結局あなたは毎セッション手作業ですべてを貼り直しており、手間は消えません。自分のデータでモデルをファインチューニングするのは、費用がかかり、更新が遅くて古くなり、検査も引用もできない重みに知識を焼き込むため、出典をたどれないままです。

巨大な会話を延々と続ける方法は、初期のコンテキストが静かにウィンドウから押し出され、モデルが1時間前に「知っていた」ことと矛盾し始めるまでは役立つように見えます。どれも、あなたが本当に欲しいもの、つまり持続し、最新で、検証できるコンテキストを与えてはくれません。痛みを取り除くのではなく、移動させているだけです。

持続する解決策は、コンテキストをモデルの外、つまり自分の文書のライブラリに保ち、質問ごとに関連する箇所だけを取得することです。これは検索拡張生成、RAGと呼ばれます。すべてをウィンドウに詰め込む代わりに、ツールがファイルを検索し、その質問に関係する数箇所だけを引き入れ、モデルはそこから答えます。あなたの実質的な知識はどんなウィンドウよりはるかに大きくできます。知識はライブラリに存在し、毎回関連する一部だけが読み込まれるからです。

検索は回答を検証可能にもします。これは実務で最も重要な部分です。モデルは具体的に取得された箇所をもとに作業するため、よく作られたツールはそれぞれを引用でき、あなたは正確な出典を開いて、信用するのではなく確認できます。持続するコンテキストと引用、この組み合わせこそが、説明の繰り返しのループをついに終わらせます。

日々の違いは静かですが大きいものです。AIを準備するのをやめ、ただ尋ねるようになります。必要な背景は自分のライブラリから引き出されてすでにそこにあるので、「これらの契約書で更新条件について何を合意したか」といった質問が、該当する条項を正確に引用した直接の回答を返し、あなたは12のファイルを読み直す代わりに数秒で検証します。もうあなたはAIの記憶役ではありません。

これこそTatsulokが目指す体験です。文書を非公開のライブラリに保ち、平易な言葉で質問すると、すべての回答が出典の該当箇所まで引用され、ハイライト表示されたプレビューと元の文書へのリンクで示されます。コンテキストはセッションやサーフェスをまたいで持続し、文書とプロンプトはいかなるAIモデルの学習にも使われず、通信時も保管時も暗号化され、誰が何を見られるかはあなたが制御します。AIがついにあなたのコンテキストを知り、しかもそのすべての回答を証明できるのです。