AIのコンテキストウィンドウとは何か。なぜ長文書の作業を制約するのか

モデルは単語を直接読むのではなく、短い文章のかたまりであるトークンを読みます。英語では1トークンが単語の約4分の3にあたるため、1,000トークンはおよそ750語です。コンテキストウィンドウはトークンで測られ、数千から、最大級のモデルでは数十万、あるいは数百万へと急速に拡大してきました。

数字が大きいほど良さそうに見えますが、誤解を招くこともあります。ウィンドウは一つの回答のために、質問、取得された文書、これまでの会話、そして書かれつつある回答を同時に保持しなければなりません。あなたの文書に使える実際の余地は、常に表向きの数字より小さいのです。

専門的な業務では、長い契約書、分量のある報告書、ファイル群そのものを扱い、これらは容易にどのコンテキストウィンドウも超えてしまいます。超えた場合、モデルは資料のすべてを一度に考慮できないため、何かを除外せざるをえません。ツールが単純に切り詰めると、あなたの質問に答える肝心の箇所を落とすことがあり、しかもそれは知らされません。

だからこそウィンドウは、些末な技術論ではなく現実の制約なのです。一見完結した回答が、実は最も重要なページを視野に入れずに生成されていることもあります。重要度の高い業務では、回答が生成されたときに該当する出典が確かにコンテキストにあったと確かめる手段が必要です。

標準的な解決策は取得（リトリーバル）で、しばしばRAGと呼ばれます。すべての文書をウィンドウに詰め込むのではなく、ツールが質問ごとに関連する箇所をファイルから検索し、その箇所だけをコンテキストに置きます。これにより、ライブラリはウィンドウの外に存在し、関連する部分だけが質問ごとに引き入れられるため、モデルが利用できる実質的な知識はウィンドウをはるかに上回ります。

取得は回答を検証可能にもします。モデルは具体的に取得された箇所をもとに作業するため、よく作られたツールはそれぞれを引用でき、あなたは出典を開いて、回答が切り詰められた誤った資料ではなく正しい資料に基づいたことを確認できます。

Tatsulokは質問ごとに、ライブラリ全体から関連する箇所を取得します。そのため、コンテキストウィンドウに収まりきらないほど多くの資料についても質問できます。すべての回答は出典の該当箇所まで引用され、ハイライト表示されたプレビューと元の文書へのリンクが付くので、回答がどの資料を使ったかを検証できます。

トークンを管理したり、ウィンドウの上限を気にしたりする必要は一切ありません。あなたの文書は既定で非公開に保たれ、通信時も保管時も暗号化され、いかなるAIモデルの学習にも使われません。ウィンドウは、あなたではなくツールが管理すべき問題になります。