AIのコンテキストとは何か。なぜすべての回答の質を左右するのか

AIにおけるコンテキストとは、学習時に得た知識とは別に、回答するその瞬間にモデルへ与えられるすべての情報を指します。これには、与えられた指示、会話の履歴、その質問のために取得された文書やデータ、そしてモデルが呼び出せるツールの出力が含まれます。これらが合わさって、その一つの回答のためにモデルが推論する作業記憶を形づくります。

これは、固定的で一般的、かつ検証できないモデルの学習知識とは異なります。学習知識があるからこそモデルはほぼあらゆる話題について流暢に書けますが、あなたの契約書や社内規程、データセットに即して語れるのはコンテキストがあるからです。回答が一般論的で的外れだと感じるとき、その原因はほぼ常に、モデルが非力なのではなく、コンテキストが欠けているか誤っていることにあります。

コンテキストを持たないモデルは、一般的な学習データからしか答えられないため、もっともらしくても、あなたの現実とは結びつかないものを生成します。適切なコンテキスト、つまりあなた自身のファイルから取り出した関連箇所を与えれば、モデルはあなたの状況について的確に答えます。回答の質を最も大きく左右するのは、質問の巧みさではなく、モデルが見るコンテキストの関連性です。

ここは誤りが生まれる場所でもあります。コンテキストに肝心の文書が欠けていたり、誤った文書が含まれていたりすると、モデルはその隙間を自信に満ちた推測で埋めます。これが、いわゆるハルシネーションとして体験されるものです。したがってコンテキストを正しく整えることは、あれば良い程度のことではなく、一般的なチャットボットと、実務で頼れるアシスタントとを分ける決定的な差なのです。

コンテキストは層として組み立てられます。最初の層はシステム指示で、モデルの役割と規則を定めます。次の層は会話の履歴で、これによりモデルはこれまでの議論を覚えています。そして専門的な業務で最も重要な第三の層が、取得された文書です。手元の質問に答えるために、あなた自身のファイルから引き出された具体的な箇所のことです。第四の層は、検索やカレンダーといった連携ツールからの最新データです。

あなたの知識が回答に入り込むのは、この文書の層です。一般的なチャットボットには最初の二層と学習データしかなく、だからこそ社内資料について語れません。文書業務のために作られたツールは、ライブラリから適切な箇所を取得してコンテキストに置くため、回答が実際にあなたの保有する出典に基づきます。

Tatsulokは各回答のコンテキストをあなた自身の文書から組み立て、すべての主張を出典の該当箇所まで引用します。ハイライト表示されたプレビューと、元の文書へのリンクが付きます。ですからあなたは、コンテキストに形づくられた回答を得るだけでなく、どのコンテキストがそれを生んだのかを確認し、数秒で検証できます。

あなたの文書とプロンプトは既定で非公開に保たれ、通信時も保管時も暗号化され、いかなるAIモデルの学習にも使われません。どのファイルを対象にし、誰がアクセスできるかはあなたが決めます。その結果が、コンテキストがブラックボックスではなく検証可能な、あなたのコンテキストで動くAIです。