AI文書レビューの実力。何が得意で、どう使えば失敗しないか

文書レビューはナレッジワークの「読む」レイヤーです。解約を規定する条項を見つける、報告書を昨年版と突き合わせる、実際に何が合意されたかを確認する。AI文書レビューは、これらのファイルに言語モデルを向け、平易な言葉で質問して、回答、要約、条件の抽出、リスクの指摘を得られるようにします。

1つのラベルの裏に2つのアーキテクチャが隠れています。ファイル対話型のツールは、1会話につき1文書を読み解きます。グラウンディングされたライブラリ型のツールは、コーパス全体をインデックスし、文書を横断して回答し、各主張の出所を引用します。1ファイルの簡単な確認を超える作業では、以下のワークフローはすべて後者を前提としています。

LawGeexの研究は、今でも最も明快な直接対決です。経験豊富な米国企業法務弁護士20名とAIシステムが、合計153段落からなる5つのNDAをレビューし、法的リスクをマークしました。AIの平均精度は94%、弁護士の平均は85%。AIの所要時間は26秒、弁護士の平均は92分でした。見落とされがちな発見は人間側のばらつきです。最優秀の弁護士はAIと同じ94%に達し、最も低い弁護士は67%でした。

ただし、注意深く読む必要があります。課題は狭く、リスクパターンがよく知られた1種類の文書であり、研究は現代の汎用モデルより前のものです。現代のモデルはより有能ですが、即興で答える傾向も強くなっています。誠実な結論は「AIがレビューを置き換える」ではなく、「AIは最初の走査を高速かつ一貫したものにする。そして一貫性こそ人間の弱点だった」です。

失敗はランダムなノイズではなく、検証が最も難しい場所に集中します。モデルは条項をわずかに誤って言い換え、条件を誤った当事者に帰属させ、文書が沈黙している事項に一般知識から答えます。コロンビア大学Towセンターの測定では、最も優秀な汎用アシスタントでも37%の割合で出典を誤って引用し、捏造された判例引用はすでにMata対Avianca事件の5,000ドルの制裁金をはじめ、裁判所の処分につながっています。

これらの失敗に共通する性質が1つあります。どちらの場合でも、出力は流暢に読めるということです。回答を眺めても誤りは検出できません。出典を見ることでしか検出できない。だからこそ、モデル選びよりも、後述するツール選びのほうが重要なのです。

200倍の速度向上を享受しつつ失敗モードを引き継がない構成は、3つの部分からなります。

1. 網羅的な走査はAIに任せます。すべての文書、すべての条項、すべての相互参照。網羅性は人間が最も苦手で、機械が最も得意とする領域です。

2. すべての指摘を引用経由で処理します。該当条項そのものにリンクするリスク指摘は、数秒で確認または棄却できます。アンカーのない指摘は、自分でレビューするのと同じ時間がかかります。

3. 判断は人間に残します。この条項がこの案件、このクライアント、このリスク許容度にとって受け入れられるかは検索の問題ではなく、署名する人が最後まですべての行に責任を負います。

グラウンディング：回答はモデルの一般知識ではなく、あなたの文書から来なければなりません。文書に答えがないときは、そう言えるツールであるべきです。

該当箇所単位の引用：すべての主張が、その根拠となったテキストそのものにワンクリックでリンクすること。ページ単位や文書単位のポインタは、排除したかったはずの手作業の検索を静かに復活させます。

ライブラリ横断：レビューの質問は文書をまたぎます。5社のサプライヤー契約を一度に、今年の報告書を昨年版と突き合わせて。ツールも同じ範囲を扱える必要があります。

アクセス制御：レビュー対象は通常、機密情報です。既定で非公開のストレージと、明示的で監査可能な共有が必要です。

これがTatsulokの設計そのものです。非公開のライブラリ、その全体を横断する質問、そしてすべての回答のすべての文が根拠の該当箇所にリンクします。フィリピン法のようなキュレーション済み公開コレクションも横断できます。