デロイトのAI報告書返金事件。欠けていた確認ステップの解剖

2024年12月、オーストラリアの雇用・職場関係省は、福祉義務を怠った求職者に罰則を科す自動化システム「Targeted Compliance Framework」の独立保証レビューをデロイトに委託しました。237ページの報告書は2025年7月に公表され、一流ファームの納品物そのものに見えました。構造化され、参照が付き、流暢でした。

その磨かれた体裁の中に、捏造が座っていました。連邦裁判所の判決に帰属された、判決には存在しない引用。ルンド大学とシドニー大学の実在する教授たちに帰属された、書かれたことのない論文への参照。デロイトは後に、Azure OpenAI GPT-4oベースの生成AIツールチェーンが報告書の作成に使われたことを認め、契約の最終支払い分の返金に応じました。AI利用を明記した修正版が、元の報告書を置き換えました。

誤りを見つけたのは、調達チェックリストでも、別のAIでも、ファーム自身のレビュー層でもありません。シドニー大学の福祉政策研究者クリス・ラッジ氏です。報告書を丁寧に読み、具体的なことに気づきました。自分の同僚が書いたことになっている論文が、存在しないと知っていたのです。

この細部は、じっくり味わう価値があります。世界的コンサルティングファームと国家政府の間にあるすべての制度的な安全装置が、捏造を通しました。どの層でも、報告書は「どう読めるか」で審査され、「出典が支えているか」では審査されなかったからです。確かめた唯一の読み手は、驚けるほどその領域を知っていた人でした。検証は、難しいから失敗したのではありません。上流の誰も、自分の仕事だと考えなかったから失敗したのです。

この失敗にAI特有の珍しさはありません。このシリーズで書いてきたパターンそのものです。モデルは、弱い素材も捏造された素材も、堅実な素材と同じ自信に満ちた文体で語り直します。だから捏造された脚注は、本物の脚注とまったく同じように読めます。レビュープロセスが捕まえるよう調整されているのは流暢さの乱れであり、流暢さは完璧でした。

経済性が事態を悪化させました。主張を確かめるにはその背後の出典を開く必要があり、237ページの報告書は数百の主張を載せています。各チェックを安くする道具立てがなければ、完全な検証の正直なコストは法外に見え、組織は静かにそれを飛ばして祈ります。デロイトの一件は、その祈りが返金付きで一面記事に着地したときの姿にすぎません。

解決策は、成果物からAIを締め出すことではありません。問題はAIが執筆を助けたことではなく、各主張から証拠へ戻る安価な道が存在せず、クライアントより先にその道を歩いた人がいなかったことです。

機能する確認ステップは3つの部品からなります。第一に、来歴の作り込み。ドラフト内のすべての事実的主張が、由来する該当箇所へのリンクを持ち、チェックが調査プロジェクトではなくワンクリックになること。第二に、重要な範囲に絞った検証パス。撤回したら最も恥ずかしい主張、提言を動かす数字、驚いたものすべて。第三に、所有権。成果物に名前が載る人がそのパスを実行すること。全員が「下の層がやったはず」と仮定するとどうなるかを、デロイトの物語は示しています。

最後の点は、コンサルティングの外にも一般化します。署名する人が、確認する人。チームのAI活用ワークフローで使われるのと同じルールです。

これがTatsulokの設計姿勢です。回答はあなたの文書とキュレーション済みコレクションだけから生まれ、すべての主張が該当箇所にリンクし、欠落はもっともらしい創作で埋められる代わりに正直に語られます。デロイトの報告書に欠けていた確認ステップが、そのままインターフェースになっています。主張を読み、該当箇所を開き、あなたが判断する。提案は、人が承認するまで提案のままです。

今週の練習です。登録は要りません。あなたやチームが最近出荷したAI活用文書を1つ取り出し、間違っていたら最も痛い主張を3つ選んでください。それぞれを出典までたどります。3つともきれいにたどれたなら、保つ価値のある確認習慣を持っています。1つでもたどれなければ、デロイトが見つけたのと同じ欠落を、はるかに安い値段で見つけたことになります。