AI検出器は米独立宣言書すら「AIが書いた」と判定した
スタンフォード大の研究では非ネイティブのTOEFLエッセイ91編の61.3%がAIの文章と誤分類され、1776年の独立宣言書も95〜100%AIと判定されました。検出スコアを証拠として使ってはならない理由を整理しました。
社会志望動機書をあえて「完璧でなく」手直しした人たち
米アイダホ州立大学で化学を専攻していたローレン・ジェイガーは、博士課程への出願中、奇妙な警告を目にしました。一部の出願ポータルに「志望動機書にAIで書いた痕跡が検知された場合、出願書類全体を無効とする」と書かれていたのです。ジェイガーはAIなど使っていませんでした。しかし不安になって自分の文章をいくつかのオンライン検出ツールに入れてみたところ、どれも「ほぼ100% AI」と表示されました。
ジェイガーは結局、志望動機書を書き直しました。それも、より良い文章にするためではなく、検出器に引っかからないようにあえて「完璧でなく」したのです。そうして判定スコアを30%まで下げ、「これくらいなら大丈夫だろう」と提出したそうです。(幸い、彼女はユタ大学の博士課程に合格しました。)
同じ頃、インターネット上ではさらに呆れた出来事が話題になっていました。1776年に起草されたアメリカ独立宣言書をある検出器にかけたところ、「95〜100% AIが書いた」と判定されたのです。250年前の文書に対してです。
大学が不正行為を取り締まるために使っているこれらのツールは、実際にはどれほど正確なのでしょうか。検出器が時に間違えること自体よりも、間違える可能性のあるツールが出したスコアを確定的な証拠のように扱うことのほうが、はるかに大きな問題です。
🔍 大学が検出器にすがる理由
ChatGPTのような生成AIの登場により、文章を代筆してもらうコストは事実上ゼロに収束しました。ウェスタンシドニー大学で学術的誠実性を担当するキャス・エリスは、これを「規模の根本的変化」と呼びます。以前から代筆は存在していましたが、現在は「少なくともかなりの部分が捏造されたり飾られたりした成果物の流入量そのものが爆発した」というわけです。
問題は、従来の武器が通用しない点にあります。Turnitinのような盗用・剽窃チェックツールは、膨大な既存の出版物と文章を照合して「コピーした痕跡」を探し出します。しかし生成AIが作成した文章は、どこかから丸ごと盗用したものではなく、その都度新しく組み合わされます。照合すべき原文が存在しないため、盗用チェックには引っかかりません。AIは過去の膨大な文章を学習して文を生成しますが、その出力結果は学習元の原文と文章単位で一致するわけではありません。そのため、既存のテキストと照合する盗用チェックでは捕捉できないのです。
そこで登場したのが、「この文章は別のAIが書いたものだ」と判別できると主張する検出ツールです。Copyleaks、GPTZero、ZeroGPT、さらにはGrammarlyやQuillBot、Turnitinが開発したツールまで市場に出回っています。押し寄せる課題や出願書類を前に、大学や大学院はこれらのツールに頼り始めました。