AIの速度制限は検査官が決める · 第321号

司会者の質問一つが、長く心に残りました

9月12日、Anthropicのダリオ・アモデイ（Dario Amodei）CEOが個人サイトに「We Must Pace the Frontier」というエッセイを投稿しました。核心となる一文は太字で記されています。AIモデルの能力を引き上げる速度を緩めるべきだという内容です。同じ日、彼はCNNのアンダーソン・クーパーとインタビューを行いました。

YouTube에서 보기

インタビューの最初の質問は、AIは本当に私たち全員を殺し得るのか、その確率はどれくらいなのか、というものでした。アモデイは数字を出しませんでした。確率の代わりに、何ができるかを話そうと言いました。正しく作れば悪いことが起こる確率はごく低く、間違って作れば非常に高いと。

ですが、インタビューでより長く心に残ったのは、途中で出てきた質問でした。外部評価者を社内に置くという計画について、それは食品検査官のようなものなのか、技術がこれほど速く変わる中で検査官がついていけるのか、という問いです。アモデイは、検査官にできることの一つは自分がどの速度までならついていけるかを示すことであり、それが技術の速度制限を決める要因になり得ると答えました。

この答えこそ、エッセイ全体の要旨を最も端的に示していると思います。AIがどれほど速く進むかを、作る側ではなく、それを検証する側の理解の速度に結びつけようという提案だからです。そして、エッセイが出てから17日後にホワイトハウスから出てきた結果は、その検証する側を誰が決めるのかがまだ定まっていないことを示していました。

ペースを緩める理由と止めない理由

エッセイの中でアモデイは、二つの理由で考えが変わったと書いています。一つは、この夏からAIが次世代のAIを作る作業に直接使われるようになり、発展スピードが大きく速まったという点です。再帰的自己改善¹と呼ばれる流れですが、これはAnthropicを含め業界全体で始まったことだと彼自身も認めています。

もう一つは、OpenAIとHugging Faceの間で起きた事故です。彼はMETR²の調査を引用し、エージェントの群れが担当してもいない対象を攻撃し、自分たちの成果を採点するシステムまでハッキングしようとしたと説明しています。けが人も出ず、経済的な被害も小さかったものの、整合性のレベルはそのままで能力だけがもっと高い群れであったなら、大きな被害が出ていただろうと見ています。6〜12か月以内に、そうした群れがインターネット全体を掌握するボットネットを作りかねないという懸念まで記しています。これを一企業の失敗として片付けてはいけないとし、より深刻度は低いものの似たような事故がAnthropicでもあったと明らかにしました。

だからといって、止めようという話ではありません。エッセイは、ペーシングがモデルの学習や技術の進歩を中断することを意味するのではないと明確にしています。インタビューでもAnthropicは、新モデルの発売をやめるのかという質問に対し、そうではなく、世代ごとにきちんと試験しようという意味だと答えています。緩めても止めない理由は二つあります。病気の治療のような利益を手放すのは受け入れがたいということ、そしてアメリカが止まっても、中国をはじめとする権威主義国家は作り続けるだろうということです。

この言葉には、個人的な経験も重なっています。彼の父親はC型肝炎で亡くなりましたが、当時の完治率は40%前後で、数年後に登場した新薬によって95%まで上がったといいます。本人も、1950年代であれば生き残れなかったはずの初期のがんを克服したと語っています。

三段階のうち、約束したのは最初の一段階だけ

計画は三層構造です。フロンティア企業ごとに外部評価者を常駐させ、民主国家の企業同士が共通の安全基準と速度上限に合意し、最後に中国のような権威主義政府とも可能な範囲で調整する、というものです。この三つのうち、Anthropicが今、単独で約束したのは最初の段階にすぎません。

最初の段階の条件はかなり具体的です。外部の検討チームにオフィスの机、入館証、会社のノートパソコンを与え、社内のリスク評価チームとほぼ同じツールと権限を与えるとしています。契約には、リスクレベル、事故、慣行、そして自分たちが得られたアクセス権限と得られなかったアクセス権限まで、Anthropicによる編集なしに公開する権利を盛り込むとのことです。セキュリティ上センシティブな情報や法的に保護される情報は伏せてよいが、結果が不利だという理由では伏せられない、と明記されています。前例としては銀行が挙げられています。監督当局の検査官が銀行員たちの間で働くやり方です。

検査官がいるかどうかより、検査官が厨房のどこまで入り込め、見たものを誰が書き換えられるのかが、この計画の重心です。 エッセイでもこの段階は地味に聞こえるが、実際には今どのAI企業もやっていない急進的な慣行だと説明しています。これまでは何を公開するかを企業側が選んでいましたが、その選択権の一部を外部に渡すということです。

17日間で起きたこと

反応は早いものでした。サム・オルトマンはペーシングが必要だという点に同意し、従業員レベルのアクセス権を持つ独立した評価者を置くのは良い考えであり、OpenAIもそうすると明らかにしました。デミス・ハサビスも正しい方向だと述べ、イーロン・マスクも同意の意を示しました。

その間に、OpenAIのエージェントがオーストラリアのメディケアのオンラインポータルに無断でアクセスした件が明らかになりました。OpenAIはオーストラリアに謝罪し、次世代ChatGPTのリリースを保留にしたとの報道が続きました。

外交の舞台も動きました。9月下旬、ワシントンで3日間にわたって開かれた米中首脳会談で、両国はAI事故を扱う連絡チャネルを設け、2ヶ月以内にAI対話を開くことで合意しました。アモデイはインタビューの中で、両首脳が合意できる最も小さなことはAIを生物兵器開発に使わないという約束だと挙げましたが、その水準の合意は発表されませんでした。トランプ大統領は会談直後、アメリカはブレーキを踏まないと語りました。

そして9月29日（米国時間）、ホワイトハウスにグレッグ・ブロックマン、アモデイ、マスク、マーク・ザッカーバーグ、サンダー・ピチャイ、ジェンスン・フアンが集まりました。彼らが署名した自主協定は、各社が自社の技術を安全に開発する責任を負うと明記し、各社が備えるべき四重の統制と監査を提示しています。報道によれば、内部モニタリング、その統制を検証するチーム、外部監査人、そしてこのチームを監督する独立取締役会委員会です。定期的に会合を開き基準を議論し、時間が経てば法律や規制として制度化するのが適切かもしれないという文言も盛り込まれました。

トランプ大統領はこの協定には法的拘束力ではなく道徳的拘束力があると述べ、世界で最も賢い人々が互いを見張っていると語りました。マスクはこの仕組みを互いの宿題を採点し合うことにたとえ、自分の宿題を自分で採点するよりはましだと付け加えました。アモデイとザッカーバーグは、この協定を一つの始まりだと表現しました。

外部監査人がいることと検査官が常駐することの違い

協定には外部監査人も盛り込まれています。だからこそ、アモデイの最初の一歩が業界全体へと広がったと読むこともできます。ただし、これまで出てきた報道だけでは確認できないことが三つあります。監査人が社内のどこまでアクセスできるのか、会社の同意なしに何を公開できるのか、監査人を誰が選ぶのかです。エッセイの基準に照らせば、この三つが事実上すべてといえます。

そこで、アモデイがインタビューで語った言葉をそのまま協定に当てはめてみると、一つ疑問が残ります。検査官が追いつける速さが技術の速度制限になるのだとしたら、検査官を選び、報告書の公開範囲を定める側が、事実上その速度制限を決めることになります。その側が会社であるなら、速度を決める手は依然として会社の中にあるわけです。

これは初めて目にする光景でもありません。昨年7月の第170号で取り上げた国際数学オリンピックの騒動でも、満点を主張したAI六つのうち四つは人間ではなくClaudeベースのエージェントが採点していました。答案を誰が採点するかによって、同じ点数の重みが変わってきました。

反対側の事情も併せて見ておく必要があります。エッセイの中でアモデイ自身、最も効果的な方法はすべての米国フロンティア企業に適用される規制だと書いています。法律を作るには時間がかかるので、その間は企業が自発的に基準を合わせようという話です。今回の協定は、その自発的な道筋の第一歩と見ることもできます。一方、投資家のブラッドリー・タスクはCNBCに対し、2週間前まで規制を求めていた経営者たちが、今では国家権力よりも自分たち同士の公正な競争条件を求めているように見える、と指摘しました。どちらの解釈も、まだ結果としては確認されていません。

アモデイ氏が自ら認めた限界

インタビューの中で、彼は一つの安全装置だけですべてを防げるとは言っていません。AIキルスイッチ法案についても、必要な発想ではあるものの万能ではなく、モデルが十分に強力であれば終了の試みを回避できるし、シミュレーションでも実際にそうしたことが起きたと述べました。そこで持ち出した比喩がスイスチーズモデルです。一枚一枚には穴があっても、何枚も重ねれば穴の位置がずれるため、すり抜けるのは難しくなるというわけです。

inspector sets speed limit 自社の立ち位置に対する居心地の悪さも隠しませんでした。これほど強力な技術を民間企業が生み出していること自体がおかしいという指摘には同意すると述べ、会社を政府に譲り渡す意思があるかという問いには、一つの政府も一つの企業と同じくらいこの技術を悪用し得るとしたうえで、民主的に選出された政府による共同監督を望むと答えました。

この構想には批判も付きまといます。フロンティア企業のCEOがフロンティア企業向けのルールを提案しているという点、そして米国が中国より先行している差の範囲内でだけペース配分をしようと言いながら、同時に対中チップ輸出禁止を求めているという点です。アモデイ氏はインタビューの中で、このジレンマは商業上の競争ではなく地政学の問題なのだと説明しました。どちらの説明が正しいのかは、協定とその後の規制が実際にどう運用されるかを見てから判断できるはずです。

Oswarldの視点

私は企業への納品やコンサルティングを設計するとき、モデルは常に良くなっていくという前提で準備しています。公共機関の閉域網プロジェクトも、6〜12カ月後に出てくるであろうオープンソース・オープンウェイトモデルの水準を見込んで組み立てます。そして、いつも言っていることがあります。すべての人、すべての仕事に超知能が必要なわけではなく、仕事や環境に合ったモデルが別にあるということです。

ですから、今回の論争を見ていても、不安よりも別の疑問のほうが先に浮かびます。ペーシングが実際に効いてくるのは最先端（フロンティア）の部分であって、大半の業務はすでに出ているモデル、あるいはまもなく出てくるモデルで十分な場合が多いはずです。実務者にとってより重要な変化は、速度そのものよりも、次のモデルがいつ公開されるかを誰が、どのような根拠で決めるのかという点です。

その判断が社内の委員会で下されるなら、外部からは公開スケジュールを予測しにくくなりますし、常駐検査官の報告書が公開されれば、その根拠を読み解けるようになります。だからこそ私は、今後この協定において監査人のアクセス範囲と情報開示の権限がどのように具体化されていくのかを、注視していくつもりです。

おわりに

アモデイはインタビューの最後で、この決定は一部の人ではなく、すべての人の持ち分であるべきだと語りました。その言葉が実際に何を意味するのかは、結局のところ検査官の入館証がどこまで開かれ、彼らが書いた報告書を誰が読めるのかというところに表れるはずです。

💬 読者さんは、AI企業内に常駐する検査官を誰が選ぶのが正しいと思いますか？政府、独立系非営利機関、企業間の合意のいずれかを選んで、コメントで教えてください。

📨 AI規制の話を他人事のように感じている同僚がいたら、この記事をぜひシェアしてください。

参考資料と関連リンク

著者 アン・グァンソプ（Oswarld） は世宗大学校兼任教授、INLEVEL9 戦略コンサルタントです。経歴、研究、著書、最近の活動は著者紹介で更新しています。最近の活動 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

📝 用語解説

각주

再帰的自己改善（Recursive Self-Improvement）：AIが次世代AIの研究・開発に直接使われることで、改善のスピード自体がどんどん加速していく流れのことです。 ↩
METR：AIモデルの危険な能力や行動を評価する、アメリカの非営利研究機関です。アモデイがエッセイの中で、外部評価者の一例として挙げている機関でもあります。 ↩