みんながAIの安全を語るのに、請求書は他人に送っています
速度を落とそうという側も、そのまま突き進もうという側も、同じ言葉を使っています。分かれるのは、コストを誰が払うかです。
ビジネス一週間のうちに、「安全」の意味が四回変わりました
読者さん、この一週間、AI業界で最も多く聞かれた言葉は「安全」でした。ところが、話す人が変わるたびに、その言葉が指す対象も変わりました。
9月12日土曜日、Anthropicのダリオ・アモデイがエッセイを発表しました。フロンティア研究所がモデルの能力を高めるスピードを1〜2年ほど意図的に緩め、安全性と整合性1研究が追いつく時間を確保しようという内容です。数時間のうちにサム・アルトマンが同意する旨の投稿をし、イーロン・マスクも「ダリオは正しい」と加勢しました。アルトマンを相手に訴訟中のマスクが、同じ日に同じ側に立ったわけです。
三日後の15日、Salesforceの年次イベントDreamforceの舞台で、ジェンスン・フアンはこの提案を「誤った二者択一」と呼びました。安全性と速度は同時に手にできるものであり、新しい法律も新しい規制も必要ないというのです。業界に贈った助言は短いものでした。「できるだけ速く走ってください」。同じ日、マーク・ザッカーバーグはSNSに反対の論理を投稿しました。自分の言うことを聞かないエージェントを使いたい人などいないのだから、研究所側にはすでにモデルを安全にする強い動機があるというわけです。
そして17日木曜日、Palantirのアレックス・カープがCNBCの生放送に出演しました。彼はこの論争が安全の問題ではなく責任の問題だと述べ、さらに一歩進んで「国有化」という言葉を口にしました。
四人とも安全について語りました。そして四人の主張は、それぞれが立つビジネス上の立場とほぼぴったり重なります。今回は誰が正しいかを判定するよりも、それぞれの主張に付いた請求書が誰宛てに送られるのかを追ってみます。速度を落とせば、そのコストは誰が払うのか。速く進んで事故が起きれば、誰が償うのか。
アモデイの提案は、政府なしでは始められません
アモデイのエッセイは三つのことを提案しました。第一に、外部の独立した評価者を研究所の内部に入れ、社員に近いアクセス権限でモデルを検査させること。第二に、研究所同士が安全基準を揃えること。第三に、最も危険な能力については、最終的に政府が後ろ盾となる国際的な上限を設けることです。
ここで注目すべきは二つ目です。競合企業同士が「モデルをどのくらいの速さで作るか」について合意することは、法的に見れば談合に近いものです。そのため、アモデイは、研究所同士が安全性について議論しても談合として処罰されないよう、ワシントンに狭い範囲の反トラスト法適用除外2を求めました。エッセイの中でも、速度調整に効果的な調整の一部は法的に扱いが難しく、政府の支援が必要だと記しています。
一つの研究所だけが速度を落とせば、その空いた位置を別の研究所が奪います。だからこの提案は、構造的に一社だけでは実行できません。速度を落とすコストは先頭を走る研究所自身が引き受けるということですが、その約束を束ねる紐は政府が握っています。問題はその政府の反応です。トランプ大統領は週末のあいだに、AIに必要なガードレールは強くて賢い大統領だけだという投稿をしました。少なくとも今のワシントンは、この紐を握らせる気はなさそうです。
公平を期して付け加えると、アモデイはDreamforceで自動車会社のたとえを挙げました。競合企業に安全上の事故が起きたら、相手を攻撃するよりも自社の工場をまず点検すべきだというのです。競合他社について「あの人たちは危険だ」と言いたくなる誘惑は大きいとも述べました。自分の提案が競合への牽制として読まれかねないことを、本人も分かっていたわけです。
黄とザッカーバーグは減速のコストを負担しないと言っています
ジェンスン・ファンがこの提案をまるごと拒否したわけではありません。外部の第三者がフロンティア研究所の安全性を評価するという部分には同意しました。拒否したのはスピード調整のほうです。アメリカが減速すれば、アメリカのAIに追いつこうとする国々に優位を譲り渡すことになる、というのがその理由でした。
この説明はそれ自体としては筋が通っています。同時にNvidiaは、研究所がより大きく、より多くのモデルを作るほど、チップを多く売れる会社でもあります。二つの理由は互いを排除しません。ただし、ファンが受け入れた部分（事後評価）はチップ需要を減らさず、拒否した部分（スピード調整）はチップ需要を直接減らすという点は指摘しておく価値があります。
ザッカーバーグの論理は市場です。ユーザーは自分の意のままに動かないエージェントを使わないだろうし、信頼と整合性に注力しない研究所は取り残されるだろう、と彼は述べました。研究所には莫大な責任を避けようとする自然な動機がある、とも付け加えました。この構図では、請求書は事後に、市場とユーザーのもとに届きます。選ぶのはユーザーであり、作り方を誤った会社はそっぽを向かれるか、責任を取ればよい、というわけです。
もう一つ見ておく価値があるのは順序です。スピードを合わせようと言っている側は、次世代モデルに最も近いところにいるAnthropicとOpenAIです。今スピードを合わせれば、今の順位がそのまま固まります。追いかける側からすれば、この合意が歓迎されるはずがありません。
カープはこれをすべて「請求書の移転」として読みました
カープのインタビューは散漫でした。インタビュー中にも進行役が「どういう意味か」と改めて聞き返すほどでした。それでも主張の骨格を拾い出すと、三段階になります。
第一に、顧客は怒っている。カープは、パランティアの米国企業顧客たちが、自社の事業の進め方やデータ、つまり自社ならではの競争力がモデルの中に取り込まれ、隣の競合他社にまで流れていったと感じている、と述べました。クローズド型モデルのトークン価格が安いのも、市場を広げるためではなく、顧客の知的財産を得てモデルを改善するためのものであり、これについての正直な開示がなかった、というのが彼の主張です。
第二に、だから研究所は無限責任を負う。顧客が訴訟を起こす可能性があり、研究所自身が警告するとおり世界的な被害が発生しうるのなら、その危険を引き受けられる機関は政府しかない。カープはこれを二度の移動として説明しました。まず企業の価値が研究所に移り、次に責任を軽くするために研究所の価値が政府に移る、というものです。その過程で最も大きく失うのは「他人事だと思っていた」投資家たちだ、とも述べました。
第三に、責任が先だ。化学会社であれ病院であれ、あらゆる事業は自分が作ったものが害を及ぼせば民事、時には刑事責任を負います。知らなかったからといって免責されるわけでもありません。カープの言葉を借りれば、第一の防衛線は「自分の行動に対する責任」です。社会レベルの規制をまず求めるのは、この第一の防衛線を飛び越えようとするものだ、と彼は見ています。
この読み方には明らかに弱い部分があります。トークン割引が知的財産収集のためだという話は、カープの主張にすぎず、根拠は示されていません。主要な研究所は、企業向けAPIを通じて入ってきたデータを基本的に学習には使わないと利用規約で明示してきました。また、これまで報じられているアモデイのエッセイは、調整のための政府支援と国際的な上限について述べただけで、国有化や責任の上限を求めているわけではありません。カープ自身も、アモデイがそう言ったわけではなく「そう言えないだけだ」と述べています。結局、国有化はカープが付け加えた解釈です。
しかし、第三段階は軽く見過ごすことができません。アモデイが挙げた自動車の比喩をそのまま続けるなら、自動車産業における安全の第一の仕組みは業界協約ではなく、リコールと製造物責任です。事故の請求書を誰が受け取るのかがまず決まっていて、その上に基準や規制が積み上げられます。AIをめぐる議論では、この順番が空白のままです。
カープ自身の請求書はどこへ向かうのか
カープの診断をもう一度、裏返して見る必要もあります。「閉鎖型モデルはあなたの秘密を持っていく」という診断の次に彼が出した処方はこれです。秘密がかかった仕事はオープンウェイト3モデルに移し、その上にアプリケーションレイヤー4を載せて自分で事後学習5せよ、というものです。そして、そのアプリケーションレイヤーを売る会社がパランティアです。カープはNvidiaとともにこの「主権」の流れを始め、需要があまりに多く、同盟国からの要請すら全部は受けきれないほどだと語りました。
彼が描く未来も同じ方向を向いています。企業は複数のモデルを混ぜて使うようになり、本当に秘密がかかった仕事はオープンウェイトへ、アルゼンチンのマーケティング文言のような仕事は閉鎖型へ、という具合です。
ここで面白いのは、フアンとカープの関係です。規制についての発言は真逆です。フアンは新しい法律は必要ないと言い、カープは責任を重く問うべきだと言いました。ところが二人とも、顧客が自分のGPU上で自分のモデルを走らせる世界でお金を稼いでいます。言っていることは正反対なのに、請求書を送る先は同じです。閉鎖型ラボの側です。
ここまでを一枚の表にまとめると、こうなります。
| 誰が | 何を語ったか | コストを誰が払うか | ビジネス上の立ち位置 |
|---|---|---|---|
| アモデイ・オルトマン | スピードを合わせよう | 先頭ラボの時間、調整を許す政府 | 次世代モデルに最も近い閉鎖型ラボ |
| ジェンスン・フアン | できるだけ速く、新しい法律は不要 | 事後評価に委ねられたリスク | ラボが大きくなるほどチップを売る会社 |
| ザッカーバーグ | 市場が自然にろ過する | 選択するユーザー、事後の責任 | 先頭集団を追う側 |
| カープ | 責任が先、結局は国有化に向かう | ラボとその投資家 | オープンウェイトの上のアプリケーションレイヤーを売る会社 |
主張とビジネスが重なっているからといって、その主張が偽りだという意味ではありません。アモデイは自社のスピードも落とそうと言い、カープの責任の論理はパランティアにも同じように当てはまります。ただ、それぞれが提案する規則の中で自分が払う分が最も小さいという点は、少なくともこの論争を聞くときに覚えておく価値があります。
Oswarldの視点
私は企業への納品やコンサルティングを設計する際、「モデルは常に良くなる」を前提に準備します。公共機関の閉鎖網環境をセットアップする際も、6〜12カ月後に出てくるオープンウェイトモデルがおおよそどのレベルになるかを期待してプロジェクトを組みます。今入れるモデルより、半年後に入れ替えるモデルのほうを重視しているわけです。
だからこの論争を読みながら私がまず確認したのは、誰が正しいかよりも、この前提が揺らぐかどうかでした。私の判断はこうです。もしAnthropicとOpenAIが実際に速度を合わせるなら、遅くなるのは合意に入った閉鎖型の先頭研究所です。合意に反対した側、そしてそもそも合意のテーブルにいない中国のオープンウェイト研究所は走り続けます。そうなると、閉鎖型の最新モデルとダウンロード可能なモデルの差は縮まる方向に動く可能性が大きいです。
その結果は逆説的です。遅らせようという提案が受け入れられるほど、企業が機密をオープンウェイトに移す理由は大きくなり、それはKarpが売り込む方向です。反対に提案が頓挫すれば、先頭研究所は先を行き続けますが、Karpが指摘した責任の問題はそのまま残ります。どちらにせよ、発注する企業が見るべきことは同じです。どのモデルがより安全だという宣伝よりも、自社のデータが学習に使われるかどうかと、事故が起きたときに契約上誰が責任を負うのかを先に読むことです。今週の論争でこの条項を巡って争った人は誰もいませんでした。
おわりに
カープはインタビューでポーカーの最初の教訓を口にしました。テーブルで誰がカモかわからないなら、カモはあなただというものです。投資家たちに向けた言葉でしたが、今週の論争を見守った人すべてに当てはまる言葉に聞こえました。
各自が自分の取り分が最も小さくなる規則を提案するのは、おかしなことではありません。事業をしている人なら誰でもそうします。注目すべきは、その請求書を結局受け取ることになる人たち――モデルにデータを投入する企業、その企業に資金を出した投資家、そして事故の影響を受ける市民――が、今回の論争の舞台の上には誰もいなかったという点です。
💬 今、会社で使っているAIサービスの利用規約で、データ学習と責任条項を自分で確認してみたことはありますか？確認してみた方は、何が一番意外だったかコメントで教えてください。
📨 今週のAI安全論争を見出しだけで知った同僚がいたら、この記事をシェアしてください。
参考資料と関連リンク
Leading AI labs may need to be nationalized because risks are so high, Palantir’s Karp tells CNBC (CNBC, 2026.9.17)
📝 用語解説
각주
-
アラインメント（alignment）：AIが人間の意図した目標や価値観に沿って行動するようにするための研究や技術です。 ↩
-
反トラスト免除：本来であれば談合として処罰対象となり得る競合企業間の協議を、政府が特定の目的に限って認める措置です。 ↩
-
オープンウェイト（open-weight）：学習済みモデルの重みを公開し、誰でもダウンロードして自分のサーバーで動かしたり改造したりできるようにしたモデルです。 ↩
-
アプリケーションレイヤー：モデルの上に企業のデータや業務フローをつなぎ込み、実際の仕事を行わせるソフトウェア層です。 ↩
-
事後学習（post-training）：すでに作られたモデルを、特定の業務やデータに合わせて追加で学習させる工程です。 ↩