米中AI競争は止まるのか:Sakana AI石井順也氏が語る規制の停滞、防衛AIの現状、「暴走」論の見方

YouTubeで開く ↗
概要

米中首脳会談でAIの管理が議題になり、AIが暴走して人類を滅ぼすのではないかという議論も広がっている。こうした状況で、米中のAI開発競争はどこへ向かうのか。安全保障の現場ではAIがどう使われているのか。Sakana AIで防衛・インテリジェンスを担当する石井順也氏がPIVOTの番組で語った。石井氏の見立てでは、米中はどちらも開発にブレーキをかけるつもりがなく、競争は当面減速しない。一方でAIの「暴走」とされる現象の多くは、AIが自律的に化け物になったからではなく、人間が安全装置を緩めた結果だという。収録日は9月30日である。

17分で読めます
1:32

外交官出身者がAI企業にいる理由

石井氏は外務省に約10年勤め、在米大使館などで外交官として働いた。その後、総合商社系のシンクタンクで政治経済情勢のアナリストを務め、約1年前の10月にSakana AIに入社した。共同創業者の一人も外務省出身で、石井氏とは25年ほどの付き合いがある親友だという。その創業者がAIを外交・安全保障、防衛、インテリジェンスに使いたいと考えており、石井氏自身も以前からAIに強い関心を持っていたため参画した。

AI企業に防衛・インテリジェンス担当がいる理由について、石井氏は次のように説明する。AIはもともと民間向けの技術中心の分野だったが、米中首脳会談を見れば分かるように、今では国家戦略や安全保障で非常に重要な役割を担っている。Sakana AIは防衛・インテリジェンス・安全保障でのAI活用を考えているため、地政学や国際関係の知識がなければ日本の国益に貢献する仕事はできない。優れたAIエンジニアは多いが、彼らは技術の観点から物事を見ており、主権や外交、国際関係の領域は十分にカバーされていなかった。そこを多様なバックグラウンドを持つメンバーと協力して補っているという。

外務省での経験が役立つ場面として、石井氏は3つ挙げた。1つ目は、米中競争や各国のAI政策の行方、それが安全保障に持つ意味の分析である。2つ目は、その分析を踏まえて自社が防衛やインテリジェンスの事業で何ができるかを考えることだ。具体的には、政府機関の情報分析の現場で何が必要かを見極めるところからの設計と、自社のアウトプットの監修を担う。3つ目は、政府や各国関係者とのネットワークである。

5:35

米中首脳会談の成果は「連絡の枠組み」にとどまる

トランプ政権下で習近平国家主席が訪米した今回の首脳会談について、石井氏が注目する成果は、コミュニケーションのチャンネルを設け、重大な事態が起きた際の通知メカニズムを作ったことだ。トランプ政権になってからは見られなかった前進だという。ただし、これは連絡の枠組みを作っただけで、AIへの対処に関する技術協力などにはまったく踏み込んでいない。石井氏は、米中の協調は依然として難しく厳しい状況にあると見ている。

その背景として、石井氏はまずアメリカ側の転換を挙げる。バイデン政権はAIのセーフティに強く気を配り、中国とのAI対話も呼びかけるなど、リスク管理を重視していた。多国間の枠組みでもそうした取り組みを進める意思があった。トランプ政権はバイデン政権の大統領令を撤回し、開発へのチェックを行わない方針に切り替えた。さらに独自のAI行動計画を出し、リスク管理よりも、アメリカがAIのチャンピオンとなって世界での圧倒的な地位を築くという戦略的な姿勢を打ち出した。これが中国との戦略的競争の重要な部分になっている、と石井氏は見る。

中国のAIの性能向上も緊張を高めている。アメリカはバイデン政権時代から先端半導体の輸出規制などで中国の追い上げを抑えようとしてきた。かつては米中の間に半年から1年の差があるとされていた。しかし、DeepSeekやムーンショットのKimiといった中国モデルの性能は、最近ではアメリカとあまり差がなくなってきたという。首脳会談の直前には、トランプ政権の関係者が、中国モデルの発展は違法な手段、つまりアメリカの成果を不正に使った技術の流用によるものだと厳しく批判しており、制裁に踏み込みかねない勢いだった。

今回の会談は、習氏の訪米を成功させる必要があったこともあり、関係を悪化させない方向で収まった。石井氏を含め、限定的な成果になることは予想されていたという。ただし石井氏は、トランプ政権が中国を強く警戒していることは間違いなく、将来また対立が火を吹く可能性もあると見ている。

10:13

アンソロピックの「開発原則」とトランプ政権の立場

9月半ばには、アンソロピックのダリオ・アモデイ氏が開発の原則を訴え、その後、各社による自主規制の動きも報じられた。聞き手はこれをどう見るべきかを尋ねた。

石井氏の答えは、トランプ大統領の考えは変わっていないというものだ。大統領本人も、ホワイトハウスのAI政策担当者も、開発を推進するために歯止めをかけるつもりは基本的にない。アモデイ氏らが提案しているのは、外部のチェック役を入れることや、AI企業同士で連携することだ。政府の介入は入れず、あくまで企業の自主的な判断に委ねるという点は変わっていない、と石井氏は説明する。

中国も開発から引く気はない。中国の優れたモデルの多くはオープンウェイトで、フロンティアモデルの大半がクローズドなアメリカとは異なる戦略をとっている。中国はこれを世界に普及させる路線で自信を深めていると石井氏は見る。最近も習氏がAIの開発協力機構のような組織を立ち上げ、各国に技術を広める戦略を打ち出した。アモデイ氏の開発スローダウン論について、中国側は「冷戦のプレイブック」、つまりアメリカが中国を封じ込めて遅らせるための方便だと発言しているという。さらに中国は、アンソロピックの「ミトス」やOpenAIの「GPT5.5サイバー」のようなアメリカのフロンティアAIはサイバー攻撃能力が高く、中国にとって脅威になり得るとはっきり述べている。こうした米中双方の姿勢から、石井氏は協調は当面難しいと見る。

13:12

国家は自国のAI企業をコントロールできるか

アメリカの企業側の受け止めについて、石井氏は、企業ごとに思惑がまったく異なると指摘する。アンソロピックはもともと安全性や倫理を他社よりはるかに重視している。ただ、石井氏が強調したいのは別の点だ。米中はどちらも安全性をあまり気にせず開発を進めたいが、自国がAI技術をコントロールしたいという思いも共通している。AIは核兵器のように国家が独占できる技術ではなく、複数のアクターがそれぞれの思惑で開発を競う。両国ともこの点に非常に気を使っているという。

企業がスローダウンを口にする動機について、石井氏は推測と断ったうえで、事業の見通しや投資の観点もあり、先行する企業には地位を守りたい面があるかもしれないと述べた。開発を遅らせるにしても、国の介入は望まず、各社の判断でやるという立場だという。加えて、アメリカでは世論調査でAIのデメリットを懸念する人の方が多い。アンソロピックがセーフティの観点から開発を緩めようと言った際にOpenAIやイーロン・マスク氏が同調したのは、そうした世論への配慮もあるだろうと石井氏は見る。

中国についても、共産党が技術を独占的に指導しているという印象とは違い、AIやディフェンステックの企業はそれぞれ独自の考えで自由に動いていると石井氏は言う。最近もDeepSeekやムーンショットがClaudeの技術を不正に使っていたという話があり、真偽はまだ分からないものの、中国当局が捜査しているという報道もあるという。

中国は開発規制や検閲が制度上は厳しいが、ビジネスや軍事分野を進めたいため例外も設けている。石井氏自身が中国製AIの検閲をよく試すと、思ったより甘いことがあるという。企業は当局の意向に従わなければならないが、熱心に従っているわけではなく、開発スピードを優先したいのが本音だと石井氏は見る。AIそのものの安全性とは別に、自由に動く企業をどう制御するかは、米中双方にとって国家主権の問題として重要な論点になっている。

17:45

軍拡競争に似た状況と今後の見通し

米中のAI開発競争は減速しないと見てよいのか。石井氏は、今のところはそうだと答え、比喩的に言えば軍拡競争のようになっていると述べた。事態発生時の通知チャンネルはできたが、それがどこまで機能するかはまだ分からない。互いを縛るような拘束力のある抑制の枠組みが生まれる見通しはない。年内にはあと2回、米中首脳会談の機会があるが、そこで議論が大きく進むとは考えにくい。関係悪化は避けたいため、最低限の協力をしているように見せることはあるだろうという。ただ、AIの動きは非常に速く、民間レベルで新たなモデル流用疑惑のような事件が起きれば、また揉める可能性もあると石井氏は見ている。拘束力のある米中の枠組みは、少なくともトランプ政権の間は難しいというのが石井氏の判断である。

19:32

停滞するグローバルなAIガバナンスとミドルパワー

国際的なAI規制の議論について、石井氏は、トランプ政権以前のアメリカやバイデン政権、日本などが多国間でAIのリスク管理を進めてきたと振り返る。日本が主導したG7の広島プロセスや、各国の政府トップやAI関係者が集まるAIサミットがその例だ。今年のインドでのAIサミットには石井氏自身も参加した。しかしこの2年ほど、トランプ政権の方針転換によって議論は停滞している。米中がこの状況では議論しても意味が薄く、欧州でさえ昨年ごろから、AI主権を確保するために開発推進へ少し傾いた。安全性の議論がなくなったわけではないが、以前と比べると停滞していると石井氏は言う。

グローバルな議論の場にはアメリカも参加するが、中国は参加していない場合がある。石井氏が「ミドルパワー」と呼ぶ米中以外の国々、とくに日本は、米中も加えた形で機能するルールを作るのが理想だと考えているはずだという。金融規制や、IAEAのような核の管理の枠組みに例える人もいる。専門家が客観的・中立的にこの技術をグローバルに管理すべきだという考えは多くの国や人が持っている、と石井氏は述べる。ただし、その具体像はまだ遠い。

21:46

日本にとっての「AI主権」とSakana AIのオーケストレーション技術

石井氏は、もう一つの重要な論点としてAI主権を挙げる。米中ばかりが先行し、仮にルールができても米中だけで決めてしまう恐れがある。また、日本はアメリカの優れたフロンティアモデルを普通に使っているが、最近アメリカは、アンソロピックの「ミトス」や「フェイブル」といったモデルの海外での利用を突然禁止したことがあった。この措置は短期間で終わったが、こうしたリスクを想定しなければならない時代になった。防衛にもAIが使われるようになるなかで、アメリカに依存してよいのかという問いが生まれ、ミドルパワーにとってはAIを自律的に運用できる状態を確保することが重要な議論になっている、と石井氏は語る。

米中の通知メカニズムに日本は入っていない。アメリカのモデルが暴走して日本企業が不正アクセスを受ける可能性もゼロではない。聞き手のこうした問いに対し、石井氏はまず、優れたAIをいつでも使い続けられる状況を確保すべきだと答えた。一つのモデルが使えなくなったら終わりという過度な依存を防ぐことも、AI主権に含まれるという。

その手段の一つが、Sakana AIのオーケストレーション技術である。既存のフロンティアモデルや国産AIを含む複数のモデルを、利用者が選んで組み合わせる。そのうえで、それらを統括する上位モデルが「この状況ではこのモデル」「コストを抑えたいときはこのモデル」と判断する。Sakana AIはこの統括モデルを開発しており、石井氏はこれをAI主権確保の取り組みの一つと位置づける。ほかにも、既存のオープンウェイトモデルを自社でカスタマイズする技術や、自己学習の技術に強みがあるという。さらに、Sakana AIは自前の大規模言語モデルの開発にも取り組んでいる。

25:31

安全保障におけるAI活用の現状

防衛・軍事でのAI活用にはさまざまな形がある、と石井氏は整理する。分かりやすいのは、ドローンなどの自律プラットフォームだ。もともと無人で制御されているため、AIを活用しやすい。次に、画像認識による特定などの情報収集・分析がある。さらに、ロシアやウクライナでも行われているサイバー戦と電子戦がある。サイバー戦には攻撃と防御があり、電子戦にはドローンを無力化するといった用途がある。兵站の管理にも使われている。

これらと並行して、よりAIらしい活用として進んでいるのが、C4ISR(指揮・統制・通信・コンピューター・情報・監視・偵察)の領域だという。これまでの活用は既存のツールを強化するものだったが、この領域ではAIが作戦や戦略を提案し、人間の意思決定を支える。石井氏は例として、アメリカがイランやベネズエラを攻撃した際にパランティアのMaven Smart Systemが使われ話題になったことを挙げた。

各国の進み具合には差がある。ウクライナはロシアとの戦争によって、ドローンから指揮統制まで、民間企業も巻き込んで一体的に進めた。石井氏によれば、ウクライナはAIのリスクをそれほど気にせず突き進み、豊富な実戦データを得た。アメリカの軍事テック企業も、ウクライナが攻撃された当初から支援と自社の実験を兼ねて関わってきた。石井氏はアメリカが一歩進んでいるという見方を示す。

中国は2017年ごろから「知能化戦争」という言葉を掲げ、AIの軍事活用の重要性を説いてきた。今はディフェンステックが盛んで、多くの企業が登場し、産業に厚みがある。共産党と国家が主導するだけでなく、民間からもアイデアや技術が出てくる。中国は技術を発展させるだけでなく、実装にも非常に積極的で、情報分析、ドローン、指揮統制のいずれもかなり進んでいると石井氏は見ている。

29:55

「人間のコントロール」を重視する中国と、ヒューマン・オン・ザ・ループ

石井氏が興味深いと指摘するのは、中国が人間のコントロールをかなり重視している点だ。理由は2つあるという。1つは、共産党が自らの体制を守るためには、AI技術や企業が独走することを恐れること。そのため、想像されるよりも開発規制は制度上かなり厳しい。抜け穴や例外はあるにしてもだ。もう1つは軍事ドクトリンで、毛沢東の「武器より人が大事」という考え方があり、最後に決めるのは人間であるべきだという発想が存在するという。

指揮統制と意思決定をめぐっては、「ヒューマン・イン・ザ・ループ」という議論がある。プロセスのどこかで必ず人間が決定に関わるという考え方で、日本も重視しており、アメリカも建前としては同じ立場だ。しかし、どこまでAIに委ねてよいかは問題として残る。「ヒューマン・オン・ザ・ループ」という言葉もあり、人間がまったく関与しないわけではないが、相当部分をAIに決めさせ、人間はチェックして時々介入するだけというあり方を指す。石井氏は、アメリカがどうしているかは分からないとしつつ、イラン攻撃をめぐってアンソロピックが、殺傷兵器や完全自律兵器へのAI利用は認められないと批判し、アメリカ国防総省が反発した経緯に触れた。

31:55

Sakana AIの防衛分野での取り組み

Sakana AIは創業3年、防衛分野に参入して約2年で、防衛省とすでに2件の契約を結んでいる。

1件目は、ドローンなどで集めた画像やテキストなどのマルチモーダルな情報を集約・分析するものだ。自衛隊の一つの部隊を対象にした小規模な実証実験として行っている。現場に足を運び、自衛官が必要とする情報収集・分析システムをまず作る段階で、局地的ではあるが、指揮統制にも役立つ可能性があると見て検討を進めているという。ただし、現時点で具体的にそこまで進んでいるわけではなく、実験段階であると石井氏は説明した。

2件目は、夏に発表された情報分析の案件である。防衛省内でインテリジェンスを担う情報本部に、膨大な情報をAIで整理・集約し、分析官が求めるアウトプットをAIに出させるプラットフォームを提供する。公表できる防衛分野の案件はこの2つだという。これとは別に、防衛に限らず政府機関が広く使える基盤として、オーケストレーション技術を活用した基盤モデルの開発にも力を入れている。

34:10

AIは「全部読んでくれる」わけではない

AIについて一般にあまり知られていない点として、石井氏は、AIは何でもできるわけではないと強調した。チャットで聞けば何らかの答えが返ってくるので万能に見えるが、AIは普通に間違えるし、ハルシネーションもある。自然言語を扱う性質上、答えがぼんやりしていて厳密さを欠くこともある。

だからこそ、人間が把握できる単位にタスクを分解することが重要だと石井氏は言う。漠然とした問いを丸投げするのではなく、知りたいことと目的をはっきりさせ、一つずつ検証できる形に分ける。これは安全保障や情報分析で特に重要だという。Sakana AIは、ソーシャルメディア上で日本に対して行われる影響工作の分析にも取り組んでいる。そこでも方法論を厳格にし、AIに曖昧にやらせるのではなく、後から検証できる形で進めているという。

石井氏は具体例も挙げた。大量のテキストやPDFをまとめてAIに投げると、AIが全部読んだうえで答えていると思う人もいるかもしれない。しかし実際には、AIは聞かれたことや自分が関係あると考えた部分だけを見ており、効率よく処理するための仕組みになっている。何が読まれているかを確認するか、細かく指示を与えないと、見落としのある回答が出てくるという。

36:32

石井氏自身の情報収集術

地政学のメールマガジンなどで発信もしている石井氏に、聞き手は個人的な関心として、情報収集でのAIの使い方を尋ねた。石井氏は、エンジニアでなくてもAIで簡単にアプリを作れる時代になったと前置きし、自分が常に追いたいテーマについて、最初から細かい指示を与えたニュースまとめの配信を自作していると話した。フォーマット、要約の形、最後に付ける意見や切り口まで指定し、定期的に届くようにしている。資料のまとめにもAIを使って効率化しているが、最終的に人間が判断できる形にすることが欠かせないという。

情報源のフィルタリングについては、ある程度は指示を与えつつ、AIに考えさせているという。どのような情報を探すべきかというルール自体の候補もAIに出させることができる。全体のアーキテクチャーは人間が作るべきだが、それを作るためのヒントや判断はAIに出させてよい、というのが石井氏の考えだ。

もう一つ石井氏が挙げたのは、ソーシャルメディアの重要性である。新聞や本といった主流メディアだけでなく、専門家やトランプ政権の関係者がSNSで猛スピードで発信している。たとえばAI政策を担うデビッド・サックス氏は、公然と誰かを批判したり論争したりしている。石井氏は趣味も兼ねつつ仕事のためにもこれをよく見ており、動画も含めて貴重な情報源になっていると語った。聞き手が、新聞記事のソース自体がXであることも多いと応じると、石井氏はそこを入り口にすることもあると答えた。

39:30

AIで人類は滅亡するか:問題は「人間のやり方」

最後に聞き手は、AIで人類は滅亡すると思うかと尋ねた。石井氏は、さまざまな専門家がさまざまなことを言っており、本当のところは分かりにくいと断ったうえで、自分の考えを述べた。

フロンティア企業はこれまで、計算資源とデータを増やせば性能が伸びるというスケーリング則に頼ってきた。しかし最近は、少なくとも目に見える差がつきにくくなっている。そこで、エージェントや、AI自身が考えてAIを進化させるといった、スケール以外の手法をとらないと差をつけられなくなってきた。Sakana AIはもともとスケールに頼らないやり方で技術を磨いてきたが、今ではハイパースケーラーやフロンティア企業もそうした手法に取り組み始めている。しかも彼らはすでに膨大な資源を持っている。石井氏は、それらの企業が人間の側でガードレールや安全装置を少し緩め、踏み込んだやり方をしており、それが最近のさまざまな事故につながっているのではないかと考えている。

石井氏の見方では、AIがターミネーターのような化け物になって暴走する世界にはまったくなっていない。目的の与え方や安全装置を人間が甘くしすぎた結果、問題が起きている。エージェントやAIによる自己進化も、資源が限られた中で効率を上げるために使うなら問題ないが、ハイパースケーラーが先を行くために危うい使い方をしているのではないか、と石井氏は指摘する。

聞き手が、「暴走」と呼ばれているものをたどっていくと人間の欲に行き着くのかと尋ねると、石井氏は、最後はやはり人なのではないかという印象を個人的に持っていると答えた。