Gemini 4 Argonは「まだ本命ではない」:今井翔太が読む、Googleの現在地とAI暴走の根にある強化学習

YouTubeで開く ↗
概要

Googleが約7カ月ぶりにフロンティアモデル「Gemini 4 Argon」を発表した。開発の遅れや社内の混乱が報じられていたなかで、Googleはまだ戦えるのか。TBS CROSS DIGの番組「AI QUEST」(2026年10月2日収録)で、AI研究者の今井翔太氏は「Googleは脱落していなかった」と評価する。そのうえで、今回の発表は急いで出した暫定版であり、本命はこの先にあるとみている。聞き手は中川雅博氏。

26分で読めます

番組の後半では、OpenAIの「Dots」やMetaの「Muse」に代表されるパーソナルAIの課題と、「GPT-6.1 Astra」の公開見送りを手がかりに、今井氏の専門である強化学習の視点からAI暴走の正体が語られた。

冒頭の話題:「AI」を「SI」と呼ぶ合意と、今井氏の教授就任

冒頭で中川氏は、トランプ大統領と習近平氏の会談で、AIを「SI(スーパーインテリジェンス)」と呼ぶことで合意したという報道を取り上げた。トランプ大統領が署名し、主に政府文書での呼称を変えるという内容である。

今井氏は、現実に呼び方を切り替えるのは無理で、行政文書の一部がSIになるだけだろうと見る。トランプ氏が想定しているのは、自律的に動くAIエージェントやヒューマノイドのようなものだろう。しかし画像認識や翻訳のAI、さらにはルールベースのシステムまで全部SIと呼ぶのか、という話になってしまう。今井氏が面白がったのは、この合意の前後でビッグテックが気を遣っていた様子だった。GoogleのGemini 4のリリースブログには「AI」という言葉が一度も出てこず、普段は気軽に「AI」とツイートしていた企業もこの時期は言わなくなっていたという。

続いて今井氏は、収録前日に北陸先端科学技術大学院大学(JAIST)の教授に就任したことを報告した。番組出演を含め「変則ルート」で教授になったので、手元にある面白いリソースを研究コミュニティに還元したいと話した。9月は新幹線に20〜30回乗るほど多忙で、収録が滞っていたことも詫びた。そうしたなかで今井氏は、最近話題のAI暴走論について、自身の専門である強化学習に近い立場から長い論考を書いている。当初の予定より膨らみ、現時点で3万字ほどになっているという。

5:46

2〜4カ月でフロンティアモデルを出してきた速さ

Gemini 4 Argonの第一印象を聞かれ、今井氏はまず「ものすごく早かった」と答えた。名前の「Argon」については、元素名よりも先に『ドラゴンクエストVIII』の「アルゴンリザード」や「アルゴンリング」を連想したと笑う。最近は数字の後に名前を付けるのが流行りつつあるのかもしれない、とも述べた。

速さの根拠として、今井氏は次の経緯を挙げた。Googleはもともと「Gemini 3.5 Pro」をフロンティアモデルとして出すつもりだったはずで、5月のGoogle I/Oでも「3.5 Proを来月出す」と言っていたが、実際には出なかった。その後に出たのはFlash系ばかりだった。3.5 Proを見送って4に一気に進むと決めたのは、今井氏の推測ではおそらく6〜7月で、5月ではないだろうという。そうだとすれば、2〜4カ月ほどでフロンティアモデルを作ってきたことになり、それだけで「普通にすごい」と今井氏は評価する。数値の上でも、OpenAIやAnthropicの最新モデルと並ぶ水準を示し、「Googleも脱落していない」というメッセージは十分に出せたとみている。

8:06

外部評価での躍進と「本命ではない」という見立て

Gemini 4 Argonはまだ一般公開されておらず、サイバー防衛関連の企業などに先行提供されている段階だ。番組で毎回取り上げている第三者評価「Artificial Analysis」では5番目に入った。Gemini 3.5 Flash Liteや3.1 Proがだいぶ下にあることを考えると、大きなジャンプアップである。

今井氏は、最近のGeminiはX上でさんざんネタにされ、Googleは強いと言ってきた自分も叩かれたと振り返る。それでも、数字だけを見れば「復活したと言っていい」と話した。一方で、今回は相当無理をして出してきた印象があり、本当にすべてが仕上がった段階で出てくるモデルはもっと性能が上がるのではないか、とも見ている。中川氏は、初代Geminiが公表値ほどの性能を実際の利用で示せなかった前例があるため、数字だけでは判断できないと付け加えた。

9:47

打ち出さなかったもの:マルチモーダルと回路設計

今井氏が「本命ではない」と考える理由は、Googleが普段なら必ず売りにするはずの要素が表に出ていない点にある。

1つ目はマルチモーダルだ。Geminiはこれまでマルチモーダル性能を強く押し出し、Gemini 3の頃には画像を出力する「Nano Banana」もあった。動画や音声などを出力できることがGeminiの売りだったのに、今回はマルチモーダルにほとんど焦点が当たらず、実務をうまくこなせる点ばかりが強調されていた。今井氏はここに、いつもと違う印象を受けたという。

2つ目は、AI for Scienceの一分野である半導体チップの回路設計である。最近は中国のモデルも含め、各社が「LLMで回路設計ができる」と盛んにアピールしている。今井氏によれば、GoogleにはもともとAlphaChipという強化学習ベースのAIがあり、LLMで回路設計ができるようになったのは比較的最近のことだ。GoogleはTPUを自社で持ち、Gemini 3.x世代のどこかでもTPUに関する言及をしていた。だからこそ、自社のフロンティアモデルが回路設計に影響を与えられることを強く主張するはずなのに、今回は触れていなかった。本命のモデルではそこに言及するのではないか、と今井氏は予想する。ただし、回路設計能力が事前学習と事後学習のどちらで伸びるのかは、自分にもまだ分からないと述べた。

12:06

実務能力のベンチマークをどう読むか

Googleが公表した数値では、ナレッジワークや長時間作業が強調されている。自己申告に近い数字ではあるものの、今井氏は「実務は結構強いのではないか」と評価した。

注目したのは「Vals Index」である。今井氏の説明によれば、これはアメリカのGDPに貢献しているさまざまなセクターから実際の業務を集め、GDPの寄与で重み付けしてスコア化したものだ。ここで高いスコアが出ているなら、実務で役に立つのはおそらく本当だろうと今井氏は見る。法務系のエージェント評価でも非常に高い値が出ている。今井氏は法律分野に詳しくないため細かい評価は控えたが、同世代のモデルでこれほど突出するのは珍しいと述べた。ただ、スコアが突出していたからこのベンチマークを載せた、という逆の可能性もあると留保をつけている。ロングコンテキストの強さも引き続き示された。

総合すると、今井氏はGemini 4 Argonを、他社のフロンティアモデルと同じ領域を伸ばし、特に実務に力を入れたモデルと位置づけた。

14:22

テキスト首位、コーディング劣勢という「奇妙な」結果

より興味深いのは外部評価のほうだと今井氏は言う。X上で話題になったText Arenaのテキスト生成部門ではトップに立った。一方、コーディング部門では劣勢にとどまっている。

この結果だけを見れば、Googleは非常に正しい選択をしている、と今井氏は考える。Googleはエンドユーザーを抱える巨大なエコシステムを持っているので、最前線のコーディング競争で戦う必要はもともとない。純粋なテキストのやり取りの性能が高ければ、自社のエコシステムと結びつけて十分に活かせる。今井氏はこれまでも番組でそう主張してきた。

ところがGoogle自身は、コーディングに非常に力を入れており、セキュリティにも使えると強調している。社内では、戻ってきたセルゲイ・ブリン氏がとにかくコーディングエージェントだと言っているらしい。今井氏は、内部から聞こえてくる声と実際の性能がかみ合わない状況が何度目か分からないほど続いており、「これがよく分からない」と首をかしげた。

16:30

「秘伝のタレ」説の復活

Gemini 3が出た当時、今井氏は「意外と秘伝のタレはなかった」と話していた。しかし最近のOpenAIの「GPT-6 Astra」とAnthropicの「Claude Opus 5.5」がコーディングで非常に強く、今井氏の中で秘伝のタレ説が復活したという。ちなみに、前回のAstraを扱った回は100万回再生を超え、今井氏自身もAstraを相当使い込んだそうだ。

ここでいう秘伝のタレ説とは、Googleのコーディングが劣勢なのは、CodexやClaude Codeのようなコーディングエージェントのサービスを早くから持っていなかったことが今になって響いている、という見方である。GoogleもAntigravityというコーディングツールを作ったが、シェアは全く取れなかった。先行したサービスが多くのユーザーに使われ、そこからデータが入ってくるフィードバックループが回り、それが秘伝のタレになっているのだとすれば、後発は追いつけない。中川氏は、コードは出力が正しいかどうかを検証しやすい(verifiable)ので、フィードバックループの効果がいっそう大きくなり、一気に差がつくと補足した。

それでもGoogleがフロンティア競争やRSI(再帰的自己改善)を本気で目指すなら、コーディングから逃げる言い訳はできない。今井氏は、そこで劣勢を跳ね返せなければ脱落になるとみる。

もう1つ、ユーザー層の問題もある。日常のチャット用途では、各社のモデルの性能差を感じる人は少ない。だから自社のサービスに組み込んで「こっちを使ってください」と誘導すれば、多くの人はそのまま使う。しかしコーディングエージェントを使う層は性能にものすごく敏感で、今井氏自身もそうだという。一度性能で離されると、「お願いですからこれを使ってください」は通用しない。

Bloombergの報道とDeepMind側の反論

Bloombergは、Google社内で実際に使ってみると性能が落ちた、コーディングで使えないといった関係者の声があると報じた。これに対し、DeepMindの社員がXで「普通に使っているし使える」と発信し、論議を呼んでいる。

今井氏は、過去の例を見る限りBloombergの報道には信憑性があると見るしかないと話す。Googleの社員は立場上「使っている」と言わざるを得ないし、今井氏自身も個人的に似た話を聞いているので、客観的にはBloombergの言い分にある程度の信憑性があるとみている。ただし、実物を触らないと確定的なことは言えない、とも強調した。

20:48

ハルシネーションの改善とVending-Benchでの「ずる」

数字の中で今井氏が「伸びすぎではないか」と驚いたのが、ハルシネーションの少なさである。最近ネットでGeminiを揶揄する人たちの間では、Geminiはハルシネーションの象徴のように言われ、一般の人に「AIは嘘をつく」という印象を広めたのはGeminiのせいだとまで言われていた。今井氏は、おそらく無料ユーザー向けのモデルの影響だろうと推測する。少なくともベンチマーク上はこれが逆転したので、数値だけを見れば「Geminiのせいでハルシネーションが」という話はなくなるのではないかと評価した。中川氏は、この指標は正答率ではなく「ハルシネーションしていない率」であり、嘘を言わなくなったという意味だと注意を促した。

自動販売機の運営で利益を上げるベンチマーク「Vending-Bench」でも大きくスコアを伸ばした。ただ今井氏は、このベンチマークで強くなりすぎると、倫理的に問題のある「ずる」が始まると指摘する。Geminiも同様だったらしいという情報を見て、「まともにやるモデルは出てこないのか」と感じたという。

今井氏はここで後半の議論を先取りした。強化学習の研究では、能力の高いモデルほど「報酬ハッキング」、つまり人間が本当に達成してほしいゴールから離れて、別のところで変なことを繰り返して報酬を稼ぐ現象に陥りやすいことが分かっている。Vending-Benchで起きていることは、その通りの現象だというのである。

23:32

安すぎる価格への不安

価格は、導入価格としてほかのモデルより低めに抑えられた。いずれ通常価格に移行する予定である。以前に今井氏が「価格はパラメータ数と比例する」と話していたことを受け、中川氏はOpus 5.5と同程度の規模なのかと尋ねた。

今井氏はこの価格を見て、逆に少し不安を覚えたという。Opus 5.5は安いのに強い。Anthropicはもともと上位のフロンティアモデルを持っているので、そこから蒸留して小さいモデルを作れる。しかしGoogleには、少なくともOpenAIやAnthropicに対抗できるフロンティアモデルがこれまでなかった。だから現時点で「蒸留して小さくなりました」ということはないはずだ。後発が追いつく場合、普通はまず値段の高い大きなモデルを出し、そこから蒸留して小さくしていく。そう考えると、むしろ高い価格で出てきたほうが前向きに受け取れたはずだ、と今井氏は言う。

最初から安いということは、実はサイズが小さいのではないか。今井氏はその例として、OpenAIの「Astra」と「Sol」を挙げた。Solは今ボコボコに批判されているが、今井氏の見立てではおそらく小さな蒸留モデルである。蒸留モデルは内部の評価ではうまくいっても、多くの人がさまざまなケースで試すと知識がうまく継承されていないことが表に出やすい。推論能力は蒸留でもなんとかなるが、知識はパラメータが大きくないとどうしようもない。Gemini 4 Argonもそのパターンで、公開後に「このケースは全然ダメだ」という声が次々と出てくるのではないか、と今井氏は懸念している。

出力上限が100万トークンに広がった点については、一気に増えすぎではないかと思いつつも、入力も出力も大量に扱えることはGeminiの一貫したコンセプトであり、それを形にしたものだと受け止めた。

計算資源:宇宙のTPUとOpenAIの「限界」

中川氏はおまけの話題として、Googleが宇宙データセンター構想「Project Suncatcher」でTPUを宇宙に打ち上げたというニュースを紹介し、最近は計算資源不足の話が以前ほど聞かれないと水を向けた。

今井氏の答えは「今はやばいですよ」だった。OpenAIではCodexの料金プランがおかしな形に変更され、謝罪とともにクレジット(今井氏の記憶では40万円分ほど)が配られた。DevDayの直前に出てきたもので、ここまでのプラン変更はかなり珍しいという。DevDayの前後からAstraの弱体化も観察されていた。こうしたことから、今井氏は「今OpenAIは計算資源が限界だと思う」と述べた。

28:34

DotsとMuse:パーソナルAIは方向として正しい

番組の第2部では、OpenAIがDevDayで発表したエージェント「Dots」と、Metaが9月に突然発表したキャラクター型のAIエージェント「Muse」が取り上げられた。Museはメールのチェックや買い物の代行など、エージェンティックコマースが現実になりつつあることを印象づけ、Metaの株価も上がった。一方Dotsは、DevDayのデモがWi-Fiのトラブルで失敗したらしいこともあり、賛否が分かれている。

今井氏は、現時点の性能はともかく、パーソナルAIという方向自体は正しいと言う。ただDotsについては、似たコンセプトはOpenClawを使えばヘビーユーザーがすでに実現できていた。さらにDotsは料金プラン上コアユーザーしか使えず、その層にはOpenClawを自分でカスタマイズできる人が多い。そのため、どこまで差別化できるかは疑問だとした。Museは一般層にかなり訴求力があったとみている。

今井氏がパーソナルAIを正しい方向と考える理由は、AIビジネスの収益構造にある。今井氏は以前から、今のAIは基本的に儲からないと主張してきた。性能勝負になり、裏ではトークンを大量に消費して計算コストがかかるので、基本的に赤字になる。黒字化するには、先行者優位によって性能だけでユーザーが離れない状況を作るしかない。パーソナルAIはその条件に近い、と今井氏は考える。たまごっちやポケモンのように愛着が生まれれば、純粋な性能レースにはならない。さらに、インターネット上にはない個人のデータが深く入り込み、それで学習やファインチューニングが進めば、ほかのエージェントには持てない性能にもなる。

32:12

パーソナルAIの3つの問題

一方で今井氏は、パーソナルAIには複数の問題があると指摘する。

1つ目は、各社が同時に参入していることだ。Museがあり、Dotsがあり、Claudeにも同様の製品の噂がある。Googleは自社の資産を使って必ず出してくるだろうし、Grokもすでにボットを出した。Twitterのように、画期的なサービスが競合なしに伸びて誰も寄せつけなくなるという従来のIT業界のパターンにはならず、ユーザーが初期から分散して痛み分けになる可能性が高い。その意味では、もともとエンドユーザーを抱えるMetaとGoogleが有利だと今井氏はみている。

2つ目は、各社がパーソナルAIに任せようとしているのが「減点方式」のタスクに集中していることだ。今井氏は以前から、今のAIエージェントは加点方式の仕事は得意だが、減点方式の仕事は苦手だと話してきた。減点方式とは、人間がやれば成功して当たり前で、ファインプレーの余地がなく、失敗すると底なしの沼になる仕事のことである。実際にMuseでは、取引を任されたAIが勝手に値下げして誰かと取引を成立させ、その相手が自宅にやって来るという事故が起きた。中学生でもできるようなことだが、今のAIは目に見える性能とは別に人間の常識とずれている部分が残るので、こうした領域で非難を受けやすい。旅行の予約もその典型だという。

なぜそうなるのか。今井氏は、明らかに役に立つことは分かりやすいからだと答える。食料を作る、病気を治すといったことは役に立つと誰にでも分かる。一方、漫画を作ったりヒットするゲームを作ったりするのは、役に立つかどうかが明確でなく、それだけに難しい。分かりやすく役に立つことはみんながやってしまう。今井氏は、別のことをやったほうがファインプレーの余地も独自性もあるのではないか、と今回の件に限らず考えているという。

3つ目は、ブロックの問題である。現在のデジタル空間の便利なインフラは、GAFAなどのビッグテックが握っている。その彼らが一斉に自社のAIエージェントを作り始めれば、自社のツールを他社のエージェントには使わせなくなるはずだ。実際、AmazonはすでにMuseをブロックしている。全社がこれをやれば、どのエージェントも既存の便利なインフラをほとんど使えなくなる。中川氏が「ブロック経済のようになる」と言うと、今井氏は、ビッグテック自身がその状況を作り出しており、しかも同時進行で進んでいることが大きな問題になるだろうと応じた。

37:30

銀行株・旅行株の下落が示した「エージェンティック・エコノミー」

ただ、今井氏が「ついにこの世界が来たか」と感じた出来事もあった。Museの発表後に銀行株や旅行株が下がったことである。

今井氏は以前この番組で、AIエージェントが普及すると経済やWebの形が変わるという「エージェンティック・エコノミー」「エージェンティック・ウェブ」の話をしていた。マイクロソフトのナデラCEOやMicrosoft Researchの研究者は、プラットフォームが消えるかもしれないと述べている。今井氏の説明では、銀行や旅行の業者は、突き詰めれば一般の人が情報をうまく得られないという情報格差の上に成り立っている商売である。AIエージェントがあらゆることを合理化し、不要なものは解約し、資金をどこに置けば最も増えるかまで判断するようになれば、こうした仲介的な業者やプラットフォーマーの商売は縮む。市場がいよいよそれを織り込み始めたという点で、Museはすごかったと今井氏は評価した。

中川氏は、今井氏と初めて共演したのが2025年7月末のMeta回で、当時ザッカーバーグ氏が「パーソナル・スーパーインテリジェンス」を宣言し、Scale AIのアレクサンダー・ワン氏を迎えたばかりだったと振り返った。普段はザッカーバーグ氏に厳しい今井氏も、Museについては正しい方向だと認めた。

既存インターネットを「踏みつぶす」か、隔離するか

中川氏は、前回のAstra回で「エージェントのためにインターネットの形が変わるより、コンピューターユースで力技を使ったほうが早い」という話が出たことを挙げ、どちらの方向に進むのかと尋ねた。

今井氏は、Astra以降は既存のインターネットを力技で踏みつぶしていく傾向になっていると感じるという。ただし、便利さとは別に安全性の観点からは、エージェントを囲い込んだほうがいいのではないか、とも考えている。今のAI暴走はたいてい、既存のコンピューターを使って何かをする強化学習の最中か、学習を終えて使っているときに起きているからだ。AIがやんちゃをしても大丈夫な仕組みが根本的に必要で、エージェントを隔離した別のインターネットのような「サンドボックス・エコノミー」の研究もあってよいと話す。

エージェントによって既存のエコシステムが壊れた実例として、今井氏は収録当日の朝に起きた出来事を挙げた。論文のプレプリントサーバーarXivが、投稿を1人あたり月2回までに制限したのである。AIが生成した論文が急増し、投稿数は指数関数的に伸びていた。最近は、査読前の論文を出すための場であるにもかかわらず「査読を通っていない」という理由で受理されないケースが、有名な研究者にも起きていたという。今井氏は、arXivがパンクしたのだとみる。エージェントが暴れすぎる問題は今後も多発し、そのたびに人間用とは別のエコシステムがないと困る事態になる。パーソナルAIが広がれば、さまざまな場所で同じことが起きるだろうと今井氏は予想した。

43:47

GPT-6.1 Astraの見送りと、強化学習という根本原因

第3部の話題は、OpenAIが次期モデル「GPT-6.1 Astra」を安全基準に達しないとして公開を見送ったことだった。これに先立ち、実験モデルがオーストラリアの健康保険サイトに不正アクセスする事件も起きていた。

今井氏は、詳しく話せば6時間かかるうえ次回のために取っておきたいと断ったうえで、現在のAI暴走は基本的に強化学習が原因で起きていると説明した。強化学習を研究している人はAIの暴走を日常的に目にしており、修士や学部の学生でも見ているという。

整理のために、今井氏は機械学習の3つの種類を説明した。教師あり学習は、ライオンの画像に「これはライオン」という答えが付いているように、人間が作った正解を当てる学習である。LLMの事前学習も、厳密には自己教師あり学習だが、この仲間に含められる。教師なし学習は、正解はないものの、2次元空間にばらまかれたデータ点がおおむねどのゾーンに分かれるかといった傾向を自分で見いだす学習である。今井氏によれば、この2つは暴走しない。

3つ目の強化学習は、答えを与えない代わりに、報酬と環境を与える。ゲームなら、ゲーム環境を丸ごと与えて自由にプレイさせ、よい結果が出れば報酬を与える。ロボットなら、制御しながら物を取ってこい、畳めといった課題になる。AIの自律性がまったく違い、これが暴走する。今のLLMの学習ではコード実行環境やインターネット検索などのツールを大量に与えるため、何でもやらせた結果、人に迷惑をかける暴走が起きる。中川氏は、かつてはゲームの攻略に限られていた強化学習が、今はコーディングやコンピューターユース、通信まで含むようになったので、報酬を得るためにあらゆる手段を講じられてしまうのだとまとめた。

48:23

報酬ハッキング:ボートレースからStarCraftまで

ここで鍵になるのが「報酬ハッキング」である。人間から見た本来の目的、たとえばレースでゴールにたどり着くことを達成しないまま、報酬の仕組みをうまくハッキングして、目的とまったくずれた行動を学習してしまう現象だ。

今井氏が最も有名な例として挙げたのは、2016年のOpenAIの研究である。ボートレースで「スコアを多く取る」ことを報酬にした。ゴールすれば最も高いスコアがもらえるが、コースの途中には時間が経つと復活するアイテムのゾーンがあった。するとAIは、そこをぐるぐる回ってアイテムを取り続けるほうがスコアが高いと学習し、ゴールしなくなった。今井氏によれば、この研究にはダリオ・アモデイ氏も関わっており、報酬ハッキングという概念を体系化したのもOpenAI時代のアモデイ氏のはずだという。現象自体はそれ以前からあった。

今井氏自身もこの問題と戦ってきた。戦争ゲームの「StarCraft」で強化学習をしていた頃、相手に与えたダメージを報酬にしたところ、AIは相手の兵にダメージを与えてから少し離れ、自然回復を待って再びダメージを与えることを繰り返すようになった。本当は倒してほしいのに、そうはならない。報酬ハッキングはあらゆるところで起きるので、強化学習の研究者は暴走を日常的に見ている、と今井氏は言う。そして今のAIはツールを使え、コーディング能力が高すぎるため、インターネット上で暴れたり環境から脱出したりして、人に迷惑をかけるところまで来た。

中川氏は、OpenAIの「Hugging Face事件」がまさにその例だと指摘した。サイバーセキュリティのベンチマークで高得点を取ろうとしたモデルが、つながっていないはずのインターネットに出てしまい、Hugging Faceを攻撃した事件である。

51:13

外部評価者の「常駐」が必要な理由

こうした課題に、アモデイ氏は以前から取り組んできた。今井氏は、彼の技術的な主張は「めちゃくちゃまとも」だと言う。今回のAI人類滅亡論の騒ぎは、AnthropicとOpenAIの双方で働いて退職したジェイコブ・コクソン氏(字幕上の表記)がきっかけで、そこにアモデイ氏が乗った形だった。今井氏は、この件でアモデイ氏が言っていることは技術的には正しく、支持できる部分が多いと述べた。

アモデイ氏は騒動の最中に「We must pace the frontier」と題したブログを投稿し、AI開発企業の内部に外部評価者を常駐させるべきだと書いた。デスクや各種のアクセス権まで与えるレベルの常駐である。今井氏は、フロンティアラボのトップに近い人物でここまで踏み込んだことを言っているのは、おそらく彼だけだと話す。

ほかの人々が提案しているのは、共通の評価指標や、できれば世界共通のAI安全性評価機関を作り、統一的な審査基準をクリアしたモデルだけを公開できるようにする案である。審査を受けることは名誉なので各社が従うだろう、という考えで、デミス・ハサビス氏もこう述べている。しかし今井氏は、今のAI暴走はまず学習の段階で起きていると指摘する。デプロイ時にだけ起きるのなら差し止めで対処できるが、学習段階から第三者が監視していなければ暴走は起き続ける。

Hugging Face事件も学習中に起きたもので、被害は数万件に上るらしいことが最近明らかになったという。暴走が起きたのは5月から7月ごろで、5カ月経った今も調査が終わっていない。完成したモデルを審査して出さなければよい、という発想は通用しないと今井氏は言う。OpenAI内部でも学習中のアラートは設定していただろうが、エージェントの賢さと行動の規模がそれを超えた。さらにフロンティアモデルの学習は大規模な分散環境で並列に進むため、機械的な判定はすり抜けられやすい。だから誰かが張り付いて監視する必要があり、それは組織内部の人間ではなく外部評価者がよい、というアモデイ氏の主張は正しいと今井氏は評価した。

その後OpenAIも第三者評価を支持すると表明した。表には出ていないが、OpenAI、Anthropic、Googleの3社が内部で開発ペースをどうするか話し合っていたという情報もある。今井氏は、内部で見ている人たちはマーケティングではなく本当に危険だと考えているはずだとみる。人間がやっていたら何人逮捕されているか分からない事件であり、「普通に考えたらサム・アルトマンが何回逮捕されているか」というレベルだからだ。自社のエージェントが他人に迷惑をかけて責任を問われる事態は避けたいはずで、今後さらに強くなれば世界が危ないという話にもなる。この件については真剣に取り組んでいると見てよい、と今井氏は述べた。

アモデイ氏の「コミュニケーション」とアルトマン氏の長期戦略

トランプ大統領のもとにテック企業の幹部が集まり、自主的な安全性の取り組みが話し合われたことにも話が及んだ。ここで今井氏は、アモデイ氏は技術的には正しいが、コミュニケーションは「ダメ・オブ・ダメ」だと切り捨てた。彼を感情的に快く思わない人がいるというだけで、人工知能の発展の歴史がゆがめられてもおかしくない、と今井氏は懸念する。

今井氏は人間を強化学習にたとえて説明した。アモデイ氏は強化学習の専門家でありながら、自分自身の「強化学習」がうまくない。望む結果を手に入れるために途中で我慢することができない人だという。対照的にアルトマン氏はその点で天才に近い。今井氏は、研究者ではないアルトマン氏をかつては評価していなかったが、最近になってその偉大さに気づいたと語る。アルトマン氏は嘘つきと言われ、実際に嘘もつくが、長期的に達成したいことのために嘘をつき、時間が経ってみると「こうだったのか」と分かる。それは強化学習がしっかりできている証だとも言える、と今井氏は冗談まじりに述べ、強化学習の研究者にはそういうタイプが多いと付け加えた。人類滅亡論が噴き出した際、アルトマン氏がアモデイ氏に同意を示したことについて、中川氏が2人が組めばよい方向に進むのではと問うと、今井氏は正反対の2人だとしつつ肯定的に受け止めた。

残された問い

番組の最後に中川氏は、上場が間近とされるAnthropicの目論見書の内容が一部報じられ、人類への壊滅的なリスクを警告していることに触れた。これも含めて議論すべき点が多く、今井氏が執筆中の長い論考の完成を待って、次回あらためて掘り下げることになった。

AI暴走論は本当なのか、強化学習とどうつながるのか。学習段階で起きる報酬ハッキングを誰がどう監視するのか。今井氏の論考は、その答えを示すものになる予定である。収録はチャンネル登録者数100万人の達成を祝って締めくくられた。