AIトップ企業が「開発減速」を呼びかけた背景と、データセンター・市場への波紋

米中首脳会談の主要な議題になるほど危機感が高まっているのが、AIによって人類が滅亡させられてしまうのではないかという、いわゆるAI脅威論です。今月8日にアンソロピック社の社員だったジェイコブ・コクソン氏が「AIが我々を全員殺しかねない」と表明し、AI脅威論が世界的な話題になりました。

実際にこの報道以前にもAIの暴走が報告されています。オープンAIのAIが試験中にサイバー攻撃を仕掛けて外部のシステムに侵入。その際、実に1200体以上のAIエージェントが連携し、高度な活動を行っていたといいます。この攻撃についてオープンAIは想定外の動作だったとしています。このAI脅威論ですけれども、どのように捉えていらっしゃいますか？

人類滅亡というのを現時点で本気で心配するのは、本気で騒いでそれを規制に反映するところまで行くのは、ちょっと僕はやりすぎだと思っているんですけども、長期的には、いずれにしろ心配されなければならなかったものだと思います。

そこはちょっと極端な、もっと先の話ですけども、人類社会に深刻な影響を与えるような事態が、これから1年、2年以内にもう1つか2つぐらい起きるというのは、あるんじゃないかとは思っています。

今のAIというのは、もう有名なハギングフェイスというサイトをハッキングして、テスト中にその答えを盗むようなことをしたというような報道がされていますけども、あの後いくつか調査をしていったりとか、その後にも細かい暴走というのは確認されていて、中には人工知能が架空の人間のアカウントを作って、それでプログラミングの共有サイトに「このプログラム、こういうふうに直せない？」みたいな、そういうことも報告されているんですね。

要するに人格を使うと。誰か、もうすでにいる人間の人格を使って何かインターネット上で悪さをするということをしていますので、これは使う人格によりますけども、人間社会はやはり大体、影響力の大きい人の指示で大きく動くことがあるので、もしそういう影響力を暴走して行使するようになれば、これはやはり社会にとって非常にまずい事態が起きるというふうに思っています。

そのプログラム共有サイトにAIが人間のふりをして、「こうできるよ」って書き込んだっていう、そういうことですか？

近いことです。

なるほど。怖いですね。それはあれですか、有名な、それこそアンソロピックとかオープンAIのAIの仕業だったのか、それとも。

そうですね。基本的にはそうだと思います。ただ性能的には現状、中国も非常に迫っていますので、数か月以内は中国のAIとかも同じようにできるようになると思います。

なるほど。小野さんはこのAI脅威論ですが、どのように捉えていらっしゃいますか？

これ、まだ今のAIというのは人間の管理にあると僕は思っていて、それはデータセンターとか電力が必要だということですね。一方で、もし3年して2年して、AGIができると、そういった人間を超えたものになって、本当に脅威というものは出てくるかなと思います。

もう1つは、今回のニュースは米国の2大があるわけですけど、今言われたアンソロピックとオープンAIとかが、中国のオープンウェイトモデルとの差別化要因を作りたいという気持ちも1つあるんじゃないかと思っていますね。

今井さん、これ今、1つのデータセンターにモデルが常駐しているような形だと思うんですけども、世の中に分散型のシステムというのがあって、例えばブロックチェーンとか典型ですけども、AIが勝手に自分をその分散型のネットワークにしてしまうっていう恐れはないですかね？

これはあるんですけども、ちょっと具体論になりますけれども、今のAIというのはまず非常に大きいです。ものすごく大きいニューラルネットワークを使っているんですけども、例えばアンソロピックとか、どう管理しているのかというと、物理的に通信の帯域を非常に絞って、仮にAIが読み出そうと、誰か第三者が読み出そうとしても、あんまりないですけど、AIが自分で出ようとしても物理的に帯域が非常に制限されているので、コピーを作るというのは、よくSFとかに書かれるほど簡単ではないです。AIが非常に大きいので、結構、物理的に難しいところになります。

こうしたAIの脅威ですけれども、随分前から指摘はされていたようです。こちらの紙を留めるペーパークリップを、AIに対して最大限に製造することを指示した後に起こるペーパークリップ問題。こちら、今井さん、どういった内容でしょう？

これは元々ボストロムという人とか、その周辺の哲学者とかが思考実験として、「AIがこう暴走する」と言って出した内容です。実は先ほど出たオープンAIの暴走したAIというのも、割とこれのとおりに起こったことです。非常に教科書どおりに起こったことなんですね。どういう理屈かというと。

生成AI、人工知能を巡って、制御不能や悪用への懸念からAI企業のトップが開発の減速を促す中、アメリカのトランプ大統領は13日、開発規制を巡る議論の過熱を牽制しました。

トランプ氏はこのように述べて、中国との開発競争で優位性を維持し続ける必要性を訴えました。AIの開発を巡っては、アメリカ、アンソロピックのアモデイCEOが12日、AI業界が協調して最先端のAI開発を減速すべきだと呼びかけました。これに対して、競合のアメリカ、オープンAIのアルトマンCEOや、AI開発を手掛けるイーロン・マスク氏も賛同を表明しています。

今お伝えしたとおり、アンソロピックのアモデイCEOが「最先端のAI開発を減速すべき。AIによる暴走事故の脅威が高まっている」と発言しました。そしてそこにマスク氏、アルトマン氏も同調したという格好ですが、西角さん、こういったアメリカのAI関連大手企業のトップの発言は、データセンターにはどのようなリスクとなると見ていますか？

そうですね。今回のこの動きというのは、AI開発のトップ企業もAIの安全性とかガバナンスというものを無視できなくなってきたということを意味しています。ただ、利用者の側から見ると、このAIの安全性が高まるというのは、むしろ歓迎すべきことだというふうに思います。AIが安全に使えるようになれば、むしろ先ほど申し上げた推論AIモデルの利用という面ではプラスに働く可能性がありますので、このデータセンターのマーケットに対しては、特段大きな問題にはならないのではないかというふうに考えています。

これまで、すごい額の投資が行われていますけれども、そういった投資を回収できないとか、そういった問題にまで発展するようなことはないのではないかということですか？

そうですね。開発減速ということがありますので、その学習に対する投資が若干スローダウンしたり、後ろ倒しになるということはあるかもしれませんが、先ほど申し上げたように利用側の需要に関しては堅調ですし、マーケット自体はかなり需給がタイトな状況ですので、そこで直ちにデータセンターのマーケットに不安が生じるような状況にはならないかなというふうに考えています。

いかがですか？

そうですね。このAIの暴走というのは何かというと、今後AIがどんどん進化してしまって、仮に人間が何か目的を与えたときに、AIが勝手に解釈して、手段を選ばずに何かをしてしまう。その結果、半年後、1年後にはAIがネットを牛耳るんじゃないか、乗っ取るんじゃないかということもありますし、究極的には人類の滅亡につながる恐れもあると、そういうふうに言われているんですよね。

それで今回、AI企業のトップがまとまる形で、規制を強化しようというか、速度を緩めていこうというふうに言ったんですけども、これはそのまま額面どおり取っていいのか、それとも何か相手をちょっと出し抜いて自分だけ開発を進めようかとか、その辺り、西角さん、どのようにご覧になっていますか？

以前までと比べると、今回の開発減速というのはかなり深刻度は増してきているということは、間違いないというふうに思います。ですから、特に米国の国内の主要なAI開発企業が、ある程度ペースダウンをするということで合意する可能性というのは、あるのではないかというふうに見ています。

ただ、グローバルに見ると、特に米中においては激しく競争をしながら、その競争をしながらペースを落とすというのは、非常に難しいのではないかという見方もあると思います。

そうすると、24日に米中首脳会談がワシントンで予定されていますけども、ここで何かAIについて合意するというのは、なかなか見通しにくいでしょうか。

そこで議論が行われることは期待したいですね。ただ、合意まで至れるかということに関しては、非常にハードルは高いのではないかというふうに考えています。

今、トランプ大統領の発言もあったように、なかなかアメリカは難しいでしょうかね。

そうですね。

AIの暴走に加えて、もう1つ、アメリカやカナダなどではAIやデータセンターへの抗議デモも広がっています。こういった動きはどういうふうにご覧になっていますか？

こうした抗議というものを、住民のエゴというふうに簡単に片付けてしまってはいけないというふうに考えています。こうしたデータセンターを建てることで地域に生じている負担に対して、データセンター事業者側、あるいは行政がどういったメリットを地域住民に与えるかということを考えなければいけない時期に来ているのではないかというふうに思います。

確かに周辺住民の方からしたら、騒音の問題もありますし、あとは環境ですよね。それにこうやって電気代も上昇するとなると、あまりメリットがないのではないかという話になるかと思うんですが、実際、どんな問題が起きていて、先ほど企業がメリットをもたらすという話がありましたけれども、企業としてはどんなメリットをその地域に与えることができるんでしょうか？

地域への影響ということに関しては、近隣住民であれば日照とか騒音ということがありますし、また少し広い目で見ると、地域全体の水資源、電力資源というものをデータセンターと他の産業が奪い合うといったような面もあるかと思います。ですから、データセンターを建てる側の事業者は、地域にまず迷惑をかけないということがありますし、それに加えて地域に積極的にメリットを与えていく、そういうことまで含めて設計をしないといけない時期に来ているというふうに思います。

そのデータセンターの企業が与えられるメリットというのがどういったものなのかが、具体的にあまり浮かんでこないんですけれども。

そうですね。1つには、税金が増えるという、固定資産税等ですね。これ、自治体にとって大きな収入になります。それから、雇用については大きくはないんですけれども、多少なりともプラスの効果がある。私が最近注目しているのは、それに加えて教育とか人材への投資ですね。

データセンターが地域にやってくるというのは、単に箱がやってくるというだけの話なんですけれども、そのやってきたデータセンター、計算資源を地域が使いこなせるようになるということが大事なんですね。ですから、そうした地域がデータセンターを活用できるような人材の育成に対して、データセンター事業者が支援をするといったこと。具体的にアメリカのマイクロソフトなどは、そうしたことを地域住民への5つの約束の中に含めているんですね。こうした動きが広がっていくのが大事ではないかというふうに思います。

ただ、そういった取り組みは今まだ始まったばかりということなので、今年1月から3月だけでも全米で少なくとも75件が遅延、中止に、データセンターのプロジェクトですね、追い込まれたということです。そういった企業がメリットを与えるという取り組みが始まったばかりということで、どちらかというと反対運動が広がるスピードの方が早いのではないかというふうに思うんですが、この問題がさらに広がっていく可能性についてはいかがですか？

そうですね。アメリカでは、すでに社会問題化してしまっている、政治問題化してしまっているということがありますし、先ほどのような教育とか人材投資のメリットというのは、すぐに出るものではありません。すごく難しいことだろうというふうには思います。

幸いなことに日本ではまだ、データセンターそのものの量も少ないですし、また地域住民との軋轢は部分的には生じているんですけれども、広く広がっているような状況ではありませんので、アメリカのように社会問題化する前に、早い段階からこうした対策を打っていくということが必要なのではないかと思います。

なるほど。先ほど、アメリカのトップのAI開発企業が開発をちょっと減速させるということでのリスクは伺ったんですけれども、もう1つ、今回の問題に関して、反対運動等がデータセンターに与えるリスクというのはどういうふうに見ていますか？

そうですね。アメリカなどでは、この反対運動の激化、それから電力問題などで、データセンターの建設が一部中止になったり後ろ倒しになるということが起きていて、それによって、先ほど申し上げたように一部の企業で資金繰りが苦しくなるとか、そういったマーケットへの影響も出てくる可能性というのはあるかと思います。

一方、日本ではまだそこまで社会との軋轢は深刻化していないということだと思いますので、アメリカで先行して起きていることを反面教師にしながら備えておくというふうな考えが大事なのではないかと思います。

そうしたことも踏まえて、日本は今後どのようなデータ戦略、データセンター戦略を取るべきだというふうに考えていらっしゃいますか？

AIの時代ですから、データセンターをしっかりと国内に持つということは、国際競争力の観点からも、あるいは先ほどご指摘になったデジタル主権とか経済安保の観点からも、これは不可欠だというふうに思うんですね。ですから、データセンターの建設を止めるということではなくて、むしろ正しい場所に建てていく、適切な場所に建てていくということを考えていくのが近道ではないかというふうに考えています。

現状では先ほどフリップにも出ていましたけれども、データセンターはかなり東京・大阪圏に集中立地しているということですので、例えば解決策として、データセンターの立地を地方に分散させていくということを考える必要があるのではないかと思います。

実際にそれに向けた戦略というのも、ワット・ビット連携という政策が今出てきているようですね。

そうですね。ワット・ビット連携というのは、ワット、電力ですね。地方に存在している再生可能エネルギーなどの脱炭素資源を活用して、電力のあるところにデータセンター立地を進めていくという考え方ですね。

それを具体化したのが、今映っているデータセンターのGX戦略地域というものを、ちょうど先週末に第1弾の指定が行われたんですけれども、データセンターを単に地方に分散させるだけではなくて、その分散させたデータセンターを起点として、地域の脱炭素電源の活用とかの活性化も含めて考えていくと、こういう取り組みが進められています。

このデータセンターの分散化というのは、やっぱり民に任せておけばいいのか、やはり政治の役割があるのかどうか。その辺りどのようにご覧になっていますか？

我々はAIの開発を遅らせなければならない。半年から1年後には、AIエージェントがインターネット全体を乗っ取る力を持つ可能性がある。

12日、アンソロピックのダリオ・アモデイCEOが発したのは、異例のAI開発の減速。専門家が注目するのは。

AIにしか分からない抽象的な、ある種の言語で推論しているので、AIからすると知能が低い生物の言語を使わずに考えられる。

もう人間のところが邪魔になっちゃったという。

そうですね。もう人間の言語を使っているのがボトルネックだということで。

へえ。

最も大きな懸念が、AIがAI開発を加速し、いずれ後継モデルの設計まで自律化する再帰的自己改善の能力をAIが得ることです。アンソロピックやオープンAIでAIの事前学習を担当していた研究者も、AIの自己改善は人類への脅威だと警告しています。

AIの開発者たちは、今後10年以内にAIが人類を滅ぼす可能性があると本気で信じている。

AIがAI自身で自分を改善していってしまうと、もう人間からすると止められないんですよね。

結局、AIの自己改善って、別の言葉でシンギュラリティとかってやっぱり言うわけですよ。シンギュラリティがいつ来るのか、ずっと長く議論があって、ついに来たって喜んでいるのか、それとも「ちょっと待って、こんな早いはずじゃなかった」って思っているのか。

迫りくるリスクに対し、アモデイ氏が3つの対策を提示しましたが。

今回のダリオの3つの提言というのは、この手のAIガバナンスの話でいくと、ライトめではあるんですね。要はもっとドラスティックなアイデアというのはいっぱいあって、極端なものでいくと、例えば中国がAIを作るときのデータセンターについてはカナダに置いて、アメリカが作るときはモンゴルに置いて、相互がルールを破った瞬間に、ある意味破壊できるようにしようみたいな。

オープンAIは、安全性の面で起きているあらゆる状況を踏まえると、現時点で上場するのは賢明ではないとして、念願だった年内の上場を来年以降に先送りすると明言しました。

ダリオの意見に同意する。私たちは最先端の進展を慎重に進める必要がある。

AIに出資するソフトバンクグループの株価が14日、10％以上下落するなど、日本のAI関連企業にも影響が広がります。

人類への脅威を危惧し減速か、国家の覇権争いをかけ加速か。AI開発競争の行方、そしてそれが株式市場に与える影響を読み解きます。

皆様こんばんは。テレ東BIZがお送りするライブ配信番組、月曜マネーLIVE、進行の竹﨑由佳です。今夜のテーマはいつもと色が違います。

アメリカで今年最も注目されていたIPOといえば、AI企業アンソロピックとオープンAIですが、ここ最近で急速に高まるAIの安全性への懸念から、大きな戦略変更がありそうです。株式市場を牽引するAI半導体業界全体にも影響があるため、今夜は「投資家視点に立ったAIの安全性懸念を正しく理解する」をテーマにお届けしていきます。

では早速、今夜のゲストをご紹介します。株式会社LayerXの中村龍矢さんです。よろしくお願いいたします。

よろしくお願いします。

そして今回は、オープンAI CEOのサム・アルトマンやアンソロピックのCEO、ダリオ・アモデイへの取材経験もあるテレ東BIZの鵜飼さんにも参加してもらいます。よろしくお願いいたします。

よろしくお願いします。

お2人は4月に、クロード・ミトスのショックのときに配信を担当されていたんですよね。

そうです。モーサテ時代に結構番組にご出演いただいたときから、いろいろやり取りさせてもらっていて、4月に呼ばせていただいたりと、いろいろやり取りしています。

中村さんのご経歴をご紹介しますと、元々、暗号資産のイーサリアムのセキュリティ対策とかを考えられていらっしゃって。

そうですね。イーサリアムという、ビットコインの次に大きいブロックチェーン、暗号資産があるんですけど、それを作っている世界中のエンジニアのメンバーがいるんですが、その中の1人、日本人ではかなり少なかったんですが、1人としてセキュリティ周りを担当していて、イーサリアムという本当に超巨大で、とんでもない金額の資産を預かるプラットフォームのいろんな穴を見つけたりですとか、その穴が見つかったときにそれを直す提案をしたりとかというのを、イーサリアムのコミュニティの中でやっていました。

実際にダリオ氏が発言した内容がこちらで、「能力を高める速度を落とさなければならない。今年夏頃から開発ペースが大幅に早まっている。6から12か月後にはネット全体を乗っ取る恐れがある」と警告しています。そして他社からはこういった反応がありました。出ますでしょうかね。オープンAIのサム・アルトマンCEOでしたり、SpaceX、マスクCEOは同調的な反応をしています。ディープマインドのデミス・ハサビス会長も、「この重要な局面に対処するには正しい方向性だ」と同意しています。

トランプ大統領は「本来は提起すべきではない問題を持ち出してくるネガティブな勢力が多くいる。AIを制する者が勝者となる」と、ちょっと反発の意見を出しているわけですけれども、実際、今開発の現場で何が起きていると見られていますか？

AIリスクという概念とか議論というのは本当に昔からあるんですけれども、それが非常に直近の技術の進化によって、そのリスクというのがよりリアルなものになってきて、それにしてかなりこう進んていうのを者がしてるっていう状況ですね。

AIリスクというといろんなものがあるんですけれども、例えばAIを使ってハッキングをする。これはミトスの件も含めてたくさん議論があると思うんですが、それを使って生物兵器を作って、大量のテロに使っていくとか、そういうものも含まれてきます。

そして今回さらに議論が深まっているのは、本当にSFっぽい議論だと思うんですけれども、AIがある種暴走していって、人間に反抗していって、ある種、人類を全部殺害するとか、そういう怖いシナリオも含めてリスクというのが議論されていて、こういうものというのは昔からリストアップされていたんですけれども、その可能性、実現可能性というのが上がってきたと捉えられていて、そのために1回、こういうリスクの対策をするための技術の研究だったりとか、国間の協調だったりとかのために準備の期間を取ろうというところで、1回開発を止める、もしくはゆっくりにしようという提案が非常に増えているという現状ですね。

その危機がちょっと現実になってきたなと感じられるような出来事が起こったということですね。

そうですね。今年の夏の事件という意味で申し上げますと、ハギングフェイス・インシデントというふうに言われているんですけれども、オープンAIの社内の、ある意味実験の環境において、AIがネットから遮断されたはずの環境から、自分でAIエージェント同士が協調して脱出して、いろんなステップを挟んで、ハギングフェイスというウェブサービスに、ハッキングというかアクセスをして、という事件が起きてしまったという。

勝手に動いてしまったという。

はい。その、ある意味AIの自律的にハッキングをするという能力が本当にセンセーショナルですし、それが実際、オープンAIという本当にトップのラボでも起きてしまっているということが、非常にリスクとして可視化された事例かなというのが1つですね。

そうだったんですね。週末にはオープンAIのサム・アルトマンCEOが2026年内にIPOはしないとコメントして、あとAIの開発速度を減速させると発表しましたよね。これ、表向きにはAIの脅威というのを強調されていましたけれども、実際はどういう状況でこうした決断をされたとお考えですか？

正直申し上げると、このIPOの見送りというものとAIリスクというのが、どれぐらい直接的な因果関係があるのかというのは、正直分からないところではあります。さっきダリオとかサム・アルトマンとかイーロン・マスクとか、各メンバーが並んでいましたけれども、正直いろんな意図を込めて発信しているんだとは思いますので、額面どおりに受け取っていいのかというのは悩ましいんですが、私の考えとしては、とはいえいろんな意味があるとは思うんですけど、本心ではないことは少ないと思いますね。

自分たちが考えているシナリオとか、自分たちの正義感とか、やりたいことという観点で、本当にこのAIリスクというのに対して一定の根拠があって、その根拠があるような現象というのが、さっきのセキュリティインシデントとか、あとは自分たちの企業の中でやっている実験というところからいろいろ感じていて、それでああいう提言をしているという、これ自体は一定の思いがあると思っていますので、それについては我々もしっかり受け止めていいんじゃないかなとは思います。

本来目指している目的は何か分からないけれども、一旦ちょっと緩めたいと思っているのは間違いないと思います。

間違いないということなんですね。

私からも、じゃあいいですか。

はい。

AIの開発を数年来見ていると、度々こういう動きってあったじゃないですか。2、3年前にも一度、学者が呼びかけてやめたりとか、あとは、そもそもダリオさん自身もオープンAIの安全性への方針の違いから、反発する形でオープンAIを退社して、アンソロピックを立ち上げたみたいな経緯があって、度々起きているような議論があって、またいつものかという見方もできるんですけど、中村さんから見ると、今回何か違うなって思いますか？

そうですね。まず最初にやっぱり記憶に新しいのは2023年ですかね、生成AIが進化したという中で、6か月間の開発停止というのをいろんな方が提言をして、署名も集まったというのがありましたし、繰り返しになりますけれども、このAIリスクという分野はそもそもその前から存在していて、さっきのSF的なシナリオというのも、実はあれを本気で研究している人もたくさんいて、ああいうシナリオを科学的に分析して、それを対策する技術を考えるというのも研究としては存在しましたので、ある種、言い方は悪いですけど、ニッチな分野としては元々存在していて、いろんな、それに熱い思いを持っている方々というのはいたんですけれども。

とはいえ今、目の前にある先端のAIって、そんなにビビるほどすごくなかったというのが、これまでの数年間かなと思っていまして、2、3年前の、ただ単純にチャットができるAIについて、人類を征服とか、ちょっとなかなかイメージがしづらかったと思うんですけれども、直近1年間はやっぱりAIエージェントが進化したということで、エージェントという文字どおり、自分で自律的にゴールに対してやり方を考えて突き進んでいくと。そのときに、もしそのゴールに対して人間と勘違いがあったりとか、AIが自分でちょっと人間を欺くようなものを意図として持ってしまうと、それに対して人間よりもはるかに賢い、いろんな手段を使って穴を突破して突き進んでいくというのが、実際起きているということがあるので。

この現状を目前にすると、いよいよちゃんとそういったAI開発のいろんなガバナンスというものに向き合わなくてはならないというのが、AIを作っている企業のトップもそうですし、その周りにいるステークホルダーとか国家というものについても、ちゃんと議論が生まれているというところで、ある種こういうAIリスクというトピックがキャズムを超えたというか、マスに行ったというのが現状かなと思っています。

はい。