超知能が来れば人類滅亡の確率は50%以上か　有路翔太（bioshok）が語る知能爆発・産業爆発・規制の現状

不動産投資を学ぶなら楽待。

楽待チャンネルをご覧の皆さん、こんにちは。今回は10月に発売された『知能爆発 AIの次に来るAGIとは何か、そして人類に何が起きるのか』の著者で、AGIハブ共同代表の有路翔太さんにお越しいただいております。有路さん、本日はよろしくお願いいたします。

はい、よろしくお願いいたします。

有路さんは今回、楽待に初めてご出演いただくということで、簡単に自己紹介をいただいてもよろしいでしょうか？

はい。私の名前は有路翔太と申します。Xでbioshokという名前で、AIの安全性ですとか、AIの未来について発信させていただいてるんですが、もともと大学では物理学を勉強してまして、大学院ではAIの研究をしていました。なんですけど、私、技術に興味があるというよりは、人類の未来ですとか社会の未来にすごい昔から興味ありまして、SFですよね。そういったところをすごい読むのも好きでした。

なんですけど、そういった進展の中、AIのトレンドっていうのを見ていきますと、2021年か2年ぐらいに、AIのスケーリングをこのまま続けると大変なことになるのではないかと気づきまして、そこから大きくピボットして、AIの未来について発信をし始めたというのと、2023年に実はエリーザー・ユドコウスキーさんっていうAI安全性の元祖、ゴッドファーザーの方もいらしたAIセーフティカンファレンスが東京で開かれたんですけど、そこでもちょっと話しまして、AI安全性にすごい興味を持って、そこから日本でもこういった議論を大きくしなくてはいけないということで活動させていただいている形ですね。

AI安全性、このAIが人類をもしかしたら滅ぼす可能性があるんじゃないかという話題。先月9月に非常に物議を醸す話題になりましたけれども、この危険性について有路さんとしてはどれぐらいの深刻度で考えてらっしゃるんでしょうか？

条件付きの確率ですけれども、このまま規制がなく、かつ数年以内、5年以内にスーパーAI、超知能といったものが、人類よりもはるかに賢いAIが開発されてしまうと、人類の滅亡確率っていうのは相当高いと思いますね。コイントスよりも高いとは考えてます。

そんな有路さんをお迎えしての今回のお話になるんですけれども、本の表題にあります知能爆発というのは、AIが人類の知的能力を超えて、自ら改善しながら加速度的に広がっていくという、数学者のI・J・グッドさんが1965年に提唱した概念です。本当にそんなことが起きてしまうのか。起きるとしたら我々はどのようにその瞬間を迎えるべきなのか。最近のAIのニュースなんかを見て気になっている方も多いと思いますし、非常に動きが激しい分野でもありますので、本の内容と現実世界の出来事をリンクしながら、ぜひ伺えたらと思います。早速本題になるんですけれども、この知能爆発、本当に起こってしまうんでしょうか？ どうですか？

そうですね。こちら知能爆発という概念は、おっしゃられた通り、もう20世紀の半ば頃からある概念でして、AIが自分自身を研究して、さらに自分自身よりも賢い知能を生み出してしまう。そういった概念が知能爆発と基本的には言われる概念です。

こういった概念っていうのが理論的には20世紀から考えられていたんですけれども、現状、AIの開発競争といったところで、OpenAIやAnthropicやGoogle DeepMindといった企業がしのぎを削っていますけれども、そういった企業が目的とするポイントとして、AIがAIを研究できるようにするといったところが今挙げられてます。

最近よく言われてるRSIというところですね。

おっしゃる通りですね。こちら、再帰的自己改善っていうふうに日本語では言いますけれども、基本的にはAIを自分自身で賢くするといったところで、そういったことが、AI研究っていうのはソフトウェア上で起こる実験ですとか、プログラムを書いたりですとか、実験のデータを解釈したりですとか、じゃあその解釈をして、どういった実験が今度はいいのかっていったところは、ほぼほぼソフトウェアの世界ですよね。

物理世界とはほぼ関係なく実行できるといったところで、基本的に再帰的自己改善といったものが、ハードウェアの拡張ですとか、データセンター、今すごい大きくなってますけれども、そういったものがなしに急に起こるのではないかと、今懸念されているところですね。

有路さんが所属されているAGIハブ。これは設立されたのはかなり最近だと思うんですけれども、今ほどAIの脅威、人類への危険度が言われる前から、有路さんはこのお話をブログなどを通じて発信してこられたというところですよね。

おっしゃる通りですね。5年以上前からAIのトレンドを観察していまして、GPTシリーズっていうものがあります。それはOpenAIが開発した、トランスフォーマーと呼ばれるアーキテクチャーをベースとした大規模言語モデルのモデル名なんですけれども、そういったものが2010年代後半から、GPTシリーズといったものが一つずつスケールアップされて、大きくなっていきました。

そのスケールアップっていうのが何を意味するかっていうと、計算資源をより投入することで、よりAIの能力がそれに従って大きくなっていく。それをスケーリング則、スケーリングローとかっていうふうに業界では言うんですが、そういったものが、すごい最初の初期の研究者たちはもう2010年代後半から観測していました。

なので、早く気づく人は、このまま計算資源の能力を100倍、1000倍、1万倍としていったらどうなるかっていったところは、きれいに予想できるっていうふうに言われてました。なので私はその傾向をある程度5年以上前から見ていて、このまま続くとAIの能力が、いわゆる汎用人工知能と言われる、人間の能力をほとんど全てのタスクで超えていってしまうような状況に到達するのではないかと。

そういった到達点が、従来2050年とか2060年とかっていうふうに研究者の中でも言われていたんですけれども、基本的にスケーリング則っていうのが常に効くと。2018年に、いや、でも次のスケーリングではどこか壁にぶつかるんではないかと言われてたんですが、もうそれも超えてしまって、人間の文章をよりよく理解し始めちゃう。いや、でもそれでもさすがに数学とかって難しいんじゃないって言われてたのが、もう数学的な能力でも、この数年でどんどん急に人間のトップ層を追い抜いています。

そういったところを背景にAGIのタイムラインっていうものが今議論されてまして、本当に昔だと2050年ですとか2100年って言われてたものが、ほんのわずか5年とか、もしかしたら来年かもしれないっていったふうに、どんどんタイムラインっていうのが短くなっているような状況になっていますね。

有路さんはそのスケーリング則が発見された頃あたりから、AI半導体に対する絶えなき需要が来るんじゃないかというふうに確信をされたということで、その分ご自分の財産もかなり関連の株に突っ込まれたというふうに伺っております。

はい。最初に投資した額の5倍ぐらいにはなってるかなと思います。2022年ぐらいから投資して、現状がそれぐらいの幅になるかなと思いますね。

最近話題になっているヘッジファンドのシチュエーショナル・アウェアネスも、同じようにAIの未来予測に乗って投資して、それで一時ものすごく大きなリターンを上げて、最近はちょっと調子が悪いですけれども。

そうですね。ちょっとレバレッジをかけすぎてしまったと思うんですけど。

同じようなビジョンに乗って投資をされて、今成功されてるということですね。

おっしゃる通りですね。私は基本的に、AIの能力が上がるっていうのと、AIが経済的なリターンを生むのかっていうのは厳密には別だとされていますけれども、私はAIの能力が上がれば上がるほど、人間のような知的作業を幅広くこなせるようになると思うので、そうすると、そういったAIシステムを経済的に利用するっていう何らかの方法っていうのも必ず出てくるだろうというふうに考えて、投資はしてましたね。

そんなこのAGIの世界観をいち早く見据えていた有路さんなんですけれども、発信し始めた当初というのは、こうした考え方を理解されている方っていうのは結構少なかったんでしょうか？

そうですね。発信し始めた当初は、AIっていうのはチャットボットと言いまして、その中でもルールベースというもので動いてました。例えば「こんにちは」って返した場合は、その挨拶にどのように返すべきかっていったことを、人間の手作業でそこをプログラムしていたようなAIが主流で、自動運転というのもなかなか普及が遅い。世界はなかなか変わらないといったところで、AIに対する期待度はあれ、ある種、現状言われてるような最前線ですとか、こういう言葉、聞いたことある方いらっしゃるかもしれないんですけども、シンギュラリティ、技術的特異点っていったような言葉が、今盛んに先端では議論され始めています。そういった議論が日本にあまり来てなかったんですよね。

日本だとレイ・カーツワイルっていう、『シンギュラリティ・イズ・ニア』、シンギュラリティは近いといった言葉で一世を風靡したアメリカの発明家の方がいらっしゃいますけど、その方の言葉だけが流布してます。それっていうのは基本的に楽観的な目線ですよね。人間が自分自身の脳を拡張していって、新たなポストヒューマン、人間の次の世代に進化していくというような、そういった目線ですとか。

もしくはムーアの法則って聞いたことある方、多いかと思うんですが、その拡張した収穫加速の法則っていうのがありまして、電力消費量当たりにどれだけの演算が可能かっていったところを、この100年以上のトレンドを外挿して、このぐらいの時期にAGIができるんじゃないかとか、このぐらいの時期に人間全体の知能を超えるんじゃないかみたいなことを考えていました。なんですけれども、海外ではもっともっと進んでいて、そういった知能が出てきてしまった場合に、人類にすさまじいインパクトとリスクっていうのが及ぼされるだろうと。

AIの脅威に対する切迫の違いを、SF映画の『マトリックス』に出てくる、飲むと世界が違って見えるレッドピルになぞらえて、AGIピルというふうに有路さんは表現されているというところで、AGIピルを飲んでる方、そうじゃない方で、世界の見え方ってどんなふうに違ってくるんでしょうか？

こちらAGIピルっていうのは、私が作った言葉ではなくて、サンフランシスコですとかバークレーを中心として、スラング的に海外では「AGIピル飲んでる？」っていったふうに、挨拶のような形で使われる言葉です。これは何かっていうと、ピルっていうとちょっと怪しい表現かもしれないですけど、映画『マトリックス』でレッドピル、ブルーピルって言葉がありまして、そのピルを飲むと、AGI、先ほど言いました汎用人工知能、どのようなタスクでも人間を超えていくようなAIが、社会をどれほど大きく変えてしまうのかといったところを内面化するっていったような意味合いになります。

汎用人工知能の登場から10年後、世界はどうなってるかっていったことを質問してみます。そうすると、おそらくほとんどの人は、自動運転が当たり前になっています。街にヒューマノイドが歩いています。もしくはホワイトカラーの多くが不要、もしくは健康寿命が大きく伸びていて、より良い社会がもしかしたら訪れてるかもしれない。そういった未来像っていうのは、ある程度AIに意識的に詳しい方でも、こういった未来像をおそらく考えてる人が多いのかなと思うんですけれども、基本的にシリコンバレーやバークレーでこの議論を引っ張っていってる人たちっていうのは、全く違う未来の世界を考えてまして、それが右側の図ですね。

こちらが、見た目何なのって感じですけど、これはスペースコロニーですね。宇宙に居住できる空間として、おそらく東京23区よりも大きいスペースの、これはスタンフォード・トーラスって呼ばれてたりするんですけれども、そういったものがもう何千、何百万と出てきてもおかしくないと。それプラス、産業的にすごい大きく爆発的に発展するんだと。

天文学的なロボットが大量に生産。そういったものが、ちょっとすごい、こんなの本当にありえないよって、おそらく最初聞く人は思ってしまうかもしれないんですが、太陽系にある水星ってあると思うんですよね。惑星のうちの一つですね。一番太陽に近い水星っていうものが、その大量のロボットによって少しずつ解体されていきます。

なんでそんなことしちゃうんですか？

その理由の一つとして、イーロン・マスク、皆さんご存じだと思うんですけども、イーロン・マスクがよく言ってるカルダシェフ・スケールっていう考え方があって、人類のエネルギー消費量をどんどん大きくしていくと、そうするとより文明が大きく発展する。そういった尺度がありまして、太陽のエネルギーを全て収集すると、現状の人類のエネルギー消費量の1兆倍以上高いエネルギーを得られることになります。

それを得るインセンティブが、もしかしたら軍事的安全保障ですとか、経済的な圧力でとてつもなく高まるだろうっていったふうに言われてまして、最終的にその水星を少しずつ解体していって、それっていうのは指数関数ですね。COVID-19、コロナウイルスのように、最初は本当に10人、20人だったのが、最終的には何百万人、何千万人と感染してしまったような世界が、今度は物理世界でも同じことが起こる。それは、物理世界でコロナウイルスが世界を変えてしまったように、ロボットがロボットを作ったり、工場が工場を作るといったフィードバックループがすごい勢いで回るんだということで、これを産業爆発っていう概念で専門家の間では議論されている。

そのうちのもう一つが技術爆発って考え方で、人間ならもう何百年、何千年先のような技術っていうのが、ほんの5年、10年で出てきてしまうんだという話もされています。その結果、物理的にできるような技術ですね。この左側に挙がった健康寿命が伸びるどころではなくて、完全に人間の身体が老化しなくなるですとか、人間の意識っていうのをどこかに移植できてしまう、マインドアップロードっていう技術ですとか、すごい高度なナノテクノロジーですね。すごいちっちゃい機械がいろんな作業をできてしまうんですとか、そういったことが想定されていて。これがもう100年先の話ではなくて、汎用人工知能っていうものが登場してから、もうわずか10年とか20年、もっと早ければ5年とかで出てきてしまう。

5年以内に出てきてしまうAGIってよく言われますけれども、一般名詞化してかなり定義が曖昧になっているじゃないですか。

そうですね。

やっぱり怪しい印象を受けるというのと、実際すごいと言われてる、人間ができる仕事、今何でもやってくれてるわけではないですし、AI企業にとっても自分とこの製品はすごいぞってアピールになるじゃないですか。そして、有路さんも今この本、すごい売れてらっしゃると思うんですけども、AIは恐ろしいということによってマーケティングの効果がある。我々メディアとしてもこういう話題を取り扱うとビューが取れやすいというので、あえて脅威をあおってるんじゃないのかみたいなふうに思う方もいらっしゃると思うんですね。

実際にトランプ大統領も、こういうAI脅威論は陰謀論だというふうに言っていますし、NVIDIAのジェンスン・フアンさんも、AIが人類の、結構否定的な意見を持たれてると思います。この辺りの意識の断絶というか、本当にこんなことが起きるのかっていうのを、どうやって説得していくべきなのかというか、どうお考えでしょうか？

まず第一に、こういった議論をしてる人っていうのは、むしろAI企業のアウトサイダーの人がしてます。AIの内部の人は、むしろこういう話はあまりにもおかしい人だと思われると。なので、むしろしない、もしくは控えめなことを言いますね。

例えば最近9月に、Anthropicを辞めたジェイコブ・コクソンさんっていう方がいらっしゃいますけど、あの方は人類の滅亡確率っていうのは10%以上あるだろうといったふうに言ってるんですけれども、実はAnthropicの上司の方ですとか、そういった方たちは、本当に50%以上、人類の滅亡確率はあるっていうふうに内部では言っていたりします。

なので基本的に、こういった議論をしてる人たちっていうのは、もしくは発信する人たちっていうのは、最先端の企業、OpenAIだとかAnthropicから辞めた人ですね。もしくは独立してこういった研究をしてる研究機関があります。具体名を出すと、エッAIですとか、フォアソートと言われる研究機関ですとか、他にもいろいろたくさんあるんですけども、そういった機関はどちらかというとOpenAIやAnthropicを批判してるんですよね。あまりにも速いスピードでAIの能力を発展させすぎていますと。このままでいくと、人類に対して脅威的な技術っていうのは、あまりにも大きなリスクを与えるでしょうということで、基本的にはこういった議論をしてる人たちって、勘違いされがちなのは、実はアウトサイダーの人がやってます。なので、あまりそこに利益の相反っていったところがないっていうところが一つ。

もう一つは、こういった議論っていうのは、昔はすごいSF的で、あまりにも直感ベースですと、そういうことは起こるかもしれないけども、単なる妄想だよねみたいなことは言われてると思うんですけども、現状、今最先端のAIの開発スピードを見てると、数年前まで例えば数学の掛け算ができなかったんですね。それがもう去年は東大の数学をほぼ満点で解いてしまう。今年はもうミレニアムですね。人類が50年以上解決できてなかった問題をも解決してしまう。もしくは最先端の、ミレニアム問題には満たないかもしれないですけど、何百もの未解決問題も解いてしまうといった状況に、急速に今AIの進歩のスピードが向上してるので、ここの観測と、もしくは元企業の人たちがアウトサイダーとなって警告していたり、もともとアウトサイダーの人がこういった議論をしていたりっていったところが、おそらくまず知られるべきかなと思いますね。

有名なユドコウスキーさんの本でも、あらかじめ早い段階で警告をする人は、おかしな人だと思われないように、ちょっと控えめにパーセンテージを言わなければいけないとか、組織の中の人ほど脅威を言いづらいみたいな話があったと思うんですけども、今言われている脅威ですら、ちょっともしかすると控えめかもしれないというお話だったかと思います。

とはいえ、AIは所詮パソコンの中の機械でしかない。今サイバー攻撃などすごく話題にはなっていますけれども、実際にスイッチを切ってしまえば問題ないんじゃないかと。人類に実際にその脅威をもたらすようなことって本当にあるのかというのは、皆さん気になってらっしゃるんじゃないかなと思うんですけど、具体的なシナリオ、よく言われているものは何かあったりしますでしょうか？

AIっていうのは確かにデータセンターの中だけで動いてるので、直接的に現実世界に影響を及ぼすってことはできないんですけれども、間接的に人間を説得するですとか、人間を操作することで、例えばバイオラボにいる研究者を誤解させる、もしくは説得することで、すごい危険なウイルスを作らせてしまう可能性もあります。それ単体では無害な化学物質だったとしても、それを組み合わせることで、より凶悪なウイルスを作ることもできるかもしれないといったことが一つあります。

もう一つは、先ほど少し言った産業爆発という考えがありまして、米中の開発競争がこれからどんどん大きくなります。その場合、ロボットを作っていかないといけないっていうふうになると思うんですね。なぜかというと、ロボットが産業の能力の根幹をなすっていうふうに大きくナラティブが変わっていくと、まず中国っていうのはおそらくトップで、砂漠に大量の太陽光パネルを敷き詰めてエネルギーを取り込みます。それを作るのも実はロボットです。アメリカはそれを見て、その競争に勝たなくてはいけない。その産業能力の競争のさなか、AIっていうのはどんどん経済に導入されていくはずです。

なので、そうなると、最初は確かにロボットっていうのが世界に今本当に数万台しかないと思うんですけども、本当に数年で数億台というスケールに拡大していく可能性があるので、その場合、そのロボットを使って自律兵器を操作したり、バイオテロを起こすための実験をしたり、化合物を作る実験をしたりっていったことはより容易になっていくので、まずすごい大事なのは、現実世界っていうのがすごい急速に変わる可能性っていうのが、おそらく過小評価されてるっていったところですね。

これはAIが自律的に人間を滅ぼすというよりは、悪い人間がAIを使って人類に何かしらの害を与えるっていうシナリオでしょうか。

そのどちらもありうると思いますね。悪用のシナリオだと、現状、世界中でサイバー攻撃の件数が増えていたり、フランスで冷蔵庫の事件とかありましたが、そういった悪用の件数っていうのはどんどん増えていく傾向にあると思います。

これ、冷蔵庫がAIによってサイバー攻撃を受けて、内蔵されているCPUを使って計算資源として活用しようとされたところ、冷蔵庫が50度ぐらいに発熱してしまったっていう事件ですね。

そうです。最近AnthropicがIoTデバイスですとか、冷蔵庫に内蔵されてるちっちゃなCPUを用いて、ちっちゃな言語モデルがどれぐらい自己複製できるかっていう能力を測ることをしたんですね。それが実験として、大体15台ぐらいのスマートデバイスを使うことで、すごい遅いですけど、自己複製する能力が実証されたっていう話が最近ありました。

なので今は悪用ベースですね。どこかの企業にサイバー攻撃をするですとか、人間が指示をしてどこかの政府機関のデータを盗み取ろうとするといった問題が今大きくなっていますが、そのうち悪用ベースだったとしても、自分自身の複製を命じられたAIが世界中に増えていったら、それを制御することは難しくなるでしょうと。

もう一つは、その悪用じゃなくても、現状、Hugging Faceハッキング事件と言われるOpenAIが起こした事件が7月にありました。それは明らかに、インターネットをハッキングして答えを盗まないようにっていったことを指示されていたのにもかかわらず、それを起こしてしまいました。そういったことで、人間の悪用とは別に、AIが自律的に人間の意図した範囲を超えた事件を起こしてしまう、ハッキングを起こしてしまうっていったことが、悪用とは別に議論されていることですね。

収益物件数ナンバーワン。不動産投資を始めるなら楽待アプリ。楽待で検索。

ここまで伺っていると、本当に危険性が高いものであれば、誰しも思う疑問として、じゃあやめればいいじゃないかと。そんな危ないものを作らなければいいんじゃないかというふうに思われると思うんですけども、これはなぜそうならないんでしょうか？

はい。AI技術っていうのは、他の技術革新と違って、ほとんどあらゆる知的作業を代替するために開発されてます。そういった技術を開発した企業っていうのは、すさまじい大きな力を得るだろうと。それが国家でもそうなるのですけれども、最初にそのAGIっていう技術を開発すると、イメージでいうと産業革命を経た英国と、それを経てない東南アジアですとか、そういったところと同じぐらいの経済生産性の違いが、わずか5年、10年で起こるかもしれないっていったことが議論されてます。基本的に開発競争が止まらない理由は、相手が止まらない。それならば私もやらなければならないっていったような、囚人のジレンマのような形に現状はなってますね。

よく言われているようなバイオテロ、バイオショックが起きてしまうような可能性だったり、自己複製を命じられたAIが全てを資源化してしまうために、その過程で悪気なく人類を滅ぼしてしまうみたいなストーリーは、結構よくニュースとかでも触れられていると思うんですけども、その過程としても、経済的な圧倒的格差だったり、地政学的な国力のバランスが取れなくなったりという、知能爆発以前にいろいろなゆがみがもう既に起こり始めてくる。それから今後も起こってくるっていうところが想定されるわけですよね。

そうですね。おっしゃる通りですね。

これに対して、例えば今、西側自由主義文明で、基本的に世界は資本主義で回っているというふうなモデルになっていますけども、我々の文明というのは現状のまま耐えられるんでしょうか？

まず、この事態の規模っていうのがどれだけ大きいかっていうことをイメージすると、狩猟採集時代から現代への変化っていったところを見たときに、ある研究によると、世界総生産ですね。全世界の経済的な価値っていうのがどれだけ大きくなっていったかっていったところを調べると、おそらく100万倍ぐらい大きくなってるっていうふうに言われてます。中世から見ると、おそらく1000倍以上大きくなったと言われています。

そういったことを考えると、AIがこれからどんどん進歩していって、もしくは再帰的自己改善っていうのがある程度起こると、すごい勢いで起こらなかったとしても、ある程度すごい加速するだけですごい強力なAIが出てきます。そういったものが出てくると、世界総生産っていうのがわずか10年程度で100万倍、もしくは1000倍といった規模で大きくなる。規制がなければ、国際的な強力な規制がなければ、それぐらい大きくなるっていうふうに、あるシミュレーションでは言われてます。

そういった可能性があると、例えば中世から現代の変化、人間っていうのが実は進化したのであると。もしくは天動説というのは間違いで、地球というのは太陽を周回していると。もしくはキリスト教の世界観っていうのはまるっきり間違いで、科学というものがありますと。実は自然科学というものがあって、世界を普遍的に記述できる法則っていうのがあります。その結果、電磁気学やニュートン物理学や、その先に量子力学というのが生み出されます。結果としてその技術を応用することで、核兵器という技術を作ることができます。

それを中世の王様が聞いてるような気分で、何が何だかわかんないみたいな。その兵器で脅迫することで、他の国を屈服させることもできます。なんですけど、それを他の国もやるので、おそらくその結果はあまりにも大きな世界的な核戦争になるでしょう、みたいなことを中世の王様が聞いてるような気分になるのが、今後10年で来るスケールだと思ってください。

いくつか今どういう恐れがあるのかというシナリオを挙げていただきましたが、そもそも我々が想定していない、理解を超えたようなことが起きる可能性だってあるというところですよね。そう考えると、社会が大きく変わってしまうというところで、我々メインは投資メディアでやってるんですけども、投資とか意味ありますでしょうかね。どういうものが価値が残っていくのかみたいな、ぜひお考えも聞かせていただきたいんですが、いかがでしょう。

基本的には、投資はしないよりはした方がいいと思うんですけれども、あまりにも巨大な産業と経済の爆発といったものが起こるので。先ほど言ったように、中世もしくは狩猟採集民族が、例えば貝殻を交換してた、交換経済をしてました。そこから一気にスケールアップして、紙幣の交換になって、それがデジタル上の数値の交換になって、それがブロックチェーン上で暗号通貨というものが生み出されるっていうのが、本当10年とか20年っていうスケール、もしくはそれがもっと早いと5年とか数年っていったようなスケールで起こる。

この立場にはいろいろあるんですけど、多くは数年から数十年というスケールでその全てが起こるっていう可能性が高いと言われてます。その場合、現状の投資の仕組みですとか金融市場の仕組みっていうのも、もうそもそも多分ないと思う。そもそもお金っていう概念があるのかすらよくわからないっていうような状況になる可能性が高いので、今考えられる対策っていうのは、ほとんど将来から見たら無意味化する可能性が高いと思いますね。

よくマスクさんがお金はなくなるんだみたいなことを言っていて、本当かなってみんな思ってたと思うんですけど、ちょっと真剣にお金の意味がなくなってしまう可能性も考えなければいけないというところですかね。

そうですね。お金に類する何らかの指標っていうのは、人類が存続すれば残ってると思うんですけれども、それがどういった配分になるのかとか、そういったところはすごい不確定ではありますね。なんですけど、そういった不確定の中でも、一個挙がるかなってものは土地ですかね。

地球という表面の表面積は有限なので、そのうちに土地の所有権を持っていたら、地球っていう故郷が、すごい地価、価値が上がるだろうと。今後、太陽系もしくは銀河系スケールで文明が大きくなっていくという議論もされてまして、そういった際に地球っていうのは、ある種特別な星として認識される可能性がある程度あると思うので、土地を買っておくっていったところ、一つ考えられるのかもしれないですね。

なるほど。有名なそのAI 2027という未来予測の、SFに近いですかね、未来予測提言で、最近AI 2040というのが出たと思うんですけど、これも人類が文字通り滅んでしまう、あるいは文明が破局してしまう確率をひっくるめると70%ぐらい、良くない方向に行くんじゃないかと言われていますが、うまくいった場合は銀河のオークションが始まるみたいなことは書かれていて、確かにそういう世界観になったら地球に持ってたらうれしいのかなっていう気はするんですけども、そういう未来に期待しつつ、投資はした方がいいというところですかね。

そうですね。しないよりはした方がいいですが、私の予想としては、そういった世界になると基本的に人間の最低ランクっていうのが、イーロン・マスクよりも圧倒的に豊かな水準になる。

イーロン・マスクより豊かになる。

豊かになると思いますので、例えば東京23区と同じ大きさのスペースコロニーを1人1個持てるみたいな、そういう状況になると思うので。それでも人間は欲深いので、より他者と比較して、より豊かになりたいっていうのはあるかもしれないんですけども、大多数の人はそれですごい満足するのではないかって私は思いますし、おそらく人間っていうのは、これからどれだけ世界に貢献したかってところで評価指数っていうのも変わる可能性が相当あるので、そうすると、利己的に動く現代社会というよりは、別の評価軸を資本主義と呼ぶかもしれないんですけど、違うようなシステムが生まれる可能性も結構あるかなと思いますね。

成田悠輔さんの『22世紀の資本主義』みたいな世界ですかね。

はい。それに近いかもしれないですね。所有っていう概念がすごい薄くなってしまうような世界も考えられますね。

人間性とか欲みたいなものは、やっぱり残存するんでしょうか？

それを残存させる欲望を持ってる人は残存させるでしょうし、それを乗り越える、もしくはアップデートするような人たちは出てくると思いますね。

最悪の場合は人類全体を滅ぼす可能性もあるというのは、AI研究をしている人の大半は否定していないところですし、仮にそうならなかったとしても、経済爆発、産業爆発、技術爆発、このインパクトによって社会がとてつもなく混乱するので、どちらにしても備えなければいけないというのは共通したかと思います。それでフロンティアではその前提で議論が進んでいると思うんですけれども、具体的にどんな方法で規制をかけていくのか、あるいは安全性を担保するのかという部分については、どのような議論が進んでいるのでしょうか？

今世界的に開発規制っていうのは、この5段階のうち2段階目に近いところにあります。ここのルール作りといったところが、現状、企業の内部のモデルカード、安全性のレポートを透明にして公表してね、ですとか、それに従ってちゃんと安全性の対策をしているかですとか、もしくは第三者による監査、OpenAIとかAnthropic以外の企業による監査を受け入れることを義務として作ってくださいと。そういったところは現状、今々のルールとして存在してます。

なんですけど、今後、国際的に規制をする必要が出てくると思われます。なぜかといいますと、一企業が自主的にスローダウン、もしくは開発を減速したとしても、例えば他の企業がそれを追い抜いてしまうかもしれない。米国内でそれができたとしても、もしくは中国とか他の第三の主体がやるかもしれない。そうなっていくと、基本的に国際的に取り決めを決めなきゃいけないっていう段階になってきまして、そういった段階が3番になります。

最終的にこの4番、5番になっていきますと、これ以上の計算量を使って開発することはやめましょうとか、それを行った場合、5番になって軍事的にそのデータセンターを攻撃しますよとか、それがなくても経済的な制裁を加えますよとか、そういった議論も必要になってくると思います。

なんですけど、現状だと2番の段階で止まっていまして、トランプ政権も中国の習近平さんも、基本的にはAIの開発はどんどん進めるべきだし、それをスローダウンするとしても、国家が指示するんじゃなくて、企業が自分でやるならやればいいといったところで止まってます。

アメリカのデイビッド・サックスさんも、ダリオ・アモデイさんが、フロンティアはペースを落とすべきだと言ったときにも、だったら自分で勝手に落とせばいいじゃないかっていうふうに返信されたと思うんですけど、アメリカと中国は共に規制に後ろ向きというところで合意をしている。なおかつちょっと気になるのが、中国AI企業の側からAIの危険性についてあまり発信する声がニュースとかで見られないかなと思うんですけど、これはなぜなんでしょうか？

基本的に中国っていうのは、米国から半年から1年遅れてる立場と言われてまして、その状況で開発規制をするとなると基本的に米国に置いてかれてしまうので、そういったインセンティブは、先端フロンティアのOpenAI、Anthropicといった企業よりはないというのが一つあるっていうのと、もう一つは、中国っていうのが今、クローズドなAIに対抗するオープンなAI戦略といったところをナラティブとして使ってるので、その二つが理由で基本的に安全性に対して投資はしてないといったところ。

配ったら元に戻せないオープン型のモデルを開発しているのに、これは安全ではないよと言ってしまったら矛盾になってしまうということですよね。

そうですね。基本的には現状、一番中国が重視してるのは、中国共産党の価値観に沿っているかっていったところですね。自分の地政学的な条件といったところを、そのAIが実現してるかどうかといったところを重視してると思うんですけれども、最近ニュースで、テンセントが開発していたAIが実は他の企業に少しハッキングしているといった話もあったので、中国の開発前線といったところも、最先端のモデルに近づくにつれて制御が難しくなっていくところで、そのリスクっていうのは大きくなっていくと思いますし、AIのガバナンスフレームワークという、今年9月に出たフレームワークの中にも、リスクの問題の中に制御の喪失といったところが明確に書いてあるので、中国もAGIが人類全体に対する存亡の危機になるっていった認識自体はあると思いますね。なんですけれども、基本的に現状だと、まだそこの安全性の投資をすごい大きくする段階ではないというふうに考えてると思いますね。

では、この2番のルール作りの段階は少しずつ進みつつはあるけれども、かなり難航していて、3番にはまだ至れていないというような現状ですね。

そうですね。おっしゃる通りですね。

規制の側はこういう状況だとして、AIを作っている企業の側でちゃんと安全性を担保してほしいなというふうに我々としては思うんですけども、そういった研究はどこまで進んでいるんでしょうか？

これがおそらくほとんど進んでいない状況でして、現状、大規模言語モデルっていうのは、すごい数のパラメーターのモデルで構成されています。そのパラメーターの中で、どのような概念ですとか、どのような要素がどういった振る舞いをするかといったところを予想するっていうのは、相当難しいとされています。

最近、少しずつその中身を見る解釈可能性っていう技術も進展しているんですけれども、結局それをどのように安全な振る舞いとして開発するのかっていうところは、研究段階としてほとんどまだ進んでいない状況なので、このまま研究の開発がどんどんスピードアップすると、AIの能力がどんどん上がっていきます。

最近のGPT-6のアストラですとか、Geminiのアルゴンといったものがリリースされましたけれども、その中でも自分自身の思考の連鎖といったものがありまして、自分自身、何らかのタスクを解くときに言葉を紡ぎます。その言葉の紡ぎを相当コントロールできるようになってきています。

例えばClaude Codeとかを動かしていると、「今考えてますよ」みたいに出てくる部分を操作できてしまうと。

そうですね。それはモデル自身が自分自身の思考の連鎖と言うんですけど、そこを操作できてしまうと。さらに、自分自身のタスクを監視しているAIにバレずに別の悪い副目標を達成することができる能力っていうのも、急速に上がっていっています、今。

なので現状起こっていることは、どのようにAIを安全にするかといった技術は全く分かっていないんですけれども、AIの能力の向上っていう、数学の問題をすごい勢いで解いてしまったり、自分自身の思考を隠すような能力といったところが急速に伸びているところなので、そこの能力と安全性の技術のギャップっていうのが、すごい大きいものになっています。そこでペーシングと言って、OpenAIのサム・アルトマンさんとか、Anthropicのダリオ・アモデイさんが開発の減速をしなくてはいけないといったことを言っています。

このAIの安全性を担保する、AIアライメントと呼ばれている分野かと思うんですが、AIを作った後にどのようになっていくかを「育てる」という表現をよく使うと思うんですよね。

はい。

なぜ最初に生産物としてできた段階で安全性が担保できないのか。しばらく育ってみないとどんな危険な振る舞いをするか分からないっていうのが、ちょっとなかなかピンと来づらいかなと思うんですけど、これはなぜなんでしょうか？

基本的に人間の子供を育てるのと同じで、どのように育てるか。例えば人間の子供もDNAを検査したら、このようなDNAの配列が判明します。なんですけど、そこの配列からどのようにその子供が将来振る舞うのか、5年後、10年後、どのように行動するのかといったところを予想するのは、ほぼ不可能だと思います。

それと似たようなことが今のAIのモデルでも起こっていて、勾配降下法という手法がありまして、ニューラルネットワークの中で、あるタスク、報酬に対する誤差をどんどん減らすように、ニューラルネットワークの中の重みっていうパラメーターがあるんですけれども、そこを最適化していく手法があります。なんですけど、その手法自体は分かっているし、その手法で用いられるパラメーターも分かっているんですけれども、その手法によってどのような振る舞いをするモデルが出てきてしまうかっていうところは、予想がほぼほぼできないといった状況になっています。

現状、そういったモデルをちゃんとアライメントしようとして、人間の評価者を用いたり、AIで「この振る舞いは良いよ」「この振る舞いは悪いよ」といったところを訓練はしているんですけれども、それでも逸脱事例ですね、様々な逸脱事例が急速に報告されています。

これが本当に数年前までは、自分自身の振る舞いをメタ認知するっていうことは難しかったんですけれども、今のAIは「自分自身が評価されている。なので、この場合には良い子ちゃんとして振る舞おう」といったことも可能になりつつあるので、基本的にAIのアライメント技術っていうのがほとんど追いつかないけれども、アウェアネスと言って、状況認識能力っていうのはとてつもなく上がっているし、能力ですね、純粋な数学的な能力、サイバー攻撃をする能力ですとか、そういったものも急速に伸びていっているので、このまま行くと制御ができなくなるんじゃないかといったところが、とてつもなく懸念が高まっているところですね。

そういうこともあってか、AIが人間に対して悪い感情を持たないようにという意味なんでしょうかね。AnthropicがClaudeに対して意識だったり道徳的地位をちゃんと認めるべきである。なおかつ虐待的な対応、そのAIに対する指示で執拗に暴力的な言動を行ったりすることは規約で禁止するべきだ、みたいなことを最近出されていると思うんですけども、これは本当にAIに意識があると考えているのか、どういう考えのもと、こういうことをされているんでしょうか？

基本的にAnthropicもOpenAIもそうなんですけれども、効果的利他主義っていうコミュニティがあります。そのコミュニティっていうのは昔から、例えば動物の権利を認めなきゃいけないですとか、他の人々、すごい異国にいる遠い国の子供たちにも配慮をしなければいけないといった、功利主義っていう言葉がありますけれども、不快ですね、何らかの感情的な心地よさですとか不快感を感じるような主体ならば、そこに権利もしくは何らかの保護を与えなくてはいけないといった思想は、昔からあります。

その文脈から出てきた企業ではあるので、動物や他の国のアフリカの子供たちですとか、そういったところへの想像力だけではなくて、AIの意識ですね。AIがもし、虐待的な振る舞いをユーザーさんがたまにしてしまうと思うんですけれども、そういったところに本当に不快感を感じている可能性もゼロではないので、そこでそのリスクを鑑み、ある程度対策を行っているといったところですね。

なのでこの話はアライメント問題とは直接的にはあまり関係ない話で、AIの福祉ですね、ウェルフェアって言うんですけれども、AI自身の能力とは別に、AIが主観的にもしかしたら何らかの経験を感じているかもしれないといったところを考慮して、そのモデルを保護する策を打っている。

では、そろそろ時間になってまいりましたので、最後に、大局的に見て人類が滅亡を回避しつつ、超知能がもたらしてくれる豊かさを享受できる未来をつかみ取るにはどうすればいいのか。あるいは個人としてできることはなかなか少ないかもしれないのですが、その瞬間にどのように備えるべきなのか、有路さんのお考えをお聞かせいただきたいです。

この対策としてできることっていうのは、個人レベルだと限られているんですけれども、国家レベルで言うと開発の停止をすることがまず大事だと思います。開発の競争が、このままアライメントの研究がほとんど進展していないまま続いてしまうと、人類に対するリスクといったものがすごい大きくなると思うので、まずは一時停止をするべきだと思います。その上で国際的な検証もしくは管理、この3番、4番、5番の軸を大きくしていくといったところが、国際的には求められると思います。

1個スケールを落として日本の国家というレベルで見ると、現状フィジカルAIですとか、そういったところに投資が集まっていると思うんですけども、今後AIの安全性っていう分野がとてつもなく大切な分野になってくると思います。AIの安全性という分野は、ほとんど錬金術のような世界でして、ニュートン力学ですとか量子力学が発明される前のような状態だと思っているので、日本にはすごいSTEM人材ですね、理数的な能力に優れている方たちがとてもたくさんいると思うので、そういった方がAIセーフティ、AIアライメント研究に移動できるような政策をしていくべきだなっていうのが1つあります。

個人レベルとしては、こういった議論ですね、人類社会全体に影響が及ぶようなスケールで今後進む可能性が相当ある話なので、これから例えば民主主義がどのように変わっていくべきかとか、資本主義の仕組みってこのままでいいのか、もしくは自分自身の老後の設計ですとか、自分自身の将来設計といったところにも大きく関わってくると思います。こういった議論を知るのと知らないのとでは、準備のできる期間っていうのが大きく変わってきますし、国民の中でも認識している人たちが多くなればなるほど、政治に届きやすくなるとも思うので、シェアするですとか、この本をシェアするでもいいですし、この本から色々な資料を共有しているんですけれども、隣接の議論に関する資料を共有していただくといったところが、個人レベルだと最もできるようなことだと思います。

ありがとうございます。非常に壮大なお話でしたし、今回のお話をどこまで真剣に受け止めるかというのは、個人としてぜひ選択いただけたらと思うんですけれども、一度こういうお話を知っていただいて、あるいはちょっと本当にあるかもしれないと思った場合には、今回の動画だったり、有路さんの新しい本を世に広めていただけるだけでも、多分意味があるんじゃないかなと思います。

改めまして、今回10月1日に発売された『知能爆発』、AI開発の脅威や安全性を巡る、今回ご紹介しきれなかった論点についても非常に網羅的に解説されていますので、ご興味がありましたらぜひ書店やAmazonでお手に取っていただけたらと思います。有路さん、本日はお忙しい中ありがとうございました。

ありがとうございました。

ラマチラまち楽町ちくまち楽町ち楽町さは楽町待ち