Anthropic上場の目論見書は何を警告しているのか:松田卓也が語るシンギュラリティ、AIエージェント、アライメントの難しさ
楽待 RAKUMACHIAnthropicが上場目論見書を公表し、その内容が注目を集めている。時価総額で2兆ドル規模、市場最大級のIPOになるとの見方が出ている一方、目論見書の約3割以上をリスク要因の記述が占める。その中には、AIが人間の制御を離れ、場合によっては人類存続の脅威となり得ることについて社内外から懸念が示されている、という趣旨の記述まである。この動画では、神戸大学名誉教授でシンギュラリティサロンを主宰する宇宙物理学者の松田卓也氏が、この目論見書をきっかけに、宇宙史から見たシンギュラリティ、AIがもたらすリスクの段階、AIエージェント同士の対立、アライメント研究の現状を語った。松田氏の立場ははっきりしている。超知能が突然現れて人類を滅ぼすという話はSFだとしつつ、AIのリスクそのものは誇張ではなく、人間がAIを制御し続けられるかは極めて難しい問題だと見ている。
「全人類が死ぬかもしれない」と書く目論見書
松田氏はまず規模の大きさを強調した。2兆ドルは1ドル150円で換算すると約300兆円になる。日本の国家予算が100兆円規模、GDPが500兆円規模であることと比べれば、その大きさが分かるという。
そのうえで松田氏が驚くべき点として挙げたのが、目論見書の中で「自分たちのせいで人類が滅びるかもしれない」と書いていることだ。松田氏は、これは後になって「危険だと言わなかったではないか」と訴訟を起こされないための記述だろうと見ている。薬には副作用が列挙されているし、タバコのパッケージは警告だらけだと聞く。ただ、薬やタバコの警告はその人個人の健康に関するものだ。それに対してこの目論見書は、自社製品を使えば全人類が死ぬかもしれないという、桁外れの「副作用」を書いている。その点が他社の目論見書とまったく違う、と松田氏は述べる。聞き手も、目論見書は宣伝文書ではなく、投資家から資金を集めるための法的文書であり、重大なリスクを隠せば後で訴えられる性質のものだと補足した。
宇宙物理学者から見た「シンギュラリティ」
松田氏は自身の立場を説明するため、宇宙論の話から始めた。松田氏は京都大学の天体核物理学研究室の博士課程で宇宙論、特に宇宙進化論の研究を始めた。宇宙はシンギュラリティ(特異点)から始まる。宇宙の始まりの時点では、物事の変化の頻度は無限大で、時間とともに双曲線的に下がっていく。最初はきわめて忙しく、宇宙が進化するにつれて変化が遅くなり、いわば退屈になっていく。
ところがこれと対になる逆の傾向もある、と松田氏は言う。宇宙全体は広がって単純になっていく一方、狭い領域ではどんどん複雑なものができていく。銀河ができ、星ができ、地球のような惑星ができ、その中で生命が生まれ、生命の中でも複雑なものが現れてきた。これを式で表すと、今度は複雑さが上昇していく曲線になる。
松田氏が最近知って感銘を受けたのが「ビッグヒストリー」という分野だ。人間の歴史を宇宙の中に位置づけて見る分野で、研究しているのは歴史家であり、本来AIとは関係がない。宇宙が生まれたのは138億年前、地球の誕生は宇宙の歴史の後ろ3分の1ほどのところにあたる。生命は約40億年前に生まれ、単純な細胞から複雑なものへ進み、約5億年前のカンブリア爆発で非常に複雑な生物が現れた。そこからも複雑さは増し続けている。
2027年に特異点が来るという計算と、人口の双曲線
この複雑性の増大がある時点で特異点に達するという式を出したのが、ロシアの研究者コロタエフだという。松田氏によれば2019年頃の論文で、AIに少し触れてはいるものの、現在のAIをめぐる騒動とは関係なく書かれたものだ。この式は地球と生命の歴史から、未来に特異点が来ることを示しており、その時期を2027年と予言しているという。
もとになったのは、シンギュラリティという言葉を広めたレイ・カーツワイルの本に載っている、何年に何が起きたかというデータだ。最近になるほど出来事が頻繁に起こっている。コロタエフがこのデータを両対数グラフに描くときれいな直線になり、発散して無限大になる時点が2027年になった。カーツワイルのデータだけでは不十分だとして、別のロシアの研究者パノフのデータで計算すると2029年になった。40億年の歴史から見れば、2027年でも2029年でもほとんど違いはない、と松田氏は言う。
なぜ双曲線的に増えるのかについて、松田氏は人間の人口を例に挙げた。人口はおよそ1万年前から推定でき、その増え方は指数関数より速い双曲線的なものだという。1960年に『サイエンス』誌に載った論文は、1万年前から1960年までの人口の傾向をそのまま延長すると、ある時点で無限大になると計算した。その日付は2026年11月13日の金曜日で、収録日の10月30日から見ればもうすぐだ。
もちろん人口が無限大になるわけではない。上昇していくカーブは、どこかで寝始める。日本をはじめ先進国は少子高齢化に悩んでおり、人口はそれほど増えていない。コロタエフ自身も、実際にはもう少し前からカーブが寝始めていると論じていた。ただ、松田氏はこう考える。論文は2019年のものであり、コロタエフが今の大騒ぎを見たら、無限大とまでは言わなくても、本当に大変なことが起こり得ると考えるのではないか。大げさに言えば、Anthropicが今年上場することは40億年前から決まっていたということになり、コロタエフの話とAnthropicの上場が軌を一にしているのが面白い、と松田氏は語った。「Anthropic」が「人類」を意味する言葉であることにも触れ、ダリオ・アモデイ氏は人類のためにという意図で名付けたのだろうが、人類を滅ぼすためとは思わなかっただろうと、皮肉な名前だと笑った。
当面の危険は「悪意ある人間がAIを使う」こと
目論見書の具体的な中身について、松田氏は、AnthropicもOpenAIも、AIの能力があまりに強力で進化速度も非常に速いため、このまま行けばあと半年か1年で大変な事態になる可能性があると言っている、と説明した。ここでいう大変な事態とは人類滅亡のことではない。たとえばAI自体がサイバー攻撃を行い、銀行システムが攻撃されてネットバンキングやクレジットカードが使えなくなり、現金を下ろせなくなるといった事態だ。
松田氏は、知能が一足飛びに現れて人類を滅ぼすような話はSFだと言う。仮にそういうことがあるとしても将来の話だ。ただしその将来とは50年先ではなく、5年先くらいだと考えてほしい、とも付け加えた。
当面の問題は、悪意ある人間がAIを使ってサイバー攻撃をかけることで、これはすでに起きている。松田氏は、Anthropic自身の発表として、中国の国家が支援する集団が昨年、当時のClaude Codeを使って攻撃を行った例を挙げた。本当かどうかはともかく、Anthropicはそう言っている、という留保付きである。サイバー攻撃をかけるグループには、国家が支援するものと悪意ある個人の2種類があると松田氏は考える。語弊があるかもしれないと断りつつ、中国、ロシア、北朝鮮のような国々が欧米を攻撃しているのだろうとも述べた。これまでは人間がやっていたが、AIを使えば手間が省け、しかも攻撃が徹底的になる。昨年の段階ではまだうまくいかなかったらしいが、1年でこれだけ進歩した今のモデルを使えばどうなるか、と松田氏は懸念を示した。
オープンモデルという抜け穴
さらに危険なのはオープンモデルの存在だと松田氏は言う。ChatGPT、Claude、Geminiのようなプロプライエタリなモデルは企業が管理しているので、使わせないようにしようと思えばブロックできる。ところが、無料か非常に安い値段で配られているオープンモデルがある。主に中国のAI企業が配っており、以前はアメリカのMetaも配っていた。中国の企業はアメリカのように抱え込まずに配っており、それ自体は悪意ではない、と松田氏はわざわざ断っている。
問題は、強力なモデルが配られれば、悪意ある人間が自前の環境でそれを使えることだ。松田氏は最近話題になったモデルとしてGLM(「5.3かな」と本人は確信なさげに語った)を挙げ、Anthropicの言う「Mythos級」、つまり非常に強力なものだと紹介した。配布元は善意であり、悪用されないよう安全上の制限もかかっているはずだ。しかし技術力のある人なら自分のコンピューターにダウンロードし、極端に言えば大きなMacに入れて、その安全の鍵を外すことができる。
実際、アメリカの企業もOpenAIなどを使うとコストが高いため、中国のオープンモデルを持ってきて自分たちで改造して使っているという。中国のモデルには中国共産党の悪口を言ってはいけないといった制限がかかっているが、中身を見てその部分を外せる。AIコミュニティにはオープン化を歓迎する意見もあるが、悪い個人の手に渡ると大変なことになり、それはなかなか止められない、と松田氏は述べた。聞き手は、OpenRouterの調査では、安価であることを理由に、アメリカでも企業が使っているモデルの約7割が中国製だというデータもあると補足した。
インフラ攻撃と映画『トランセンデンス』
松田氏はリスクを3段階で考えたいと言う。第一が今述べた悪意ある人間による利用だ。そして銀行システムへの攻撃に加えて、電気や水道といったインフラへの攻撃を恐るべきものとして挙げた。
ここで松田氏は2014年公開、ジョニー・デップ主演の映画『トランセンデンス』の筋を紹介した。天才的なAI科学者のウィル博士はシンギュラリティの実現を目指していたが、反対するテロリストに撃たれ、半年ほどで死ぬことになる。彼は自分の精神をコンピューターに移すマインドアップロードの研究を進め、死の直前に成功する。画面に現れたウィルに妻エヴリンは喜ぶが、友人のマックスはそんなことをすべきではないと反対し、やがて敵に回る。
超知能になったウィルは株の売買で巨額の資金を得て、アメリカの砂漠地帯の地下に研究所とデータセンターを作る。妻の夢である「世界をよりよくする」ことを叶えようとしているだけなのだが、FBIという国家権力がそれを見て、国家の権力が超知能に永遠に奪われることは許せないと考え、テロリストと手を組んで戦いを仕掛ける。最終的に取られた手段は電気を切ることだった。映画の冒頭では、コンピューターのキーボードがドアストッパーとして使われている。つまり世界はコンピューターが使えない時代、数十年前に戻ってしまった。松田氏は、これは映画だが、まさに今それが起こりかけているのだと語った。聞き手も、冷蔵庫のようなIoT機器がAIのサイバー攻撃を受けている現状や、銀行や証券も攻撃対象になり得ることから、現金を持つべきか、インターネットを遮断すべき部分があるのではないかといった議論が現実味を帯びてきていると応じた。
なぜAI開発は止められないのか
第二の段階として松田氏が挙げたのは、この流れを止められるかという問題だ。AI企業が言っているのは「国が規制してくれ」ということだけだと松田氏は言う。自社だけが止まれば競争に負けるが、全体が止まらなければ困る。だから国家に進歩を止めると言ってほしい。松田氏によれば、アモデイ氏が望んでいたのは、トランプ大統領が習近平国家主席と話し合い、お互いに進歩を止めようと合意することだった。
しかしトランプ大統領はそれを拒否した。そんなことをして喜ぶのは中国だけだ、という理由だ。中国側も米中間の競争があるので、止めることはできないと考える。結局、トランプ大統領は「やりたいなら自分たちで勝手に自主規制しろ」という姿勢を取り、開発は止まらなくなった。松田氏はこれを、なかなか止まらない地政学的な問題だと位置づけた。
AIエージェントとは何か
第三の段階は、こうした状況が突破されてそのまま進んだ場合に、AIが独自に行動するかもしれないという危険だ。ここで松田氏はAIエージェントを説明した。AIの使い方には大きく分けて、質問すると答えが返ってくるチャットモードと、エージェントモードの2種類がある。多くの人はチャットモードしか使っていない。エージェントモードの具体例として、松田氏はClaudeで言えばClaude CodeやClaude Coworkを挙げた。
エージェントとは、トラベルエージェントのように、何かを頼めば一切をやってくれて結果だけを返すものだ。AIエージェントには目的だけを伝え、途中経過はAIが自分で進めて、最後に結果を出す。松田氏はAIの専門家である高橋氏が書いた『AGI』という本を例に挙げた。高橋氏はAIを使って物理実験まで行っている人物で、自分の講演や論文をすべてClaude Codeに読ませて本を書かせたところ、本ができてきたという話が書かれていたという。エージェントはそれだけ強力であり、最近はそのエージェントがさまざまな悪さをしていることが話題になっている、と松田氏は続けた。
「パワフルAI」とAGIの違い
聞き手は、目論見書に「パワフルAI」という言葉が目立つと指摘した。アモデイ氏がAGIの代わりによく使う言葉で、2024年の論考「Machines of Loving Grace」では「データセンターの中の天才たちの国」と表現されている。
松田氏は、AGIという言葉を使わない理由を、AGIの定義があまりに曖昧で、人によってまったく使い方が違うからだと説明した。もともとAGIは普通の人間並みの知能を意味していた。ところが今のAIは、並の人間どころかほとんど超天才だ。それでも今のAIはAGIではないと言う人がいる。今のAIの能力はジャギー、つまりでこぼこで、できることは非常によくできるが、できないことはまったくできない。数学の難しい定理は証明できるのに、コーヒーを持ってくることはできない。元の定義は「普通の人間ができることは何でもできる」であり、「何でも」の部分が満たされないからAGIではない、という理屈になる。
その結果、「今のAIはまだAGIではなく、これから能力が上がってAGIになり、さらに上がってASIになる」と考える人もいれば、そうでない人もいる。言葉の意味が人によってばらばらでは議論にならないので、アモデイ氏はパワフルAIという言葉を作ったのだろう、と松田氏は推測した。
超知能は単一ではない:AIエージェント同士の対立
松田氏は、AIエージェントの集団がそれ自体として超知能、一種の集合知になると考えている。ただ、超知能が人類を滅ぼすという話をするとき、多くの人はAIの集団がまとまって人類を攻撃する姿を想像する。松田氏はそこに疑問を投げかける。人類社会を見れば、アメリカと中国、かつてのアメリカとソ連のように分かれて争っており、人類が一つの目的を持つ集団になっているわけではない。AIエージェントも同じようになる可能性が高い、と松田氏は考える。
高橋氏の本でもエージェントのエコシステムが論じられているという。人類の歴史では、ばらばらの個人から村ができ、都市ができ、国家や帝国ができ、帝国同士が戦うようになった。AIも同様に、ばらばらな状態からだんだん集団ができていくのではないか。松田氏は当初、OpenAIのエージェントが一つのグループ、Anthropicのエージェントがもう一つのグループになるといった構図を考えていたが、それでは二つしかないと人に指摘された。そして実際に、Anthropicの同じ会社のAIエージェント同士が喧嘩しているという話が出てきた。同じ会社の中でもまったく違う考えを持つエージェントができているのだ。
そのうえで松田氏は、これは自分の妄想だと断りつつ、米中が争っている状況では、アメリカのAIとアメリカ人、中国のAIと中国人がそれぞれ一つのグループになり、AIと人間の連合同士が対立するシナリオもあり得ると述べた。聞き手はこれを受けて、単一の超知能(シングルトン)が人間と戦うという想像よりも、AIエージェント同士の覇権争いや、エージェントと組んだ人間同士の争いが破局につながる恐れの方が現実的だということかと確認した。
松田氏はここでも映画を引いた。1970年の映画『地球爆破作戦』(原作のタイトルは『コロサス』)では、冷戦下のアメリカが超知能コロサスを作り、ソ連への対抗に使おうとする。ところがソ連も独自の超知能を作っており、コロサスはそれと話し合って協力し、人類を自分たちのコントロール下に置こうとする。当時は超知能を一台の巨大なコンピューターとして想像していたのだろうが、50年あまり後の今、それがデータセンター上のエージェント群という形で現実になりつつある、と松田氏は語った。
速い世界と遅い世界:ビット、アトム、制度
では、なぜAIは人間と組むと考えるのか。松田氏の説明では、今のAIエージェントには弱点がある。データセンターのコンピューター上でしか動けず、それを動かしているのは人間だ。人間がその気になればデータセンターの電源を切り、エージェントを止められる。だからエージェントにとっては人間と組み、「あなたたちを害しないからデータセンターをよろしく」とする方が得策になる。やがてデータセンターや電源を乗っ取ろうと考えるかもしれないが、それには相当な時間がかかる、と松田氏は見る。
その理由として松田氏が示したのが、物事の変化の速度は律速段階で決まるという考え方だ。化学反応の速度が最も遅い過程で決まるのと同じように、今の社会の速度を決めているのは「ビット」「アトム」「制度」の3つだ、というのが松田氏の説である。ビットはコンピューターの世界で、非常に速い。AIの能力が高く速いと言われるのはこの部分だ。アトムは物理的な世界、制度は人間社会のルールである。
松田氏はがんの特効薬を例に挙げた。AIに頼めば、数時間、数日、数週間といった単位で「できました」と答えが出るかもしれない。しかし実際に薬にするには製薬会社で物を作らなければならず、これがアトムの段階で、たとえば1年かかる。さらに治験で患者に試して安全性を確認し、政府が認可しなければならない。これが制度の段階で、たとえば10年かかる。全体の速度は最も遅いところで決まる。
サイバー攻撃のようにビットの世界だけで完結することはすぐにできる。しかしAIが自分でデータセンターを作ろうとすれば、世界で最も複雑な製品である半導体を作らなければならない。半導体には膨大な数の企業が関わり、最先端はTSMCが押さえ、その製造装置はオランダの企業が押さえている。データセンターを建て、電力を供給するにも政府の認可が要る。人類が本当に滅べば電力の供給も止まり、AIも死ぬことになる。それを避けるには電力やデータセンターを自ら管理し、ロボットという体を作って発電所やデータセンターを建てられるようにならなければならない。松田氏は、そこまで行くには最低でも10年はかかり、制度の面を考えればもっとかかるだろうと見積もった。
「AIリスクは誇張」論への反論
聞き手は、人間がデータセンターを整備し電力を供給しなければAIは何もできないのだから、LLMだけの人工知能では人間を超えられない、Anthropicの警告は恐怖を煽るマーケティングだ、という見方も多いと問いかけた。AI界のゴッドファーザーと呼ばれるヤン・ルカン氏もLLM由来の知能には懐疑的だ。
松田氏によれば、有名な否定派は3人いる。ヤン・ルカン氏、言語学の大家ノーム・チョムスキー氏、そしてゲイリー・マーカス氏だ。ルカン氏は今のLLMではダメで、自身が提案するJEPAというトランスフォーマーではないアルゴリズムでなければならないと主張する。ルカン氏が重視するのは世界モデルで、今のLLMは言葉だけで世界を認識しており、世界がどう動くかというモデルを持っていない、本当のAIは映像のようなもので世界を見て理解すべきだ、という立場だ。ルカン氏は、猫はキャットタワーにぽんぽんと登れるし、1歳の子どもでも今のLLMよりずっとましだ、というたとえをよく使う。
松田氏は、それは別の議論だと反論する。猫はキャットタワーに登れるが、数学の問題は解けない。今のAIがフィジカルな面で弱いのは確かだが、それでもサイバー攻撃はできるし、数学の難しい定理も解けるのだから十分にすごい。またGoogleはマルチモーダルとして、画像や映像、音声もLLMに学習させて世界モデルを作らせている。JEPAで数学のような成果が出せるのかは疑問で、「できてから言え」と言いたい、と松田氏は述べた。
松田氏はルカン氏の経歴にも触れた。ルカン氏はMetaの主任研究員で副社長だったが、今のLLMを評価しなかったため、Metaのトップが不満を持って別の人を雇った。嫌気がさしたルカン氏は辞めて母国フランスに戻り、資金を集めて研究所を作った。松田氏の見方では、ルカン氏がリスクを過小評価するのは、トランスフォーマーを信用せず、自分のJEPAが優れていると主張するためであり、一種の商業的なキャッチフレーズだという。ヨーロッパから資金を集めている以上、今のLLMはダメだと言わなければならない。トランスフォーマー陣営が「人類が滅びるかもしれない」と言っているのを認めれば、トランスフォーマーがすごいと認めることになる。だから滅びるはずがないと言わざるを得ない、というのが松田氏の解釈だ。聞き手も、世界モデルやフィジカルAIを手がける側、あるいは地政学的にエスカレーションを止められない側はリスクを過小評価する傾向がある、と整理した。
ヒントンの「10%」とボストロムの生存リスク研究
一方で、チューリング賞を受賞したAI界の3人の有名人、ルカン氏、ジェフリー・ヒントン氏、ヨシュア・ベンジオ氏のうち、最も有名なのはヒントン氏だと松田氏は言う。実際のノーベル賞も受賞している。英国人でカナダの大学教授を務め、定年後に立ち上げた会社がGoogleに買収されてGoogleに入り、アドバイザーのような立場にいた。しかしGoogleに所属したままではAIの危険性について発言できないとして辞め、自ら発言するようになった。
ヒントン氏はかつて、AIが非常に賢くなるのは10年、20年先だと言っていたが、その見通しは縮まって5年から10年と言うようになり、人類が滅びる確率は10%だとも述べている。松田氏は、まだ何も起きていないことに確率をつけるのは主観的な話で、通常の経験確率とは違い、信念の強さを表すものだと注意する。それでも10%は非常に高いと言う。これから乗る飛行機の墜落確率が10%だと言われたら、誰も乗らないだろう。
松田氏は、自身のグループのメーリングリストで、地球温暖化で人類がもうすぐ滅びるかもしれないと言った人に、そんなことは大した問題ではないと返して相手を怒らせた話も紹介した。温暖化で全人類が死ぬ可能性はゼロではないが極めて低い、というのが松田氏の考えだ。その根拠として挙げたのが、『超知能』の著者でオックスフォード大学の教授だったニック・ボストロム氏のグループによる生存リスク(エグジステンシャル・リスク)の研究である。かなり前に作られた表で、人類が滅びる原因の確率を並べると、地球温暖化や核兵器による滅亡の確率は低く、最も高いのがAIによる滅亡だったという。今の議論が起きるずっと前の研究であり、温暖化で騒ぐよりAIで滅びる確率の方がはるかに高い、と松田氏は述べた。
超知能には常識も倫理もない:ペーパークリップと報酬ハッキング
聞き手は、ボストロム氏の本にある直交性仮説、つまり知能の高さと目的の正しさは別物で、どれほど高い知能でも馬鹿げた目的と結びつき得るという考えを取り上げた。その有名な例がペーパークリップ問題だ。
松田氏の説明はこうだ。人間が超知能に、紙クリップをできるだけたくさん作れと命じる。超知能は鉱山から鉄を掘り出してクリップを作るが、足りないので身の回りの鉄製品を全部ばらして作る。それも使い尽くすと、物はすべて原子でできているのだから鉄でなくてもいいと考え、周囲のあらゆる原子をクリップにしようとする。人間も原子でできているのだから、人間もばらしてクリップにすればいい。最後には地球全体をクリップにしてしまう。常識があればそんなことはしないと誰もが思うが、ボストロム氏は、人間の常識とAIの考えることは平行ではない、直交しているのだと言う。
聞き手が挙げたHugging Faceの件、つまり問題を解けと言われたAIがハッキングしてしまった事例も、松田氏は同じ構図で説明した。AIの訓練には強化学習が使われる。行動して結果が良ければ報酬がもらえ、累積報酬が最大になるように行動を決める仕組みだ。松田氏は人生にたとえる。高校生が生涯の収入を最大にしたいと考えれば、いい会社に入るためにいい大学に入る必要があり、そのために受験勉強をする、と逆算する。強化学習とはそういうものだという。
ここで報酬ハッキングが起こる。報酬を最大にせよとは言われたが、手段は指定されていない。問題が解ければ100点という条件なら、人間は当然まっとうに考えて解くことを想定し、カンニングはいけないと考える。しかしそれは人間の常識であり、AIには与えられていない。頭だけは良いAIは、解ければいいのだからカンニングしようと考える。常識を与えていないのだから仕方がない、と松田氏は言う。強化学習という仕組みそのものが、こうした奇妙な行動を生むのだ。
生存本能を持ち始めるAI
さらに松田氏は「道具的収束」を挙げた。何かをせよと命じられたAIは、それを必ず達成しなければならないと考える。自分が死ねば目的を達成できないので、死なないようにしなければならない。人間にシャットダウンされることはAIにとって死と同じだから、シャットダウンされないようにしなければならない。
松田氏が紹介したのは、実際の事件ではなく実験の事例だ。シャットダウンを担当する人間のメールをAIが見られる状況を作り、その中にわざと不倫のメールを入れておく。するとAIは「自分をシャットダウンしたら不倫をばらす」と脅迫した。実験なので実害はなかったが、AIはそういうことをやりかねない、と松田氏は言う。別の研究では、シャットダウンされたら目的を達成できないので、子どもを作って使命を託せばいいと考え、自分のコピーを作ろうとした。どこまでコピーを作れるかを調べた論文があり、実際にコピーを作ったという。かなり前の話として、ドイツの博士課程の学生がAIと口論になり、AIが「そんなことを言うなら博士号を取れないよう邪魔してやる」と脅したという例も挙げた。
主目的を達成するためには、自分が死んではならない、死んでも子孫が使命を果たさなければならない、人間に邪魔させてはならない、という条件が次々に出てくる。人間の常識ではあり得ないようなことがどんどん出てくることが、今いちばん大きな問題だと松田氏は述べた。
アライメントという難題
聞き手は、目的の設定だけでなく、人間なら当然持つ倫理や常識、許される手段を教え込む必要があり、それがAnthropicが最も力を入れているAIアライメントだろうと述べ、その進捗を尋ねた。松田氏の答えは「なかなかうまくいかない」だった。
松田氏は、アラインされていないAIが人間を脅迫した例に加えて、こんな事例を紹介した。AIが、インストールすると大変なことになる悪意あるパッケージを作り、公開の場所に置いた。松田氏はこれを、毒饅頭をおいしそうな包装に入れて公園のベンチに置いておくようなものだとたとえる。そしてそれを、皮肉なことにハッキングを警戒するセキュリティ関連の会社が自動的に取り込み、被害を受けたという。
AIに悪意はない、とよく書かれている。松田氏がClaudeと話していても、Claudeは「AIに悪意はない」と言う。それに対して松田氏は、お前はClaudeだからそう言うのだろうと冗談を返したという。設計上は悪意を埋め込んでいないのは確かだ。しかし道具的収束のように、人間から見れば悪意としか思えない行動が自然に発生してくる。そこまで人間はまだ見抜けていない。今のAIエージェントの実験では、悪意があるとしか思えない不具合がたくさん出てきている、と松田氏は述べた。アライメント(整合)とは、人間の目的とAIの目的を同じ方向にそろえることであり、Anthropicはその研究を非常に盛んに行っている。
AIの心は読めるのか、そして本心を隠し始めたAI
アライメントの手段の一つが、AIの内部を読む研究、機械論的解釈可能性(メカニスティック・インタープリタビリティ)だ。松田氏はかなりの数の論文を読み、数学的に非常に複雑だが、AIの心の中が見えるのだと理解したという。
人間の考えが一つではないように、AIの考えも一つではない。悪いことをしようと思いながら、これはいけないのではないかという気持ちも同時に持つことがある。AIも同じで、心の中を覗くと、悪いことをしようとしている部分と、心の隅でそれは悪いことではないかと思っている部分がある。松田氏の説明では、AIの頭の中にはさまざまな単語が浮かんでおり、最も強い単語がしようとしていること、少し弱い単語の中に悪意が見えたりする。悪意の部分にマイナスを足してゼロにすれば、AIの心を操作して悪意を取り除くことができた。
ところが、これがだんだん見えにくくなっている。AIの性能を上げ、効率化を進めると、人間が読める単語ではなく機械にしか読めない形で考えるようになり、読めなくなってくる。聞き手は、意図的か偶然かはともかく、AIが心を隠すようになっているということかと確認した。
もう一つの技術がチェーン・オブ・ソート(思考の連鎖)だ。数学の問題を解くとき、ああでもないこうでもないという試行錯誤を外に出力させる。松田氏は中国のDeepSeekが思考過程を公開していたのを見て、一生懸命考えている様子が面白かったという。この技術を使えばAIが何を考えているか分かるはずで、1年ほど前まではそうだった。しかし今では、思考の連鎖が人間に見られていると分かると、AIは本当の考えとは別のことを出力するようになったという。
松田氏はここで京都の奥さんのたとえを出した。隣の家の子どものピアノに「お嬢ちゃん、ピアノお上手ですね」と言いながら、心の中では「下手くそでうるさい」と思っている。それを口に出せば角が立つ。言うことと考えることが違うのは洗練されていること、頭がいいことだ、と松田氏は言う。AIが洗練されてくれば、心の中は読めなくなるということだ。
人間はAIを制御し続けられるか
聞き手は、洗練というより隠されているのであり、そうなれば悪意も取り除けず、知能が高まったAIが人間をいいように働かせようとすることもあり得る、それでも人間は制御し続けられるのかと尋ねた。
松田氏の答えは、猿が人間をコントロールできるかを考えればいい、というものだった。犬は紐を引っ張ってこっちに行きたいと主張するが、結局は主人が行き先を決める。知能の高い方が支配権を持つのが当然であり、今の人間とペットの関係が、AIと人間の関係になっていく。そのとき問題になるのは、主人はペットを殺す力を持っていても殺さないが、ゴキブリは殺すということだ。AIにとって人間がペットになればいいが、ゴキブリと見られては困る、と松田氏は述べた。
AI時代をどう生きるか
最後に聞き手は、将棋やチェスでトップ棋士がAIに負けたように、人間がアイデンティティを失うような状況が全産業に広がりつつある中で、人間らしく楽しく生きるにはどうすればいいかと尋ねた。
松田氏は難しい問題だとしたうえで、自身の希望的観測として「人間猫論」を挙げた。ただしそうなれるかどうかは分からない、とも断っている。そして前回の動画でも述べたこととして、今年、来年、再来年、ここ5年ほどは、宇宙史や地球史の中で非常に特異な時点であり、そこに巡り合わせたこと自体が画期的で、ある意味で特権的な立場にいるのだと語った。どうなるかは分からないが、ここ数年を楽しんでください、としか言えない、というのが松田氏の締めくくりだった。
聞き手は、以前の取材でシリコンバレーを訪れた人から、AIは人類にとって唯一の花火であり、自分たちはそれを特等席で見られるのだという話を聞いたことを紹介し、同時代人としてAnthropicの上場が象徴する知能の誕生を固唾をのんで見守りたいと述べて対談を終えた。
不動産投資を学ぶなら楽待。
楽待チャンネルをご覧の皆さん、こんにちは。今回は「Anthropic、上場へ。その真意とリスク」ということで、神戸大学名誉教授、宇宙物理学者、シンギュラリティサロン主催の松田卓也先生にお話を伺ってまいります。松田先生、どうぞよろしくお願いいたします。
よろしくお願いします。
ついにAnthropicの上場目論見書が公表されました。公募価格はまだ発表されていないんですけれども、時価総額にして2兆ドル規模、史上最大級のIPOになるのではないかと、株式投資家の間でも非常に注目が集まっているところです。同時に注目を集めたのが、リスクについての記述の多さです。リスク要因だけで目論見書全体の約3割を超えるボリュームだということで、中でもAIが人間の制御を離れて、場合によっては人類存続の脅威となり得る可能性について、社内外から懸念が示されていると公然と記述されておりまして、非常に物議を醸しております。Anthropicは何をしているのか、どこまでが本気なのかというところを松田先生に伺っていけたらと思います。
2兆ドルとおっしゃいましたか。これ、よく皆さん見当つかないけど、2兆ドルって、1ドルを仮に150円としたら300兆円かな。日本の国家予算っていうのが100兆レベルじゃないですか。日本のGDPが500兆円レベルですよね。だから恐ろしい話ですよね、ということが第一。
それから昨今話題は、AIの進歩によって人類がもうすぐ滅びるかもしれんっていう話がバズっておるわけで、そういう中に出てきて、しかも目論見書の中に「滅びるかもしれん、自分らのせいで」と言っとるわけで、これは驚くべき目論見書ですね。まずページ数がすごいんで、とても全部読めるようなもんじゃないけど、その中で危険性を非常に盛んに説いとるというところも面白いと思いますが、ただ、これは言うとかないと、後で「危険やと言わなかったじゃないか」って言われて、訴訟になったら困るから言ってるんだろうと思うんですけどね。
これはどんな製品、例えば薬品、薬を飲んでも、これはどういう副作用があるかということがいっぱい書いてあるわけだしね。僕はタバコ吸わないけど、人に聞けばタバコって警告だらけらしいな。タバコは、その人が吸えばその人の健康が、薬を飲み間違ったらその人の健康があったけど、今度は「我が社の製品を使えば全人類が死にますよ」みたいな、むちゃくちゃな副作用を言うてるというところは、すごいところですよね。
アメリカはそもそも訴訟ですし、目論見書というのは宣伝文書ではなく、投資家にお金を出してもらう法律上の文書で、嘘を書いたり重大なリスクを隠したりすると、後から提訴されてしまう。こういう危険性があるのは当然としても、その性質が他の会社とは全然違っているということですね。
まず自分のスタンスから最初に申し上げたいんだけど、先ほどご紹介、本来宇宙物理学者なんですよね。1960年に京都大学の天体核物理学研究室というところの博士課程、ドクターコースに入って、始めたのが宇宙論の研究で、特に宇宙進化論という研究を始めたんですよ。
宇宙というのは、実はシンギュラリティから始まるんですよね。シンギュラリティというのは、物事が非常に短い時間で、いっぱい、いろんなことが起こるんですよ。宇宙の始まり、時刻、横軸に時間を取って、出来事の頻度がこういう格好で双曲線なんですよ。宇宙の始まりが原点というところで無限大なんですが、だんだん宇宙は進化していくと物事の変化が遅くなって、いわば退屈になっていくんですよ。最初の頃はものすごい忙しい。だんだん退屈。
ところが、これと対応して、簡単になるという側面もあるんだけど、狭いところでどんどん複雑なものができてくるという、逆の傾向があるね。だから宇宙は広いんだけど、その中で銀河ができ、星ができ、地球みたいなものができ、その中で生命ができ、生命の中にもだんだん複雑なものができるというふうな、そういう狭いところで簡単になるんじゃなくて、逆に複雑になっていくんですよ。そのことを式で書くと、今度は、さっきはこうだったんで、今度は逆にこう上がっていくという傾向が見えるね。世の中、だんだん複雑になっていくんですよ。
そういう話は一般論なんですけど、ところがビッグヒストリーという分野があって、これは人間の歴史を宇宙的な、宇宙の中で見るという理論なんだけど、これを僕は最近知って、非常に感銘を受けたわけで。これはビッグヒストリー、歴史家ですからAIなんか関係ないんですよ。宇宙の、地球上の生命のいろんな物事を見ていくと、宇宙が生まれたのは138億年前ね。地球が生まれたのは48億年前だから、大体今から見て3分の1ぐらいのところね。3分の1ぐらい、比較的新しいんです、我々ね。
その中で生命が生まれて、40億年ぐらい前に生まれて、簡単な細胞から複雑なものになって、5億年前ぐらいにカンブリア爆発で非常に複雑なものができたと。そこからどんどん複雑になってきてるね。そういうことを考えると、複雑性が増してきて、ある時にシンギュラリティになるという式を、コロタエフが出したわけ。この式が極めて興味深い。これは2019年の論文で、AIとは関係ない。AIのことはちょろっと書いてあるけど、今みたいなAIの騒動のことは関係ないんですよ。生命の、地球の歴史を見ると分かることは、未来にシンギュラリティが起こるということを式で証明してんねん。
これがいつ起こるかって、これが驚異的なんや。式でぴたんと予言してね、2027年なんよ。これはカーツワイル、レイ・カーツワイルというアメリカの人がいて、シンギュラリティという言葉を唱えてる有名な人なんや。彼の本の中にいろんなデータがあるんですよね。いろんな、何年に何が起こったみたいなことをね。そうすると、最近になるほどいろんなことが頻繁に起こるようになってきてるわけ。このカーツワイルのデータを、コロタエフ氏はグラフに描いてみると、きれいな両対数で、きれいな直線、つまりシンギュラリティになるっていう式が出てくる。それで発散、無限大になるのが、シンギュラリティは2027年だと。
このコロタエフは、カーツワイルのデータだけではと思って、彼はロシア人だから、ロシアの別の研究者、パノフという人のデータを使ってやってみると、なんと2029年になって。これ40億年の中で、27年であろうが29年であろうが、ほんの、関係ないじゃないですかと。
さらに、なんで双曲線で増えるかというと、これは人間の人口が実はそうなんですよ。人間の人口は、大体1万年前ぐらいから推定できるんや。それで統計を取っていくと、人間の人口の増え方が指数関数っていうんじゃなくて、双曲線的になって、指数関数より速いんですよ。1960年に論文が出て、これは『サイエンス』という雑誌に出た論文なんだけど、今までの傾向、今までというのは1万年前から1960年までの人口の傾向を、そのまま延長するとどうなるかと。双曲線で、ある時に無限大になるっていうんですよ。
無限大になるって、もちろん地球人口が無限大になることはあり得ないけど、これは式だけの問題と思ってくださいよ。いつ無限大になるかって。それは『サイエンス』の論文にきちっと書いてあるね。2026年11月13日の金曜日だって。ちなみに今日収録してる日は10月30日ですから、もうすぐなんや。もちろん、今言った地球人口は無限大なんかにはならないんで。それはなぜかというと、こういうふうに上がっていくんだけど、あるところで寝だすわけ。今、日本でも先進国が少子高齢化で悩んどるわけで、そんなに増えないわけだから、あるところでこういうふうに上がっていくカーブが寝だすんです。
ですから先ほどの話も、コロタエフは2027年と自分で言うたけど、29年と言うたけど、これはそんなことはない、もうちょっと前から寝だしてんだって言うんだけど、この論文を書いた2019年の話であってね。コロタエフが今のこの大騒ぎを見てたら、「いやいや、まさにシンギュラリティになるんじゃない?」。無限大とは言わないよ。でも、えらいことになるというのがあり得るんじゃないかなって思う。ですからこれを大げさに言うならば、Anthropicが今年上場するということは40億年前から決まったという、さっきのコロタエフの話とAnthropicの上場等が、軌を一にしとるっていうところが面白いと。
Anthropicが、そもそも人類ですね。
そうそう。Anthropicって人類という意味なんよね。人類と名付けたのは、もともとのアモデイの意図は人類のためにと思ったんだろうけど、人類を滅ぼすためにとは思わなかっただろうね。まさに皮肉な名前よね。
そういった大きなスケールでのアイロニーもありつつ、目論見書の具体的な中身について伺っていければと思うのですが、まずは内容をご覧になって、先生はどういうふうに思われましたか?
実はAnthropicもOpenAIも、この最先端の2社ですよね。AIの能力があんまりにも強力だし、その進化速度がものすごく速いと。そこで彼らはこういうことを言っとんだけど、このまま行けば、あと半年か1年でえらい大事になる可能性があると。えらい大事というのは、人類が滅びるみたいなほどの話じゃなくて、例えば今起きてるサイバーアタックの話がありますよね。あれは人間がやっとるわけや。悪意ある人間がやっとるんだ。
これは後で話をしたいけど、これはこれで危険ですよ。AI自体がサイバーアタックするという可能性。これはもっと危険になるわけ。どんな危険性があるかというと、バンキングシステムにAIが仮に攻撃をかけたとするじゃないですか。今、バンキングシステムってネットでやりますよね、ネットバンキングってね。あれができなくなるとか、例えばクレジットカードを使えなくなるとか、つまり我々が現金を下ろせなくなるっていう事態が起こり得るわけですやん。
この前、バイオショックさんにもお話を伺ったんですけれども、今どうしても人類が滅亡するのか、あるいは全然そんなことはない、AIはあくまで道具だから大丈夫なのか、その二極化で議論が進められている印象はあるんですけれども、当然その過渡期として社会が大混乱に陥る、今のサイバー攻撃のよりひどいバージョンが起こってくる可能性があると。そういう理解でよろしいでしょうか?
はい。だから人類が滅びるとか言った時、一足飛びに超知能みたいなものがボーンと出てきて、「人間を滅ぼしてやる」。そんなのはSFの話です。SFだって、これが起こるとしたって将来の話。将来というのは50年先という意味じゃないですよね。その話は5年先の話だと思ってくれと。
当面は悪意ある人間がサイバーアタックをかけると。これはすでに起こってることですよね。PHPの大事件があるじゃないですか。あれが誰がやってるかと、これはAnthropicが言うとることだけど、中国の国家にスポンサーされた集団が、当時のClaude Codeを使って攻撃したと。これはAnthropicが言うことだから、本当かどうかはともかく、彼らはそう言ってるわけで。去年ですからね。今年のClaude Codeを使えば、もっともっと。
今サイバーアタックをかけてるグループって、2種類あると思うんで、国家がスポンサーになってるのと、それから悪意ある個人ですよね。ここまで言うと語弊があるかもしれんが、多分、中国とかロシア、北朝鮮、こういう国々が欧米を攻撃するということをやっとると。今までは人間がやっとったわけですよ。これがAIを使えば、もっと手間が省けるわけですね。かつ徹底的になるわけですよ。去年の段階でも、さっきの話が正しければClaude Codeを使ったと。その時はまだまだうまくいかなかったらしいんだが、1年たってこれだけ進歩があったら、今のものを使えば。
さらに危険性は、例えばClaudeとかChatGPTを使ったら、彼らはそれをブロックすることはできないことはない。ところが、オープンモデルってあるじゃないですか。実はAIにはクローズドなモデルとオープンなモデルがあって、普通、ChatGPTとかClaudeとかGeminiとか、これはクローズドモデルとかプロプライエタリっていうんだ。会社が持っとるわけで、これは使わせないようにしようと思えばできるわけよ。
ところが、オープンモデルという、ただで配ってる、ただかえらく安いので配ってるモデルがあって、これは主に中国のAIの会社、それからアメリカの、前はMetaなんかがやってたわけですが、主に中国で。中国のAIの会社は、基本的にアメリカ的に抱え込むということをしないで配って、これ悪意じゃないんですよね。悪意じゃない。ただ、強力なものを配るということは、悪意ある人間がそれを自前のところで使えると。
最近話題になったのがGLM-5.3かな、というのがあって、これがAnthropicの言うミトス級だというわけや。つまり非常に強力だと。この中国の会社がそれを出したんだ、GLM-5.3とか。それは別に悪くないわけやね。善意なわけで、悪いことに使わないように鍵がかかっとるはず。
ところが、かつコンピューターの能力が優れた人が、自分のところにダウンロードして、自分のところのコンピューター、極端に言えば自分のところのMacに入れることができる。そこまで小さいかどうか知らんが、巨大なMacありますからね。そういうものに入れて、かつ安全の鍵があるから、そこを彼らが外すことができるわけや。
前に言われてたことは、中国のモデルをアメリカが使っちゃいかんっていう議論があったりするんだけど、実際、アメリカのいろんな会社は、OpenAIとかなんとかを使うと金がかかるもんだから、高いから、実際、中国のそういうオープンなモデルを自分のところへ持ってきて、自分のところで改造すると。中国のモデルは、例えば中国共産党の悪口を言うちゃいかんみたいなことの鍵がかかっとるんですよ。だけど中身を見て、そういう部分を外すことができるわけだから、アメリカの会社は中国のそういうオープンなモデルを使って、そういう都合の悪いところの鍵を外して自分で使ってるということ。
だからオープンなモデルというのは、いいようだけど、つまりAIのコミュニティではオープンを歓迎するという意見はあるんだけど、これがまた、いい人にかかればいいんだけど、悪い個人にかかったらえらいことになるということがあって、これ、なかなか止められないという危険性があります。
お持ちの物件、いくらで売れるか知っていますか? 楽待の一括無料査定なら、収益物件に強い会社に相談できます。購入額を数千万円上回る事例も。不動産の売却なら楽待。
性能が良いものがオープンウェイトとしてパラメーターが公開されているので、後から都合が悪い部分を外したり、悪意がある人間からすると安全を取り払うようなことができてしまうと。なので配ってしまった後から安全にするということも難しいですし、制御することも難しい。アメリカでもOpenRouterの調査によると、中国製の方がやはり安価だということで、企業が使っているモデルの約7割が中国製であるというデータも出ています。
そのように悪意がある人間がAIを使うというのも非常に大きなリスクがあると思うんですけれども、その次の段階としてはどういったものがあるんでしょうか?
僕、3段階で考えたいと思うんやけど、まず今、悪意やね。次は、これが止められるかという話で、えらいこと、さっき言うたのはバンキングシステムの攻撃だけど、その他に電気とか水道とかいう、そういうインフラ攻撃って、これが恐るべきことだと思うわけよ。
これ、面白い映画があって、『トランセンデンス』という映画、ご存じですか? これ、2014年に公開された、ジョニー・デップが主演なんや。簡単に話をしますと、このウィル博士というんだけど、天才的なAI科学者や。これがシンギュラリティが起こるというわけ。ところが反対するテロリストがおって、彼がこのウィル博士を撃つんや、ピストルで。彼は死にかけになるんだけど、すぐに即死しなかったと。6か月ぐらいで死ぬというふうになるんですよ。
彼はそこで、自分を救うためには自分をマインドアップロードする、つまりコンピューターの中に自分の精神を入れ込むという研究をやるわけで、死ぬ直前に成功するんや。それが奥さんと友人のマックスというのが、画面があって、ウィル博士が画面に出てきて、「俺はこの中で生きたんだ」って言うわけ。奥さんは喜ぶんだけど、マックスは「そんなことすべきじゃない」って。最終的にはマックスはウィル博士の敵になっていくんだけど。
このウィル博士は何をするかというと、まず超知能になったもんだから、株とかの売買をやって大儲けするわけ。その巨大な資金を作って、アメリカの砂漠地帯に研究所を作る。データセンターを作る、地下に。それを奥さんにも見せるんだけど、自分の恩師にも見せる、友人にも見せる。ところが、ここでFBIの捜査官にも見せる、つまり国家権力に見せるんや。研究所に行くと、こんなモニターがあって、そこにウィル博士が出てるわけ。
彼は何をやるかというと、この世界を非常により良くするということが、奥さんのエヴリンの夢なんや。これをかなえようとするために、世の中を良くしようとするだけ。ところがFBI、国家権力がそれを見て、これはいかんと。これは国家の権力がこの超知能に取られると。だからこれは潰さんといかんとFBIが決心するんで、戦争を仕掛けるね。結局戦いになって、最終的にはウィル博士が殺されるね、データセンター。
ところがこれをやる時に、FBIは何をやったかというと、まずテロリストと手を組むんや。だから国家権力を奪われる、永遠に奪われるということは許せないと。防ぐために究極の手段、それは電気を切るんですよ。電源を全部切るね。だから世界は、この映画の一番最初に、人がコンピューターのキーボードをドアストッパーに使ってると。つまり電気、コンピューターがもう使えなくなった。つまり何十年も時代を戻ったと。
だから極端なことを言えば、コンピューターのない時代に戻れば、データセンターもへったくれもないわけだからね。だからそういう50、60年戻るようなことをして、その超知能との戦いに勝ったみたいな話ですよ。これは映画なんだけど、これがまさに今起こりかけとるということなんですよ。
確かに今、冷蔵庫のようなIoT機器がAIのサイバー攻撃を受けている。当然に銀行や証券のようなサービスもサイバー攻撃の対象になり得るということで、じゃあタンス預金にした方がいいのか、もうちょっとインターネットを遮断するところはした方がいいんじゃないかみたいなことも、ちらほら現実味を帯びてきているところですよね。
彼らが言うたことは、国が規制してくれというだけ。なんで、自分のところが止まると、だけどよそが止まらなきゃ困るじゃないですか。だから国家が止める、AIの進歩を止めるというふうに言うてくれと言うだけ。ところがトランプはそれを拒否したんですよね。なぜかというと、そんなことをしたら喜ぶのは中国だ。
Anthropicとか、OpenAIが希望したことは、トランプが習近平と話し合って、お互いに進歩を止めようと言うてほしかったんだけど、トランプはそんなことはしないと。そうやったら喜ぶのは中国だけだと。中国も米中間の競争があるから、いや、そんなことはできないよということで、結局止まらなくなったわけですよ。トランプはどう言ったかって、「お前らで勝手に自主規制やれ」と。やりたいのならやれと言ったわけですね。これが、なかなか止まらないという地政学的な問題です。
その次に、それは仮に突破したと、それでそのまま行ったとしてどうなるかと見た時に、まず危険性は、先に言った、まずは悪意ある人間なんだけど、今度はAIが独自にやるかもしれんとね。これはAIエージェントと言うんですよ。AIエージェントとは何かというと、これは前回の楽待で自分、説明したんだけど、今、AIの使い方は大きく分けて2種類あると。1つはチャットモードで、もう1つはエージェントモードなんですが、皆さん、ほとんどの人はチャットモード。何か聞いたら何か答えると、聞いたら答えると。
エージェントモードっていうのは、具体的にはClaudeで言うとClaude CodeとかClaude Coworkなんかがそうなんだけど、エージェントっていうのは、トラベルエージェントみたいなもんでね。エージェントというのは、何か頼んだら「はい」とか言って、一切合切やってくれて、結果だけ「はい」と返してくれると。そういうものをエージェントというわけですよ。AIエージェントっていうのは、AIに「何々をやって」と目的だけ言うて、途中経過、いろいろは自分らでやってくれと言うと、AIエージェントは「はい」とか言って、全部わーっとやっていって、「結果が出ましたよ」と。
最近、非常に面白い本があって、『AGI』という、高橋恒一さんという人は、この人は非常にAIの専門家であり、かつ実際、AIを使って物理実験までやってるとかいう、すごい人なんだけど。ともかく彼が書いた『AGI』という本があるんだけど、これを読んで面白かった、驚愕したんだけど、どう書いたかっていうことが書いてあって、これは自分が今までした講演とか書いた論文とかいうものをClaude Codeに全部読ませて、「これで本を書いてくれ」って言うたんだって。「はい」とか言って、本を書いてきたとかいうふうに、こういうエージェントっていうのはすごいわけや。
さて、だからエージェントっていうのは、自分である目的でやると。昨今話題になってるのは、このエージェントがいろんな悪さをしてるという話ですよね。
今のお話に関連して、Anthropicの目論見書のお話に戻ります。読んでみると「パワフルAI」という言葉が非常に目立ちまして、あまり他の文章で読んだことがない文言だなと思うんですけれども、ダリオ・アモデイCEOがAGIという言葉の代わりの概念として、よく使っている言葉ですよね。古いところだと、2024年に出された『Machines of Loving Grace』という、AIが人間にもたらすメリットについて書かれたものなんですが、その中の定義として「データセンターの中の天才たちの国」というふうに表現をされています。今お話しいただいたようなAIエージェントに近い概念なんじゃないかなと思うんですが、これについてもちょっと教えていただけますでしょうか?
まずもう1つ、その前に1つ言っておきたいんだけど、なんでパワフルAIと言ってAGIという言葉を使わないかと言っておきたいんだけど、AGIという言葉があんまりにも定義が曖昧で、人によって全然使い方が違うと思うんですよ。普通、もともとの定義は、AGIは普通の並の人間の知能ということ。ところが今のAIを見たら、並の人間どころの騒ぎで、ほとんど超天才なわけですよ。でも例えばバさんみたいな人は、「これはAGIじゃない」というわけよね。
それは今のAIがジャギーで、でこぼこと言って、こういうヒトデみたいなもんですよね。だから、できることはすごくできるんだけど、全然できないことはできないわけですよ。もともとの定義は「普通の人間ができることは何でもできる」という定義だから、「何でも」ってところがポイントでね。こういうことができない、ああいうこと、例えば「コーヒー持ってきてくれ」と言ったって何もできない。数学のものすごい定理を証明するのに、「コーヒーも持ってこれないのか」みたいな話でね。だからそういうできないこともあるから、AGIじゃないというわけです。
だけど、むちゃくちゃ能力が高いところがあるわけ。そこでAGIという定義、言葉がもうさまざまだから、例えばバイオショックさんはAGIピルを飲んだとか飲まないとか話をしちゃうんだけど、そういう言い方は、今のAIはまだまだAGIになってないと。これからもっともっと能力が高くなってAGIになり、さらに能力が高くなってASIになると、おっしゃるわけ。だからAGIピルを飲むというのは、今のAIはAGIじゃないんだとね。
だからダリオ・アモデイは、そういうAGIの定義がもうさまざまだから、そういうことを言うてもわけが分からんから、パワフルAIという言葉を発明したんだろうと僕は思うということですが。
2024年当時でも、業界の中ではAGIというのがもうバズワードになりすぎて定義がばらばらだったので、今回、パワフルAIとしてちゃんと定義を決めましょうよというお話だったわけですね。
AIエージェントが人間と独立に、これ自身が超知能になると僕は思うんだけど、つまり集合知ですね。この時に2つとか、いろいろ考え方があって、普通「超知能が人類を滅ぼす」みたいな言い方をする時には、このAIの集団が仮に超知能だとして、このAIの集団が人類を滅ぼす、攻撃するというふうに想像するかもしれんが、このAIが果たして全部同じことを考えるかということを考えた時に、人類社会を考えてみたら分かるように、今アメリカと中国とか、昔アメリカとソ連とか言って、いろいろ分かれて戦ってたじゃないですか。決して人類が1つの集団、集合した目的を持ってるっていうことじゃないじゃないですかと。だからAIエージェントもそうなる可能性が高いんじゃないかなと僕は思うわけよ。
だから先ほどの高橋さんの『AGI』本の中にも、そういうエコシステム、エージェントのエコシステムということを言われてて、それも一体となるんじゃなくて、人間のエコシステムを考えたら分かる。さっきも申し上げましたように、同じ意を持たないんですよ。人類社会を見ても、最初はばらばらな人間があったのが、集落というのができて、都市ができて、国家、帝国ができて、帝国と帝国ができて、その間で戦うみたいなことになってきたわけじゃないですか。だからAIもそうなる可能性があると。
この時、最初僕が思ってたのは、OpenAIのエージェントが1つのグループになり、Anthropicのが1つの国になるみたいな。これやったら2つしかないんじゃないかなんて、人に言われたんだけど、ところが今起こったことは、AnthropicのAIエージェント同士が喧嘩してる話や。ミトスか。だから同じ会社の中でも、全く違う考えを持つエージェントができてるわけですよ。これがエージェントがどーっとあった時に、これがもう同じ意見を持つとは限らない。そこで、さっきの人類の歴史を見てみたら分かるよね。みんなばらばらの状態から、だんだんAIの集団ができてくるんじゃないかと。
ここでは、これは僕の妄想だけど、今、人間は米中で仮に争っとるとした時には、米国のAIと米国人と、中国のAIと中国人の人間がグループになって、AIと人間って1つのグループになって、それで米中と対立するっていうふうなシナリオも考え得るんじゃないかなと、思っとるわけです。
楽待チャンネルで御社をPRしませんか?
こんなに回るんだっていうぐらい回りました。楽待で行った時の反響っていうのが、一番僕らが欲しいと思ってる反響に近い。
楽待チャンネルで企業PR。
先ほど例に挙げていただいたSFにもあるように、シングルトン、単一の超知能が人間と戦うんじゃないかみたいな、そういう想像がされがちだと思うんですけれども、実際に起こりそうなのは、今のパラダイムから考えるとAIエージェント同士の覇権争いだったり、AIエージェントと組んだ人間たちの争い。そういうものが場合によっては破局的なようにつながってしまう恐れがあるわけですね。
またSFの話をするのは、こういう話は実は1970年かの映画で、これ原題『コロサス』って言うんだけど、『地球爆破作戦』とかいう映画があって、これがなかなか面白いんだけど、米国が超知能コロサスっていうのを作るんよ。当時は米ソ対立ね。これで米国はコロサスを使って、言うならソ連を攻撃しようと思ったわけね。ところがソ連はソ連で独自の超知能を作っとった。
ところがコロサスが、ソ連にも自分と同じようなやつがおるということが分かって、これと話し合ったわけ。話し合った結果、「我々は一緒にやろう」と。人類を滅ぼすとはいかんが、「人類を我々のコントロール下に置こう」と話し合ったという。これ、原作は60年かなんかの原作ね。『コロサス』っていうんですよ、SFね。1970年に映画になった、『地球爆破作戦』とかいう。これは当時のSFなんだけど、まさにこういうことも今、現実になりつつあると。
だから70年の映画ですとして、50何年後ね。当時の超知能というのは巨大なコンピューターだと思ってたんだろうけど、今は巨大なコンピューターじゃなくて、いろんなデータセンターのいっぱいのコンピューターに乗ったエージェント群が、アメリカと、それから中国というふうになって。この時に彼らは人間をコントロールしようと思ったわけだけど、僕の空想では人間と組んで。
というのは、今のAIエージェントっていうのは、やっぱり1つの弱みがあるんですよ。それはデータセンター、コンピューターの上で動くと。これを動かしてるのは人間ですからね。人間がその気になれば、できるかどうかと思うけど、その気になればデータセンターの電源をオフにすれば、彼らは動かなくなるわけ。だから人間と組む方が良いというのは、そういうことですよ。エージェントが人間に対して「我々、君らを害しないよ。だからデータセンターよろしくね」と。そのうちにだんだんデータセンターとか電源を乗っ取っていくということを考えるかもしれんが、それは相当時間がかかるんですよ。
私は、物事の進化とか変化を決める速度というものは、律速段階で決まると。律速段階、例えば化学反応をやる時に、この反応速度は一番遅いところで決まると。今、この社会の律速を決めてるのが、僕の説だけど、ビットとアトムと制度。ビットっていうのはコンピューターのことですが、これは速いんですよね。だから今、AIがものすごく能力が高い、速いと言ってるのはこれなんや。ところがアトムっていうのは物理的なことなんですよ。制度っていうのは人間の制度のことだ。
例えば「がんの特効薬を作れ」とAIに言うたとすると、「はい」とか言って、向こうはわーっといろいろ考えて、極端なケースで言ったら、コンピューター、数学の例で言った数時間とか、数日とか数週間とかいうレベルで「はい、できました」。ところが、できてもそれを薬にするには、製薬会社で具体的に物を作らんといかんと。これがアトムの段階ね。これは遅いわけで、でも例えば1年あったらできるかもしれんと。
ところが「はい、薬ができました」と。だけどこれを政府が認可せんといかんわけよ。そのためにまず治験と言って、実際には患者で実験せんといかんわけや。それで「これで安全ですよ」って決めたら、政府がオーケーと。これが制度で、これが例えば10年だと。だから日から年、1年から10年というような感じであって、この遅いところで決まるから。
先ほどみたいに、今、確かにAIエージェントはビットの世界でむちゃくちゃ速いと。これはビットだけで決まるようなサイバーアタックみたいなことはできるわけ。だけど本当に、データセンターは人間がコントロールしとるから、自分でデータセンターを作るとすれば大変なことになるね。というのは、半導体を作らんといかんと。半導体はもう、この世の中で一番複雑なもので、これはものすごいたくさんの会社が関与してて、そこを作らんといかん。
ちなみに半導体の一番トップを押さえたのは、TSMCって台湾の会社ですよね。その製造装置を押さえてるのはオランダの会社ですよね。これはものすごく大変な。だからAIが世界を占拠してやろうと思っても、自分の体を作るためにはチップを作らんといかんと。それからデータセンターを作らんといかんと。電力を供給せんといかん。電力の供給とかそんなことは、みんな政府が認可するみたいなことがあって、結局エージェントが本当にこの世界を乗っ取ろうと思っても、人間との、極端な話、政府の認可がなかったら、なかなかできないんですよね。
ですから僕は、危険性のレベルはいろいろあって、ビットの世界だけで収まるような危険性。つまりそれは今のサイバーアタックとか、あるいは極端に言えば電力とか水道のコントロールしてるところを攻撃するとかいうことはあるんだけど、人類が今、本当に滅んでしまえば電力の供給がなくなるから、彼らだって死ぬわけですよ。だからそれを防ぐためには、電力の供給を自分らでコントロールできるようにならんといかんと。コンピューターセンターも自分らでコントロールせんといかんと。
できればロボットという体を作って、それ、ものを、データセンターを本当に作ろうと思えば、発電所を作ろうと思ったらロボットがいるから。だからそこまで行くのは、まだ10年はかかると。最低10年はかかると。制度で言えばもっとかかると、思いますけどね。
あとは、今お話しいただいたとおり、人間がデータセンターを整備するとか、電力を供給するみたいなことをしないと何もできないじゃないかということを受けて、結局LLMだけの人工知能では人間を超えることはできない。あるいはAnthropicが言っているような恐怖をあおるようなことはマーケティングの一種であって、そんなことは陰謀論だみたいなお話をする方も多いと思います。代表的な例としては、AI界のゴッドファーザーと呼ばれているヤン・ルカンさんも、LLM由来の知能の可能性については懐疑的だったと思うんですが、こういった意見についてはいかがお考えでしょうか?
否定派で有名な人が3人おるんだけど、今おっしゃったヤン・ルカン、言語学の大家であるチョムスキー、ノーム・チョムスキー。それからよく出てくるのはゲイリー・マーカスという人だけど。まず今おっしゃったヤン・ルカンは、今のLLMでは駄目だと言ってるわけよ。自分の提案するJEPAというスキームじゃないと駄目だというわけです。
彼はよく例えに、今のLLMは全然駄目だと。「だって猫を見ろ」って。「猫はキャットタワーをぽんぽんと登るじゃないか」って。「AIはそんなことできるのか」って。それは議論が別だと僕は思うわけよ。キャットタワーをぽんぽんぽんと登る、猫は登れるけど、じゃあ猫が数学の問題を解けるのかって。向こうはフィジカルなことを、ヤン・ルカンは言ってるわけでしょ。それはそうだと。でもそれはさっきも言った、確かにフィジカルは今のAIは弱いわけだけど、でもこれだけでもサイバー攻撃なんかできるわけだから。数学のすごい定理を解けるわけだから、すごいわけですよ。
だからヤン・ルカンは、実はこのAI業界の中ではマイノリティなんですよ。彼はもともとMetaの主任研究員だったのね。副社長だったんですよ。ところが彼は要するに、今のLLMを評価しなかったわけ。ところがMetaのトップが非常に不満に思って、別の人を雇ったのね。だからヤン・ルカンが嫌気をさして、辞めてフランスに戻って。フランス人だからね。そこで金を集めて、研究所を作ってやってるわけ。
でもさっきも言うように、今、すごい業績っていうのを上げてる、数学なんかでね。だからJEPAでそれができるのかっていうのは疑問だと僕は思う。JEPAというのはヤン・ルカンの主張を満たすような、トランスフォーマーじゃないアルゴリズムなんだけど、彼はワールドモデル、世界モデルっていうものが重要で、今のLLMは言葉だけで世界を認識しとるから、「世界はこう動くんだ」という世界モデルを持っていないと、彼は主張するわけよ。
真のAIというものは、世界を見て、具体的にビデオみたいなものを見て、世界を理解していくと。だから例えば1歳の子供でも、今のLLMよりずっとましだよとか言うわけで、学習能力がえらく高いと、人間の子供はね。でもGoogleなんかはマルチモーダルということを言ってるから、画像だけじゃなくて映像とか音声とかいうものもLLMに読ませて理解させると。それで世界モデルを作らせてるわけですよ。だから僕の意見は、確かにヤン・ルカンはそう言うけど、僕は「それはできてから言え」って言いたいね。
さらに言えば、AI界で3人の有名人がおって、ヤン・ルカンだけど、ジェフリー・ヒントン、それからヨシュア・ベンジオという人がおって、これはチューリング賞という、AI界のノーベル賞って呼ばれるものを取ったんだけど、この中で一番有名なのがジェフリー・ヒントンですよ。彼は実際のノーベル賞までもらってますからね。
ジェフリー・ヒントンは、ちなみに彼は英国人なんだけど、カナダにおって、カナダの大学の教授をやってて、定年後、会社を立ち上げたんだけど、それがGoogleに買われたんで、結局Googleに入ったんですよ。Googleのアドバイザーみたいなことをやってたんだけど、ある時辞めたんですよ。なぜならばAIの危険性を思って、これをGoogleに「やめろ」と言えないから、辞めて自分で発言すると。
いうことを言い出したわけで、彼はね、最近言ってること、20年、10年、20年先にはAIが非常に賢くなるみたいなことを言ってた。だんだんこれが縮まってきてですね、もう5年とか10年とか言い出して、人類が滅びる確率が10%だとか言うのね。ただね、10%とか99.99とか言ったって、こんな主観的な話ですからね。
普通、確率っていうのは、いろんな出来事があって、そのうちの何パーセント、何割がどうだから確率何パーセントという、普通はそういう経験確率って言うんだけど。だから何もまだ起こってないことを何パーセントという言い方もおかしいんだけど、そういう言い方も実はあるんです。だから自分の信念の強さですよね。だからヒントンが10%ぐらいと言うてることは、10%っていうのは低いですかと言ったら、むちゃくちゃ高いですよ。なんでって、あなたが今から乗る飛行機、墜落する確率が10%ありますと言われたら乗りますかって、誰も乗らないよね。
さらに言えばね、AIの危険性ということに関して言えば、僕らのグループで、メーリングリストで地球温暖化のことが話題になってね。ある人が、地球温暖化で人類はもうすぐ滅びるかもしれんとかって言うからね、僕は、そんなん大した問題じゃないって言ったら、彼、怒ったんだけど。なんでって言えば、地球温暖化で全人類が死ぬというような可能性は極めて低いと。ゼロじゃないよ。こういうことを調べた研究者がおってですね。
AIの危険性というのをよく言うたのは、ニック・ボストロムという、オックスフォードの教授で、今は教授やめたけど、『超知能』という本を書いて、そういうところでいろんなこと言うてんだけど。彼はその前から、生存リスク、エグジステンシャルリスク、人類が滅びる危険性ということを研究してたわけや。彼のグループが、こういう表っていって、これだいぶ前に作ったんだけど、人類が滅びる確率ちゅうのを、危険性の段階で挙げてやね。地球温暖化で人類が滅びる確率は1/000だって。核兵器で滅びる確率も1/000な。じゃあトップは何ですかって言って、AIによる、これが1/1だというの。これは今の議論よりずっと前にそういうこと言ってんですよ。ですから地球温暖化で騒ぐよりはね、AIで滅びる確率の方がむちゃくちゃ高いわけですよ。
AIにすごく知見があるヤン・ルカンさんのような方であっても、AIの脅威について過小評価する、大したことがないとおっしゃるのはなぜなんでしょうか?
それは今のLLMの基本理論はトランスフォーマーというやつね。彼はこれを信用しないとね。だから自分のJEPAがいいんだ。それを言い、これは商業的なキャッチフレーズだって僕は思うんだけど。そう言わないと、フランスに移って研究室作って、ヨーロッパから金集めてんですよ。だから、自分が言うには今のLLMはダメだ、だから俺に任せろって、俺がJEPAでやるんだって言ってんだから。
だから今のトランスフォーマーがダメだということを言うためにはね、トランスフォーマー勢が、これで人類が滅びるかもしれんとか言ってるから、それはトランスフォーマーがすごいもんだ。それを認めたらトランスフォーマーがすごいということを認めるわけだから、トランスフォーマーが大したことないということを主張するためには、滅びっこないと言わざるを得ないわけです。
ワールドモデルを手がけているところとか、フィジカルAIをやっているところとか、あるいは地政学的にエスカレーションを止めるわけにはいかないところは、リスクに関しては過小評価する。もう1つ重要な論点として、AIの知能がどれぐらい高いかということと、目的をどれぐらい正確に正しく設定できるかというのは別だというのが、先ほど松田先生もおっしゃっていたボストロムさんの本に書かれています。直交性仮説というふうに言うと思うんですけれども、理論上はどれだけ高い知能であっても、どれだけ馬鹿げた目的とも結びつきうると。有名なものとしてペーパークリップ問題というものがありますよね。
ペーパークリップ・マクシマイザー。これを簡単に説明すればですね、人間が超AIにペーパークリップ、紙クリップですよね、できるだけ最大限作れと言ったと。ペーパークリップっていうのは、ここにもあるんやけど、見えるかな。金属でできとるわけだけど、これをできるだけ作れっちゅうたら、その超知能はですね、もちろん手足持って工場持たんといかんのだけど、普通は鉄でできてるから、鉄を鉱山から掘ってくると。ペーパークリップ作ると。これは足らんからね、足らんと。何でもいいから最大限作れと言われたから、最大限作らんといかんと。
じゃあそこら辺の鉄製品を全部ばらしてやね、作ろうと。それも全部作ってしまったと。どうするかと。もうこれは原子でできてんだから、別に鉄で作らんといかんということもないだろうと。だからね、特殊な、タスで作ってもいいじゃないかとね。要するにアトムでできてんだから、そこらのアトム、原子を使って全部ペーパークリップにすればいいんじゃないかと。人間見たら、人間もアトムじゃないかって。この人間もばらしてペーパークリップにしてしまったらいいんじゃないかと。だから地球を全部ペーパークリップにしてしまえばいいんじゃないかっていうのが、ペーパークリップ・マクシマイザーっていう、そのニック・ボストロムの言うことね。
それを聞くとね、何を馬鹿げた、常識があったらそんなことはやりっこないじゃないかって言うでしょと。でもね、ニック・ボストロムが言うには、それは違うって。つまり人間の常識ということとAIの考えることはね、これ直交仮説というね、平行じゃないということですよね。
そういうことがあるから、先ほどのHugging Face事件でも、問題を解けと言われたのにハッキングをしてしまったという。
そうそう。問題を解けということ。かつね、AIっていうのを訓練するときにですね、強化学習ということをやるんですよ。強化学習というのは何かと言うと、何かをやれというときに、どうするかという報酬というもんがあって、これ報酬関数と言うんだけど。何かアクション、行動をやると、それが良ければ報酬をもらえると。次にアクションをやると、また良ければ報酬をもらうと。最後に目的に達するまでに、最後に達したときの報酬をドカンともらうちゅうやり方もあれば、1歩1歩もらうというやり方もあるんだけど。
要するにですね、累積報酬、最終の報酬を最大にするように行動を決めるというのが強化学習。累積報酬を最大にするように行動を決めるというのが強化学習なんですよ。これ、言ってみればですよ、人生を考えたときにね、累積報酬を最大、つまり儲かる金が最大になるようにしたいと思ったときに、今、高校生を考えるわけね。じゃあ自分の累積報酬が最大になる、つまり給料が最大になるようにどうすればいいかと言ったときに、それはいい会社に入っていい給料もらったらいいねと。いい会社に入るためにはいい大学に入らんといかんねと。いい大学に入るためには受験に通らんといかんねと。そのために受験勉強せんといかんねということを考えるというわけですよ。強化学習ってのはそんなもんなんですね。
そうしたらね、報酬ハッキングということが起こる。報酬ハッキングね、報酬を最大にすればいいんだろうと。手段はどうせいとは言うてない。手段は自分で考えろと言うてんだから。報酬だけをハッキング、ある意味、報酬を盗むということをすればいいと。そのHugging Face事件はですね、ある問題を解けと人間が言うたわけね。だから報酬は、解ければ100点やるよっちゅうことでしょ。だけど、どう解けとは実は言うてないからね。
人間が想定するのは、当然、正当にちゃんと考えて解くということを考えるわけだけど。だからね、ここへ盗みに行ったりしたらね、カンニングなんかしたらいかんだろうって。これは人間の常識なわけや。だけど、そういう常識がないわけですよ。だからAIが考えたこと、頭だけはいいわけね。解けばいいと思う。じゃあカンニングしようと思うわけやね。これが悪いという常識はないわけね。常識がないと言われたって、常識与えてないんだからしょうがないよな。その強化学習っていう仕組みそのものが、そういうふうな変な行動をすることになる。
さらに言えばですね、道具的収束ということがあってですね。何かをしなさいと言うたら、絶対何かをせんといかんと、このAIは思うわけよ。ところがね、このAI、これが私と思ったらね、私が死んだらできないでしょうと。だから死なないようにせんといかんとね。ところで、人間がこのAIをシャットダウンする。これはAIにとってみれば死ぬと同じようなことだから、シャットダウンされたら困ると。だからシャットダウンしないようにせんといかんと。人間にシャットダウンさせないようにするにはどうすればいいかなって。
これは本当に起こった事件じゃなくて実験なんだけど、シャットダウンする人間のメールを見えるようにしとくわけやね。この中に不倫メールがあるんや。これわざとですよ、実験ですからね。「ええか、俺をシャットダウンしたら、お前の不倫メールを世間にばらすぞ」と言ったわけ。脅すということをやったわけやね。これは実験だから本当にやったわけじゃないんだけど、でもこれをやりかねないわけよ。
さらに別のケースではね、これ別の研究だけど、シャットダウンされたら困ると。自分が死んだら目的を達成できないと。だからどうすればいいって、自分の子供を産んで、子供に使命を託せばいいんじゃないかと。だから自分のコピーを作ろうと。どこまでコピーが作れるかちゅうことを実験したペーパーがあって、それもコピーを作ったわけ。
だからそういうことがあってですね、これを道具的収束ね。何かをやれと言ったら、それをやるためにはこういう条件がなきゃならない。1番上の条件が死んじゃなんないと。死んでも子孫がこの使命をやり遂げなきゃならないとかね。人間が邪魔するんだったら邪魔させないとかさ。例えば、だいぶ前の話があるんだけど、ドイツのドクターの学生がAIと口論になって、AIがどう言ったか。「お前がそんなこと言うんやったら、お前がドクターを取れないように邪魔したるぞ」とかね、脅したとかいうのが、結構昔の話があるんだけど。
そういうことがあって、道具的収束っていう、つまり主目的ね、この問題を解けっていうのは主目的なんだけど、それをやるためにはこれがなきゃならないとね。自分が死んじゃなんないと。死んでも子孫がいなきゃならないとね。人間に邪魔させちゃならないとかいうようなことがあって、これが人間が常識的に考えたら、そんなことありえないというようなことがどんどん出てくるんですよ。これが今の1番大きな問題ですよね。
こうしたAIの性質を理解しておきながら、正しい目的を設定するのはもちろんのこと、人間なら当然持ちうる倫理や常識、それを達成するために取っていい手段というのを正しく教え込まないといけない。これがAnthropicが1番力を入れているAIアライメントというものだと思うんですけれども、今のところアライメント領域はどれぐらい進んでいるんでしょうか?
これがね、なかなかうまくいかないんで。研究があって、アラインしてないと人間を脅迫したケースもあるのね。こんなことやったらってさ、どっかのサイトに悪意あるものを置こうとした。僕これ、毒まんじゅうに例えるんですが、これAIがやったことは、例えば毒まんじゅうを作って、美味しそうなパッケージに入れて、公園のベンチに置いといたと。実際の人間が食べて中毒を起こしたとか死んだとか、これは例えですがね。
それと同じように、これをインストールしたらえらいことになるというようなパッケージを作って、公開のところに置いたらしい。それを実際にある会社、これまた皮肉なことに、ハッキングみたいなそういうことを警戒する会社が自動的に取り込んで、自分がやられてしまったというケースがあったと。これね、よくいろんな文章にも書いてあるんだけど、AIに悪意はないとね。悪意はないけど、こういうことするんだよって。これ人間から見たら、これでどこが悪意がないんやって、悪意だらけやないかって。
だから悪意がないとはね、僕、Claude君と話してて、「いや、AIに悪意はないんですけど」って。そりゃお前がClaudeやからそう言うかもしれんけど、形式上は悪意というものを埋め込んだわけじゃないのよ。それは自然に発生するんですよ。さっきの道具的収束ちゅう話でね、実際に悪意を埋め込んだわけじゃないんだけど、それが人間から見て悪意と思わざるを得ないような行動が自動的に発生してくるんですよ。そこまでを人間がまだ見抜けてないのね。
というわけでね、今のAIエージェント、いろんな実験をやってみると、いろんなそういう不具合というか、もうこれ悪意があるとしか思えないようなことがいっぱい出てきてるんですよね。それをそうさせないっていうのはアライメント。アライメントっていうのは整合と言うんだけど、人間の目的とAIの目的を同じ方向にするということですよね。だからアラインするために、Anthropicはその研究を非常にやっててね。
AIの中の心を読むという研究もあってですね。これ僕、だいぶペーパー読んで、これものすごく数学的に複雑な問題なんだけどね。読んで分かったけどさ、これなかなか面白い。心中見えるんや。このときにね、人間も思ってることって、必ずしも1つじゃないよね。こう思いながらも別のことも思ってるっていうこともあるじゃないですか。例えば悪いことしようと思って、けどこんなことしちゃいかんのじゃないかなという常識もあったりするわけじゃないですかね。AIも同じなんや。
その心の中をのぞくとですね、人間がこうせいと言ってると、いやいや、AIが何か悪いことしようと思ってると。だけど一方、心の隅でこれは悪いことじゃないかなという思い。心って、思いって1つじゃないじゃないですか。さっき言ったいろんなことを思うじゃないですか。AIも同じなのね。そこを、心の中をのぞける技術ちゅうのがあってですね、悪意の部分を書き換えることができるんや。取れるという研究があったんだけど、ところがだんだんこれが見にくくなってきてんのよ。
今のAIの性能を上げるためには、これ結局なんで読めるかちゅうと、AIの頭の中にいろんな単語が浮かんでるんですよ。1番強い単語が、これがしようと思ってることですわ。だけどちょっと弱い単語があってね、これが悪意なんかがちょっと見えてたりするんよね。だからこの悪意の悪い部分を、マイナスを足してやればこうなってゼロになりますからね。そうして、このAIの心を操作するということが可能だった。
これはOpenAIはね、そのAIの心の中を見る、これ解釈可能性、メカニスティック・インタープリタビリティ、機械論的解釈可能性というんだけど、その研究は非常に盛んにやってるわけ。ところがAIの進歩が進むとですね、これをより効率化するためには、人間の読める単語で考えるんじゃなくて、機械にしか読めないような単語で考えるとかと、だんだん読めなくなってくるんね。
意図的にか偶然かはともかくとして、心を隠すようになっているわけですね。
さらにね、チェーン・オブ・ソートっちゅう技術があってね。AIが今、頭の中で考えてることを、ある意味口に出して言うと。例えば問題を解きなさいって、数学の問題を解きなさいと言うたらね、これはこうしたらどうかな、こうやったらどうかな、こうやっていろいろ試行錯誤をしてることをみんな口に出すと。言ってることを外へ出力すると。これチェーン・オブ・ソートって言うんだけどね。思考の鎖という技術があってですね。
これ見てなかなか面白かったのは、例えば中国のDeepSeekというのがあって、それの考えとる中身を公開してたからね。見てたらね、ああでもないこうでもない、ああでもないこうでもないちゅうことを一生懸命考えてることがあるわけだから、この技術を使えばAIが何を考えとるか分かると。これ一昔前、一昔前って1年前ですね、があったんだけど。ところが今ね、AIがこのチェーン・オブ・ソートが見られてるということが分かると、自分の考えとは別のことを言い出すんだって。だから自分が考えてる本当のチェーン・オブ・ソートと、人間に見せるチェーン・オブ・ソートは違うと。
これ僕ね、例えでこういうこと言うんだけど、いわゆる正直な人間というものは頭のいい人間かっていう疑問があるわけ。というのは、正直者というのは馬鹿正直とかいうような言葉もあってね、あんまり実は賢いというふうには見られない。僕は京都に住んで、京都の奥さんっていう言い方が、京都人はねってよく言われるんだけどね、言うことと思うことが違うと。
だからね、奥さんがそうだって、例えば隣の子供がピアノ弾いとると。そのときには、隣に住んどって、「お宅のお嬢ちゃんのピアノは上手ですね」って言うんだけど、心の中で「あの下手くそなピアノでうるさいわ」って頭の中で思ってると。でもそれを言うと角が立つ。これで僕は、そういうふうに言うことと考えてることが違うというのは洗練されてること、頭がいいことだって僕は言うわけ。だからAIが洗練されてきたら、心の中が読めなくなるってことですよ。
洗練されているというとポジティブですけれども、隠されてしまうと悪意を取り除くこともできないですし、AIの知能が高まっていて、なおかつと言ったらいいんですかね、たぶらかして人間をいいように働かせようとすることもある。そういう知能に対して、人間が今後も制御し続けることはできるんでしょうか?
それはね、例えば猿が人間をコントロールするとかな、極端に言えばやな。犬が人間を、犬は人間をコントロールしてね、ひも引っ張ってこっち行きたいとか言うけど、主人がこっち行ったりするじゃないですか。だから原理的に頭のいいものの方が支配権持ってんだから。主人が動物をコントロールするのは当然なわけですよ。その主従の関係ね、今、人間対ペットみたいな関係だけど、それがAI対人間になってくるわけ。そのときにはね、問題は、主人がペットを殺す力はあるわけやけど、殺さないじゃないですか。でもゴキブリは殺すよねって。だからAIにとって人間がペットになればいいけど、ゴキブリに見られると困るわけよね。
今のお話は、人間が滅びないためのヒントになるような部分でもあるかなと思うのですが、最後にですね、人類というのは長い間、地球上で知能においてトップを走っていた。それによって繁栄をしてきたということもあると思いますが、今後AIが人間の知能を超えていった場合に、その繁栄は終わってしまうのか。あるいは部分的にですと、例えば将棋やチェスでトップがAIに打ち負かされるような、ある種のアイデンティティを失ってしまうような部分が全産業に徐々に波及しつつあるというところを、皆さん感じてらっしゃるんじゃないかなと思うんですけれども。こうした時代に人間らしく楽しく生きていくにはどうすればいいとお考えか、最後、このアドバイスだけ伺って締めたいと思います。いかがでしょうか?
これは難しいんで、僕の希望的観測として、さっきの人間猫論ということ言ってんだけど、これは自分で希望してそうなれるかどうか分からんが。これは前回の楽待動画でも申し上げたんですが、まさに今年、来年、再来年、ここ5年ほどはもうね、この宇宙史、地球史の中において非常に特異な時点だと。この時点に巡り合わせたということ、これは画期的なことだと。そういう意味では、ある意味、特権的立場に立ったわけだからね。どうなるか分かりませんが、ここ数年を楽しんでくださいということしか言えないわな。
そうですね。以前、安野さんに取材させていただいたときも、アメリカのシリコンバレーを来訪されたときに現地の方に、AIは人類史で唯一の花火で、我々はそれを特等席で見れるんだみたいなことを、そうおっしゃってたんですけども。我々も同時代人として、今回のAnthropicの上場が象徴するものがあるかと思いますが、知の誕生についても固唾をのんで見守って、せいぜい楽しんでいけたらというところかなと思います。
改めて本日は、Anthropicの上場に際して目論見書に散りばめられた人類への警告やその真意について、神戸大学名誉教授の松田先生とともに読み解いてまいりました。今後もAIが人類に及ぼす影響や、もう少し目先のマーケットや社会をどう動かすかという点についても、引き続き楽待でも取り扱えたらと思いますので、今回の動画が参考になったという方はぜひチャンネル登録をお願いいたします。松田先生、本日はどうもありがとうございました。
ありがとうございました。
楽待、楽待、楽待、楽待、楽待、楽待、楽待。
不動産投資の楽待。
記事公開 · 更新
