GPT-6 ASTRAのARC-AGI-3スコアはAGI達成を意味するのか ホリエモンの見方
堀江貴文 ホリエモンOpenAIの新モデル「GPT-6 ASTRA(アストラ)」がリリースされ、ARC-AGI-3というテストで高いスコアを出したことを、堀江貴文氏が短く解説している。問いは、このスコアをもって汎用人工知能(AGI)の達成と言えるかどうかだ。堀江氏は、条件つきのスコアであっても実質的にAGIは達成されていると考え、その実用的な意味として、PCを自在に操作できるエージェントが登場することを挙げる。
ARC-AGI-3の2つのモードとスコア
堀江氏の説明では、ARC-AGI-3は「ゲームを解かせるAIのテスト」、いわばコンテストである。GPT-6 ASTRAのスコアは、どのモードで測ったかによって大きく違う。
1つ目は「スタンダードハーネス」と呼ばれるモードで、AIモデル、今回で言えばGPT-6 ASTRAだけで問題を解かなければならない。こちらのスコアは62.7%だったという。
2つ目は「プロバイダーアダプター」を使ったモードで、スコアは99.9%に達したという。堀江氏はこのモードを人間が難しい数学の問題を解く場面にたとえる。人間は気づいたことをメモし、時間のかかる計算はPythonなどでプログラムを書いて結果を出すはずで、それと同じことをAIに許したのがこのモードだという。
言い換えると、生身の人間がメモも外部ツールも使わず頭だけで考える条件では62%程度、人間と同じように外部ツールを使える条件では99.9%になった。堀江氏は後者について「これほとんど人間です」と評している。
「AGI達成」をめぐる評価
このスコアを根拠に、サム・アルトマン氏をはじめとするOpenAIの担当者はAGIを達成したと言っている、と堀江氏は紹介する。この主張には賛否両論があるという。
そのうえで堀江氏自身の見解は、AGIはもう達成できているのではないか、というものだ。理由は人間との比較にある。計算の過程をすべて頭の中で覚えて処理できる人間はほとんどいない。人間もメモや道具に頼って問題を解いているのだから、ツールを使った条件での99.9%を人間並みの知能の証拠と見てよい、という考え方である。
「ルールのないゲーム」を解けることの意味
堀江氏が重く見ているのはテストの中身だ。ARC-AGI-3では、ゲームのルールが一切説明されず、ルールブックもない。AIは、これはこういうゲームだろうと自分で定義し、試行錯誤しながら答えにたどり着かなければならない。堀江氏はこれを非常に難しいテストだと説明する。
これまで生成AIは、文章の次にどんな言葉が来るかを当てる「穴埋めドリル」を大量に解くことで賢くなってきた。そのため、知っていることの続きを統計的に導き出しているだけで知能と呼べるのか、という批判に長くさらされてきたと堀江氏は振り返る。今回の結果について堀江氏は、まったく知らない問題を出されても答えられるようになった、と受け止めている。
PCを操作するエージェントへの期待
堀江氏によれば、GPT-6 ASTRAはPCのUIやUXまで理解できる。未知のルールを外部ツールを使って99.9%の精度で解けるのなら、OSの画面を見て、これはどう使うものかを試行錯誤しながら理解できるはずだ、と堀江氏は推論する。
そうなれば、PCのOS上でできることは基本的に何でもできることになる。何でもできるようにすると危険なので、ある程度セキュリティの制限をかける必要があると堀江氏は留保をつける。それでも、ブラウザーやOSでできることを任せられるなら、非常に便利なエージェントが一気に登場したと言えるのではないか、というのが堀江氏の見立てだ。
これはまだ堀江氏の期待の段階で、実際に使ってみた結果ではない。動画は、自分もこれから試してみる、という言葉で締めくくられている。
ハロー、YouTube。今日はですね、石垣島のセブンバイセンホテルのペントハウスに泊まらせてもらってます。めちゃくちゃいいところです。ジャグジーとかサウナとかスイートルームとかめちゃくちゃすごすぎて、皆さんもよかったら泊まってみてください。
ということで、今日なんですけれども、なんとOpenAIのGPT6アストラというのがですね、リリースされまして、非常に素晴らしいスコアを出したということで。これですね、ARC-AGI-3というですね、まあなんかゲームを解かせるAIテスト、サイトというかそういうのがあるんですけれど、コンテストですかねがあるんですけれども、そちらの方でですね、なんとですね、99.9%のスコアを出したということで。
これプロバイダーアダプターという報道、プロバイダーアダプターというのを使った場合に99.9%、スタンダードハーネスっていうモードですね、こちらの方はですね、62.7%。これどういう違いだったかって言うとですね、スタンダードの方は完全にそのAIのモデル、今回の場合GPT6アストラだけで解かなければいけない。
で、プロバイダーアダプターっていうのはどういうことかって言うと、人間で言うところの何かその難しい数学の問題とか解いた時に、どういうことやるかっていうと、気づいたことをメモしたりとか、あるいはその時間がかかる難しい計算とかは例えばPythonとかでプログラムを作って、それによって結果を導き出すみたいなこと多分やると思うんですけど、それをやったのがプロバイダーアダプターモードということで。
つまり生身の人間が生身の頭だけで考えて、メモも外部ツールも一切使わないモードでは62%ぐらいだったのが、普通に人間と同じように外部のツールを使った場合99.9%ということで、もうこれほとんど人間です。
で、これを持ってOpenAIのサム・アルトマンとかその担当者は、人類はAGI、汎用人工知能を達成したというふうに言ってるんですけれども、これに関してですね、賛否両論あるんですが、とはいえ人間だって全部その計算の過程とか全部覚えて頭の中で暗記状態というか、そんなんでできる人なんかほぼいないわけで、そういう意味では全然もうAGI達成できてんじゃないのっていうのが、これ僕の見解でございます。
GPT6アストラはですね、もうパソコンとかUI、UXまで全部理解できて、このARC-AGI-3のテストっていうのは全くルールもない。このゲームはどういうルールなのかとかも説明せず、ルールブックもなく、その状態から1から、これはこんなゲームだろうってことを定義しながら試行錯誤しながらその答えにまでたどり着くという非常に難関な。
つまり今までAIっていうのは、生成AIっていうのは、この文章の次にどんな言葉が来るのかということを試行錯誤しながら、穴埋め問題を解きまくって、穴埋めドリルを解きまくって賢くなってきたから、結論として今まで知ってることの次の言葉を想像するだけでしょうみたいな。想像するというか、統計的に導き出すだけでしょう。そんなの知能と言えるんだろうかみたいなことにずっと批判にさらされてきたんですが、全く知らない問題を出されても答えられるようになってます。
それが外部のツールを使えば99.9%の精度で答えられるということはですよ、パソコンのUI、OSのね、それを見てこれはどういう使い方するんだとか分かるわけですよ、試行錯誤して。つまりパソコンのOS上でやれることってのは基本的に何でもできるんで、もちろん何でもかんでもできるようにしたら大変なんですけれども、ある程度セキュリティの制限を持たせながら、ブラウザーでできることとか、ブラウザーかOSでできること何でもできるってことは、めちゃくちゃ僕たちの便利なエージェントがついに爆誕したと言えるんじゃないかなと思います。僕もこれから試してみます。行ってらっしゃい。
リアルバリュークラブ入会4ヶ月で売上が2.3倍に、年間8000万円のコスト削減。採用から40人の採用を実現。経営者が次のステージに行ける場所。入会企業300社突破。詳細は概要欄をチェック。
記事公開 · 更新
