GPT-6 ASTRAのARC-AGI-3スコアはAGI達成を意味するのか ホリエモンの見方

YouTubeで開く ↗
概要

OpenAIの新モデル「GPT-6 ASTRA(アストラ)」がリリースされ、ARC-AGI-3というテストで高いスコアを出したことを、堀江貴文氏が短く解説している。問いは、このスコアをもって汎用人工知能(AGI)の達成と言えるかどうかだ。堀江氏は、条件つきのスコアであっても実質的にAGIは達成されていると考え、その実用的な意味として、PCを自在に操作できるエージェントが登場することを挙げる。

3分で読めます
0:41

ARC-AGI-3の2つのモードとスコア

堀江氏の説明では、ARC-AGI-3は「ゲームを解かせるAIのテスト」、いわばコンテストである。GPT-6 ASTRAのスコアは、どのモードで測ったかによって大きく違う。

1つ目は「スタンダードハーネス」と呼ばれるモードで、AIモデル、今回で言えばGPT-6 ASTRAだけで問題を解かなければならない。こちらのスコアは62.7%だったという。

2つ目は「プロバイダーアダプター」を使ったモードで、スコアは99.9%に達したという。堀江氏はこのモードを人間が難しい数学の問題を解く場面にたとえる。人間は気づいたことをメモし、時間のかかる計算はPythonなどでプログラムを書いて結果を出すはずで、それと同じことをAIに許したのがこのモードだという。

言い換えると、生身の人間がメモも外部ツールも使わず頭だけで考える条件では62%程度、人間と同じように外部ツールを使える条件では99.9%になった。堀江氏は後者について「これほとんど人間です」と評している。

2:17

「AGI達成」をめぐる評価

このスコアを根拠に、サム・アルトマン氏をはじめとするOpenAIの担当者はAGIを達成したと言っている、と堀江氏は紹介する。この主張には賛否両論があるという。

そのうえで堀江氏自身の見解は、AGIはもう達成できているのではないか、というものだ。理由は人間との比較にある。計算の過程をすべて頭の中で覚えて処理できる人間はほとんどいない。人間もメモや道具に頼って問題を解いているのだから、ツールを使った条件での99.9%を人間並みの知能の証拠と見てよい、という考え方である。

3:02

「ルールのないゲーム」を解けることの意味

堀江氏が重く見ているのはテストの中身だ。ARC-AGI-3では、ゲームのルールが一切説明されず、ルールブックもない。AIは、これはこういうゲームだろうと自分で定義し、試行錯誤しながら答えにたどり着かなければならない。堀江氏はこれを非常に難しいテストだと説明する。

これまで生成AIは、文章の次にどんな言葉が来るかを当てる「穴埋めドリル」を大量に解くことで賢くなってきた。そのため、知っていることの続きを統計的に導き出しているだけで知能と呼べるのか、という批判に長くさらされてきたと堀江氏は振り返る。今回の結果について堀江氏は、まったく知らない問題を出されても答えられるようになった、と受け止めている。

2:54

PCを操作するエージェントへの期待

堀江氏によれば、GPT-6 ASTRAはPCのUIやUXまで理解できる。未知のルールを外部ツールを使って99.9%の精度で解けるのなら、OSの画面を見て、これはどう使うものかを試行錯誤しながら理解できるはずだ、と堀江氏は推論する。

そうなれば、PCのOS上でできることは基本的に何でもできることになる。何でもできるようにすると危険なので、ある程度セキュリティの制限をかける必要があると堀江氏は留保をつける。それでも、ブラウザーやOSでできることを任せられるなら、非常に便利なエージェントが一気に登場したと言えるのではないか、というのが堀江氏の見立てだ。

これはまだ堀江氏の期待の段階で、実際に使ってみた結果ではない。動画は、自分もこれから試してみる、という言葉で締めくくられている。