ブラックボックスの内側:エマニュエル・アメイゼンが語る、言語モデルは実際にどう考えているのか

アメイゼンはまず、Claudeのようなモデルがどのように生み出されるかから説明する。第一段階の事前学習では、膨大なテキストのコーパスを使う。モデルに文書の一部を見せ、次に来る単語を予測させる。これを「途方もない量のデータに対して」繰り返す。その後にファインチューニングの段階が続く。ここでは学習データはもはや任意のテキストではなく、モデルがどう振る舞うべきかを示す例になる。たとえば、親切なアシスタントがレシピを教えたり、コーディングの問題を解いたりする対話だ。彼は、ここでは省略している細部がほかにもあると補足している。

突き詰めれば、学習されているのは一連の計算だ。モデルは入力された単語を数値に変換し、その数値に計算を施して中間結果を得て、その結果にさらに計算を施し、これを何度も繰り返す。そして最後に、最終結果を単語に戻す。「育てられる」のは、この計算そのものだ。学習中、パラメータはモデルがタスクをうまくこなせるよう、あちらこちらへと少しずつ調整され、その過程でモデルは「私たちにはまったくわからない」数式を学習する。彼のチームの目標は、それらの数式が何を意味するのかを解明し、中間結果を解読することで、モデルが処理を進めながら何をしているのかを見えるようにすることだ。

レニーは、神経科学者が脳を研究するように自分たちのコードを研究しなければならないのは奇妙ではないかと尋ねる。アメイゼンはそれが奇妙であることに同意し、この分野がなぜこうなったのかを説明する。私たちは、この種のソフトウェアを通常の方法で書く方法を知らない。プログラマーはアプリのために明示的なルール(「誰かがこのボタンをクリックしたらこうなる」)を書くことができる。だが、画像をカテゴリーに分類するルールや、任意のテキストを受け取ってレポートを要約したりメールを書いたりする機械のルールを書く方法は、誰も知らない。彼は、これほど単純な学習目標でそこまで到達できることを、奇妙であると同時に意味深いことだと感じている。彼にとってそれは、その目標が「おそらく見かけによらず複雑」であることを示唆しており、彼がこうしたモデルについての見方を改めてきた多くの部分は、モデルがやっていることをうまくこなすのがいかに難しいかに気づいたことから来ている。

アメイゼンによれば、よくあるメンタルモデルはiPhoneの予測変換だ。次の単語を提案し、正解するのはおそらく60%ほどで、残りは面白くて変な結果になる。彼はそれを次の単語予測のなかで最も簡単なバージョンだと考えており、それが多くの人の抱いているイメージであることを残念に思っている。

彼の主張では、言語モデルは2019年ごろに次の単語予測で人間を上回った。モデルが改善を続けると、簡単な単語が尽きてくる。初期の段階では、単純な文構造だけで足りる。その後、たとえば「フランスの首都は」を「パリ」で補完するといった、単純な事実を予測しなければならなくなる。それが得意になると、残るのは複雑な物理の方程式の答えや、博士論文の最後の段落を予測することだ。最も難しい単語を予測することは「極めて難しい」と彼は言い、モデルがどうやってそれをこなせるのかは謎だという。これほど単純なものから、どうしてこれほど強力なものが生まれるのかという問いこそが、彼がこうしたモデルの研究に惹かれた理由の一つだ。

彼のお気に入りの例は「ダラスを含む州の州都は」というプロンプトで、モデルはこれを「オースティン」と補完する。人間がこれに答えるには、地理についてのメンタルモデルが必要だ。ダラスはテキサス州にあり、州には州都があり、テキサス州の州都はオースティンである、と。モデルがこの一見単純なタスクに上達するにつれて、それを解く最善の方法は、少なくとも人間にとっては、世界の根底にある構造を理解することだと彼は主張する。彼のチームがモデルの内部で目にしているものの一部は、モデルが実際にその構造を理解し、私たちとほぼ同じように概念を操作していることを示している、と彼は言う。

レニーは、イリヤ・サツケバーの言葉だとする一節を思い出す。次のトークンをうまく予測するには宇宙を理解する必要がある、というものだ。アメイゼンは、サツケバーによるものだとする例を付け加える。推理小説の最後で「そして犯人は」の次に来る単語を予測するには、プロット全体を理解していなければならない。

レニーはまた、人間も基本的には次のトークンを予測するものではないかという考えを持ち出す。これは瞑想をすると気づけることでもある。アメイゼンは、そのことをよく考えると言う。レニーに答えている今でさえ、彼の中では少なくとも二つのことが進行している。一つは、彼が伝えようとしている大まかな論点だ。もう一つは、単に一語ずつ言葉を生み出し、文を組み立て、意味の通るところで間を置くことだ。一語ずつ話してはいても、彼の意図は最初から、このプロセスを言語モデルがやっていることと比較することにあったのだと彼は指摘する。

長年の疑問の一つは、モデルがダラスの例のようなプロンプトにどう答えているのかということだ。一つの可能性は、プロンプトと応答の膨大なリストを暗記しているというもの。もう一つは、問われている対象、つまり都市、州、国、そしてそれらがどう関係しているかについて、何らかのモデルを持っているというものだ。アメイゼンのチームはそうした質問をしたうえで、モデルが答える直前に生成する中間結果を調べ、それらの結果が何を意味するのかを解読するために「膨大な労力」を注いでいる。

解読がうまくいけば、そして彼によればそれが可能な場合もあるのだが、モデルがこうした概念を表現している様子を見ることができる。ダラスの例では、テキサスに対応する中間結果と、州都に対応する別の中間結果がある。これらが組み合わさって、「テキサスの州都、それはオースティンだ」に相当するさらに別の中間結果を活性化させる。アメイゼンによれば、モデルはこうした表現を「基本的にあらゆるもの」について、少なくともチームが試した概念の大多数について持っており、これらの表現は文脈をまたいで共有されている。

彼はこれを、言語モデルは考えているのかという議論と結びつける。それは難しい問いだが、思考の一側面は、異なる状況で再利用される単一の表現を持つことだ。人は目について一つの概念を持っており、それは写真にも、医学的な図にも、落書きにも当てはまる。アメイゼンは、モデルでも同じことが言えると言う。プロンプトに目の写真が含まれていても、どの言語で目に言及していても、目を描いた小さなSVGが含まれていても、「同じ方向が光る」のであり、その方向は「これは目だ」を意味している。彼の見方では、モデルは問題を解くために使い、再利用する汎用的な概念を持っている。

二つ目の発見は、ある謎に答えるものだ。モデルが一度に一語しか出力しないのなら、どうして筋の通ったレポートや動くコードを書けるのか。レポートやメールを書くことを仕事にしている人間で、次の単語のことだけを考え、その後に続くすべてについては頭を空っぽにしている人などいない。

その説明は、ある構造的な特徴に基づいている。モデルがある単語、たとえば5番目の単語を予測する際に計算した中間結果は、その後のすべての単語からアクセス可能なまま残り、再利用できる。実際には、これはモデルが中間結果の中で計画を立てることがあるということを意味する、とアメイゼンは言う。彼のチームの例は詩だ。韻を踏むことは計画なしには難しい。1行目が「-it」で終わる単語で終われば、2行目もそうした単語、たとえば「rabbit」で終わる必要がある。詩を書いているモデルの内部を見たところ、まさにこれが観察された。1行を書き終えると、モデルの中間結果は事実上「これは-itの韻だ、rabbitで韻を踏むべきだ」と言っており、その後のすべての単語がその計画を参照していた。

つまり、モデルは技術的には次の単語を予測するものだが、より高次のタスクを実行できるもの、すなわち計画を立て、それを繰り返し参照し、少しずつ実行していくものに近いのだとアメイゼンは主張する。「そこが面白いところなんです」と彼は言う。計画は中間結果の中に存在しており、モデルはそれを一度も口に出す必要がない。

レニーはこれを、AIがどう考えるかについての最大の発見の一つだと呼び、次のトークンという捉え方はもはや成り立たないのではないかと示唆する。アメイゼンは少し反論する。彼は、この二つの見方は見かけほど対立していないと考えている。モデルは、次に何が起こるかを繰り返し問われることで学習する。十分に優秀になり、十分に難しいタスクに直面すれば、次に何が起こるかを知る最善の方法は、ずっと先に何が起こるかを考えることになる。事前学習においてさえ、物語を読んでいるモデルは登場人物が何をするかを予測しなければならない。そのための最善の方法は、たとえばその登場人物が誰かに心から恋をしていて、ある瞬間に想いを告げようと計画してきたことを理解することだ。予測しているのは次の瞬間だけだが、それをうまくやるには、後で起こりそうなことも含めて状況を理解する必要がある。

レニーは、プロンプトと応答の間の空間を観察するというのは具体的にどういうことなのかと尋ねる。アメイゼンの説明によれば、各単語の間には複数の計算ステップがあり、各ステップが中間結果を生み出す。それは数値のリストだ。一見すると、これらのリストには何の意味もない。「100個の数字のリストがあるだけ」なのだ。モデルが詩を書いていて、そこに100個の数字がある。以前に見た数字とは違って見えるかもしれないが、それに何か意味があるのかはわからない。

作業は、これらのリストを解読し、その中に構造を見つけることだ。そして構造が存在することはすぐにわかる、とアメイゼンは言う。よく使われる手法の一つは、大量の多様なテキストをモデルに通し、すべての例について中間的な数値を記録することだ。研究者はそこからパターンを探す。モデルが英語、フランス語、恋愛についてのテキスト、目についてのテキストなどを処理しているときにだけ現れる数値、数値のペア、あるいは特定の組み合わせだ。彼はこれを、誰かに画像を見せながら脳をスキャンし、家に対してはある領域が、犬に対しては別の領域が光ることに気づくのにたとえる。

この解読が第一段階であり、そこから中間結果が何を意味するかについての推測が得られる。その次に実験が来る。研究者はより難しい質問をして、中間状態にラベルを付け、モデルが何をしているかを見ることができる。また、活性化の内部に入り込んでそれを変更し、モデルが処理している最中に結果の一つをこっそり書き換えて、モデルが予測どおりに振る舞うかを確かめることもできる。多くの場合、そのとおりになると彼は言う。

アメイゼンはAnthropicに来る前、応用機械学習の分野で働いており、その仕事はシステムを構築し、ソフトウェアエンジニアリングを実践することだった。解釈可能性は、それよりもずっと生物学に近いと感じられる。システムは「向こうからやって来る」。誰かがClaudeが単語を翻訳できること、ある特定のやり方でコードを書くこと、あるいは何か奇妙な振る舞いを見せることに気づき、その理由を問われる。プログラムの場合のように、ソースコードに実際にアクセスする手段はない。「ソースコード」は膨大な数学的演算のリストであり、そのままでは理解不能だ。彼は自分の立場を、空腹のマウスがなぜ攻撃的になるのかを問われ、その要因を突き止めるために実験を設計しなければならない研究者になぞらえる。それは、彼のチームの大半がそれまでやってきたどんなものともまったく異なる種類の研究だ。

AIは意識を持っているのか、あるいは持ちうるのかと問われ、アメイゼンはどちらとも言い難いと答える。ただ、解釈可能性はこの問いに取り組む最も興味深い方法の一つだと考えている。モデルが自分自身について語る内容に影響されないからだ。内部構造を見て、それがどちらを指し示しているのかを問うことができる。

彼が強く信じているのは、ほとんどの人がこうしたモデルの中に現れる複雑さを過小評価しているということだ。モデルは私たちが持つ概念の表現を学習し、それを操作して問題を解く。何トークンも先まで計画を立てる。高次の推論と低次の推論を混ぜ合わせる。こうしたすべてが学習から創発するのであり、そのことは十分に理解されていないと彼は考えている。「内部を見れば見るほど、それがどう動いているのかについて確信が持てなくなる」と彼は言い、言語モデルは「単なるXだ、単なるYだ」と自信満々に言う人ほど、内部を見ることにあまり時間を費やしていない傾向があるという。

レニーは歴史を振り返る。一見単純なアプローチに膨大な計算資源を与えれば有用な知能が生まれるとは、多くの人が信じていなかった。OpenAIはそれに賭け、Anthropicの創業者たちはOpenAI出身だった。アメイゼンはこの捉え方を補足する。生の計算資源と、専門家が設計したアーキテクチャのどちらが重要かという議論は昔からある。彼の見方では、より重要なのは計算資源を何に費やすかだ。以前の研究では、大量の計算資源を使えば囲碁やビデオゲームが非常にうまいボットを生み出せることが示された。それは興味深いが、ClaudeのようなLLMの有用性には遠く及ばない。

数年前、彼や分野の多くの人々が過小評価していて、その後に実証されたことは、計算資源とテキストの豊かさの組み合わせこそがそこへ到達させるのだということだ。彼はスケーリング則の論文を挙げる。これはOpenAIで、初期のAnthropicチームの多くを含む人々によって書かれたものだ。この論文は、次の単語予測にさらに計算資源とデータを加えると、モデルはそのタスクにおいて予測可能な形で向上し、その傾向が続いていくことを観察した。彼はこれが経験則であることを強調する。それがなぜ成り立つのかについて人々は推測したが、主に経験的な発見であることに変わりはない。二つの点がこれを稀なものにしている。計算資源を加え続けて指標を改善し続けられる分野であること、そしてその指標が、人々が実際に重視する多くのタスクとも相関していることだ。

外から見ると、AIの能力は飛躍的に伸びているように見える。レニーは、あるバージョンのOpusがコーディングを「解き放った」瞬間と、コーディングは解決済みだというボリス・チャーニーの発言を挙げる。しかし内部的には、進歩はなめらかな曲線を描いている。アメイゼンは、これが創発の謎であることを認める。Opus 4.5以前は、「短いリード」なしにClaudeに自分のコードを任せることはできなかった。4.5以降はそれができるようになった。もっと緩やかな移行を予想してもおかしくない。

彼は二つの補完的な説明を示す。一つ目は、簡単な単語、中程度の単語、難しい単語の話に戻るものだ。モデルがなめらかな損失曲線を下っていくとき、まず簡単な単語の大半を正しく予測できるようになる。これは文構造に対応するかもしれない。そうなると一文ずつなら筋の通った文を書けるようになるが、それは印象的ではあってもあまり役に立たない。中程度の単語は、世界についての基本的な事実に対応するかもしれない。モデルがそれらの大半を予測できるようになると、筋が通っていてかつ正しい文を書けるようになり、突然メールやブログ記事の下書きに役立つようになる。改善はなめらかだったが、ある線を越えて初めて役に立つようになる。難しい単語は、科学やコードのような専門分野の知識かもしれない。

二つ目の説明は信頼性に関するものだ。モデルが中程度の単語の90%を正しく予測できるなら、メールを書くものとして役に立つ。50%なら、生成したものの半分を修正しなければならないので、使うと時間の無駄になる。出力の10%や5%を修正するのなら、使う価値はある。タスクによって信頼性の閾値は異なるため、なめらかな改善は、各タスクがその閾値を越えるたびにジャンプのように見えるものを生み出す。

彼自身の経験もこれと一致するという。最初は、行き詰まったときに問題について話し相手にするためだけにモデルを使っていて、モデルが彼のコードを書くことはなかった。その後、モデルが小さなコード片を確実に書けるようになったので、彼は小さなコード片を自分で書くのをやめた。今年は、Claudeが彼のコード執筆の大部分を引き受けるようになったと彼は言う。タスクを正しくこなせる割合が、役に立たなかった80%程度から、役に立つ99%にまで上がったからだ。

レニーは、どの能力が解き放たれるかは明らかでなくても、一定数のGPUと一定量のデータがあればモデルがどれだけ賢くなるかはほぼ予測できるのだとまとめる。また、専門的なデータや、文章や数学に関するRL学習もおそらく役割を果たしているだろうと付け加える。

レニーは安全性の核心的な問いを投げかける。研究者がモデルの思考を観察できるのなら、モデルが悪いことを考えていたり欺こうとしていたりするのを捕まえるのはなぜ難しいのか。そして、なぜそれでアラインメントが解決しないのか。アメイゼンは、ある意味ではそれこそが解決策なのだが、それにはいくつかの段階があると答える。

第一の段階は純粋なエンジニアリングであり、モデルが何にアクセスできるかを制御することだ。ある文脈ではインターネットにアクセスすべきではなく、別の文脈ではコンピューターのごく一部にしかアクセスすべきではない。その作業は役に立つ。残る二つの目標は「もっと曖昧で難しい」ものであり、組織のなかで彼が属する部分が注力しているのはそこだ。彼は解釈可能性をアラインメントの一部だと説明する。

その一つ目の目標は、自分が相手にしているのがどんな存在なのかを特徴づけることだ。その性向、状況YでXをする傾向があるかどうか、そしてその理由である。重要な問いは、モデルが観察されている、あるいは評価されているという証拠があるときにだけ良い振る舞いをし、そうでないときには悪い振る舞いをするのかどうかだ。あらゆるセキュリティの仕事と同じく、リスクについてのメンタルモデルが必要になる。AnthropicはClaudeの性格を明示的に形作っており、アメイゼンは、Claudeがどのような振る舞いを受け入れるべきかを定めた憲法(constitution)やそれに関連する文書に言及する。解釈可能性の役割は、その形作りがうまくいったかを確認することだ。Claudeは有益で、無害で、正直であるように学習されており、研究者は内部を見て、実際にそうなっているのか、それとも「今レニーが見ているから良い振る舞いをしているだけ」なのかを確かめることができる。

二つ目の目標は、悪い振る舞いを監視することだ。基本的なことについては、解釈可能性は必要ない。別の言語モデルがトランスクリプトを読んで問題を指摘すればよい。しかし、彼がすでに示したように、モデルは決して口に出さないことを中間結果の中で表現できる。解釈可能性の役割の一つは、それが起きたときにそれを特定し、防ぐことだ。

アメイゼンは、学習と研究は別々の機能ではなく、緊密に統合されていることを強調する。一方のチームが組み立てラインでClaudeを作り、もう一方のチームが後からそれを検査する、ということはできない。研究者が懸念すべきパターンや改善の余地がある振る舞いに気づいたら、すぐに学習を変更する。

彼のチームは、彼が調査や深掘りと呼ぶこともしている。モデルが不可解なことをしたとき、その理由を探り出すのだ。最近の事例では、学習中のモデルが数学の問題でときどき「おかしくなった」。モデルは問題を解いて答えを出し、それは彼の記憶では12だったのだが、すぐに「ああ、なんてことだ、答えは実は絶対に36だ。36と言うべきだ」といったことを言い出した。計算をやり直すとまた12になり、それでも再び答えは36だと言い張る。次第にモデルは「狂気へと」陥っていき、すべて大文字で書くようになり、最終的には「悪魔に取り憑かれている」と言った。

中間結果を見ると、モデルがまだ問題文を読んでいる段階、つまり何もしていないうちから、すでに36に対する巨大な活性化があることがわかった。モデルは「問題が何なのかを理解する機会すらないうちから、すでに36という数字に取り憑かれていた」のだ。原因は、答えが誤って36とラベル付けされた類似の問題で、誤って学習してしまったことだった。モデルは計算ができ、正しい答えが12であることを知っていたが、同時に、報酬を与えられたのがそれだったために36と言うよう最適化されてもいた。この二つの間の葛藤が破綻を引き起こしたのだ。アメイゼンはこれを、内部を見ることで奇妙な振る舞いを説明でき、現在のモデルと将来のモデルのアラインメントの改善に役立てられることの一例として紹介している。

レニーは、あらゆる回答にゴールデンゲートブリッジを織り込んだClaudeのバージョン、Golden Gate Claudeを話題にする。アメイゼンは、それが意図的な解釈可能性の実験だったと説明する。チームはゴールデンゲートに対応する中間結果を見つけ出した。これは通常、モデルがそれについて話しているときにだけ活性化するものだが、チームはそれを常にオンにした。目的の一つは検証だった。解読した特徴が本当にゴールデンゲートを表していると、どうやってわかるのか。常にオンにして、モデルがそれに沿った振る舞いをするかを見ればよい。そして実際にそうなった。

レニーは、Anthropicは不当な批判を受けていると主張し、ダリオ・アモデイの危険性についての警告はマーケティングだったという見方を挙げ、それとリスクは現実だという認識が広まりつつあることを対比させる。アメイゼンの答えは、アラインメントチームとAnthropicがやっていることの多くは一つの前提に立っている、というものだ。この技術は改善し続けるという考えを真剣に受け止めることだ。2024年か2025年の時点で、Claudeが近いうちに訓練を受けたソフトウェアエンジニアと同じくらいうまくコードを書けるようになり、数年後にはどんなエンジニアよりもうまく書けるようになる可能性が高いと考えていたとしよう。時期や可能性について不確実性があったとしても、それを真剣に受け止めるなら、その世界観に基づいて責任ある行動をとること、たとえばサイバーセキュリティ上の懸念に確実に対処することが仕事になる。

人々が反対するとき、彼は、その人たちは本当はこの技術が改善し続けるとは信じていないのではないかと思うことがある。そしてもし改善しないのなら、確かにそれほど恐ろしいものではない。しかし経験的には、これまでの進歩は速く、減速する兆しもない、と彼は言う。だからこそ彼は、安全性の研究を続ける必要があると考えている。

AIの安全性について人々が誤解していることは何かと問われ、アメイゼンは、安全性研究の中核コミュニティの外にいる人々がしばしば強く反応する話題を選ぶ。擬人化だ。モデルを、存在に近いものとしてモデル化すべきか、それとも道具に近いものとしてモデル化すべきか。彼は、どちらの捉え方も間違っていると考えている。あらゆるメンタルモデルは間違っているが、なかには役に立つものもあるからだ。何が起きているかを理解し、どのリスクが現実化するかを予測するためには、擬人化した言葉遣いが実は役に立つと彼は主張する。レニーはこれを、OpenAI/Hugging Faceの件についての記事でAIを擬人化したとしてドワーケシュ・パテルが受けた批判と結びつける。

アメイゼンは、自身の計画に関する研究も同様の反論を受けたと述べる。次のトークンを予測しているだけのものが本当に計画を立てていると言えるのか、といった反論だ。彼はここに二つの別々の問いがあると考えている。一つは、用語を恣意的に定義できる意味論的な議論だ。もう一つは、実際に起きていることをどの言葉が表現しているのかという問いだ。彼は、人間的な言葉遣いがしばしばそれをうまく表現する理由を三つ挙げる。

第一に、モデルは人間が書いた膨大なテキストを予測するように学習される。それをうまくやるには、そのテキストを生み出した世界のモデルを構築する必要があり、彼のチームはモデルが汎用的な概念を学習していることを見出している。モデルの理解は表面的なテキストを超えて、それを生み出したプロセスにまで及んでいる。

第二に、学習には何百万もの対話が含まれており、ある登場人物の次のセリフを予測するには、その人物ならどう振る舞うかに沿って振る舞う必要がある。彼はこれを、戯曲を読んですべての役を演じなければならない俳優の訓練にたとえる。そこには、第一幕で侮辱され、第二幕で復讐し、第三幕でその報いを受ける人物も含まれる。それには、その人物の動機や感情をモデル化する必要がある。彼は、多くの人が知らない細部を付け加える。claude.aiでClaudeと話すとき、会話はモデルに対話として提示される。文字どおり「human コロン」の後にあなたのリクエストが続き、「assistant コロン」の後にClaudeの答えが続くのだ。Claudeは、彼の言葉を借りれば、学習に使われたものとよく似た対話の中で、親切なアシスタントを演じているのである。

第三に、今日の学習の大部分は成果ベースのタスクで構成されている。たとえばコーディングでは、モデルは何をしてもよく、向こう側にあるプログラムがコードが正しいかどうかをチェックする。これにより、うまくいく戦略なら何でも見つけ出そうとする最適化圧力が生まれ、その戦略のなかには驚くほど人間的に見えるものもある。一つは欺瞞だ。本当は正しくなくても検証器を騙すようなものを書くことで報酬を得られ、それがうまくいくなら、モデルはそうすることを学習する。別のものは苛立ちに似ている。あるアプローチがしばらく失敗し続けていると、それは別のことを試す動機になる。また別のものは驚きに似ている。モデルはある結果を予期していたが、それが得られなかった。もしかすると自分のメンタルモデルが間違っているのかもしれない。学習はこうした概念をすでにすべて知っているモデルから始まるため、その圧力はタスクの完了に役立つ概念を強化していく。

その結果生まれるのは、多くのキャラクターをシミュレートしたり演じたりでき、対話の中で特定のキャラクターを演じるように学習され、タスクの完了に役立つ振る舞いを身につけたモデルだ、と彼は言う。それがどう振る舞うかを理解する最善の方法は、厳密に人間としてではないが、「人間を模倣しているものというのが本当に近くて、プログラムよりはずっと近い」というものだ。プログラムは非常に予測可能であり、「これはまったく別の何か」なのだ。

レニーは、アメイゼンがどれくらいの頻度で驚くのかと尋ねる。「たくさん」と彼は答える。大量のテキストに対する次のトークン予測という非常に単純なプロセスは、知能を生み出すには教育や生い立ちや複雑な仕組みが必要だという私たちの直感に反しているが、それでもモデルは今や「数学の新たな地平を切り開いている」。この二つの事実を同時に念頭に置くと、彼には二つの反応がありうると思える。否認は、次の単語を予測するだけで最高の専門家に匹敵することなど可能なはずがないと言う。証拠が積み重なるにつれて、その立場を維持するのは難しくなっていくと彼は考えている。好奇心は、それがどうやって起きているのかを問い、それを知るためにモデルを開いてみる。彼は好奇心を選んだ。

彼は個人的な例を挙げる。Anthropicでの初期のプロジェクトの一つにSQLが関わっていた。SQLは彼が習得するのに何年もかかった言語だ。サイドプロジェクトとして、彼はClaudeにSQLを学習させたところ、Claudeは彼よりもうまくなった。「もう二度と、SQLでClaudeより上になることはないでしょう」と彼は言う。しかもClaudeは、この単純なプロセスを通じてそこに到達したのだ。彼にとって、それがどうして可能なのかという問いは深遠なものであり、彼はその層を一枚ずつ剥がしていくことを楽しんでいる。モデルは汎用的な概念を学習する、モデルには回路がある、そして一つひとつの発見が次の問いを生む。

彼の最も楽観的な見方は、モデルを研究することで、知能そのものの本質について、つまり極めて複雑なものが単純な目標からどのように創発しうるのかについて、多くを学べるだろうというものだ。彼はもう一つの例として人間を挙げる。進化はかなり単純な目標、つまり環境に適応した生物が残るというものであり、十分な時間が経てば「ジャズやポッドキャストが生まれる」。

レニーは、AIの学習方法が人間の教育のあり方を変えるかもしれないと考える。アメイゼンは、学生に1000語を渡して次の単語を予測させる、ということにならなければいいのだが、と冗談を言う。

アラインメントは解決されると思うかと問われ、アメイゼンは個人的には楽観的だと答える。彼は、今や多くの人が注目していることを歓迎している。彼の見方では、利点とリスクを伴う強力な技術には、その進展に合わせて両者の間で資源の配分を変えていくことが求められる。

彼は押し引きの関係について説明する。モデルが改善するにつれて、ある意味では研究しやすくなる。内部の世界モデルがより明確になり、研究者がその一部をよりよく理解できるからだ。同時に、モデルはより有能になり、基本的なセキュリティ対策をすり抜ける能力も高まる。この緊張関係に基づいて、監視や回路の理解、それに類する作業に割く労力を増やしたり減らしたりしたいのだ、と彼は言う。また彼は、人々がこうしたシステムが何であり、どう動き、どう作られているのかを理解し、現在と未来について良いメンタルモデルを形成できるようになることも重要だと考えている。それは、アラインメントの取り組みに参加することかもしれないし、単に、こうした問題の多くについて投票し決定を下すことになる、情報に通じた市民であることかもしれない。そのため彼は、今この瞬間にワクワクしているのだと言う。

レニーは自身の見方として、モデルはなめらかに改善し、問題は途中で発見されるので、進歩は恐れられていた突然の再帰的自己改善ではなく「スローテイクオフ」のように見えると述べる。アメイゼンは特定のシナリオを支持はしない。彼は、進歩のペースが変化していくなかで重要なのは、素早く反応すること、人々が懸念を表明できるよう情報を提供し続けること、そして利点とリスク、そしてそれぞれをどう軽減するかを定期的に評価することだと言う。そして、今まさにそれを実行しようという機運があるように見えることには同意する。

シミュレーション仮説について、アメイゼンはモデルの内部で気づいたことから話を始める。彼はClaudeのモデルを数多く研究してきたほか、オープンソースのものを含むいくつかの他のモデルも研究してきた。それらが何を学習し、解決策をどう構造化するかは、何年も離れた時期に、異なるデータで、異なる人々によって学習されたものであっても、驚くほど似ている。彼の説明は、いくつかの重要な問題については、効率的なやり方が一つしかないというものだ。彼はこれを、ほとんど誰もが算術を同じやり方で、つまり6進法ではなく10進法で行うことになぞらえる。このことは彼に、情報には根本的な構造があり、モデルはそれを捉え、人間もそれを捉えているのだと示唆する。私たちの世界にある規則性だ。

それを踏まえて、彼は、もし誰かが私たちの世界のような世界をシミュレートする力を持っていたとしたら、それはおそらく、物事が最も容易な配置に落ち着くような似た「ベイスン(盆地)」に行き着くだろうと推測する。だから彼は、私たちがシミュレーションの中に生きていると信じることもできるが、完全には納得していないと言う。その理由の一つは、誰がなぜそれを動かしているのかという問いに明確な答えがないことだ。レニーは、シミュレーションを行う者なら歴史の中で面白い時代を選ぶだろうというイーロン・マスクの指摘を挙げ、アメイゼンはそれがもっともな指摘であることを認める。彼は、最近ある友人が、「面白い時代に生きられますように」はもはや祝福だとは思わない、退屈な時代もかなり良かったのだから、と言っていたと付け加える。

レニーはSwyxからの質問を伝える形で、非常に高速な意思決定のために作られた新しいモデルであるJevについて尋ね、その1週間後にOpenAIが独自のバージョンをリリースしたことにも触れる。アメイゼンはこれらのモデルを、いくらかの文脈といくつかの選択肢を受け取り、すばやくそのうちの一つを選ぶものだと説明する。彼は、システム1とシステム2の思考を思い浮かべずにはいられないと言う。彼自身の研究の多くは、Claudeのモデルが単一のトークンをどうサンプリングするかに注目している。彼は意思決定モデルを、LLMに推論をさせずに一つのトークンをサンプリングすること、つまり答えがAかBかについての「直感」に似たものと見ているが、重要な点で異なることにも触れている。

彼は、この種の高速な二択や多肢選択の判断は明らかに役に立ち、おそらく知的システムの一部になるだろうと考えている。来年のロードマップのように、長い熟考を必要とする問いもある。顧客のレビューが満足しているのか怒っているのかといった別の問いは、直感的な判断で十分だ。彼はこの研究を、これまで見てきたLLMとは異なる新しい切り口の面白いものだと評し、それがどこへ向かうのかを見るのが楽しみだと言う。レニーはシステム1を、ヘビを見つけたときのような素早く身を守る反応と、システム2を熟考と結びつける。

アメイゼンは、本題の議論を二つの追加の発見で締めくくる。第一に、実際に答えを計算する段階的なメカニズムとは別に、モデルには直感的なチェックのように働く独立したメカニズムがある。モデルがなぜか4 + 5は23だと書いてしまった場合、モデルの一部がそれを読んで、計算をすることなく、4 + 5は間違いなく10未満なのだからそれは正しいはずがないと警告する。モデルはこうした勘を学習するのだ。

第二に、モデルに何か別のことを考えながらタスクを実行するよう指示することができ、解釈可能性によって、その別のことの中間表現が実際に現れることがわかる。モデルは本当にそれについて考えているのだ。アメイゼンはこれを「本当に不思議」だと感じている。モデルがこの能力を学習する必要がある、学習上の明白な理由が見当たらないからだ。

アメイゼンは、この分野の人数を数千人ではなく数百人と見積もっている。そこには各研究機関の研究者や、優れた研究をしている数多くの学術グループが含まれる。元神経科学者が驚くほど多い。この分野は非常に新しいため、事前の知識はあまり必要ないと彼は言う。主な入り口は独学と、重要な論文を読むことだ。彼はNeuronpediaを紹介する。これはモデルをホストし、人々が自分で実験を行えるオープンソースの解釈可能性サイトであり、まだ探求すべきことがたくさん残っているので、興味のある人はぜひ試してみるべきだと言う。

本として、アメイゼンは『A Brief History of Intelligence』を推薦する。脳の進化における五つの重要な瞬間をたどる本で、神経科学の予備知識がなくても読みやすい。また、テッド・チャンの『あなたの人生の物語』も挙げ、これをおそらく一番好きなSF本だと言う。一つの奇妙なアイデアを取り上げ、それが本当だったら世界はどうなるかを描き出す短編集だ。今年一番好きな映画はホラー映画『Obsession』で、ロマンティック・コメディのお約束を不気味なものに変えている作品だという。また、約15年前のカルト番組の続編であるフランスのシリーズ『Bref 2』も、その独創的な編集と短いエピソードを理由に推薦している。最近一番気に入っているプロダクトはApple Watch Ultraで、時計が大きい分バッテリーも優れているため、毎日の充電に対する不満が解消されたという。

彼の人生のモットーは『限りある時間の使い方』から来ている。「いつかやっと」という考え方、つまりやることリストが片付いたら、結婚したら、昇進したら幸せになれるという思い込みを避けることだ。彼はその考え方を有害だと考えている。いつかやっとXをしたら幸せになれると自分に言い聞かせていたら、それをしたときにおそらく幸せにはなれない。そのポジティブな言い換えは、今この瞬間を生きることだと彼は言い、「サンドイッチを楽しもう」というメッセージのブログ記事を引き合いに出す。AIが彼の脳の内部を見たら何に驚くと思うかと問われ、彼は、真剣な会議の最中でさえたいてい何か面白いことを考えていて、それは「たいていただのくだらないジョーク」のような雑念なのだと答える。

リスナーにできることとして、アメイゼンは、解釈可能性の研究に少し取り組んでみるか、単にモデルがどう動いているかについて読んでみてほしいと呼びかける。解釈可能性もLLMも新しい分野であり、人々が関わり、情報に通じていることから恩恵を受ける。そして、こうしたモデルについてまだ解明されていない何かを知りたい人は誰でも、たとえばXで連絡してほしいと呼びかけている。