LLMは世界の知識を内部にどう刻んでいるのか：乾健太郎氏が語る内部機序研究の現在地

皆さん、こんにちは。今アブダビから接続しております乾と申します。アブダビのMBZUAIという大学、これは人工知能の世界で初めての人工知能の専門の大学に、3年前に東北大から移りまして、今そちらで拠点を置いて活動しております。東北大、理研にも席を残しながら、今3拠点で自然言語処理の研究を進めております。ちょっと待ってください。

本日は「LLMは何をどのように記憶しているか」というタイトルでお話ししたいと思います。副題にありますように、LLMの内部機序の解明が今どこまで進んでいるか、その一部をお話ししたいと思います。どうぞよろしくお願いいたします。

まず、お話の出発点ですけれども、これはいろんな方々が報告されていると思いますが、LLMも今、多くのベンチマークで人間並みあるいは人間を超えるようなパフォーマンスを示していると。こうしたグラフがたくさん生産されています。一方で、テストに正解できるかということと、実際に理解しているかということは、必ずしも同じではないと。評価に使ったデータがどこからか漏れていたり、個体そのものを丸覚えしてしまったりということも起こり得るわけです。モデルが大きくなればなるほど、データが大きくなればなるほど、こうした問題をなかなか避けることができない。つまり性能の評価の数字を見ているだけでは、LLMが何をどう理解しているかということは十分に分からないということであります。これが本日の出発点です。

では、そもそも、例えば言葉で言えば、言葉が分かるということはどういうことなのか、少し具体的な例で考えてみたいと思います。これはもう20年ずっと使っている同じ例なんですけれども、「庭に洗濯物を干した途端に雨が降ってきた」。これを聞いた時に私の頭の中では何が起こっているかと。もちろんいろんなことが起こっていると思うんですけれども、重要なこととして、洗濯物を干すというのはどういうことなのか、それは乾かすためだとか、洗濯物が乾くには晴れていないといけないとか、そうした常識的な知識を色々想起する。それから、そうした知識を使って、話の中身を再構成すると。洗濯物を干した、でも雨が降ってきた、だから乾かなかった、というような、やり直さないといけないというような道筋を再構成すると。そして最後に、実際には語られていない、がっかりしたという気持ちまで、行間として受け取ると。

私たちはこの、知識を思い出して、話を再構成して、行間を読むという3つを、ごく自然にやっている。言語を理解するということはいろんな側面を持っているわけですけれども、最終的に、究極的には、これが本質だという風に多くの人が考えていると思いますし、私も考えております。

では、このLLMは、この1、2、3をやるための何かを実際に持っているのかと、実際こういうことができているのかと。世界についての知識を持って、それを再構成してシミュレーションをする、あるいは予測するというような、そういう仕組みがLLMの中にあるのか、もしあるとすれば、それはどこに、どのようにできていて、あるいはそのボトルネックはどこにあるのか。それを明らかにすることが、最初の、言語モデルが言語を理解しているか、あるいは世界を言語を通じて理解しているのかということに対する答えを与えていくという風に考えています。こうした手がかりで、LLMの内部を少し見ていきたいと思います。

最初の問いは、LLMは世界の知識をどこにどのように記憶しているかということで、例として有名人の生まれ年を取り上げますと、例えばバラク・オバマが何年に生まれたかとか、アインシュタインは何年に生まれたかというような、その有名人について、その生まれ年を正しく答えることができます。それぞれの入力を、LLMは内部でベクトルに変換して、その変換したベクトルに計算を重ねていくわけですけれども、そうした内部表現から生まれ年の情報を読み取る、読み出すということを考えます。内部はベクトルでして、そのベクトルからそれぞれの生まれ年を読み出すような回帰をすると。

そうすると、生まれ年の情報が、このLLMの内部のある構造の中に、いわば数直線のような形で、きちんと並んで刻まれているということが分かりました。この1点1点はそれぞれ有名人の表現なんですけれども、これを今2次元の軸に落とし込んだ時に、生まれ年の古い人から新しい人に向かって、滑らかな1本線に並んでいる様子が分かります。こういうことは、生まれ年の話だけではありません。人口とか標高とか、緯度経度などについても、同様の構造が見つかっております。

数値の構造が、一応数直線のような形で内部にあるということは見えたわけですけれども、その構造が本当にLLMが実際に答えを出す時に使われているのかというのはまた別の問題です。これを確かめるために、例えば先ほど捕まえた内部表現、この数直線を、実際に内部で書き換える、ベクトルをその数直線に沿って書き換えるということをやります。そうした介入実験をやるわけですね。LLMの内部にある先ほどの記憶の部分を、数直線に沿って生まれ年の方向にずらしますと、例えば元々カール・ポパーの生まれ年は1902年なわけですけれども、それがだんだん後ろの方にずれていくと、同じ質問に対して違う答えをモデルが出すようになります。逆の方にずらすと、1681年のように前にずれます。

つまり少なくともこの例では、見つかった構造をいじると、それに応じて実際の出力も変わってくる。このことから、見つかった構造が単なる副産物ではなくて、実際にLLMが答えを出す際に使っている、少なくとも関わっているということが分かります。ここまでで、数値属性の知識については、少なくとも一部については、内部に綺麗な構造があって、それが出力にも実際に関わっているということまで確認できました。

この数値については内部が見えてきたわけですけれども、では他の種類の知識はどうかと。こちらにいくつか例を挙げましたけれども、点のようにまとまっているものとか、先ほどの数直線とか、曜日のように輪になっているようなものとか、様々な関係の対ですね。それから階層になっているようなもの。細かいことは言いませんけれども、それぞれの知識の種類ごとに、それぞれ異なる形というのが見つかってきています。このうち2つの例だけ紹介します。

1つ目は、名前にまつわる曖昧さと表記の揺れの話です。オバマと言われた時に、それが誰を指すかというのは文脈によって変わる。バラク・オバマかもしれないし、他の人物かもしれない。逆に、同じ人物であっても、バラク・オバマと呼ばれることもあれば、別の呼び方をされることもある。これを調べたところ、先ほどのようにLLMの内部表現を取り出して調べていくわけですけれども、こうしたエンティティ、人物とか組織に関する知識は、比較的少ない次元、つまり簡単な空間の中にうまく表現されている、埋め込まれているということが分かってきています。

同じ名前の別人は、その空間の中で離れたところにあって、同じ人物の別の呼び方は近くなるように、内部で整理されているということが分かってきました。つまり名前の曖昧さと表記の揺れという、世界の側にある構造と、LLMの内部表現の構造が、ある程度対応しているということであります。

2つ目は、概念の上位下位のような関係、階層です。動物という上位概念の下に、鳥とか哺乳類といった下位の概念があるわけですけども、こうした階層概念を調べてみますと、内部ではやはり規則的な構造を持っているということが分かってきています。具体的には、低次元の線形な部分空間、つまりシンプルな形の空間の中に階層関係がまとまって現れてくると。さらに興味深いのは、場所についての階層とか、人物についての階層とか、様々な意味の領域が違う階層が、似たような構造のパターンで表現されているということが分かってきています。

ここまでいくつか例を見てきましたけれども、一度整理しますと、分かってきたこととしましては、人物とか組織のようなエンティティ、それから単純な事実関係から、先ほどの生まれ年のような数値情報とか、上位下位関係のような階層的な情報、分類、こうしたものについては、内部に規則的な構造が徐々に見つかってきています。

一方で、ほとんど分かっていないこともまだまだたくさんありまして、例えばインフルエンザにかかると熱が出るというような条件・因果関係。やっぱりはドイツの人でないというような、否定とか反事実的な情報。鳥は飛ぶけれどもペンギンは飛べないというような一般則。それからコーヒーの入れ方のような、手順とか行為についての知識。最初の洗濯物の例のように、こうした複雑な知識が言語の理解あるいは世界の理解に必要だという風に考えられるわけですけれども、こうしたより複雑な知識が内部でどう表現されていて、どう使われているかは、まだほとんど分かっていないというのが現状です。

それからもう1つ重要な点は、内部表現を読む、これを専門的にはプロービングと言いますけれども、これは比較的やりやすいということが分かっています。一方で、その表現を制御する、ステアリングと言いますけれども、その表現を使って、モデル全体の振る舞い、例えば答えを制御するというようなことは、読むこととは別次元で、はるかに難しいということも分かってきています。例えば先ほどの生まれ年のように、一部の限られた例ではできるんですけども、この単純な例でも、本当はあまり綺麗に制御できていないと。逆側に動かしても、そんなに綺麗に時代が遡っていかない。こんな風に、内部表現を操作してモデルの振る舞いが変わるようなところまで、内部表現をきちんと理解しているというところまではまだ全然行っていないということが言えると思います。

ここで、神経科学の1つの教訓が思い出されるわけですけれども、初期の神経科学では、おばあちゃんニューロンのような、1つのニューロンが1つの概念に対応しているということを示すような結果がたくさん報告されて、皆熱狂的に受け止めたわけですけれども、これは非常に単純で魅力的で、分かりやすいんですけれども、後になって、現在は、それは過剰な単純化だったということがもうコンセンサスとして得られています。実は私たちも同じ罠にはまっているかもしれません。つまり見つけやすくて説明しやすい構造だけを見ている可能性があるということです。読み取れることと、制御できることは別だと、この点を強調しておきたいと思います。

では、これが具体的に一体何が問題なのかと。重要なポイントは、内部が少し見えてきたぐらいでは、信頼性を十分に保証できないということです。例えば、誤った答えを内部表現を見て確実に見分けるということは、本当にまだまだ難しいということが分かってきています。知識を内部表現で修正するというようなこともなかなか難しいですし、何か安全対策を、この内部表現をいじってやるというようなことも、まだまだなかなかできていないと。問題は、内部機序をどこまで理解できれば十分と言えるのかということ自体について、まだしっかりした理論がないということで、この辺り、理論的な研究と、経験的、記述的な研究の両面を進めていく必要がまだまだあるんだという風に考えています。

じゃあ私たちは何をすべきかと、例えば教育の現場では何をすべきなのか。実のポイントは、もっともらしい説明ができるということと、モデルが本当に理解しているかどうかということは同じでないということを改めて確認しておく必要があるということであります。内部機序の研究というのは、どこでAIを信頼してよく、どこでは出典の確認とか人間の確認・検証が必要なのかということを明らかにするための基盤を作るような研究なんだ、という位置づけなんだという風に考えていただければ良いかと思っております。

ということで、まとめはこんな感じなんですけれども、1点目は、LLMの内部には規則的に整理された知識表現があるということですが、少なくともその一部は実際に答えを出すために使われているんだと。ただし、解明できたのは本当にまだ一部で、もっとやっていく必要があるということで、読み取れることと、それが安定して制御できたり、あるいは信頼性の担保につながっていくというようなことの間には、まだ大きな隔たりがあるということを、この講演のメッセージとして締めくくりたいと思います。ご清聴いただきありがとうございました。