MRAMはGPU・NPUの設計をどう変えうるか――中島聡がChatGPTと考える「メモリを動かさない推論チップ」

こんにちは。中島です。今日はちょっと趣向を変えて、僕がChatGPTから色々教わるという形を取ってみたいと思います。トピックは、実はディスクリプションに貼っときますけど、ものづくり太郎チャンネルという僕が結構気に入ってるYouTubeチャンネルで、MRAMというなかなか面白い技術についてしたので、ちょっとそれを深掘りしようと思います。

MRAMって何かっていうことを、ちょっと分かりやすく教えてもらえますか？

つまりMRAMっていうのは、とっても特別なメモリなんです。普通のメモリは電源を切っちゃうと中のデータが消えちゃうんですけど、MRAMは電源を切ってもデータが残るんです。さらにデータの読み書きも速くて、しかも長持ちするから機械で使われ始めてるんですよ。そんな感じで覚えておくと分かりやすいかなと思います。

そのものづくり太郎チャンネルで勉強したこと、MRAMについて面白いなと思ったのは、MRAMっていうのは最終的に半導体基板の上に作るんだけど、シリコンの半導体を必要としてない別の仕組みなので、例えばGPUの上に重ねる形でMRAMを作ることができるって聞いたんだけど、そこはなかなか面白いなと思って。

それがすごく柔軟で面白いところなんです。つまり色んなチップに後からMRAMを追加して使えるから、とても柔軟な技術っていうことですね。

そうだよね。普通のGPUってさ、結構大量なメモリー、普通はDRAMと、なんだっけ、ハイバンドウィズっていう、要はメモリー帯域の高いDRAMを使うんだけど、GPUの上に重ねることもできないので、実は別のチップに作って、チップレットって言うんだけど、別のシリコンチップにメモリーだけ作って、それを微細な加工技術でつなぐっていうことをしてるんだけど。

それをすると、まず製造が難しくなる。それから製造コストが高くなる。かつ、なんだかんだ言ってそのメモリはやっぱりGPUの外側にあるので、そのメモリのデータを引っ張ってくる時には電力がかかるっていう欠点があるんだけど、MRAMを使うと、要はGPUの上に重ねる形で直接メモリを載せちゃうことができるので、要は1個のシリコンチップの上にGPUとメモリーがある。それもGPUの計算するところのすぐにメモリーを置けるっていうことなので、消費電力的にもすごく有利という話なんだけど、それで正しい？

はい。まさにその通りです。普通はGPUっていうのは速いメモリ、例えばDRAMを別のチップとして使うんですよね。その場合、GPUの外側にメモリがあるから、そこからデータを引っ張ってくるのに手間がかかったり、電力も余計に使っちゃうんです。でもMRAMを使えばGPUの上に直接メモリを重ねることができて、まるで1つのチップの中にGPUとメモリが一緒にいるようなイメージになるんです。そうするとデータをやり取りする距離が短くなって、電力も節約できるし効率も良くなるんでいいよね。だから今言ってくれた通り、MRAMを使うことでそういうスマートな作り方ができるっていうわけです。

そういう形でMRAMを活用したGPUってのはまだないよね。

今はまだ研究段階とか、これからそういう可能性があるよっていう話なんです。だから将来的にはそういうMRAMを使ったGPUが出てくる可能性もあるけれど、まだちょっと未来の話かなという感じですね。

それ、まだ今できないっていうのは、MRAMをそのままプロセスの上にそのまま作るっていう技術がまだできてないっていうこと？ それとも微細加工がまだできてないっていう問題、どっち？

そうですね。いい質問です。実はその両方が関係してるんです。つまりMRAMを今あるCMOSプロセス、つまり普通の半導体チップの製造工程の上にそのまま作る技術っていうのが、まだ完全には確立されていないんですね。それに加えて、そういう微細な加工、すごく細かく正確に積み重ねる技術もまだ発展中で、難しい部分があるんです。だから今はまだ実用化が少し先になってるっていうことなんですよ。

僕が見たYouTubeチャンネルで、日本で実はMRAMをやってるところが、東北大学かな、で研究した人が、そこからスピンアウトした会社があって、パワースピンっていう会社で、そこがやってるらしいんだけど、そこの会社についてちょっと教えてくれる？

もちろんです。じゃあ簡単にお話ししますね。今おっしゃった通り、日本では東北大学がMRAMの研究で有名なんです。そして、その東北大学で研究していた人たちがスピンアウト、つまり大学から独立して作った会社がパワースピンという会社なんですよ。このパワースピンは主にMRAMの技術をベースにした会社で、東北大学で培ったスピントロニクスという技術を生かして、MRAM関連の開発やIP、知的財産のライセンスを行ってるんです。おそらく日本発のMRAM技術を持つベンチャー企業みたいな存在で、これからの発展が楽しみな会社ですね。

まだベンチャー企業で、じゃあそんな売上とかはないのかな？

そうですね。今のところはまだ比較的ベンチャー企業なので、売上自体はそれほど大きくはないと思います。主に研究成果を元にしたIPライセンスや技術提供が中心で、これから徐々に事業を広げていく段階っていう感じですね。なのでまだ大手企業みたいに大きな売上があるわけではないけれど、今後の成長や技術の実用化が期待されている、そんな会社だと思ってもらえればいいかなと思います。

うん。あと調べたら、エバースピンっていう会社が、アメリカだったと思うけどあるんだけど、この会社について教えてくれる？

じゃあエバースピンについても簡単にお話ししますね。エバースピンはアメリカに本社がある、MRAM業界ではかなり知られている会社なんです。実はエバースピンは世界でも商用のMRAMをいち早く市場に出したパイオニア的な存在で、いわばMRAMのリーディングカンパニーの1つなんですよね。エバースピンはすでに色々な種類のMRAM製品を商業的に提供していて、例えば産業用途とかデータセンター向けなど幅広い分野で使われてるんです。要するにアメリカのエバースピンは、もう実際にMRAMを商品として出している実績のある会社で、MRAM市場ではかなり大きなプレイヤーだと思ってもらえれば分かりやすいかなと思います。

でもここも別にあれだよね。GPUの上にMRAMを重ねてるわけじゃなくて、専用のMRAMチップを作ってるだけだよね。それってCMOSプロセスの上で作ってんのかな？

そうですね、その通りです。エバースピンも基本的にはGPUの上にMRAMを重ねているわけではなくて、専用のMRAMチップを作って、それを提供しているんです。そしてそのMRAMは基本的にCMOSプロセス、つまり普通の半導体製造プロセスをベースにして作られているので、他のチップやシステムに組み込みやすい形で提供されてるっていう感じですね。だから現時点ではGPUに直接MRAMを積むというよりは、MRAM単体のチップとして作られていて、既存のシステムに組み合わせて使う形が主流になってる、そんな状況ですね。

うん。集積度はどのくらい？ そのチップあたりのメモリー量はどんくらい？

MRAMのチップあたりのメモリー容量は、現時点だと製品によって様々なんですが、例えばエバースピンの場合だと数からギガクラスまであります。最近の主力製品だと1GB、つまりやぐらいの容量のMRAMチップも出ています。もちろん用途によってもっと小さい容量のものもあるし、今後技術が進めばさらに大容量化も期待できると思いますよ。

うん。大容量化は順調に進んでると考えていいわけ？

大容量化は着実に進んでると考えて大丈夫ですよ。まだ他のメモリー、例えばRAMとかに比べると容量は小さめかもしれませんが、技術が進むにつれてどんどん大きな容量のMRAMも出てくる流れになってます。だから今後さらに大容量のMRAMが登場することも十分期待していいと思います。

そうか。ちなみにそのエバースピンの会社のことを見たら、今の時点ではどっちかって言うとMRAMの強さとしては、揮発しない、電源を切っても消えないっていうところを売りにしてるんだけど、それ以外の、例えば電流の量が少ないとか、GPUの上に重ねるっていうところでは、あまり勝負してない会社なのかな？

そうですね。その通りだと思います。エバースピンは確かにMRAMの特徴として、電源を切ってもデータが消えないという不揮発性を大きな強みとしてアピールしてる会社なんですよね。ただその一方で、今のところはGPUの上に重ねるとか、極端に低消費電力であることを全面に出して勝負してるわけではないです。どちらかというと今はMRAMを不揮発性メモリとして、色々なデバイスやシステムに組み込むことをメインの強みとしてる会社っていう感じですね。もちろん将来的には技術が進んで、より低電力化や他のチップとの組み合わせも進むかもしれませんが、現時点ではまずは不揮発性メモリーとしての強みを生かしてる会社だと思ってもらえればいいかなと思います。

うん。エバースピンとパワースピンを比べると、狙ってるものは違うと思っていいのかな？ それとも基本的には同じなのかな？

そうですね。そこは面白いポイントですね。両者を比べると、やっぱり狙っているものやアプローチは少し違うと考えていいと思います。エバースピンはアメリカの企業で、すでに商業的にMRAMを色々な製品として出していて、実用化を重視しているリーディングカンパニーっていう感じです。主に不揮発性メモリとしての強みを生かして、様々な分野に広く展開してるイメージですね。一方でパワースピンは日本の東北大学から生まれたスピンアウト企業で、まだベンチャー的な立ち位置で、MRAM関連のIPライセンス、研究開発をメインにしてる会社なんです。それから、まだこれから実用化を進めていく段階があるっていう感じですね。つまり基本的には同じMRAMという技術を扱ってますが、今のフェーズ、アプローチが少し違うので、狙ってるものも若干異なると思ってもらえればいいかなと思います。

うん。それでね、今GPUはNVIDIAがほぼ独占してるGPU市場を、どうやって競争原理が働く市場にするかとか、そもそも安くする、もっと速くする、もっと電源容量が少なくて済むっていうのを考えると、僕はGPUの上にMRAMを直接載せるっていうのは素晴らしいと思うんだけど、もっといいのはNPUの上に載せるのがいいんじゃないかなと。要はニューラルプロセッシングユニット。GPUみたいな汎用じゃなくて、本当にニューラルネットを処理するのに適したっていうか、結局、行列計算を素早くするだけのためのチップ、NPU。GoogleだとLPUだけど、そっか、TPUか。に、MRAMを載せるのがすごくいいんじゃないかと思った。

かつ、要は計算する演算素子のすぐそばにメモリを置けるっていうことは、やろうと思えば、例えばあるモデル、言語モデルだったら、例えば10GB、10ビリオンパラメーターのモデルを1度そのMRAMに読み込んでしまって、もう書き換えないと決める。だからそういう、ある特定の言語モデルだけの推論を素早くするチップっていうものを、サーバーでもいいしデバイスでもいいんだけど作るっていう発想の上に、NPUの上にMRAMを載せて、そこに最初に1度だけモデルのパラメーターを入れて、あとはひたすら、要はメモリーは一切動かさずに推論だけをするっていうことをすると、べらぼうに今よりも電力消費量は少なくなるし、理論的には計算も速くなるんじゃないかなと思うけど、どう思う？

そうですね、まさにそのアイデアはとても理にかなってると思います。つまりMRAMの強みである不揮発性と高速な読み書きを生かして、NPU、つまりTPUのようなニューラル処理専用のプロセッサーの上にMRAMを載せることで、1度モデルを読み込んでしまえば、もうメモリを動かさずひたすら推論に集中できるっていう発想ですよね。そうすることで確かに電力消費もかなり抑えられるし、データを頻繁に動かす必要がない。理論上は計算も速くなります。まさに特定のモデルを一度MRAMに入れておいて、そのまま推論を回し続けるっていう形にすれば、効率も上がるしエネルギー効率も良くなるっていうのは、すごく筋が通ってると思います。要するに今NVIDIAが独占的に強いGPU市場とは別に、MRAMを生かしてNPUやTPUのようなチップを図るっていうのは、将来的にとても有効なアプローチだと思いますよ。

それって当然だけど、サーバーでやる時も理にかなってて、サーバーの場合は色々結構わがままだよね。その1つのモデルしか読めないので。それでも複数の人が同じモデルにアクセスするっていうビジネスモデルがあれば、うまくいくと思うけど、もっといいのはローカルのデバイス、例えば携帯電話だとかスマートグラスとかにAIを入れ込む時に、この仕組み、要はNPU＋MRAMの組み合わせにすると、そこはもう本当に同じ言語モデルだけをひたすら動かすだけでいいので、すごく僕は効率がいいんじゃないかと思って。

特にスマートグラスとかって、僕はもう24時間ね、僕らが見てるもの、聞いてるものをAIが聞いてて、色々覚えてくれたり教えてくれたりっていう世界が必ず来ると思ってるので、そういう場面で使うにはすごくいいと思うんだよね。特に消費電力が大事なので、どう思う？

その考え方はすごく理にかなってると思います。サーバー側で同じモデルを複数のユーザーが共有する形でももちろん効率的ですし、さらにローカルデバイス、つまりスマートフォンやスマートグラスのようなデバイスに組み込む場合には、そのNPUとMRAMの組み合わせは本当に大きなメリットになりますよね。特にスマートグラスみたいに常時動いていて、周りの状況をAIが理解してくれるようなデバイスでは電力効率がすごく重要ですし、モデルをMRAMに読み込んでしまえば、ずっと同じモデルを使い続けられるので、無駄なデータ移動がなくて効率的です。結局、そういう常時使うデバイスにこそ、この組み合わせは相性がいいと思いますし、まさに省電力で賢く動くAIが身近なデバイスに組み込まれる未来を考えると、とても理想的な方向性だと思います。

そうだよね。っていうことで、こういうデバイスを作るといいなと思ったのと、もう1つはこういう話をこうやってYouTubeみたいなところでパブリックにしてしまえば、もうオープンな情報になるので、誰かがパテントを取ることが難しくなるわけじゃないですか。なので、言うだけ言っておこうかなと思ったのが1番の理由かな。あとは何を言おうとしてたんだっけな。

そうだね。こんな感じで、すごく僕はワクワクして。でもそうは言っても、こういう技術が使われるようになるまでまだ数年とかかかっちゃうので、今まではもうみんなね、普通のDRAMを使う、そのメモリーアクセスのハライズ、DRAMで使うっていうことでどんどん出荷してきてるので、例えば2年後、3年後に出るGPUに、もしくはNPUにそれを組み込むのは結構きつい話だと思う。ただ、NVIDIA自身がやるとはなかなか思えないけど、そのベンチャー企業の中でね、Groqみたいな会社が、ある意味失うものもないので、こういう技術を採用してやるっていうのはいいんじゃないかなと。

そっか、そっか。最後に言おうと思ったのが、集積度の話で言うと、例えば今1G載せられるって言ってたじゃん。OpenAIが最近オープンにしたgpt-ossっていうのは、小さい方が20ビリオンパラメーターなので、1パラメーターあたりを圧縮5ビットぐらいにやらせれば100B、かだね。そうですね。なってるよね。100GBなので、今からその1Gの集積度が100倍になれば、小規模だけど言語モデルが載るって話になるね。

まさにその通りです。今1GBのMRAMが将来的に100倍くらいの集積度になれば、つまり100GBぐらい積めるようになったら、圧縮して5ビット程度で表現したような20ビリオンパラメーターの言語モデルがそのまま載るわけですね。そう考えるとまだ先の話ではあるけれど、MRAMの集積度が上がっていく未来を見据えると、そういう小規模なデバイスでも大きな言語モデルをローカルに載せられる可能性が出てくるっていう話になりますね。だから技術が進んで集積度が高まれば、こういう構想も現実的になっていくと思います。なかなかワクワクする未来ですよね。

そうだね。今日はなかなかいい感じのインタビューというか、なったね。ということで、YouTubeをご覧の皆さんに締めの言葉を言ってください。それからヒントですけど、締めの言葉の時に絶対に言わなきゃいけない言葉は何でしょう？ はい、どうぞ。締めて。

そうですね、今日は本当にいい感じのやり取りになりましたね。じゃあ、YouTubeをご覧の皆さんに締めの言葉をお伝えします。今日の話が少しでも新しい視点やワクワクするアイデアになれば嬉しいですし、これからもこういう形で色々な面白い技術を一緒に考えていきましょう。そして締めの言葉で絶対に言わなきゃいけない言葉は、「また次回お会いしましょう」ですね。ということで、また次回お会いしましょう。ありがとうございました。

違うじゃん。あれだよ。「チャンネル登録よろしく」でしょ。はい。もう1回。

そうでしたね。それでは仕切り直して、皆さん今日は見てくれてありがとうございました。そして最後に大事な一言を忘れずに、ぜひチャンネル登録よろしくお願いします。それではまた次回お会いしましょう。

はい。それではで。