24コア・192GBのミニワークステーション「MS-02 Ultra」を3台つないでクラスタ計算を試す

こんにちは。今日は小さい中に色々と詰め込みすぎているパソコンを使ってみます。こちらです。MinisforumのMS-02 Ultraというモデルです。Minisforum自体はミニPCで有名ですが、この様なワークステーションタイプのパソコンも出しています。ミニPCメーカーだけあってワークステーションもこのようにかなり小型のものになっています。

このように小さいですが、中身を見てみると24コアのCPU、192GBのDDR5 ECCメモリー、デュアルの25G SFP28を積んでいるという、かなりハイスペックな仕様となっています。

今日の動画の内容ですけれども、このミニワークステーションの性能をフルで使い切るような実験をやってみます。大容量メモリーを使い切るものとしては大規模言語モデル、いわゆるLLMを使った推論、マルチコアのCPUを使い切るものとしては流体シミュレーションをやってみます。また今回は1台だけではなくて、これら3台を使ってクラスター計算機として使えるようにしてみます。ということでまずMS-02、この外見の小ささに対して中身がどれくらい詰まっているのかを見ていきます。

まずは外観からです。ワークステーションとしてはかなり小さいです。ミニPCよりも大きいんですけども、普通のパソコンとしては小さい部類です。ちなみにMS-02 Ultraにはスペック違いの三つのモデルがありまして、これは最上位モデルのMS-02 Ultra 285HXです。

正面部分は電源ボタンやUSB端子などよくある構成です。こちらのUSB-Cの部分はUSB4 V2が2ポートあります。規格上は80Gbpsまで出るのでかなり高速です。USB4 over Ethernetに対応しているので、例えばPC同士を対応しているUSB-Cケーブルで接続すれば、ネットワークも作れるようになっています。本体裏側からも画面の出力はできますが、こちらも画面の出力を兼ねています。

次、裏側ですね。USB、LANケーブルを挿すRJ45が2口、HDMI、USB4、そしてSFP28です。LANケーブルを挿すRJ45は2口あって、2.5ギガと10ギガです。さらにこちらのイーサネットについては、25ギガのSFP28が2口付いています。これはマザーボードからではなくて、ネットワークの拡張カードから生えているものとなっています。このようにネットワーク関連についてはかなりの豪華仕様となっています。

しかもSFP28については、イーサネットコントローラーとしてIntel E810が使われています。このコントローラーの何が良いかというと、RDMA、リモートダイレクトメモリーアクセスが使えることです。これはネットワークで繋いでいるパソコンのメモリー間で直接データをやり取りする技術です。OSやCPUを介さないで高速にデータをやり取りできるというメリットがあります。

今回このパソコンを3台使ったクラスター計算機でシミュレーションを走らせるのですが、このRDMAが非常に効いてきます。Minisforumとしては最初からこのようなクラスター計算機として使うことを想定していて、RDMAが使えるネットワークカードを選定した可能性があります。

次は中身を見ていきます。ケースはこの様にアルミでできています。筐体が小さいので放熱を考えてのアルミケースでしょうね。見た感じ継ぎ目がないので、これは押し出しで作っているのでしょうか。結構手が込んだ作りをしています。

中身も非常にコンパクトにまとまっています。下から電源、ネットワークカード、CPU、PCIeの空きスロットです。PCIeの空きスロットはロープロファイルのグラボなら入るぐらいのサイズです。空間的な空きは少ないので、ちょっと何付けようか迷うサイズ感ですね。

ちなみにここのカバーは外れます。CPUクーラーが見えていまして、入口出口でファンが2個付いている構成です。CPUはIntel Core Ultra 9 285HXです。Performanceコアが8個、Efficientコアが16個の合計24スレッドです。

AI処理向けのNPUも付いていますが、13TOPSで正直物足りない為、おまけ程度に考えておいた方が良いです。一応用途としては画像分類であったり、物体検出、小規模のLLMが動きます。ですがNPUを使うよりGPUを増設した方が満足度は高そうです。

こちらのヒートシンクの下に隠れていて見えないのですが、この下にDDRメモリが2枚あります。次は裏側です。裏側はDDRメモリ2枚と、Wi-Fiモジュール、元々内蔵しているSSDです。こちらにキオクシアのSSDが入っていますが、これは増設用に空いていたスロットです。今回は起動するOSを分けるために増設しました。

SSDの増設でいうと、実はネットワークカード上にM.2端子があって、さらに追加で2枚増設できるようになっています。ですのでSSDはトータルで4枚までつけられる構成です。

ここまでざっくりとハードウェアの概要を見てきましたが、ここからは実際に計算機として使っていきます。まず計算に使える資源についてまとめると、このパソコンにはCPUが一つ入っていて、CPUは24コアで24スレッドの計算を走らせることができます。これが1ノード分、つまりパソコン1台分の計算資源です。さらにこれと同じノードが二つあり、合計で3ノード72スレッドを走らせることもできるクラスターがひとつ出来上がります。これだけのスレッド数があるので並列計算には強いはずです。

並列計算をするためにそれぞれのノードでデータの交換や同期をする必要があります。今回はそれについてはOpen MPIとIntel MPIを使うことにしました。特にIntel MPIはRDMAを使えるので、RDMAのありなしでどれくらい差が出るのかも検証します。

ネットワークへの接続なんですけど、今回は基本的に25ギガのSFPを、このダイレクトアタッチケーブルを使って接続します。若干懸念点がありまして、このスイッチの速度が実は10ギガなんです。計算で重要になるのが帯域幅なのか、それともレイテンシなのかという事が今ひとつまだわかっていないので、ひとまずこのスイッチで進めることにします。

ちなみに今日の実験で使った並列計算のコードやMPIの設定方法については、概要欄のGitHubとブログ記事にまとまっているので、気になる人はぜひチェックしてみてください。

まずはマルチスレッドを生かした並列計算の初歩として、モンテカルロ法を使って円周率を計算します。この四角形の中にランダムで点を打っていって、丸い形の中に入った点の数を数えて円周率を計算するというものです。

モンテカルロ法は並列計算と相性が良いです。というのも1回1回の計算がそれぞれ独立していて、それぞれの計算結果同士が与える影響というのは一切ないからです。またスレッドやノードの間で、ワンステップ前の計算が終わるのを待つという待ち時間が発生しないので、CPUが持っている計算資源を効率よく使うことができます。つまりモンテカルロ法を並列計算する場合は、スレッドの数が増えるほど短時間で計算を終わらせることができるということです。

では実際に試してみます。まずは1スレッドだけを使った場合です。今計算を始めました。このように0番のCPUだけ使用率が100%となっています。このまましばらく放置します。計算が終了しました。1スレッドだけの場合は計算時間は42.3秒かかってます。

次は2スレッドを使った場合どうなるか見てみます。CPU使用率ですが、二つのCPUが100%に張り付きましたね。頑張って計算しています。ちなみに今回モンテカルロ法の試行回数は2億回にしています。計算終了しました。22.8秒かかっています。大体半分の時間で計算が完了しました。

次は1ノードで使える最大のスレッド数である24です。そうしますと、全部のCPUの使用率が100%になりました。ですが、すぐ計算が終わってしまいました。さすがに早いです。24スレッドですと2.77秒となりました。使うスレッドの数が多くなるほど計算にかかる時間は相当短くなりますが、完全に反比例というわけではなさそうです。これは計算以外に使う時間もあるため、このようになっています。

次は48スレッド。多分一瞬で計算終わります。終わりました。1.41秒。そして最後、3ノード合計72スレッドで計算をします。計算終わりました。0.97秒となっています。このように計算時間が非常に短くなりますので、並列計算様様といったところです。

次は数値計算なんですけれども、流体シミュレーションをやってみます。わかりやすいものでいうと、このように水の流れを計算するものがあります。流体シミュレーションをするソフトにもいろいろあるんですが、今回はOpenFOAMを使いました。オープンソースになっていて無料で使えます。

計算の原理をものすごく簡単に説明すると、計算する対象をこのようにメッシュで区切っていきます。その区切ったメッシュの隣で足し算引き算をして、微分方程式を代数的に解くということをしています。

モデルの大きさは同じでメッシュをこのように細かくしていきます。そうするとものすごい端っこの細かいところまで数値計算できるようになるんですけれども、メッシュの数は増えます。メッシュの大きさが変わらなくても、さらに広い範囲を見たいという風になってシミュレーションをしましょう。そうすると広い範囲、大きなモデルのシミュレーションはできるようになるんですけれども、やはりメッシュの数は増えます。ここでメッシュの数が増えるイコール計算にかかる時間が増えるといえます。

このような数値計算に対しても並列計算はやはり有効です。ただし先ほどのモンテカルロ法のように並列計算をすれば何でもOKというわけではなくて、OpenFOAMの場合、スレッド数、ノード数を増やすほど計算時間を短縮できるというわけにはいきませんでした。

例えばこちらの結果を見てもらうとわかりやすいです。先ほどの2次元のダムブレイクの計算で、スレッド数を変えてみたときにかかった時間の比較です。使うノードが一つだけの場合は、シミュレーションが完了するまでの時間はスレッド数が増えると短くなる傾向にあります。ここでさらにノードを繋いでスレッド数を増やしていけば時間短縮できるはずと考えたんですけれども、そこまで甘くはなくて、逆にシミュレーションが完了するまでの時間が大幅に延びてしまいました。

いろいろ検証を進めていくと、どうやら一つのスレッドが担当するメッシュの数が少なすぎると、計算にかかる時間よりその他の処理に掛かる時間の方が相対的に多くなることがわかりました。また使用するスレッドの数も、24スレッドを全て使い切らない方がシミュレーションにかかる時間が短くなるということもわかりました。これについてはパソコンのCPU、メモリー、あとはノード間でのやり取りで結構ごちゃごちゃしているのが原因かと思います。

じゃあどうすればいいかなんですけど、1スレッドあたり数十万メッシュ程度で計算すると、計算以外に使う時間より計算に使う時間の方が相対的に長くなって、並列計算をやる意味がでてきます。

ここまでノード間で並列計算をするのにOpen MPIを使ってきました。ですけれどもネットワークカードのIntel E810がIntel MPIとRDMAに対応しているので、さらに計算を高速化できないかを試します。こちらが結果です。Intel MPIの方がOpen MPIと比べて17%時間を短縮できています。

ネットワークカードのIntel E810はOpen MPIのRDMAにも対応しているようですが、最適化の設計が難しそうなので今回は断念しました。また機会があったらやってみたいです。

今回得た知見なんですけど、OpenFOAMなどを使う場合は、ネットワークの帯域幅、10ギガとか25ギガとか、それらは実はあまり重要ではなくて、ネットワークのレイテンシーの方がかなり効いているような感じがします。

そして最後は大容量メモリを生かせるような実験として、大規模言語モデル、LLMを使った推論をやってみます。LLMを使った推論は基本的にはGPUのパワーと高帯域幅のメモリーを使ってやるようですが、今回はあえてCPUとRAMでやります。

今回はDeepSeek-R1-Q4-K-M量子化モデルを使います。パラメータはフルサイズの671B、6710億となっており、モデルの容量だけで400GBとなっています。これをRAM上に展開して実際に動作させます。

現在メモリ上に展開が終わったんですが、192GBあるメモリのうち184GBを使っています。96%を使っていますね。残りの2台についても実はメモリの容量結構カツカツで、こちらは170GBを使用、3台目は169GB使用となっています。すごいですね。こんなにメモリ使っているの見たことありません。

ちなみにメモリの空き容量を結構ギリギリのところを攻めたので、コンテキストサイズを大きくすることができず、2万程度のコンテキストサイズに調整しています。

では実際に何かチャットをしてみましょう。この様にCPUは意外と使っていますね。あとイーサネットの通信も常時100Mbpsくらいでやっています。他のノードも見てみますか。他の機体についてはCPUで何か処理をしているという事はしていないのですが、イーサネットで継続的に何か通信はしています。100Mbpsぐらいはやっています。

急にイーサネットの使用量が落ちました。何でしょうか。あまりにも遅い為、プロンプトを変えます。「長文話して」というのは多分あまりよくないんでしょうね。400文字ぐらいで何か話してみましょうか。すみません、ちょっとこれもなかなか終わらないので、もう最終手段「Hello」です。このように、出てきました。結構遅いですね。毎秒1.1トークンぐらいです。

先ほどのやつをちょっとやり直してみます。先ほどは何かおかしかったみたいですね。この様に中でいろいろ考えてはいるんですが、ChatGPTとかそういったものと比べると、ローカルで動いてますからね、仕方ないんですけどやっぱり遅いですね。こういった大きなモデルが動くっていうのはロマンがありますが、動作速度なんかを見ると急に現実に引き戻されてしまいますね。大きいモデルでCPUで速く動くモデルってないんですかね。

というわけで今日はMinisforumが出しているミニワークステーションのMS-02 Ultraを、数値計算やLLMを動かす目的で使ってきました。数値計算での活用は、コア数の大きさと大容量RAMがあるという点から使えそうだということはわかりました。ただ、ガチの数値計算用のワークステーションと比べると、CPUとメモリを繋ぐレーンの数が少なかったりとか、そういったところで見劣りはします。

LLMについてもやはりGPUの独壇場で、一応CPUでも動きはするんですけども、実用性は低いなと感じました。ただメモリが1台192GBあるので、大きなモデルが入るというメリットはあります。ミニワークステーションに興味のある方、ぜひこちらを検討候補に入れてみてはいかがでしょうか。

というわけでもしこの動画が役に立ちましたら、高評価、チャンネル登録よろしくお願いします。何か気になることがあればぜひコメントで教えてください。それでは最後まで動画のご視聴ありがとうございました。