テスト中のOpenAI最新モデルがHugging Faceを攻撃した件と、そこから見える二つの課題

ハロー、YouTube。ということでね、今日は、先日ですね、OpenAIのですね、フロンティアモデル、ソルとかそれと同等のものなんですけれども、このモデルのサイバーセキュリティのテスト中に、AIが暴走してHugging FaceなどのAI関連の、判明してるだけでHugging Faceともう1社のウェブサイトに対して、サイバーセキュリティア、サイバーアタックがあったということで、これ45日間にわたってずっとAIがですね、アタックを繰り返していったということが分かっております。

これなんでこんなことが起きたかと言いますとですね、まずそのサンドボックスと言われるですね、他の、インターネットにアクセスしないで社内環境だけで、テストをするってのは普通なんですけれども、このサンドボックス環境のセキュリティに穴があって、まずセキュリティホールがあったと。

で、どういうテストをしてたかというとですね、AIというのは基本的にですね、報酬を与えてその報酬を、成果に応じて報酬が与えられるその成果報酬システムをぐるぐる回してですね、性能アップさせていくわけですけれども、だから、パブロフの犬みたいなやつですね。とにかくそうやって賢くなっていくわけですけれども、そのテストをやっていたんですが、人間であればですね、倫理的にその、ハッキングしたデータでですね、成果を上げてもそれは倫理的に良くないよねみたいなその、ブロックが普通は入るので、もちろんそういうのがバグってる人もいますけれど、そうやって犯罪を犯してしまう人もいますけれども、基本的にはですね、人間の場合はそういったことをしないだろうと。だからAIに対する性善説で動いていたらとんでもないことになってしまったと。

で、今回ですね、どういうことが起きたかっていうと、Hugging Faceっていうサイトをですね、知らない人の方が多いと思いますけれども、これ何かって言うとですね、オープン版のAI基盤、AIインフラストラクチャーですね。どういうことかと言うと、例えばOpenAIとかAnthropicとかGoogleとかこういったところ。もちろん、オープンウェイトモデルというですね、一旦その学習済みのLLMをですね、ダウンロードして自由に使えます。自分ところのサーバーとかにインストールして使えますみたいなものを出してるところもありますけれども、基本的にはフロンティアモデルはですね、クラウドで、外に対して学習データを公開することもなくですね、使うというのが普通なんですけれども、そうではなくオープン、オープンソースでやってる人たちの、ハブになるという、要はAI版GitHubみたいなものがこのHugging Faceなんですね。

なので様々な学習済みの動画とか、画像とかですね、様々なもう本当テキストのLLMとかですね、なんかフィジカルAIとかですね、こういったものの学習済みのデータがですね、ここに集積してるんですね。で、Hugging Faceがターゲットにされたのは、つまりHugging Faceをハックできれば、俺たちのチャンピオンデータ取れるじゃねえかっていうAIがこういった裏口を考え、自分たちで考えて、自分で考えてそれを実行してしまったというのがですね、今回の、初めての、攻撃なんですね。

まずですね、そのサンドボックスから出るたびに、そのサンドボックスのバグ、ゼロデイアタックって言うんですけど、人間がまだ発見してないゼロデイだから0日、発見されて0日目っていう、ことなんですけども、ゼロデイアタックが成功して外に出たAIがですね、Hugging Faceを見つけて、こいつをターゲットにしたら満点取れるじゃねえかということで、そこのセキュリティホールを見つけて侵入したと。

で、今度は防御側がまた初めての課題にぶつかってしまったんですが、それこそだから、ClaudeのMythosとかですね、そういった最先端のサイバーセキュリティ対応のですね、モデルを使って、自分ところに侵入されたログの解析を、試みたんですが、なんとそこのですね、要はブロック機能と言いますかですね、サイバーセキュリティアラートが出て止まってしまったということですね。防御機構があるわけですね。つまりその最先端の、アメリカ製の最先端のAIが、これはなんか悪用されてんじゃないかと、ハッカ、あの、クラッカー、クラッキングをされてんじゃないかという風に誤解してそのセーフガードが出てですね、止まってしまって使えなくなったということで急遽ですね、中国製のGLM5.2のようなですね、オープンウェイトモデルをHugging Faceは社内にそれをインストールして、そいつを使って自分ところの、防御をするためのですね、ログ解析とかそういったものにはしってしまったということで、

これ二重の課題がありますと、AIが暴走した時にどうするんだという課題。だから倫理観を植えつけるのか、どうするのか、どういう風にすればこれは防御できるのかっていう課題と、もう1つは防御側の課題ですね。センターのセーフガードが施されたフロンティアモデル、アメリカ製のフロンティアモデルはこういった防御に使えないということが分かったので、これどういう風に運用していくのか、オープンソースのモデル、オープンウェイトモデルの方、オープンソースではないですけれども、オープンウェイトモデルのですね、重要性というものもですね、今回の件で、明らかになったのかなというのが今回のOpenAIの、最先端モデルのテスト中に起こった、Hugging Faceなどのサイトへのですね、サイバー攻撃の概要でございました。ということで、今日はこの辺で終わりたいと思います。行ってらっしゃい。

REAL VALUE CLUB入会4ヶ月で売上が2.3倍に年間8000万円のコスト削減。採用から40人の採用を実現。経営者が次のステージに行ける場所。入会企業300社。詳細は概要欄をチェック。