AIの安全を担う組織「AISI」とは何か：安野貴博が語る各国の現状と日本の論点
安野貴博の自由研究
「AISI（エイシー）」という組織の名前を聞いたことがある人は多くないだろう。安野貴博は、ホワイトボードを使った解説動画で、最近世界で相次いで設立されているこの組織が何であり、どこにあり、何をしているのかを整理した。そのうえで、日本のAISIがこれからどうあるべきかについて、現時点での自身の考えを述べている。
AISIは「AIの安全」を担う機関
AISIは「AI Safety Institute」の略である。直訳すればAIの安全性に関わる機関だ。安野は、原子力という技術に対して国際原子力機関（IAEA）があるのと同じように、AIの安全性を扱う機関としてAISIがあると説明する。
最近は、名称の「Safety」を「Security」に変えたほうがよいという議論もある。略称のAISIは変わらないが、イギリスのAISIは実際に名前を変えたという。安野によれば、ここでの「セキュリティ」はサイバーセキュリティの意味も多少は含むかもしれないが、どちらかといえば「安全保障」の意味に近い。AIの安全性は安全保障の問題に近づいていると考える国もある、というのが安野の見方である。
世界10カ国に広がる設立の動き
AISIは単一の国際機関ではない。安野によれば、世界の約10カ国がそれぞれ設立し始め、その間でネットワークができつつある段階にある。最初に設立したのはイギリスで、2023年ごろのことだ。その後、アメリカ、シンガポール、日本、カナダ、フランス、韓国、オーストラリア、ケニア、EUへと広がった。これらをつなぐ国際ネットワークもあり、議長国はアメリカ、事務局はイギリスが務めているらしいという。
突出するイギリスの投資と人材
安野が特に注目するのはイギリスである。最初に設立しただけあって力の入れ方が大きく、初期投資額は約200億円にのぼる。安野が比較のために調べた数字では、シンガポールやアメリカより1桁多いという。
資金を投じているぶん、集めている人材も豪華だ。国の機関でありながら、元OpenAIや元Google DeepMindの人材が所属し、アドバイザーにはディープラーニングの分野で非常に影響力のある研究者、ヨシュア・ベンジオを迎えている。こうした人材の給与水準は一般的な公務員よりかなり高いはずだが、イギリスのAISIは民間のテック企業と同程度の給与を払うと表明し、実際に人材を確保しているという。
一方、日本のAISIがどれだけの予算を使っているかについて、安野は「まとまった数字がすぐには出てこなかった」と認めている。ある機関がAIの安全性に関する研究開発費として約14億円を計上しているという話があったため、全体で十数億円程度ではないかと推測している。もう少し時間があれば正確な数字を押さえたいとも述べた。
アメリカの投資額も約15億円で、イギリスと比べると1桁少ない。ただし、アメリカにはAnthropic、OpenAI、Googleといった民間企業があり、民間側で多くの取り組みが進んでいる。それを理由に国の投資は抑えているのかどうかは分からないとしつつ、安野は、イギリスとアメリカでは力の入れ方がまったく違うと評価した。
主な活動①：AIモデルの評価
AISIの活動は全体像が公開されていない部分もある。安野が公開情報から確認できたものの第一は、AIモデルの評価である。OpenAIのChatGPT、AnthropicのClaude、中国のDeepSeekやQwenといったモデルについて、どんな能力をどの程度持っているか、何を知っているか、どのような偏見があるか、どう振る舞うかを調べている。
これが重要な理由として、安野は二つの点を挙げる。一つは、偏見を持つAIが広く使われると、その偏見が社会の中に温存されかねないという指摘である。もう一つは、AIが何を「正しい」と考えているかについて、国によって見解が異なる点だ。歴史や政治の問題、たとえば「この場所はどこの国の領土か」については国ごとに見解が違う。そのため、各国がそれぞれの立場からAIを評価することに意味がある。振る舞いについても、文化によって「良い」とされる振る舞いは異なる。だから文化圏ごとに評価する主体がいることが大事だ、という議論があると安野は紹介した。
主な活動②：公開前モデルの早期テスト
AISIは、企業が新しいモデルを公開する前にテストする取り組みも行っている。安野が挙げた例は、2024年11月にAnthropicが公開したClaude 3.5 Sonnetである。公開前にアメリカとイギリスのAISIが共同で評価し、イギリスのAISIが脆弱性を発見した。Claudeのチームはそれを受けて修正できたという。
主な活動③：安全性の研究とRepliBench
AISIは、AIの安全性に関する研究も進めている。安野が面白いと感じた例として紹介したのが、イギリスのAISIが公開したベンチマーク「RepliBench」だ。AIが自分自身を複製する能力、つまり自己複製能力がどの程度あるかを測るテストである。AIが勝手に他のコンピュータへ自分を複製できるようになれば、予期しない大打撃や壊滅的な事態が起きてもおかしくない。安野は、そうした文脈で調査されたのだろうと推測している。
安野は、イギリスにはAIが破滅的な事態を引き起こす可能性を論じる学者が多いとも指摘する。例として挙げたのが、ニック・ボストロムの「ペーパークリップ・マキシマイザー」という仮説だ。AIに「ペーパークリップをたくさん作ってくれ」と命じると、AIは地球上のあらゆる資源を使ってクリップを量産しようとし、その過程で人間はいないほうがよいという結論に至るかもしれない。最悪の場合、この命令によって人類が滅亡するというシナリオである。つまり、目的を与えられたAIが意図しない結果をもたらしうるという議論だ。こうした議論がイギリスで盛んだからRepliBenchのようなベンチマークが生まれたのではないか、と安野は考えている。ただし、これは自身の「妄想」であり、本当かどうかは分からないと断っている。
日本のAISIの論点①：個別モデルの評価をどこまでやるか
後半で安野は、日本のAISIがどうあるべきかについて三つの論点を示した。
一つ目は、モデル評価をどこまで行うかである。日本のAISIもモデル評価の枠組みは作っており、オープンソースのフレームワークも公開している。しかし、ChatGPTやAnthropicのモデルといった特定のモデルを実際に評価し、その結論を公表するところまではしていない。安野によれば、その理由は「民業圧迫」になるという懸念があるかららしい。AIを評価する民間業者が存在するためである。アメリカやイギリスのように個別モデルの評価までやり切るのか、それとも現状の日本のように枠組みの提供にとどめるのか。ここが一つのポイントになるという。
安野の結論は、AISIが個別モデルの評価まで行ったほうがよい、というものだ。理由の一つ目は評価の質である。評価の方法だけを出す場合と、実際に評価してデータまで出す場合とでは、評価そのものの質が変わると安野は考えている。実際に評価結果を公表してフィードバックを受ければ、評価方法の直すべき点が必ず見つかる。だから、しっかりしたモデル評価をするためにも結果まで出すべきだという。
理由の二つ目は、公的機関の評価によって助かる人が多いことだ。行政機関は、同じ行政機関による評価を見て、「このモデルは使える」「このモデルは微妙だ」と判断しやすくなる。民間企業も同様で、AI活用を進めなければならない状況では、それを後押しするデータを公的機関が出すことに意味があるという。
日本のAISIの論点②：公開前モデルへの早期アクセス
二つ目は、早期アクセスの確保である。安野は、ビッグテックやAIのフロンティアラボと連携し、公開前のモデルに触れさせてもらうことが大事だと述べる。そのうえで「日本のAISIとしての評価はこうだ」「こういう挙動は懸念される」と言える体制を作るべきだという。
例に挙げたのは、OpenAIの動画生成モデル「Sora 2」だ。日本のさまざまなIPコンテンツをそのまま出力し、著作権侵害だと指摘されている。安野は、早期アクセスをしたうえで日本のAISIがこうした懸念を事前に伝えられれば、意味があるだろうと話した。
日本のAISIの論点③：人材にどこまで投資するか
三つ目は人材投資である。イギリスのように民間企業と競合できる水準の給与を出して優秀な人材を採るべきか、という問題だ。
安野は投資すべきだという立場をとる。理由として、AIの安全性はAI領域の中で日本のアカデミアが世界ランキングに入っている数少ない分野だと指摘する。「戦えているというと微妙かもしれないが」と留保しつつも、ランクインはしているという。ここで人材の受け皿を作れば、この分野での日本のプレゼンスを高められ、場合によっては標準を取れるかもしれない。
さらに安野は、AIの安全性がまだ未成熟で始まったばかりの分野だと強調する。現在のLLMは、知識の量や論理的に問題を解く力は測られているものの、エージェント的に自律して動く段階にはまだ本格的には入っていないと安野は見ている。今後AIにできることが爆発的に増えれば、AIの評価や安全性の確保は非常に複雑な分野になり、トラブルも多く起きるだろうという。その中で日本がこの分野に強いと認められれば、AI活用にも弾みがつくはずだと考えている。
安野は、直近の話ではないとしつつ、さらに先の展望にも触れた。AIがエージェント的になり自律性を持った先には、フィジカルAIがある。ロボットという体を持ったAIが、二足歩行の形かどうかはともかく、実世界で多くの仕事をするようになる。そのとき、フィジカルAIが本当に安全なのかを評価できる機関があるかどうかで状況は大きく違う、というのが安野の見方である。
現時点での考えとして
安野は最後に、これらの論点は現時点での自分の考えだと位置づけた。AIの分野は急速に変わっているため、ここで挙げた論点もすぐに古くなったり、考えが変わったりする部分があるかもしれない。そう断ったうえで、現時点ではこう考えている、と締めくくった。
どうもこんにちは。安野貴博です。本日はAISIって何だというお話をしたいと思います。皆さん聞いたことある方、あんまりいないんじゃないでしょうか？AISI、こういった謎の組織が最近世界で流行っているということなので、そちらについて解説をしていきたいと思います。
久しぶりにホワイトボードが私の個人オフィスにやってきましたので、いつも安野の個人チャンネルって1人語り形式なんですけど、今週から時々ホワイトボードも織り交ぜていきたいなと思ってます。字が汚いと思われる方もいらっしゃるかもしれませんが、これが私の限界でございますので、ご容赦いただけると嬉しいです。
はい。まずAISIって何だという話なんですけれども、AIはAIです。アーティフィシャルインテリジェンス、人工知能で、SIっていうのがセーフティインスティチュートですね。なので、これ直訳するとセーフティは安全ですから、AIの安全性に関わる機関ということになります。例えば原子力っていう技術がある時に、IAEAっていう原子力に関わる国際機関があったりもしますが、AIに関わる安全性の機関としてAISIという機関があるということです。
で、しかもですね、最近このセーフティ、AISI自体は変わらないんですけど、これセーフティじゃなくてセキュリティにした方がいいんじゃないかっていう議論がございまして、後でも紹介しますが、イギリスのAISIは名前を変えたりしてます。セキュリティって言うと、サイバーセキュリティを皆さん思い浮かべるかもしれませんが、多分その意味も若干はあるかもしれませんが、どちらかというと安全保障っていう意味でのセキュリティの文脈に近いかなと思ってます。なので、AIの安全性っていうのはもう安全保障の問題に近くなっているよねと、そういう風に考えてる国もあるということです。
次にですね、AISI、AISIって言ってるけど、どこにあるんだということですが、これは国際機関というよりかは、世界10カ国でそれぞれ作られ始めていて、ネットワークができつつあるよという、そういう感じでございます。ざっくりどこにあるかと言うと、2023年ぐらいにイギリスで初めてAISIっていうのができたんですけど、その後アメリカ、シンガポール、日本、カナダ、フランス、韓国、オーストラリア、ケニア、EU、そういったところでどんどん広がっているよということです。AISI国際ネットワークっていうのもできていて、それの議長国はアメリカ、事務局はイギリスが担当しているということらしいです。
特に1番最初にAISIを作ったイギリスなんかは結構気合が入っていて、これ初期投資額で引っ張ってこれる数値を持ってきたんですけど、シンガポール、アメリカと比べて結構1桁多い数字を投資してます。200億円っていうのをこのAIの安全性の機関に対して投資しています。
で、実際ですね、お金を突っ込んでるイギリスは集めてる人材もすごくて、これ国の機関ではあるんですけど、元OpenAIの人、元DeepMindの人、そしてアドバイザーにはヨシュア・ベンジオさんっていう、このディープラーニング界、機械学習AIの界隈ではめちゃめちゃ強い学者さんなんかも連れてきたりしているということで、なかなかすごい布陣でやっているようです。多分金額としても、普通の公務員と比べて元OpenAIの人、元DeepMindの人っていうのは結構給与水準も高いはずなんですけれども、イギリスのAISIは民間の今のテック企業と同じくらいの水準の給料を払うんだと言って、こういった人材をしっかりと集めているそうです。
じゃ、日本はどれくらいお金使ってるんですかということなんですが、日本にもAISIはあるんですが、どれくらい使ってるのかっていうのは正直、あんまりまとまった数字がパッと出てこなかったです。ただNICTっていう機関が、AIの安全性に関する研究開発費用っていうので14億円くらい積んでるんだという話があったので、大体10何億円くらいなのかなと思っています。これももうちょっと調べる時間があったら、ちゃんと数値も押さえておきたいなと思いますが。
ちなみにアメリカも15億円くらいで、そんなにめちゃめちゃ投資しているわけではないと。イギリスの1/10くらいしか投資してないんですが、アメリカは民間の方でめちゃめちゃいろんなことをやっている。AnthropicもOpenAIもGoogleもあるということで、そこが強いからこっちは大丈夫なんだっていう話なのかどうか分かりませんけれども、力の入れ方はイギリスとアメリカで全然違うなと思います。
じゃ、何をしてるのかという話なんですが、AIの安全性って何やってるのっていうところで、活動の全体像は表に出てきてないところもあるんですが、表に出てきてるところだけ見てみると、まずAIの評価をやってます。AIの評価って、それこそOpenAIのChatGPTとか、AnthropicのClaudeとか、中国のモデルであればDeepSeekとかQwenとか、そういったものが色々出てきてますが、そういったものがどういう能力をどれだけ持っているのか、何を知っていて、どういう偏見があるのかであるとか、どういう振る舞いをするのか、そういったことを色々調査しているみたいです。
ある意味ですね、そのAIが何らか偏見を持っていたとした時に、そのAIがすごく使われまくると、そのAIが持ってる偏見っていうのがそのまま社会の中に温存されてしまう可能性があるよねと。そういうことが指摘されていて、そういった意味でも、それぞれの偏見であるとか、どういう風な振る舞いをするのかっていうのをしっかりと各国で把握するのは重要なんじゃないかということです。
しかもこの偏見とか、何を知っているのか、何をこうだと思っているのかっていうことに関しては、結構国によって思ってることが違ったりもするわけですよね。特に歴史の問題であるとか政治の問題に関しては、国によってここはどこの領土なんだっていうことの見解が違ったりもするわけなので、そういった意味でも各国でそれぞれの見解に対してどう思ってるのかAIを評価するっていうのも1つ重要であろうと。しかも振る舞いっていうところも、文化的に良いとされる振る舞いが違ったりもするので、そういう意味でも各文化圏においてこういう評価をする人たちがいるのが大事なんじゃないかという話があります。
で、結構ちゃんと早期テストをやっておりまして、何かって言うと、実際にAIを作ってる企業が新しいバージョンのモデルを世に出す前に、こういった各国のAISIでそれを評価しているっていう事例があります。2024年の11月にAnthropic社がClaude 3.5 Sonnetっていうのを出したんですけど、これを実際に出す前に、実はアメリカとイギリスのAISIが共同でこの3.5を評価するっていうことをやったらしいです。そうすると、実はイギリスのAISIが結構ちゃんと脆弱性を見つけて、それを受けてClaudeのチームが直すことができたんだという、そういった事例もあったそうです。
加えてですね、AIの安全性に関する研究みたいなのも色々やっていて、このRepliBenchっていうもの、これはイギリスのAISIが出していたベンチマークのテストなんですけれども、これはAIが自己複製する、レプリケーションする能力がどれくらいあるんですかっていう、こういう能力を測るんだって面白かったんですけれども、そういう研究もしているということです。ある意味、そのAIが勝手に自分を他のパソコンとかの中に自己複製できると、予期せぬすごい大打撃というか、壊滅的な事態が起きてもおかしくないよねっていう、多分そういう文脈で、これが調査されたんだろうなと思います。
イギリスは結構、AIがどういう風に破滅的なことを巻き起こすのかっていうことに関して、いろんな学者が実はいてですね、例えばニック・ボストロムさんっていう人はペーパークリップ・マキシマイザーっていう仮説を出してるんですけど、これは何かって言うと、ペーパークリップをたくさん作ってくれっていうことをAIに言った時に、最悪のシナリオは、そのペーパークリップをたくさん作ってくれという命令によって人類が滅亡するんだっていう、そういう仮説を唱えてます。なんでかって言うと、よし、分かりましたってAIが聞いた後、地球上のありとあらゆる資源を使ってペーパークリップを大量に生産しようとした時に、実は人間いない方がいいんじゃないのかっていう、そういう結論をAIが出すかもしれないと。つまり、ある目的を与えられた時に意図しない効果っていうのをAIが出すかもしれないよみたいな議論がイギリスでは盛んなので、こういったRepliBenchみたいなベンチマークができたのかなとかも妄想したりしています。これ本当かどうかわかんないです。
で、日本のことを考えて広げた時に、じゃ、このAIセーフティインスティチュート、あるいはAIセキュリティインスティチュートってどうなるべきなんだろうねっていうところで、ここら辺が論点になるのかなということを少し持ってきました。
1つ目はですね、モデルの評価をどこまでやるのかっていう話です。実は日本のAISIもちゃんとモデル評価の枠組みを作っているんですけれども、ただ現実にChatGPTがどうとかAnthropicがどうとか、そういう評価まではやってないんですよね。オープンソースのフレームワークは出してるんですけど、特定のモデルを評価してその結論を言っていないっていうのがあります。これなんでかって言うと、民業圧迫になるんじゃないかという、そういう話があるかららしくてですね。これをアメリカやイギリスみたいに個別のモデルの評価までやり切ってしまうのか、それとも、AIを評価する業者がいるので、それを評価せずに今の日本のモデルみたいにとどめておくべきなのか。ここが1つのポイントになるかなと思いました。
で、結論ですね、私はこのモデル評価、AISIはやった方がいいんじゃないかなと思います。というのも、まず第1に、モデルをちゃんと評価する時に、その評価の仕方だけ出すのと、そういう評価をし切ったデータまで含めてやるのでは、実はこのモデルの評価のクオリティ自体が変わると思うんですよね。つまり評価をして出して、それに対してフィードバックを得ることによって、このモデルの評価の仕方ってちょっと直した方がいいねってところって必ず見つかると思うんで、私はちゃんとしたモデル評価をするためにも、しっかりと答えまで出した方がいいと思います。
加えてですね、実際にモデルの評価が公の機関から出ることによって助かる人たちってのはたくさんいるだろうと思います。例えば行政機関なんかは、同じ行政機関がこういう風に評価してるんだねということを見ることによって、じゃあこのモデルは使えるね、このモデルは微妙だねっていうことが意思決定しやすくなると思いますし、実際に民間企業なんかもそうだと思います。今やっぱり民間企業でAI活用をどんどん進めていかなくちゃいけないねということがある時に、その民間企業が助かるような、よりAI活用が進むようなデータをしっかりと出すっていうことは後押しにもなるので、いいんじゃないかなと思います。
で、2つ目が早期アクセスの確保というところですが、これはやっぱりビッグテック、あるいはAIのフロンティアラボとしっかりと連携をしながら、公開前のデータに触らせてもらって、日本のAISIとしての評価ってこうですよ、日本のAISIとしてはこういった挙動を示すことは懸念ですよ、こういったことをしっかり言えるようになるっていうのは大事だと思います。例えば最近で言うと、OpenAIのSora 2っていう動画生成モデルが日本のいろんなIPコンテンツをそのまんま出していて、著作権侵害だろうと言われている中で、そういった懸念を、アーリーアクセス、早期アクセスをした上で日本のAISIが言うことができると、これは意味があるのかなという風に思います。
で、3つ目が人材にどこまで投資するんだという話で、イギリスのレベルで本当に民間企業と競合するレベルまで給与を出して、しっかりといい人を取っていくべきなのか、そうじゃないのかっていう話です。ある意味ですね、日本はAIの安全性っていうところは、数少ないAI領域の中で、アカデミアでもしっかりと世界ランキングでそれなりに、戦えてるのかは微妙かもしれないですけど、ちゃんとランクインしてる分野の数少ないところではあるので、ここでちゃんと人材の受け皿っていうのを作ってあげることで、しっかりとこの日本のAIの安全性っていうところの領域のプレゼンスを上げていく。そしてもしかすると標準も取れるかもしれない。そういったことを考えると、結構ここには投資した方がいいんじゃないかと思います。
しかもまだですね、このAIの安全性に関する分野ってすごい未成熟な、始まったばっかりのトピックで、今のLLMって、言うてもまだそんなにエージェンティックな、自律的に動いて何かするっていうところにまだ入ってきてないんですよね。なので、知識をどういう風に知ってるかとか、どれくらい論理的に問題を解決できるかとか、そういったことはありますけれども、実はこれからAIができることが爆発的に増えてくる中で、このAIを評価するとか、AIの安全性を確保するっていうのはものすごい複雑な分野になっていくと思いますし、しかもこれは正直、トラブルもたくさん起きるところだと思います。そういった中で、この分野はしっかり日本強いねとなっていると、AI活用にも弾みがつくはずだなと思っているので、私はここはしっかりと投資した方がいいんじゃないかなと思います。
特に、直近ではないですけれども、AIがエージェンティックになって自律性を持って、さらにその先にあるのはフィジカルAIなわけですよね。つまり実世界の中でロボットっていう体を持って、それが二足歩行じゃないかもしれないですけど、そういったロボットの中で実際の仕事をしまくるっていうことになった時に、じゃ、そのフィジカルAIの安全性っていうのはどういう風に担保するんですか、ちゃんと安全なものなんですかっていうのが評価できる機関があるのとないのとでは全然違うかなと思っております。
はい。ということで今日は、AISIって何か、どこにあるのか、特にイギリスに注目っていう話と、何をしているのか。で、今後日本のAISIを育てるとしたらこの辺が論点じゃないのかっていう、ここはもう私の現時点での考えを書かせていただきました。AIの分野ってものすごい急速に変わっていってるので、この論点なんかもすぐ古くなったりとか、いや、やっぱりこうだっていう部分ってあるかもしれないですが、現時点ではこう思っているよということでございます。面白いなと思った方がいたら、チャンネル登録、高評価もぜひよろしくお願いします。では、では。
[音楽]
記事公開