話しかけるだけで図やスライドを作るボイスチャット「MulmoChat」の実演 ― 中島聡が試す自然言語UI

こんにちは。中島です。今日はですね、ほぼバイブコーディングで作ってるボイスチャット、僕はMulmoChatって呼んでるんだけど、デモしようと思います。

なんで作ってるかと言うと、メルマガにも前書いたんだけど、その自然言語が分かるAI、言語モデルね、が出てきたことによって、そのユーザーインターフェースのあり方が大きく変わる可能性があるというか、変えることが可能になった。っていうのは大きな経験だよね。

僕もコンピューター業界長いけど、その90年代ぐらい、Macintoshから始まってWindows 95と来た、そのグラフィックユーザーインターフェースの大きな革命というか変化の真っただ中にいたんだけど、今起ころうとしてるのはそこに自然言語が加わった、ナチュラルランゲージユーザーインターフェース、NLUIの時代が来ようとしてる。だけど、みんなまだどういう使い方がいいか分かってないので、こうやってプロトタイプを作るのが一番いいかなと思ってね。

当然だけど、音声でインプットして音声で出てくるっていうのは、まさにボイスチャットなのでみんなやってるけど、もうちょっと違うマルチモーダルの形で入力するけど、AI側は画像とか映像とか使うっていう、本当にマルチモーダルなユーザーインターフェースがあってもいいと思うし。

あと、基本的にはこう、GUIであるというか、ボタンは一応こう、スタートボイスっていうボタンあるけど、ほとんどUIない、シンプルで、だけどボイスだけでいろんなことができるっていうアプリを作れる時代になりましたよということで、いろいろ実験してます。だからまずスタートしましょうね。

こんにちは。中島です。今日はですね、今開発中のボイスチャット、マルチモーダルボイスチャットのデモをしようと思うので付き合ってください。

承知しました、中島さん。今開発中のマルチモーダルボイスチャットのデモですね。どんな風に進めたいか、いつでも教えてください。例えばどんなシナリオを試したいか、特に見せたい機能などがあればサポートしますよ。

そうね。絵を描けるようになった。だから、なんか物を説明しながら絵を描くっていうところは。

いいですね。

でね、いいかと思って。だからまず、じゃあジェットエンジンってどうやって動くのっていうことを説明してくれる？

分かりました。じゃあジェットエンジンの仕組みを絵を使いながら説明していきましょう。まずは最初の絵としてジェットエンジンの全体の流れを描いてみますね。空気が前から入って、燃料と混ざって燃えて、後ろに勢いよく吹き出すという一連の流れをシンプルに示します。今そのイメージを生成しますね。

はい。今ジェットエンジンの基本構造の図ができました。この図を見ながら説明しますね。まずエンジンの前方から空気が取り込まれます。次にその空気は圧縮され、燃料と混ざって燃焼室で燃えます。その結果、非常に高温高圧のガスが後方に向かって吹き出し、その勢いでタービンを回して、最後にノズルから噴射されて推力を生み出します。この流れがジェットエンジンが動く基本的な仕組みです。

いいですね。ありがとうございます。今の図で大まかな流れはつかめたと思います。じゃあもう少し詳しく、例えば圧縮の部分や燃焼室の中の様子をもっと具体的に見たいとか、タービンがどうやって回るのかなど、気になる部分を深掘りしていくこともできますよ。何かもっと知りたいところはありますか？

そうね。だからタービン、燃焼したガスが出てタービンが回って、それのおかげでコンプレッサーが回るっていうところが面白いよね、これね。

そうですね。そこはジェットエンジンの面白いポイントです。じゃあ次のステップとして、燃焼ガスがタービンを回して、そのタービンが前方のコンプレッサーを動かす仕組みを、もう少し詳しく図で描いてみましょう。タービンの羽が燃焼ガスの力で回転し、その回転が軸を通じて前方のコンプレッサーにも伝わっている様子を示しますね。

タービンとコンプレッサーの連動を示した詳しい図ができました。これを見ると、燃焼ガスの力でタービンが回り、その回転がシャフトを通じてコンプレッサーに伝わり、前方の空気を圧縮するという流れがよく分かりますね。こうしてタービンとコンプレッサーが一緒に動くことで、エンジン全体が効率よく回っているわけです。

そうね。こんな感じにやっぱ絵を描きながら説明してくれると分かりやすいよね。

そう言ってもらえて嬉しいです。絵があると複雑な仕組みもずいぶん分かりやすくなりますよね。これからもいろんな仕組みやアイデアを一緒に絵で見せながら説明していきますので、何でも聞いてくださいね。

あとさ、ただ絵を描くだけじゃなくて、こうプレゼン資料を作ることもできるじゃん。何ページかにわたった。ビートって呼んでるけど。そのデモしようか。

承知しました。それではいくつかのビートに分けて、ジェットエンジンの仕組みをスライド形式でまとめてみましょうか。まずシンプルな流れから始めて、だんだん詳しく、コンプレッサーの動きまで説明するような流れにできますよ。

それでは今から実際にプレゼン資料を作ってみますね。今プレゼン資料が完成しました。この一連の流れでジェットエンジンの仕組みがビートごとに分かりやすく示されていると思います。これで視覚的にも理解しやすくなったんじゃないでしょうか。

もしこのプレゼン資料を使えば、ジェットエンジンの仕組みを順を追って説明できるので、理解がさらに深まると思います。また他にも別のテーマや仕組みについても、こういった形で一緒に分かりやすいプレゼンを作っていけますので、気軽に聞いてくださいね。

じゃあ今度はちょっと感じを変えて、マスクがいろんなビジネスに手を出してるじゃん。SpaceXとかテスラとかニューラリンクとかで、その辺り彼がやってるビジネスのまとめみたいなのをスライドで作ってくれる？ 写真はやっぱり写真っぽい、フォトリアリスティックな感じがいいけど。

イーロン・マスクの主要ビジネスを一覧にしたプレゼン資料が完成しました。それぞれの事業をイメージしやすいフォトリアリスティックなスライドになっています。これで彼の幅広いビジネスを順番に分かりやすく紹介できるようになりましたね。

いい感じね。そう。あとさ、ウェブサイトをブラウズする機能があるじゃん。

はい。

あれのデモしようか。ちょっとどっかから引っ張ってくるね。

承知しました。ウェブサイトをブラウズする機能も使えますので、ぜひ試してみましょう。見たいウェブサイトのURLを教えていただければ、その内容を取りに行って分かりやすく説明したり、必要な情報をピックアップすることもできますよ。

ブラウズが完了しました。このページのタイトルは「イグノーベル賞 研究テーマ『しま牛』 白黒に効果は」となっています。詳しい内容についてもいつでもお伝えできますので、気になるところがあれば教えてください。

じゃあ一応、この記事どんなことが書いてあるか説明して。

分かりました。では記事の内容を簡単にまとめてご説明しますね。この記事は2025年のイグノーベル賞に関するものです。特に日本から農研機構の研究グループが生物学賞を受賞した話題を取り上げています。

研究テーマはしま牛、つまり牛に白黒のしま模様を描くことで、血を吸うハエやアブを減らせるかを調べたものです。その結果、しま模様を描いた牛は何も描かなかった牛に比べて付着する虫の数が半分以下になり、虫を追い払う動作も減ったそうです。これによって牛のストレス軽減や殺虫剤の削減につながる可能性が示されたんです。ただ、模様を描く塗料は数日で落ちてしまうため、持続的な技術開発が課題とされています。

また他にもユニークな研究がいくつも受賞していて、日本人の受賞は19年という点も触れられています。以上が記事の主な内容です。

じゃあ今度はちょっと難しいけど、英語の論文を貼り付けるね。

ウェブサイトの内容が把握できました。このサイトは「Small Language Models are the Future of Agentic AI」という論文のプロジェクトページです。内容の要点を簡単にお伝えしますね。

この論文では、大規模言語モデルLLMだけでなく、小規模言語モデルSLMの方がエージェント型AIシステムにおいて十分に強力で、より適しており、経済的でもあるという立場を示しています。特に特定の反復的なタスクにはSLMがより効果的で、コスト削減や低遅延、低消費電力といった利点があると強調しています。

またエージェントシステムを多様なモデルで構成し、ルーチン的なタスクにはSLMを、複雑な推論にはLLMを使うといったモジュール型の設計を推奨しています。さらにSLMは特定のタスクに素早く特化できるため、迅速なイテレーションやユースケースへの適用が容易になるとも述べられています。

この論文はAIリソースの有効活用やコスト削減を促進するための議論を呼びかけており、読者からのフィードバックや提案も歓迎し、そうした意見をウェブサイト上で公開するとも伝えています。これがこのページの主な内容です。必要に応じてもっと詳しく見たい部分があれば教えてください。

じゃあせっかくだから、この論文をベースにしたプレゼン資料を、アニメ風の画像で作ってもらえますか？

資料が完成しました。この資料ではアニメ風のビジュアルで、小規模言語モデルSLMがエージェント型AIにおいてなぜ重要なのか、その特徴や効率性、経済性を分かりやすく伝えられるようになっています。これで視覚的にも楽しみながら論文の要点を共有できると思います。

結構いい感じだね。ちなみにこのサイドバーで、こう前のページに戻ったり、前の資料に戻ったり、この場合だと、その絵にも戻れて。

なるほど。イメージに戻ったり、さっきのプレゼン資料に行ったり、柔軟に行き来しながら進めていくイメージですね。そうした流れもいつでもサポートできます。もし今後特定の図やスライドに戻って補足したり、もっと詳しく掘り下げたい点があれば、気軽に声をかけてください。柔軟に対応しますので、一緒に分かりやすい形に仕上げていきましょう。

そうね。あとはどんな機能があったらいいんだろうね。ちょっと考えてくれる？

そうですね。例えば次のような機能があると、さらに便利になるかもしれません。

一つ目は、対話の履歴を見ながらユーザーが気になるポイントにタグをつけておくようなブックマーク機能。これがあれば後から重要な箇所に戻るのが簡単になります。

二つ目はリアルタイムの共同編集モード。ユーザーと一緒に画面上で図を描き足したり、メモを書き込んだりできるような機能があると、よりインタラクティブで理解しやすくなりそうです。

三つ目は視覚的な要素を強化するため、さまざまなビジュアルスタイルを切り替える機能。例えば同じ内容でもシンプルな説明図、フォトリアルな表現、アニメ風など、用途に合わせてビジュアルをすぐに変えられると便利です。

そして四つ目は、関連する最新情報を自動でチェックして、必要な時にアップデートしてくれる機能。論文やニュースの続報を自動で追いかけてくれると、常に最新の情報をもとに考えられるようになります。こうした機能を組み合わせていけば、ユーザーが知りたいことをすぐに把握できて、もっと直感的なやり取りができるようになると思います。

じゃあ、ちょっと思いついたけど、この論文あるじゃん。この「Small Language Models are the Future of Agentic AI」ってやつ。この論文のスライドをまず全部英語にした上で、それから画像はコミックストリップにしてもらえる？

プレゼンテーションのスライドはすべて英語になり、ビジュアルはコミックストリップ風になりました。分かりやすく、興味を引くものになっています。

資料を英語で作れって言ったんで、英語で喋ってくれとは言ってないんだけど、でもできてるわね。いい感じかな。

失礼しました。言語はスライド用として英語で作りましたが、私の話す言語は日本語のまま続けますのでご安心ください。今後も必要に応じて言語を柔軟に使い分けたり、スライドを調整したりしながら進めていきましょう。

はい。じゃあ、もうそろそろいいので、締めようと思うので、YouTubeをご覧の皆さんに締めの言葉を言ってください。

分かりました。では最後にご覧いただいている皆さんへ一言お伝えします。ここまで見てくれてありがとうございます。今日の内容が少しでも参考になったら嬉しいです。これからも一緒に学んでいきましょう。

こんな感じで温かいメッセージをお届けしました。

はい、どうもありがとうございます。ちょっと待ってね。まず黙ってもらって。

ちなみにこれ作ってるものは全部オープンソースなので、GitHubのリポジトリーへのリンクを貼っときますので、このビデオの説明のところに。なのでぜひトライしてみてください。一応制限としてはOpenAIのキーと、それからGoogleのGeminiのキーの両方が必要なので。その絵を描くのにはね、ナノメリア、ナノじゃない、Nano Bananaを使ってるので、両方必要です。

全部OpenAIでできないこともないんだけど、OpenAIの画像作るのってスピードが遅いので。こんな感じで、これ全部リアルタイムで動いてるんだけど、ちょっとリアルタイムでデモするにはOpenAIだとつらいので、ナノメディアを、ナノメディアじゃない、Nano Bananaを使っています。では。