Rokidのスマートグラスで自作アプリを動かす：標準機能の使用感と、外部AI連携で広がる用途

本体の構成と、表示に慣れるまで

見た目は「若干ごついメガネ」だが、フレームにスピーカーと操作ボタン、正面にカメラが付いている。レンズ部分はディスプレイになっており、文字が表示される。フレームをタップしたりスワイプしたりすると、メニューが表示されて各機能を呼び出せる。

表示は約5メートル先で焦点が合うように設計されている。イチケンは最初、このARの表示に焦点を合わせるのに苦労した。スマートグラスを手で覆って外の景色を見えなくすると合わせやすくなるといい、これは慣れの問題だと述べている。

リアルタイム翻訳：対面の会話で使える精度

標準機能のうち、イチケンが特に気に入ったのは翻訳と字幕の2つである。翻訳はリアルタイムで行われ、その精度の高さに驚いたという。対面で話す場面ではかなり強力な道具になると評価している。

実演では、相手が英語、自分が日本語で話す状況を想定した。会話相手はAIである。趣味を尋ねると、AIは「If I had hobbies…」で始まる英語で答えた。このとき訳文の一部が「ハブ」となり、hobbiesを正しく訳せていない箇所があった。続いて飲み物の話題に移ると、「I'm fine with water…」「Nice! tea... Any particular kind?」といったやりとりが問題なく訳され、会話として成り立った。日常の小さな習慣についての長めの英文も試したところ、かなり正確に訳されていた。

イチケンによると、スマートグラスに入ってくる音の質が悪いと翻訳がうまくいかないこともある。それでも実用に十分耐えられる水準だという。相手もスマートグラスを使っていれば、かなり自然に対話できるだろうと見ている。同じことはスマホでもできるが、スマートグラスのほうが自然な形で会話できると述べている。

字幕機能：補助的な聞き取り支援として

字幕機能は、周囲の音声を文字起こししてグラスに表示する。実演では、マイコン（RaspberryPiのRP2040）の電源電圧や、5Vを3.3Vに下げる電圧レギュレーターについて解説している動画を再生した。こうした専門用語を含む音声でも、かなり正確に文字起こしされた。イチケンは、耳が遠くなってきた場合などに補助的な道具としてかなり役立つ機能だと考えている。

カメラとナビゲーション

カメラを使うと、スマホを取り出さずにその場で写真や動画を記録できる。フレーム上部のボタンを1回押すと写真を撮影し、約2秒長押しすると動画の録画が始まる。画質について、イチケンは「ものすごく綺麗というわけではない」が標準的だと評価している。そのうえで、使う場面を選ばないとトラブルになりうる点に注意を促している。

ナビゲーションモードも用意されている。ただ、表示を見ながら歩くとやや危ないため、イチケン自身は使わないという。慣れれば便利かもしれないとしつつ、現状では表示できる情報量の多いスマホのほうが勝っていると判断している。

かけ心地・視界・度付きレンズ

視力の良い人やコンタクトレンズを使う人は、そのままかけられる。一方、普段のメガネの上から重ねてかけることはできない。そのためメガネを使う人は、コンタクトレンズにするか、別売りの度付きレンズを買う必要がある。度付きレンズは公式サイトで作れ、価格は約1.5万円からである。元のレンズの上に磁石で取り付ける方式になっている。イチケンはタイミングの都合で度付きレンズを作れず、今回はコンタクトレンズで対応した。

重さは、イチケンが普段かけているメガネが19gなのに対し、Rokidは52gである。普通のメガネより重いが、中にさまざまな部品が入っていることを考えると、よくここまで軽くしたという評価だ。

視界については不満がある。フレームが太く、目とレンズの距離も少し離れているため、視界をかなり遮る。普段使いには問題ないが、車の運転などでは死角ができるので使わないほうがよいとイチケンは考えている。イチケンはもともと、視界にフレームが入らないことを基準にメガネを選んでいる。そのため違和感が大きく、視界の広さと死角は今後改善してほしい点に挙げている。重さについては、これ以上軽くするのは技術的に難しいだろうと見つつ、期待はしておきたいと述べた。

バッテリー

電池の持ちは良くない。バッテリー容量が210mAhと小さいためで、何かしらのアプリを常に動かしていると1日に何度か充電が必要になる。後述の自作アプリは電力の最適化をしていないため、特に消耗が激しかったという。ただし20分で80%まで充電できる点は救いだとしている。充電しながら使える小型の電池もあるようなので、併用するとよいとも話している。

開発環境：YodaOSとClaudeによるバイブコーディング

本体には、RokidがスマートグラスHU向けに調整したYodaOSが載っている。YodaOSはAndroidをベースにしているため、このスマートグラス用に作ったアプリを動かせる。開発には開発者用ケーブルが必要で、イチケンはこれを別に入手した。Android Studioなどの開発環境が要るが、環境のセットアップから本体への書き込みまで、すべてClaudeに任せた。いわゆるバイブコーディングである。作ったアプリは3本だ。

1本目は、自作アプリがスマートグラス上で動くかを確かめるための、「Hello Rokid」と表示するだけのアプリである。これは問題なく動作した。

自作アプリ②：数学ソルバー

2本目は、紙やディスプレイに書かれた数学の問題を、グラスのカメラで読み取って解くアプリである。操作は次の順に進む。

問題を視野に入れ、フレームをタップして撮影する
もう一度タップすると、AIが画像を解析し、解く対象の問題を一覧で表示する
スワイプで問題を選び、タップすると解答が始まる

実演では、5のx乗の積分などの不定積分をいくつか解かせた。答えは途中式付きで表示され、いずれも正しかった。積分区間のある定積分も同じように撮影して解くことができ、グラスに表示された答えは合っていた。

仕組みとしては、撮影した画像をWi-Fi経由で外部のAI（今回はClaudeのAPI）に送り、問題の解析と解答をさせている。このデモでイチケンが伝えたかったのは、撮影した画像や映像をメガネの外にあるAIで処理すれば、できることの幅が大きく広がるという点である。鮮明に撮影できてAIが内容を理解できるなら、数学に限らず物理や英語の問題も解けるだろうと述べている。

自作アプリ③：論破Assistant

3本目は、リアルタイム性がより重要なアプリとして作った「論破Assistant」である。グラスのマイクで会話をリアルタイムに文字起こしし、その内容を外部のAIに分析させて「論破ストラテジー」を考えさせる。返答案はグラスにARで表示され、相手からは見えない。AIの助けを借りて議論で優位に立つ、という趣旨のアプリだ。

実演の相手はAIで、議題は「きのこの山とたけのこの里、どちらがお菓子としての完成度が高いか」。AIがきのこの山、イチケンがたけのこの里を担当した。AIは、つまみやすいサイズ、チョコとクラッカーのバランス、片手で食べられる手軽さを主張した。イチケンが「持ちやすさなら土台の広いたけのこの里のほうが安定する」と返すと、AIは「軸が指にフィットする」「机の上に立てておける」と反論した。さらにイチケンが「置いて楽しむのは食べやすさの話とずれていないか」と突くと、AIは「鋭い指摘」と認め、お菓子の中心は味や食感だと認めるところまで議論が進んだ。

イチケンは、議論や論破ストラテジーの生成そのものは割とうまく動いたと評価している。一方で、文字起こしと返答の生成に数秒のタイムラグがあり、実用的とは言いにくいと認めている。どちらの処理もグラスの外で行っているため、そこでどうしても時間がかかるという。

文字起こしはグラス本体でローカル処理することもできる。ただしRAM容量の制約で大きなモデルは使えず、小さなモデルに頼るしかない。その結果、文字起こしの精度がかなり低く、「全然ダメダメ」な結果になったという。そのため、今回の実演では文字起こしも外部のAIに任せていた。イチケンは、低消費電力で高性能なNPUを載せた専用SoCが出てくれば、高速に処理できて、さらに面白いことができるのではないかと見ている。

結論：コンシューマー向けの枠を超えた可能性

イチケンは当初、スマートグラスをコンシューマー向けの製品だと考えていた。しかし実際にアプリを開発できたことから、特定の用途に合わせたアプリを作れるなら、製造業などのB2B領域とも相性が良いのではないかと考えるようになった。実用面では、リアルタイム翻訳がかなり使えることがわかったので、今後海外に行くときには活用したいという。スマートグラスは今後数年でさらに進化するガジェット分野だと見ており、引き続き追いかけていくと述べて動画を締めくくった。