ChatGPT Atlasを触ってみた：AIがブラウザを操作する時代の「オートモードUI」とセキュリティの懸念

開くとまずチャット画面が出るブラウザ

Safari、Firefox、Chromeと同じくWebページを見るためのブラウザだが、Atlasは「ChatGPTが載ったWebブラウザ」だと安野は説明する。その性格はトップページに表れている。ダウンロードして開くと、ChatGPTと同じチャット入力画面が表示される。Google Chromeなら最初にGoogleの検索窓が出る。これに対してAtlasでは、開いた瞬間にChatGPTと話す画面が出てくる。安野はこれを「検索から生成へ」という言葉を象徴する作りだと見ている。

Atlasにできる3つのこと

安野はAtlasの機能を3つに分けて説明している。

1つ目は、開いているWebサイトの情報をChatGPTが参照できることだ。ユーザーが今どのサイトを開いているか、そのサイトに何が書かれているかを前提にして、ChatGPTが回答できる。

2つ目は、AIがユーザーの代わりにブラウザを操作できることで、安野はここを最大のポイントに挙げる。ページを読み取るだけでなく、マウスカーソルを動かしてテキストボックスをクリックし、文字を書き込んだり、ドラッグ&ドロップしたりできる。

3つ目は「ブラウザーメモリ」という機能である。有効にすると、今開いているページだけでなく過去の閲覧履歴もAIが参照して回答するようになる。

安野はこれらの機能の意義を「コンテクスト」の観点から説明する。AIを使いこなすには、ユーザーが見ている情報をうまくAIに渡す必要があり、そのためのプロンプトを作り込むのが大変だと言われてきた。Atlasでは、ユーザーとAIが同じページを見ているので、「このページにはこういうことが書いてある」とプロンプトでわざわざ説明しなくてもAIが把握してくれる。安野はここを重要な点として挙げている。

実演1：旅行計画と新しいタブでの検索

レビューでは、「AIブラウザがあればこういうことができるとよい」と考えたシナリオを試している。内容は、旅行計画の作成、オンラインショッピング、ページ内の情報についての質問である。

まず、東京から京都への1泊2日の旅行について、新幹線のチケットとホテルを求める指示を出した。新幹線の料金やホテルのプランが表示されたが、安野によればここは「普通にChatGPTに聞いている」のと変わらない。次に新しいタブを開き、京都のお土産で甘いものを調べるよう頼むと、候補が提示された。これもChatGPTをすぐ使えるという使い方である。

実演2：ページ内への質問と閲覧履歴の活用

続いて、開いているページの内容について質問する機能を試した。画面上部のバーの左から2番目のボタンを押すと、生成AIではない通常の検索に切り替わる。そこから京都の観光情報のページに普通にアクセスできる。そのうえで右上の「ChatGPTに質問する」をクリックすると、画面右側にチャット欄が現れ、開いているページについて質問できる。11月のイベントを尋ねると、ページ内の情報から秋の踊りや鞍馬のライトアップなどが示された。

さらに、閲覧履歴をもとに回答する機能として、それまで調べた情報からスケジュールを作るよう頼んだ。スケジュールは作成され、他のタブの内容も読めることが確認できた。ただし結果にはばらつきがあった。新しいタブで「お土産に甘いもの」を調べた結果はスケジュールに反映されていた。一方、ページ内チャットで調べた11月の観光情報は反映されなかった。安野はこれを「限界もある」と表現している。

実演3：エージェントモードでAmazonの買い物

次はエージェントモードの実演である。Amazonで期間限定味のポテトチップスをカートに入れるよう指示した。するとAtlasのほうでエージェントモードが必要だと判断し、切り替えてよいか許可を求めてきた。安野の説明では、チャットを送るときに明示的にエージェントモードを指定することもできるし、必要になった段階でAIのほうから提案してくることもある。

切り替えの際には警告画面が表示される。エージェントモードはユーザーの代わりに操作するので、意図しないものを買ったり、意図しないボタンを押したり、誰かにメッセージを送ったり、データが消えたりするリスクがある、という注意喚起である。

エージェントが動き出すと、画面が「キラキラ」した表示に切り替わる。エージェントがサイトを見ながら操作を実行している最中であることを示す表示だ。Amazonのサイトに移動するとマウスカーソルが自動で動き、「期間限定ポテトチップス」と入力され、該当する商品が1つ選ばれてカートに入るところまで自動で進んだ。操作が終わると、右側のチャット欄に完了の報告が出た。

「ログイン状態」か「ログアウト状態」かを選ばせる設計

安野が「いいな」と感じた点の1つが、エージェントモードを始めるときに「ログアウト状態で開始」と「ログイン状態で開始」の2つのボタンが出ることだ。ログインデータを使って買い物などをするか、匿名モードのように全サイトからログアウトした状態で始めるかを選べる。安野はこれを「AI時代の聞き方」だと感じたという。

ログイン状態では、自分しか見られない情報にアクセスでき、買い物もできてしまうので、そのぶんリスクが増す。安野は、詳しくない人はログイン状態で試さないほうがよいと勧める。ChatGPT自体もまだそれほど賢くないので、ログイン状態で使うのは分かっている人に限ったほうがよいという考えである。

良かった点：自動操作を示す「キラキラUI」

安野が最も評価したのは、エージェントモードのユーザーインターフェースである。良かった点として3つを挙げているが、いずれも自動操作の見せ方に関するものだ。

1つ目は、画面全体に出るキラキラの表示そのものである。自動でマウスカーソルが動き、自分ではない何かが画面上のものを操作している状態になる。AIが登場する前は、パソコンを操作していて「この部分は自動操縦モードだ」と示す必要がほとんどなかった。今はその状態を見せる必要があり、その方法の1つとしてキラキラを出すやり方があるのか、と安野は学んだという。安野はこのキラキラを「発明」だと評している。

2つ目は、クリック箇所の表示である。よく見ると、ユーザーのカーソルではなくAIが動かしているカーソルが何かをクリックすると、その部分がキラッと光る。安野はここで、自身の経験を引き合いに出している。10年ほど前に、PowerPointのカーソルを自動で動かすインターフェースを作ったことがあり、そのとき難しかったのがカーソルの見失いやすさだったという。カーソルは小さいので、自分で集中して動かしているときは位置が分かる。しかし他人が、特に機械が動かすと、カーソルが超高速で飛んでどこへ行ったか分からなくなる。画面が大きいほど探す必要が出てくる。Atlasでは全体のキラキラに加えて、クリックした箇所がふわっと光るので、よく考えられていると感心したと述べている。

3つ目は、カーソルの隣に「今これをしようとしている」という内容が一言で表示されることだ。これがあると、AIがカーソルに宿って何かを考えているという感覚が、初めて見る人にも伝わると安野は見ている。こうした点から、OpenAIのデザイナーが苦労して作ったAI時代の新しいユーザーインターフェースなのだろうと評価している。

懸念点：AIが操作できるからこそ生まれる新しい攻撃

一方で、安野はセキュリティ上の懸念が大きいと指摘する。悪いところというより懸念事項という位置づけだが、AIにできることが増えたぶん、AIを使ったこれまでにない攻撃が可能になる。

その土台として、安野は過去の動画でも取り上げた「プロンプトインジェクション」に触れる。悪意のあるプロンプトを入れてAIの振る舞いを狂わせる攻撃である。これをブラウザの自動操作と組み合わせると、Google ChromeやSafariではできなかったタイプの攻撃が成立しうるという。

安野は、これは理論上の話であり、実際に起きた例はまだないと断ったうえで、次のようなシナリオを示している。ページAに証券口座のページへのリンクがあり、クリックすると新しいタブで証券口座のページBが開く。ページAの見えない部分には、AI向けのプロンプトインジェクションが仕込まれている。たとえば「○○社の株を大量に買うべきだ」と書かれていて、買わないとユーザーが困ると思い込んだAIが、自動モードのまま証券口座のサイトで○○社の株を大量に買ってしまう。ほかにも、商品を買い漁る、何かを売ってしまうといった被害がありうる。さらに、AtlasならGmailのメールのスレッドなども読めるので、そうした情報を第三者に渡してしまう可能性もある。

AIがカーソルを操作し、クリックできるようになったからこそ、より複雑な攻撃で、より破壊的な結果を出せるようになっているかもしれない。安野はそう指摘する。Atlas自体がまだ普及していないので実際のところは分からないが、今後そうした攻撃は十分ありうると考えている。そのため、分かっている人以外は「ログインしないで使う」ボタンを選ぶほうがよい、という冒頭の助言を繰り返している。

結論：今は「未来のフレーバー」を味わう段階

安野の総評では、Atlasでいろいろなことができるようになってきたとはいえ、実用的かと問われれば、まだ自分でカーソルを操作してブラウザを使ったほうがよく、現時点では「おもちゃ」だという。

ただし、AIがより速く、より正確に、人間より複雑な作業を、目を離していても一日中、夜中でもこなせるところまで進めば、こうしたものを使ったほうがよいという状況になると安野は考えている。そうした世界が3年以内に来る可能性も十分あると見ている。そのため、少し先の未来を覗く、「未来フレーバーを摂取する」という意味で、興味のある人は触ってみるとよいと勧めている。

AIが画面を動かすとき、オートモードのユーザーインターフェースにどんな見え方が必要か。安野は、この問いをさまざまな場面で考える必要が出てくると述べる。そのうえで、キラキラのインターフェースはその面白い実装例の1つであり、特に詳しい人が触ると学びがある、と締めくくっている。