石井裕が語る「触れられるコンピューター」と遠さの問題 ClearBoardからラディカル・アトムズ、テレアブセンスまで

YouTubeで開く ↗
概要

経済学者の成田悠輔がホストを務める番組『夜明け前のPLAYERS』に、MITメディアラボの石井裕が出演した。番組はこれまで睡眠やがんの研究者を「本物の学者」として招いてきた。成田は石井をその系列の「ラスボス」と紹介し、この回のテーマを「僕たちが知っているのとは別の形の、ありえたかもしれないコンピューター」に置いた。

18分で読めます

対談の中心にあるのは、画面・音声・言語に偏った今のコンピューターは人間の経験のごく一部しか伝えられないのではないか、という問いである。石井は、物理的な実体を持つ情報メディアを発明する立場からこれに答えた。話はやがて成田自身の家族との距離の問題にまで及んだ。

「学者」というラベルへの異議

冒頭で成田が「ガチ学者」と紹介すると、石井はすぐにそのラベルに異を唱えた。学者という呼び方は狭い。自分たちはアート、デザイン、フィロソフィー、HCIを横断しながら大学で生き延びなければならない立場で、いくつもの顔といくつもの帽子を持っている。だから境界はかなり緩い、と石井は説明する。

石井によれば、日本では商社の部長、デザイナー、アーティスト、数学者といったラベルで人を決めたがる傾向がある。だがこの番組が面白いのは、そうした境界を軽々と行き来する人を招いているところだ。だから「学者」とは違うラベリングがあるのではないか、と石井は述べた。成田は「早速怒られてしまいました」と応じている。

I/O Brush 世界そのものをインクに変える筆

最初に取り上げられたのは I/O Brush である。石井はルネサンス期の画家の話から始めた。当時の画家は、欲しい色を自分で作った。紫が欲しければ海岸で紫の貝殻を集めて砕き、野山で草花を集めた。材料を根源から自分で作るので、そこにさまざまな意味が込められた。

I/O Brush はこの実践を現代に持ち込む試みだと石井は説明する。筆先にカメラとLEDライトがあり、筆を押しつけた圧力でスイッチが入って映像を取り込む。瞬きや動き、身の回りの大切なもの、八百屋で買った果物などを、食べる代わりに新しいパレットとして使う。石井は自分の丸と四角の変わった眼鏡を例に出した。その眼鏡を通すと世界が変に見えるように、この筆を通すとあらゆるものがインクに見えてくる。そこから何を創ろうかとワクワクする気持ちが生まれる、というのが狙いである。

実演映像では、女性の瞬きがそのままアニメーションとしてインクに入っていた。成田は「インクに時間軸が入る」点に驚いた。石井は、デジタルだから解像度が高いということではなく、プロセスを取り込めることが重要だと答えた。インクの出どころも示せる。たとえばトマトなら、それを苦労して育てた農家がいて、食べられた後もどこかへ流れていく。そうした上流から下流までを含めて、色素がどこから来てどこへ行くのかを考えてほしかったという。成田が世界と相互作用するプロセス自体を装置が生み出していると指摘すると、石井は「ちょっとポケモンGO的」だと認めた。今朝咲いた朝顔、家庭菜園のプチトマトの色を取り、それで絵を描く。現実世界のピクセルを自分の創造のインクにできることが大事なポイントだという。

この作品は、石井の研究室で龍海君子(Kimiko Ryokai)が開発した。龍海はもともと心理学の出身で、その後バークレーでフルプロフェッサーになった。石井はここで、新しいアイデアやものを生み出し、それで人をインスパイアしなければアートではない、と述べている。

石井が「一番大事」として紹介したのは、発表時の反応である。学術発表では通常、ユーザーテストをしたか、統計的に有意なデータがあるかを問われる。そういうデータがないと論文は通らない。ところが彼女が発表したとき最初に来た質問は「どこで買えますか。子供のクリスマスプレゼントにしたい」だった。石井はこれを「完璧に勝った瞬間」と呼ぶ。相手の心をつかみ、お金を払ってでも欲しいと言わせることは論文や学問を超えている。自分たちはそのレベルを目指している、と石井は語った。製品化について問われると、I/O Brush は多くの会社がコピーし、デザイナーにも影響を与えたと答えた。砂や粘土をこねてランドスケープをデザインする SandScape も、あちこちで商品化されているという。

inFORM とラディカル・アトムズ 形と性質を変える物質

石井が「一番インパクトがあった」と挙げたのが inFORM である。これは石井のビジョン「ラディカル・アトムズ」を体現する作品だ。木や土や石のように、私たちが普段使う原子は固定した硬いものである。それが計算によってダイナミックに形を変え、硬さなどの性質も変える。そうなれば物質そのものがディスプレイにも入力装置にもなる、という構想だ。

映像では、ロンドンの人とボストンの人がこのシステムでつながる遠隔の「フィジカル・テレプレゼンス」が示された。石井は Zoom は素晴らしいとしつつ、画面越しでは相手の実体が信じられないと言う。恋人や赤ちゃんなら抱きしめたい、祖父母なら肩をたたきたい。だが画面越しではそうした身体的な社会的インタラクションが一切できず、この距離感は悲しい。距離を超えて物理世界に影響を与えられるかどうか、遠隔の力が一つの応用になる。

石井が強調したのは、テーブル下から突き出る白いピンの群れである。これがラディカル・アトムズという新しいマテリアルの具体例だという。物質が形や性質を変え、さらに反重力で空中に浮遊するシステムも作った。そうなればとんでもない新しいデザインの可能性が開ける、と石井は述べる。したがって自分たちの研究は、何かを理解するサイエンスというより、新しい表現とコミュニケーションのメディアを発明する「インベンション」であり、人々の想像力を刺激するものだという。

素材を問われると、プラスチックやモーター、ギアなど、身の回りの電子・機械部品を組み合わせたものだと石井は答えた。ただし大事なのは何でできているかではない。どういう視点から作り上げたか、何のためにやっているか、どういう人をインスパイアできるか。それを明確に言えるかどうかが分かれ目だと石井は述べた。

なぜコンピューターは視覚・聴覚・言語ばかりが得意なのか

成田は、Zoom で伝わるのはピクセル、音声、言語だけで、それ以外は極端に伝わりにくい理由を尋ねた。石井はまず、同じ物理空間にいることの意味を説明した。30センチの距離で座れば、そこにはさまざまな可能性がある。極端に言えば、自分がクレイジーならこのペンで刺すかもしれない。同じ空間を占めることで、とんでもなくロマンチックなことも、いけないことも起こりうる。その緊張感とドキドキが人間の関係の一部になっている。画面越しにはそれが一切なく、ガラスで密閉されている。その安全感が悲しい、と石井は言う。成田はこれを「金魚鉢」「水族館」にたとえた。

なぜコンピューターがそうした貧しい情報ばかり得意なのか。石井の答えは「作った連中がタコだから」というものだった。テキストや音声を分けて「マルチメディア」と呼んできたが、実際の人間はそう処理していない。フレームの青が素敵だ、目が一瞬光った、足の指が10本ある、といった知覚はピクセル情報ではなく、マルチモーダルに融合して処理されている。個々のメディアを意識して分けて処理しているわけではない。同じ空間で誰かがたばこを吸えば大問題になるように、画面越しに伝わらないものは無数にある。コンピューターが得意なのは、ASCIIコードのような昔ながらの数値データを扱うことにすぎない、と石井は指摘する。これらを融合させるには、入出力のトランスデューサー、センサー、アクチュエーターが革新されなければならない。そのために表現のメディアとしてラディカル・アトムズのようなものを発明したのだという。

成田は視聴者を気遣い、「聞いている方はなんじゃこりゃとなっている可能性がある」と言いつつ、「そういう番組なんですよね」と続けた。

「五感」という区分はすでに死んでいる

成田は、ここで試みられているのは五感や体感の情報化だと捉えてよいかと尋ねた。石井はそれを否定した。五つの独立した感覚があり、その組み合わせで経験ができるというデカルト的でボトムアップな発想は、ある意味もう死んでいるという。人はすべてが融合した状態で体験し、ドキドキしたりワクワクしたりしている。

成田が、五感という区分ですら大半の感覚がこぼれ落ちているのではないかと重ねると、石井は内臓感覚など取りこぼされているものは多いと認めた。そのうえで、デザイナーやアーティストとして表現を考えるときに要素へ分解しても仕方がない、と述べた。例に挙げたのは図書館である。図書館では分類法によって生物学、化学、数学がばらばらに並ぶ。しかし自分たちの仕事はどの本棚にも収まらないクロスオーバーだ。ハイパーリンクのような優れたデータ構造があるのに、人は情報を古いツリー構造に押し込めてしまう。五感という区分も、学者やアーティストというラベルも同じで、ラベルを貼ると人は安心してしまう。だから使わない方がいい、と石井は述べた。

スターゲイザーと孤独、そして本当のオリジナリティ

成田は、ラベルや分類がないと理解した気になれない人が多い世の中で、石井の仕事は「永遠のカウンターカルチャー」のようだと述べた。石井は、科学者か、アーティストか、デザイナーかと聞かれると「スターゲイザー」と答えているという。星を見ながら空想する人のことだ。昔の人は肉眼で星を見ていた。やがて街の光がまぶしくなって天文台を作ったが、それでも空気は汚れている。一番すごいのはハッブル宇宙望遠鏡で、自分の目を頭から外して宇宙に投げ、まったく違う視点からものを見る。石井は「そういう人に僕はなりたい」と語り、宮沢賢治的だと付け加えた。

理解されないことがつらくないかと問われると、石井は「孤独って美しい」と答えた。みんなが理解したらもう終わっている。MITの世界は世界で初めてのことをやる場所だが、本当のオリジナリティには二つの可能性がある。誰も理解できず、論文も通らず、研究資金もつかない状態で、それが本当の天才なのか、単なるゴミなのか分からない。後者の可能性もあるから怖い、と石井は率直に述べた。それでも理解されること、受けることを目的にすると本当のパイオニアとしての研究はできない。生き延びたいだけなら被引用数やh-indexを計算しながら「固定資産税みたいな感じで」論文を書けばいい。だがそういうことではないから、自分は学者だと思わない、というのが石井の立場である。

ダグラス・エンゲルバートという「神」

孤独の理想に最も近づいた仕事はどれかと問われ、石井は「まだまだ」と答えた。そのうえで、自分の「神」としてダグラス・エンゲルバートの名を挙げた。1960年代、メインフレームがミサイルの軌道計算くらいにしか使われていなかった時代に、エンゲルバートは20代で、コンピューターとネットワークが人々の知を集め、地球温暖化のような問題を解くためのメディアになると言った。当時は誰も理解できなかった。しかし今ではウィキペディアのように、荒らしが起きても市民がきれいにしていく仕組みが実際に機能している。石井は、ウィキペディアが始まったとき自分もうまくいくとは思わなかったと振り返り、それを彼が証明したと述べた。自分はその「ブッダの手の上で踊っている子供」のようなものだという。

一方で石井は、エンゲルバートの晩年が孤独だったことにも触れた。彼はヒューマン・オーグメンテーション(人間の能力拡張)のビジョンを打ち出したが、当時SRIではシンボリックAIが盛り上がり、予算も人もAIへ流れ、人材はゼロックスPARCなどへ移っていった。石井は、孤独は本当につらかっただろうとしつつ、早すぎた天才のその境地は学者にとって「エクスタシー」だろうとも語った。

リブートとしての MIT 移籍

成田は、すでに成功したものを持つほど、その成功の再生産で生きていけてしまうのではないかと問うた。石井は全くその通りだと認め、自身の転機を語った。1994年、アラン・ケイに呼ばれてアトランタの会議に出席した。そこでボードメンバーのニコラス・ネグロポンテとアラン・ケイが休み時間にやってきて、MITに来いと言った。石井は10分考えて承諾したという。本人も「とんでもない無謀な判断」と振り返る。

そのとき言われたのは、今までやったことは一切続けるな、まったく新しいことをやれ、人生は短い、自分でリブートするなんてこんな贅沢はない、という言葉だった。石井はこれを「最悪なアドバイス」と呼ぶ。分野を変えれば論文の蓄積もないからだ。それでも感銘を受け、それまでの ClearBoard を置いて新しい研究を始めた。あのときの強烈な一蹴りがなければ今の高さまで来られなかった、と石井は言う。死ぬまでに何回リブートし、次の山を作れるか。一つの山ではなく連なった山、未踏峰の連山を作ることが究極だ、と石井は語った。

ClearBoard 30年前の「Zoom の未来」

話は ClearBoard に戻った。これは石井がMITに移る前、NTTで小林と共同で発明したシステムである。建築家が使う製図台のようなものが透明になっていて、向こう側の相手が見え、一緒に絵を描ける。ポイントは、相手がどこを見ているかという視線(ゲイズ)が正確に分かることだという。

最初のモックアップはただのアクリル板だった。それ越しに見れば視線が分かるのは当然だが、左右が反転してしまう。これはビデオでミラー反転すれば簡単に解決できる。その後、離れた場所にいる二人をつなぐビデオベースのリモート版が作られた。お互いが見え、アイコンタクトも取れる。ただし「I love NY」のようなTシャツを着ていると文字が反転しているのが分かってしまう。石井は、ほとんどの人の顔や眼鏡は左右対称なので気づかないが、自分のような変な眼鏡の人は例外で、問題はあるがマイナーだと笑った。さらにコンピューターを使った版では、巨大なiPadのような画面にドローイングや文書を持ち込み、二人で注釈を書きながら話せる。その場合でも相手がどこを見ているかが分かる。発明は1990年ごろ、発表は1992年で、今も毎年「どこで買えますか」という問い合わせが来るという。

30年後から見て何が足りなかったかと成田が尋ねると、石井は「世の中が理解できなかった」と答えた。最近これを「Zoom の未来」としてツイートしたところ当然だという反応があった。ならば30年間なぜ眠っていたのか、と石井は言う。良いこともあった。特許が切れたので、今は誰でも作れる。

これ以上改良しないことに不満はないかと問われると、石井は「寸止め」という言葉を使った。殴ってはいけない。寸止めでやられたと思わせ、そこで次へ行く。アイデアはいくらでもあるので、いつまでも改良して多機能化することにあまり意味はない。どのビジョンが一番骨太で、長期的にボディブローのように効くかが大事だという。ClearBoard がまだ世の中に伝わっていないのは、みんな Zoom で満足しているからだ。しかし Zoom は、トーキングヘッドと共有スクリーンという80年代の発想と同じパラダイムにとどまっている。ClearBoard は未来に早送りされたものだった。石井はそれを「yesterday's tomorrow」と呼び、その悲しさが美しいと述べた。この系譜は inFORM による遠隔の触覚的なテレプレゼンスにもつながっており、石井はその先の「人生最後の山」として、テレアブセンスに取り組んでいると明かした。

形を変えるテレプレゼンスは誰が最初に使うのか

こうしたテレプレゼンスが生活に浸透する時期を問われると、石井は「僕が死んだ後」と答えた。ただし面白いことができると分かれば、リソースがある者なら誰でも作れる。石井によれば、最も関心を示しているのはコマンド&コントロール、国土安全保障、陸軍や海軍といった分野だという。戦車がここにいて、飛行機が飛んでくる。そうした状況は今はVRなどで扱われているが、触れられる形になれば、どの山頂からなら狙撃できるかを身体的に確かめられる。莫大な費用がかかるが、安全保障の部門にはリソースがあるので、近いうちに実用化するだろうと石井は見ている。それより早いのは『ブラックパンサー』のような映画の表現だろうとも述べた。

成田は、格闘ゲームや戦闘ゲームは物理性がないことが強みでもあり弱みでもあると指摘した。自分は傷つかず痛みもないから24時間殴り合いを続けられ、それが中毒性を生んでいる、と。石井は、自分はバトルが大嫌いで戦争には耐えられないと応じた。もっと平和で創造的なものを作れたら面白い、たとえば建築やアーバンプランニング、ランドスケープデザインでできることがたくさんあるだろう、と語った。

成田の「遠隔家族」と、非対称な距離

成田が、家族やカップルの生活こそ平和な応用先ではないかと言うと、話は成田の私生活に向かった。成田はコロナ以前からアメリカにいて、家族は日本にいる状態がずっと続いている。表面的には望ましくない気がする、一緒にいた方がいい気がする、という問いを自分に投げかけ続けているという。

石井は、同じご飯を食べておいしいと言い、同じ花を見て、同じ空気を吸うことはとても大事だと述べた。そして、愛が終わればビデオ会議でも写真でも構わないが、愛があれば普通は一緒にいたいと思うだろう、と問い返した。成田は、そこが自分の場合は曖昧だと答えた。常に一緒にいる家族や夫婦には無理があるのではないか、近づきすぎて壊れる関係も多い、プレゼンスとアブセンスを適度に混ぜるのが良いのではないか、というのが成田の考えである。ただし科学的根拠はないとも付け加えている。

これに対して石井は、成田の見方の欠落を指摘した。物理空間で並んで座る二人の間の距離は一つしかない。しかし遠隔の場合、成田から見た距離と相手から見た距離はまったく違う。愛が冷めれば無限にもなる。成田の話は自分から見た距離だけを語るエゴセントリックなもので、相手から見て遠のいてほしいのか近づいてほしいのかが「方程式に入っていない」。それはバグではないか、と石井は言う。うざい、寂しい、お腹が空いた、寒いといった状態は、距離があるとインピーダンスのミスマッチだらけになる。それをどう調整するかというメタなアルゴリズムがなければ、適切な距離はデザインできない。

成田がそのアルゴリズムをタンジブルメディアが提供できるのではないかと水を向けると、石井はそれを否定した。タンジブルメディアは単にそれを伝える表現の手段にすぎない。お互いの距離を測りながら少し後ずさったり近づいたりするのは、人間が持つ最も難しい社会的・感情的知性であり、単純なメディアでできるものではない、というのが石井の見解である。

成田はさらに、空間をデータ化・物質化すれば、自分から見た相手までの距離と相手から見た自分までの距離が異なる世界がありうるのではないかと問うた。石井は、VRならいくらでもフェイクで違う距離感を出せるが、物理空間には一つの距離しかない、と答えた。例に挙げたのはパーティーの光景である。背の高いアメリカ人男性と小柄なアジア人女性が話していると、二人はいつも動き続けている。心地よい対人距離が文化的に違い、それを揃えられないからだという。石井はこの溝をどう超えるかが大事な問題だとしたうえで、経済学にはマルチエージェント間で異なる利害を調整するゲーム理論のようなものがあるのではないかと尋ねた。成田はそれがあることを認めつつ、モデル化し数式にすれば論文は書けるが、体感や気遣いのようなものがすべて抜け落ちてしまう、だから家族の問題を根本的に扱うのは難しいと答えた。

テレアブセンス いなくなった人と弾くピアノ

番組の最後に示されたのが、石井が「人生最後の山」と呼ぶテレアブセンスの一例である。映像では、女性がピアノを弾く横で、誰も触れていない鍵盤が動き、指の動きが表現されていた。これは、彼女がかつて弾いた演奏の記録がピアノの中に「住んでいて」、それと共演しているものだと石井は説明する。その人はもういないのかもしれない。それでも今目の前にいて一緒に弾いていると感じられる。そうしたコミュニケーションが、石井たちの目指すテレアブセンスの一つの形だという。

遠くにいる人と触れ合うためのテレプレゼンスから、不在そのものを扱うテレアブセンスへ。石井の関心は、成田が語った家族との距離の問題とも重なる場所に向かっている。ただしその距離の調整は単純なメディアではできないと、石井自身が述べている。石井は対談を振り返り、「見ている方の99.99%には意味不明な会話だったのではないか」と詫びている。