AIによる終末を防ぐには：まず自分自身から、知性をアラインメントする

ジョンソンはまず、凝縮された歴史から語り始める。宇宙は138億年前から存在し、地球は約45億年前から存在してきたが、その大半の期間、生命は単細胞として存在していた。やがてホモ・サピエンスが現れる。考える種であり、考えることについて考える種だ。人類は火、言語、農業、都市、文字、産業、電気、原子力や太陽光発電、インターネット、そしてついにAIを手にした。ジョンソンの捉え方では、知性がさらなる知性を生み出すまでに、ほぼ138億年かかったことになる。

ジョンソンは、私たちは超知能まで「あと一歩のところ」にいると述べ、それはおそらく「宇宙の歴史上最も驚異的な出来事」になるという。超知能は「現実を書き換え」、私たちが暮らすバブルを弾けさせ、現在の想像や理解を超えた次元や現実を明らかにするだろうと予想している。

ジョンソンは、さまざまな意見があることを認める。人類は必然的に破滅すると考える人もいれば、AIが人類を自らの愚かさから救ってくれると考える人もいる。確かにわかっているのは、AIが私たちの理解を超える速さで、予測できない形で進歩しているということだ、とジョンソンは主張する。さらに、その開発を止めることはおろか、減速させる方法すらないという。国家、企業、イデオロギー集団、そして個人が、いずれも自らの利己的な目的のためにAIを「臆面もなく」利用するだろう。

ジョンソンの見方では、根本的な危険は人間の心理にある。人は先手を打つよりも、事後的に反応しがちだ。ジョンソンはこれを人間の心の欠陥と呼び、この状況においては「私たちの生存にとって容赦のないもの」になりうるとする。人類の存続とアラインメントされたAIシステムを構築することは、それ自体がひとつの学問分野であり、この世代の最も優れた頭脳を注ぐに値するという。

AIアラインメントに直接携わっていない人々に対して、ジョンソンは別の役割を提示する。あらゆる知性をアラインメントすることが現代の中心的な機会であり、それは自分自身から始められると認識することで、貢献できるというのだ。

ジョンソンは、自身の日々のルーティンを人間のAIアラインメントの試行版だと説明する。Blueprintはジョンソンを35兆個の細胞の集合体として扱い、そのすべての細胞を「存在し続けること」というひとつの目的に向けてアラインメントする。ジョンソンは、これを「未来の人間のベータ版」、つまり自らをアラインメントしようとするひとつの知的存在を示すために行ったと語る。

その動機となった問いは次のとおりだ。

• もし人が、テクノロジーが進歩するのと同じ速さで自分自身を向上させられたら？
• もし誰もがそれをできたら？
• もし衰えや老化が避けられないものではなかったら？

ジョンソンは、こうした考えは1990年代なら馬鹿げて聞こえただろうが、今はもうそうではないと言う。

この考えを具体的にするため、ジョンソンはある思考実験を提示する。人生で最高の心身の健康をもたらしてくれるアルゴリズムを利用できるとしよう。ただし条件があり、何を食べるか、いつ食べるか、その他の健康に関わる選択は、あなたではなくアルゴリズムが決める。あなたはそれに参加するだろうか、それとも断るだろうか。

ジョンソンは、このシナリオが単純化しすぎであることを認める。真剣に答えるには、一人ひとりがさらに何百もの問いを自らに投げかける必要があるだろう。そのうえでジョンソンは自身の経験を語る。「イエス」と答えてから2年、これほど幸せで、健康で、感情的に安定し、知的に生き生きとしていたことはないという。次の食事のことや、いつ寝るかを考えて時間を費やすこともなくなった。老化を早めてしまう「ちょっとした悪いこと」をするかどうかで葛藤することもなくなったという。

ジョンソンは、この考えが聞き手にある種の実存的危機を引き起こしうることを認識している。そのスケールを、地球が宇宙の中心ではないと気づいたことになぞらえている。

ジョンソンは、Blueprintの現時点での限界について率直に語る。第1版の構築には何年もの歳月と数百万ドルを要した。そのプロセスの大半は今なお手作業で不格好であり、大規模なチームを必要とする。現在のバージョンが社会全体に拡大されると考えるのは非現実的だという。

しかしジョンソンは、これを問題とは考えていない。ジョンソンの言葉を借りれば、イノベーションとはそういうものだからだ。やるべきことは、ぎこちない部分の先を見据え、プロトタイプが示した「必然性の原石」を見つけることだという。

ジョンソンは、自分の頭は常に、入手できる最も重要な情報と、自分の時間の最も価値ある使い方を探し続けていると言う。ジョンソンが自らに課した課題は、聞き手に未来への備えをさせる手紙を書くことだ。

その中心的な主張は、未来は過去に似ていないというものだ。これまでのどの世代も、歴史から学び、それを手本に人生を形づくることができた。個人、国家、通貨、人間関係についての考え方もそうだった。ジョンソンは、史上初めて私たちにはそれができなくなったと主張する。ジョンソンはこれを計算知能の「ゼロ次の本質（zeroth nature）」と呼ぶ。AIは、過去を使って未来を予測する能力を私たちから奪うのだ。

ジョンソンの助言は、次に来るものについて自分が置いている前提を意識し、それに対して慎重であれ、というものだ。情報を処理する際にこれを習慣にすれば、議論やトレンド、規範をよりうまく選り分け、技術の変化と歩調を合わせて考え続けられるようになる、とジョンソンは言う。

ジョンソンは、人生の決断を下す際に問うべき3つの問いを示す。

1. これが今後も真であり続けるためには、何が真であり続けなければならないか？
2. どんな新しいものが現れれば、これは真でなくなるか？
3. どんな途方もない予想外の驚きが、問いそのものを変えてしまうか？

ジョンソンは最後に、人類の優先事項を3つに絞り込む。死ぬな、互いに殺し合うな、そしてAIを「死ぬな」にアラインメントせよ。