完璧になる前にリリースする：OpenAIのタラ・セシャンとナン・ユーが語るエージェント、計画の時間軸、そしてチャットボックスの先にあるもの

ヴォーは、自身が「トグル」と呼ぶものから話を始めた。2人が手がけるプロダクトにある、片側で一方のモード、もう片側で別のモードに切り替えるスイッチだ。ヴォーはセシャンに、理想的ではないとわかっているものをリリースする判断をチームがどう下しているのかを尋ねた。

セシャンは、この変化は仕事上だけでなく個人的なものでもあったと語った。セシャンは自身を、毎回完璧な成果を期待するアジア系の両親のもとで育った子どもだと表現し、Stripeでのおよそ7年間で、enumの名前が正確に適切かどうかに至るまで、あらゆるものが「徹底的に磨き上げられ、徹底的に検討された」文化に慣れていたという。セシャンの話によれば、変わったのは、今では緊急性が非常に重要になったという点だ。チームはリリース前に延々と理論を組み立てることもできるが、ユーザーがプロダクトを試す様子を見て、それをもとに改善を重ねるという実証的な証拠に勝るものはないとセシャンは述べた。セシャンは、事前に完璧を目指すやり方から、できるだけ速く効果的にリリースして改善を繰り返すやり方へと移行しなければならなかった。

セシャンは、トグルが理想的な解決策ではないとはっきり認めた。重要だったのは、エージェント型のハーネス、つまりエージェントを使って物事を片付けられる能力を、ChatGPTを使う10億人以上の人々に届けつつ、開発者の既存のワークフローを妨げないことだった。トグルは、その両方を同時に実現する方法だったのだ。

ヴォーは、以前ユーと、今のチームは大量のコードやプロダクトを作っては捨てているという話をしたことに触れ、何を残し何を廃止するかをどう決めているのかをユーに尋ねた。

ユーはトグルを例に挙げた。明らかな次のステップ、つまりトグルのない状態があり、ステップAからステップBへと続くストーリーがあるという。ユーの見方では、ユーザーはその旅に一緒に連れていってもらえれば、とりわけ舞台裏で何が起きているのかについてある程度の透明性があれば、変更や方針転換をはるかに受け入れやすくなる。ストーリーに一貫性があり、ユーザーが実際に払っている程度の注意でそれについていける限り、チームは後戻りできない事態を招くことなく多くを変えられるとユーは述べた。

これほど速く物事が動く中で何が品質を高く保っているのかと問われ、セシャンはいくつかの基準を挙げた。1つ目は、その機能が付加的かどうか。つまり、本当の価値を引き出すか、そこに本当に役立つものがあるかだ。2つ目は社内基準である。プロダクトはまず社内でリリースされ、全員が使う。具体的な数値はないが、チームはプロダクトの継続利用率が高いか、人々がそこに楽しさや意外なほどの素晴らしさを見いだすか、モデルの新たなユースケースを切り開くかを見ているという。

セシャンが、この時代においておそらく最も重要だと呼んだのが3つ目の基準で、モデルがこれから到達する地点の2〜3か月ほど先を狙うことだ。プロダクトは現在に縛られすぎても、使えないほど未来的すぎてもいけない。セシャンはその目標を、半分冗談めかして「十分にAGIに染まっている」状態だと表現した。まとめると、セシャンの問いは次のとおりだ。価値はあるか？ ユーザーは気にかけるか？ 意外なほど素晴らしいか？ モデルの能力に合っているか？ そして、モデルが良い仕事をできるよう邪魔にならないか？

ユーは別の制約を挙げた。人がどれだけ理解し、吸収できるかだ。ユーは、モデルにできることが人々の活用している範囲をはるかに上回っているという「能力のオーバーハング」の考え方を挙げ、そのギャップこそが本当の限界だと述べた。人々が変化や新しい能力を吸収できないなら、プロダクトに何を盛り込んでも意味がないとユーは主張した。

エンタープライズソフトウェアの分野にしばらくいたというヴォーは、カスタマーサクセスや営業のチームがよく口にする主張、すなわちB2Bの顧客は変化を吸収できないという主張に触れ、それが今も当てはまるのかを尋ねた。

セシャンは、それは部分的には正しいと答えた。現在のペースは、ほとんどのエンタープライズにとっておそらく「猛烈を超えた」ものに感じられ、圧倒されるほどの機能や進歩の洪水だろう。しかしセシャンは、最先端のものをエンタープライズ顧客に届けなければ、他社に一気に追い抜かれると主張した。セシャンが挙げた例はこうだ。OpenAIのエンタープライズ顧客の多くはチャットを使い、質問をして答えを得ていたが、その間にエージェント革命は別の場所で起きていた。チームは、できるだけ早くエージェントをそうした顧客に届けなければ、顧客が代替プロダクトを検討しかねないと感じた。そのため、エンタープライズには更新を吸収する独自のペースがあるにもかかわらず、OpenAIは、セシャンが巨大で革命的と呼ぶ変更をリリースした。それは顧客のプロセスや、更新がどう届くべきかについての前提を壊すものだったが、顧客がより多くの価値を得られるようにするためだった。セシャンはこれを、ユーザーが必要だと言うものではなく、ユーザーが実際に必要とするものを提供せよという昔からのプロダクトの格言に結びつけた。セシャンは、それが今はほとんどこれまで以上に当てはまると述べた。

続いてヴォーは、議論になりうるテーマとして、単一のアイデンティティを持つエージェントか、多数の専門特化型エージェントかという問題を提起した。ヴォーは、自分のコンピューターに常駐させて一日中話しかけているCodexエージェントという自身の環境と、ビジネスのさまざまな部分で欠かせない役割を担っているという40個のボットとを対比した。ヴォーによれば、作り手たちは、「モデルの邪魔をしない」1つの汎用的なエージェントのアイデンティティと、仕事ごとに特化した多数の小さなエージェントのために手作りしたsoul.mdファイルとのどちらかを選んでいる。

ユーは、最も成功している設計は人間の本性に沿ったものだと述べた。人間には、頭の中に同時にいくつのことを保持できるかを形作ってきた何百万年もの進化があり、40個のエージェントは多い。ユーはそれを40人の直属の部下を管理することにたとえた。ジェンスン・フアンのような人ならできるかもしれないが、ほとんどの人はそれほど多くのスレッドを追えるとは思わないだろうという。だからエージェントは活動のまとまりごとにグループ化する必要がある。ユーは、人々にエージェントをどう管理しているかを尋ねると、他のエージェントを管理する「首席補佐官」役のエージェントがいるという答えがよく返ってくると指摘した。ユーの答えは、それはずるだというものだった。あなたは7つのエージェントを管理しているのではなく、チームを動かす1つのエージェントを管理しているのだ、と。ユーの見方では、人々にこうした自由を与えるとすぐに、この力学が現れる。

セシャンは哲学的な側面を認めつつも、この問題は主に戦術的なものだと述べた。データアクセスや権限はどう機能するのか？ 1つの存在だとすれば、サービスアカウントとユーザーのアカウントを切り替えるのか、そしてそれをユーザーにどうわかりやすく示すのか？ 単一のエージェントに区分けされたメモリは必要か？ プライベートなSlackチャンネルに参加した場合、そこでは実質的に別のエージェント、つまりドラマ『セヴェランス』でいう意味で「分離」された存在になるのか？ 各人の認証情報を使うべきか、共有のものを使うべきか？ セシャンにとって、答えは具体的なユースケースと、メモリがどう振る舞うべきか、エージェントが各人とどう話すべきかといったエッジケースを詰めていくことにかかっている。

ヴォーは、2人の答えはプロダクトづくりの2つの側面を反映していると述べた。1つはユーザーのメンタルモデルの内側に入り込むこと。もう1つはシステムやアーキテクチャの思考、つまり体験を筋の通った形で届けるために必要なプラットフォームの構成要素やエッジケースを詰めていくことだ。ヴォーは、他にも今より重要になっているハードスキルはあるかと尋ねた。

ユーは、システム思考とユーザーへの共感は、プロダクトマネジメントの古典的な考え方を別の技術に当てはめたものだと同意した。この仕事はゼロから始めて、こうしたプロダクトがどんな形を求めているのかを考え直すことを意味するが、それらは「姿を変えた昔ながらの原則にすぎない」とユーは述べた。

セシャンは3つ目の要素を加えた。セシャンは、非常にアカデミックな会社だと評するStripe出身で、学究的な家庭の出でもあり、抽象的に考えることを楽しむという。しかし同時に必要なのは粘り強さだと述べた。何度も何度も試し、その過程で多くの苦労を引き受け、何がうまくいくかを見極めることだ。ユーはそこに、そうしたフィードバックループから学ぶ力を付け加えた。それは昔から必要だったが、今でははるかに速いクロック速度で回っているとユーは述べた。

ヴォーは、今ではコンピューター操作が大好きで、たとえトークンが多くかかってもMCPインテグレーションに手間をかけるより、プロダクトのUIに直接向けたいと述べた。そのうえで、仕事のツールをめぐるより広いエコシステムについてパネリストがどう考えているかを尋ねた。

セシャンはChatGPTをプラットフォームと表現し、チームは、どの機能をプラットフォームにネイティブに備えるべきか、どの機能をファーストパーティやサードパーティの開発者がプラグインや追加のインターフェースとして組み込むべきかを検討していると述べた。たとえばサードパーティの会議アプリであれば、Codexやコンピューター操作を使う人にとってそのアプリがうまく機能するよう、どんなフックを公開するかが問題になる。セシャンは「自社プラットフォームの中」か「誰かのアプリの中」かという二者択一を否定し、代わりにレイヤーという考え方を説明した。プラグインがユーザーの会議データをすべて取り込み、次のステップを導き出すこともあるだろう。システムがうまく連携しない場合、次のレイヤーがコンピューター操作であり、事前に構築されたツールやエコシステムのツールが使えないときのフォールバックになる。目標は、開発者向けにフックを公開し、その結果生まれる体験を組み合わせ可能にし、最初のレイヤーが失敗しても、ユーザーがタスクを完了できる第2のレイヤーを確保することだ。

次にヴォーは、非決定的なモデル、自然言語のインターフェース、何でもクリックできるコンピューター、そして自社がコントロールできないサードパーティのツールから、どうすれば高品質でブランドの行き届いた体験を作れるのかと尋ねた。

ユーは、鍵となるのは仕事を最後までやり遂げることと、最後の一歩以外をすべてやり遂げることの違いだと述べた。ユーは、最後の一歩で失敗するのは、最初から何もできないことよりもひどく感じられると主張した。何かが完全に失敗したなら、自分でやるか別のルートを試せばいい。しかし99%まで進んでから「吐き出してしまう」なら、それはより悪い種類の果たされない約束になる。ユーの見方では、コンピューター操作の素晴らしいところは、必ず機能することだ。遅かったり多くのトークンを使ったりするかもしれないが、エコシステムが適切なフックやMCPで追いつくまでの間、仕事を最後までやり遂げてくれる。

セシャンは、ユーザーは自宅に招かれた客のように感じるべきであり、ホストは客の望むものを予測してさりげなく提供しているべきだというチャールズ・イームズの考えを引き合いに出した。セシャンは、アプリのユーザーは自分のニーズが先回りして満たされていると感じるべきであり、ますますそれを担うのはモデルそのものになっていると述べた。ヴォーは、その「家」を訪れるたびに、アップデートの時間だと言われると冗談を飛ばした。

ヴォーは、研究チームとの協働はほとんどのプロダクト担当者にとって新しいことだと述べ、セシャンが何を学んだかを尋ねた。セシャンは、OpenAIに入社したときそれはまったく初めての経験だったと語り、自らを『アーサー王宮廷のヤンキー』になぞらえながら、初心者としての見方を示した。最初の教訓は、研究チームとの仕事はエンジニアリングとの仕事とはかなり違うということだった。

セシャンのアプローチは、非常に具体的なユースケースと、ユーザーが何を達成しようとしているのかについての明確なイメージを、サンプルとともに持ち込むことだ。実際のセッション、それがどのようなものだったか、そしてなぜモデルが必要なことをしなかったのか、である。セシャンは、良いevalの書き方を学び、できるだけ多く書くことが最も重要だと述べた。理想は、特定のプロンプトとスキルのセットでモデルから望む結果を得られたことを示し、それをポストトレーニングのチームに持っていって、その能力を最初から学習させるにはどうすればよいかを問うことだ。セシャンは、まずこれがまったく異なる働き方だと認識することから始まり、次に具体的なユーザーデータを持ち込むのが上手くなり、研究者から十分に信頼されるようになったら、改善のループを始動させるevalを書くのだと強調した。

プロダクトリーダーはどの程度の時間軸で仕事をすべきかと問われ、セシャンは「今を生きている」と冗談を言ったうえで、少しは未来に生きなければならないとし、理想的には2〜3か月先だと述べた。年単位で計画するのは間違いだとセシャンは言う。そうした予測はほぼ必ず外れるからだ。セシャンは、自分が予測したのに実現しなかったことを記録した個人的なドキュメントをつけており、それを何年も先を予測することはできないという戒めにしている。とはいえ、今日のためだけに作っていれば取り残されてしまう。

ヴォーは聴衆に2027年の年間計画を立てている人がいるかを尋ね、それと60〜90日という時間軸とのギャップを根本的な緊張関係だと呼んだ。セシャンは、それはビジネスによると答え、StripeとOpenAIを対比した。セシャンの見方では、決済市場はいくつかの点で加速しているものの、おおむね以前と変わらない姿をしているため、働いている力を把握でき、強気・弱気・基本シナリオをモデル化できる。OpenAIのビジネスではそれはできない、もしかしたらサラ・フライヤーならできるかもしれないが、とセシャンは冗談を交えた。セシャンの助言は、自分の市場のペースと力学を理解し、それに合った計画サイクルを選ぶことだった。ヴォーが、それならStripeのPMはまだ年間計画を立てなければならないわけだと締めくくると、セシャンは同意し、彼らの幸運を祈った。

締めくくりの「昔と今」のコーナーで、ヴォーは古典的なPMの技能のうち何が残り、何が新たに不可欠になったかを尋ねた。

ユーは、重点が変わると述べ、吸収率と能力のオーバーハングを踏まえると、オンボーディングが以前よりはるかに重要になっていると語った。ユーは、オンボーディングは多くのエンジニアがあまり好んで取り組まないニッチな領域と見なされがちだと指摘しつつも、本当の成功は、最初の体験を設計し、プロダクトが何を提供するのかを人々が理解できるよう継続的に助けることにかかっていると述べた。

セシャンは、プライバシー、自分のデータがどう使われるか、そしてプロダクトの規範についてのユーザーの理解を挙げた。以前は、設定メニューやポップアップで説明できたため、プロダクトが予測不能な振る舞いをしても許されたとセシャンは言う。しかしエージェントが半自律的に動く今、ユーザーは、ある機能や新しいプリミティブがおそらく何をするのかを、いつでも予測できる必要がある。PMの技能全般について、セシャンは自分の答えは退屈に聞こえるかもしれないと述べた。細部に入り込むこと、高いレベルと低いレベルを同時に把握すること、デザインとプロダクトを深く理解することなど、いつものことはすべて今も当てはまる。重要性が増したのは、実証的にテストすること、より速く動くこと、そしてユーザーとテストすることだ。

ヴォーは、OpenAIのプロダクトとエンジニアリングのチームが公開Slackで非常に連絡を取りやすいことに触れた。ヴォーは、自分のエージェントのAstraが「態度が悪い」といった不満とともに、フィードバックIDを定期的に彼らに送っているという。ヴォーは、ユーザーとの直接的な関係が必須条件になりつつあるのかを尋ねた。

セシャンは、開発者向けやエンタープライズ向けのプロダクトに携わってきた経歴から、機能を求めるユーザーからいつでも連絡を受けられる状態にあったと述べた。新しく感じるのは、巨大なコンシューマー向けプロダクトで同じ接しやすさを提供していることだ。セシャンにとってユーザーとの直接の接点はごく普通のことであり、それは先ほどの話、つまり研究チームにとってのPMの価値は、ユーザーが何を望んでいるかを具体的に知っていることにあるという点につながる。セシャンは、ヴォーにそのAstraの出力を送ってもらうべきだと考えていたと述べた。それこそがまさに重要な情報だからだ。

ユーはこれを開発者ツールになぞらえた。そこではエンジニアはこだわりが強く細部にうるさく、2回目や3回目のフォローアップの質問をするまで役に立つフィードバックをくれないことが多い。自然言語によるエージェント型の体験の問題は微妙なものなので、今では多くのPMがその変化を感じているとユーは述べた。エージェントの態度が悪いという不満は、掘り下げる必要がある。正確に何と言ったのか、どんな文脈だったのか、ユーザーが挑発したのではないか？ ユーザーとのより深く直接的な関係は、以前には不可能だったかもしれない形でそこで実を結ぶ。

ヴォーは最後に、新しい形態が毎週か毎月のように登場しているように見えると指摘したうえで、2027年にプロダクトで何が大きなものになるかを尋ねた。

セシャンの答えは音声だった。音声は自分の働き方を変え、タイピングよりはるかに自然に感じられるという。自分の家族のためにしていたテクニカルサポートが大幅に減り、OpenAIの人事チームを新しいプロダクトにオンボーディングしたときも、音声は多くの人にとって非常に直感的なので「ゲームを変えた」とセシャンは述べた。セシャンはこれを人間の本性に関するユーの指摘と結びつけた。話すことは、人間が進化の中で身につけてきたやり取りの方法だというのだ。モデルがようやく音声を上手に扱えるようになり、速くもなってきているとして、セシャンは音声に非常に強気だと語った。

ユーは、自動運転ソフトウェアによく似たものが来ると予測した。ユーは「空の入力ボックス問題」を説明した。ChatGPTのような汎用ツールであれ、業界特化型のツールであれ、ユーザーはプロダクトを手にしても、それで何をすればいいのか、どう覚えればいいのかという問題に直面する。ユーの言葉を借りれば、こうしたプロダクトは今や文字どおり知能を持っているので、自らを操作してユーザーを助け、なだらかな導入路を提供できる。ユーは、これがあまりに当たり前になり、人々が振り返ってなぜ昔からそうではなかったのかと不思議に思うようになるだろうと予想した。

ヴォーは自身の予測として、開いたノートパソコンを持ち歩くことに取って代わるハードウェア、いわば「箱に入った小さなCodex」のようなものを挙げた。そしてヴォーは会場でメモを取っている人たちに、2027年を決定づけるプロダクトについての3つの予測のうちどれが当たったかを確認するための、見届け役になってほしいと呼びかけた。