なぜClaudeは（まだ）あなたのPMになれないのか：Anthropicのプロダクトリーダーが語る判断力、エージェント、そして並行する賭け

ヴォラはプロダクトを「世の中の人々が抱える現実の問題と、それを解決するために使えるテクノロジーとの架け橋」と表現した。この定義は変わっていない。変わったのはスピードだ。かつてテクノロジーが変わるのは5年や10年に一度だったが、今では2か月ごとのように感じられ、これは人間にとって受け止めるのが難しいとヴォラは語る。対照的に、人間の問題はおおむね変わらない。ヴォラのアプローチは、人間の問題には徹底的にこだわりつつ、テクノロジーについては「まっさらな目」で見ることだ。つまり、かつて何がうまくいったかについて知っていることの大半を捨て、問題について知っているすべてを携えて改めて挑む姿勢である。

ヴォラは現在の状況を、自身がプロダクトの仕事を始めた頃へ「時計の針を巻き戻す」ようなものだと例えた。当時は仕事の明確な定義など誰も持っておらず、何でも屋の問題解決者として壁にぶつかるまで突き進み、ぶつかったら誰かに聞くか自力で解決するしかなかった。ヴォラは、役割の境界が再び同じようにあいまいになりつつあると見ている。違いは、今では壁にぶつかったときに頼れる足場が数多く用意されていることだ。

クリーガーは自身の仕事からあるエピソードを語った。クリーガーは今年の初めに個人貢献者（IC）の役割に移り、主に開発に取り組んできた。プロジェクトがリリース間近になった頃、ヴォラのもとで働くPMリードのキャットに呼び止められ、このプロジェクトにはPMが必要だと告げられた。最初の反応は懐疑的なもので、「Claudeがいるから大丈夫だよ」と思ったという。しかしキャットは譲らなかった。実際にPMが加わると、クリーガーは、PMがいなければ抜け落ちていたであろうつなぎ役や連結組織のような仕事の数々を目の当たりにした。1週間後、クリーガーはキャットに「100％正しかった」とメッセージを送った。

クリーガーは、その仕事が何をカバーしていたかを挙げた。Anthropicはプロシューマーから超大企業まであらゆる顧客にサービスを提供しているため、そうしたすべての関係者を巻き込んでいく人が必要になる。質問がリアルタイムで寄せられる中で、カスタマーサクセスチームが変更点について説明できるようにしておく人も必要だ。クリーガーが非常に重要だと語るセーフガードのチームを巻き込む人も必要だ。人々が軌道を外れないようにする人も必要だ。AIの支援があっても、誰の処理能力も無限ではない。この役割を担う人がいることで、作り手は「Claudeを全開で使うモード」で作業に没頭し続けることができ、すべてが滞りなく進むよう気を配るという、まったく性質の異なる活動に切り替えずに済む。クリーガーによれば、チームの動きが速くなった今、この役割にはかつて以上に高い運用面の卓越性が求められる。チームを編成するなら、この役回りは「ますます重要になっている」という。

シッパーは反論し、なぜPMの仕事をAnthropicのモデルであるFableにやらせないのかと尋ねた。クリーガーは、Anthropicの業務がClaudeによる多くの連結組織によって成り立っていることを認めた。たとえば、組織の別の部署で関連する動きがあることを、Claudeが検索を通じて見つけ出し指摘してくれることがある。しかしクリーガーは、Claudeはまだ「招集者（convener）」ではないと語った。非常に強力なAIが存在する世界における人間の役割をテーマにした最近の講演で、クリーガーはいくつかの典型的な役割を挙げたが、その一つが招集者だった。仕事を成し遂げるために、複数のClaudeと人間とを引き合わせる役割は、依然として誰かが担わなければならない。

クリーガーは冗談交じりに、転換点が訪れるのは、Claudeが自分のためにミーティングを設定し、誰が設定したのかと尋ねたら、この二人は話すべきだと思ったので、と説明してきたときだろうと語った。そうしたことはまだ起きていない。ただし、それは「できないからではない」と付け加え、単に設定をオンにするだけの問題かもしれないと示唆した。

ヴォラは、この役割が重要である2つ目の理由を付け加えた。ツールのおかげで非常に速く多くのものを作れるようになり、作り得るものの世界が広がっている。それでも、何を作るべきかについての優れた判断力は依然として必要で、しかも限られた情報のもとで判断しなければならないことが多い。分岐する道があまりに多いため、正しいことが実際に実現されるよう、これまで以上に執拗に取り組む必要もある。ヴォラはその姿勢を次のようにまとめた。私は問題を理解している、ユーザーとのフィードバックループもある、だからやってみよう。あいまいさに直面したときの、こうした執拗さと判断力が本当に重要だとヴォラは語った。

シッパーはヴォラに、以前の発言について尋ねた。何十年もかけて特定の問いに答えられるよう学んできたが、もうそれらに答える必要がなくなった、という発言だ。ヴォラが例に挙げたのは、懸命に培ってきたプロダクトとデザインにまたがる判断力だった。ユーザーの状況を想像し、スマートフォンのどこに指が触れるか、ボタンをどこに置くべきかを考えること。かつてはレビューがまさにそうした問いを中心に回っていた。作ってリリースするのに非常にコストがかかったからだ。ヴォラは、もう誰からもそうしたことを聞かれることはないだろうと考えている。今では3つのバージョンを作って試すほうが速い。

ヴォラは、これはアイデンティティにとってつらいことだと語った。企業はほかにもっと重要なことがあるかもしれないときでも自分たちの得意なことを続けてしまうという「イノベーションのジレンマ」になぞらえ、同じことが個人にも起きると述べた。テクノロジーが2か月ごとに変わるということの一部は、仕事における自分自身について知っていたことを捨てなければならないということでもある。ヴォラは、これまでモデル企業で働いた経験がなく、次の仕事で自分がうまくやれるかどうか分からないことがよくあると打ち明けた。数か月ごとに新しいことに挑戦し、自分がそれをものにできるかどうかを確かめなければならないのだという。

これをうまくこなせる人の条件を問われ、ヴォラは判断力と執拗さに加えて、適応力と変化への高い耐性を挙げた。自分のチームに対しては、こうしたことをオープンに話し合うことを重視しているという。そうしなければ、絶え間ない適応は孤独に感じられかねないが、実際には誰もが同じ経験をしているからだ。ヴォラは、負担に感じにくくなるよう「混沌に枠組みを与える」ことについて話している。不確実な時代には、どのプロダクトを作るか、キャリアがどう進むかを正確に描き出すことで、コントロールを握ろうとしたくなるものだ。しかしヴォラは、それでは新しいことに挑戦する道が閉ざされてしまうと考えている。目指すべきは、混沌と向き合うことを安全で現実的なものだと感じられるようにすること、そしてそこに伴う感情を認めることだ。なぜなら、「魔法と生産性」の多くはそこにあるからだという。

クリーガーは、組織面での歯止めを付け加えた。混沌には明確なオーナーシップが必要だ。AnthropicのLabsグループでは、探索的な取り組みは「ベット（賭け）」と呼ばれ、それぞれにベットリードと呼ばれる直接責任者（DRI）がいる。その人が、さらに注力するか縮小するか、チームの人員を増やすか減らすかを決める。物事の動きが非常に速いため、この役割はいっそう重要だとクリーガーは語った。「私たちはみんな一緒に迷っている」が、次にリスクを取り除くべきこと、理解すべきこと、学ぶべき最も重要なことについては、誰かがペンを握っている。

続いてシッパーは、人間とエージェントの双方が、ときに委任によって、ときに協働によってソフトウェアを使うようになった今、何が作られるのかという話題に移った。クリーガーは大まかな流れを示した。最初、AIはサイドバーや小さなウィンドウの中にあり、プロダクトとは切り離されていて、せいぜいサポートに関する質問に役立つ程度だった。次に、AIを活用した機能全体を伴う、より深い統合が登場した。そして今、エージェントネイティブへの移行が進んでいる。クリーガーは、シッパーの会社であるEveryがエージェントネイティブなアーキテクチャについてまとめた記事を評価した。今年このテーマに取り組む中で、クリーガーはその記事をClaudeに読み込ませてスキルを作成したという。そこから得た核となる考え方は、人間にできることはすべて、エージェントにもできるべきだというものだ。これを正しく実現できているプロダクトは非常に少なく、Anthropic自身のプロダクトの多くもそうだとクリーガーは語った。それが実現されると、創発的な振る舞いが現れる。エージェントが新しい方法で物事を組み合わせたり、別のアプローチを先回りして提案したりできるようになる。

クリーガーが考えている次の段階は、インターフェースそのものがエージェントによって柔軟に変えられるようになることだ。柔軟に変えられるソフトウェア（malleable software）については何年も前から語られてきたが、クリーガーはそれが今まさに現実になりつつあると感じている。クリーガーは社内の例を挙げた。Anthropicは少なくとも4つの独立したワークストリームを含む複雑なプロジェクトをリリースしようとしている。Claudeは進捗を監視しており、まずTPMが、そしてチーム全体が状況を把握するためのUIもClaudeが作った。表示が気に入らなければ、社内チームやサードパーティが作ったものに甘んじる必要はない。Claudeを使って変更すればいい。クリーガーは、これがこの1年でAnthropicの働き方に起きた最大の変化の一つだと語った。社内で人々が使うソフトウェアの多くはClaudeによって作られ、保守され、改良されており、常に変化している。

そこからいくつかの未解決の問いが生まれる。データを更新できるのは誰か。画面をクリックして操作する人間だけなのか、それともバックグラウンドで動くClaudeもなのか。データの来歴をどう追跡するのか。クリーガーは、物事が「まったくめちゃくちゃ」にならないよう、ビルディングブロックや予測可能性、デザインシステムは引き続き必要だと考えている。それでも、クリーガーが最も刺激を受けているのは、ソフトウェアを特定のタスクやプロジェクト、さらには個々のユーザーに合わせて仕立て、パーソナルで非常に役立つものだと感じられるようにするという発想だ。

大規模なSaaSアプリを持つ企業が、自社のエージェントを追加すべきか、それともClaudeのようなエージェントに門戸を開くべきか検討している場合について、クリーガーはインフラ層として適切なプリミティブを構築することを勧めた。新しいプロダクトを試すとき、クリーガーはよく、人間にできることをエージェントにやらせてみる。そうすると、エージェントとプロダクトのREST APIの両方に対応する共通の仕組みを通じてすべてが動いているかどうかが分かるという。20年前のアプリケーションを抱える企業にとって、これを後付けするのは難しいとクリーガーは理解を示した。プリミティブが適切に整えば、プロダクトは段階的に進化できる。まずはサイドパネルから始め、次に同じプリミティブの上で、より柔軟に変えられるパーソナルなランディングページを試すこともできる。UI全体を壊したり、新しいインフラを考案したりする必要はない。失敗のパターンは、AIがネイティブではなく「いかにも後付け」に感じられることだ。

シッパーはヴォラに、最先端を切り開くことと、ただチャットしたいだけのユーザーや、インターフェースを一夜にして刷新することのできない企業に応えることとの間で、Anthropicはどうバランスを取っているのかと尋ねた。ヴォラはこれを本当に難しい問題だと語った。Anthropicのアプローチは、人々がいるところに寄り添うことだ。まだ非常に初期の段階だからである。単純に「正解」を作れるほど安定しているものは何もなく、モデルも人々の使い方も変わり続けている。探索の段階では多くのことを試してかまわない。何かがうまくいったら、安定性と完成度を求める人々にとって分かりやすいものにしなければならない。

ヴォラは、自身のバックグラウンドとの間に緊張関係があることを認めた。ヴォラはこれまで、ユーザーが体で覚え、直感を養う助けになることから、シンプルさ、信頼性、予測可能性を重視してきた。それでもヴォラはチームに対し、多くの「シュートを打つ」ことを奨励し、プロダクトマーケットフィットに到達した後に統合するのであれば、重複や重なりを受け入れるよう促している。ヴォラの考えでは、失敗のパターンは、理論に基づいて最初からプロダクトを制約しすぎることだ。市場と出会う機会を得られなかった、制約の多すぎる一つのプロダクトよりも、「それぞれ異なる仕組みで動く、重なり合った5つのプロダクト」のほうがいいとヴォラは語った。

シッパーは、並行する実験が一貫性を欠いているように感じられたり、たとえば似たアイデアに取り組む3番目のチームの士気を下げたりしないようにするにはどうすればよいかと尋ねた。クリーガーは、その日の朝に行われた、2つのプロダクトの方向性をめぐる議論を紹介した。一方には強い確信を持つチームがいたが、もう一方にはいなかった。誰も求めていないアイデアの追求をチームに割り当てるのは作為的に感じられ、「Bチーム」のような空気を生む。クリーガーは、チームが乗り気でない領域を任せてうまくいったことは一度もないという。結局、プロダクトの出来が悪くなるからだ。2つか3つのチームがそれぞれ魅力的な方向性を持っている場合には、クリーガーはそれぞれに探索させている。

クリーガーによれば、基盤となるインフラは最近大きく改善された。クリーガーの見積もりでは3〜6か月前のある時点まで、ChatとCoworkはそれぞれ異なるメモリシステム、異なるMCP設定、異なるファイルストレージを持っていた。その上に構築される新しい実験は、たとえばメモリを共有できないなど、最初から切り離され、不利な立場に置かれていただろう。その後、基盤チームが、Anthropicのプロダクト全体のどこにいてもメモリを利用できるようにする取り組みを進めてきた。単純そうに聞こえるが、「これら8つの理由で」複雑だったという。これをLabsやフロンティアプロダクトのチームとは別のチームで解決することで、重なり合う実験が互いを補完し合うものと感じられるようになる。

ヴォラは、状況をはっきりと言葉にすること自体が重要だと付け加えた。3つのベットがあると、士気が下がったり、あるチームが成功できる態勢に置かれていないように感じられたりすることがある。ヴォラはチームに対し、これが私たちのいる世界であり、誰も答えを知らず、全員が同じチームの一員であり、うまくいったものから学ぶのだと伝えている。誰もが「暗闇の中ですべてを手探りしている」のだから、これを口に出して言うことが大切だとヴォラは語った。

うまくいっているかどうかを見極める方法について、ヴォラはごく一般的なプロダクトマーケットフィットのシグナルを挙げた。人々がそれを使い、気に入り、繰り返し利用し、話題にし、価値を得ているか。人々が簡単に使え、満足できる形で問題を解決しているか。

クリーガーは、ある厄介な点を指摘した。何かがうまくいかないように見えても、新しいモデルが登場するとうまくいくようになることがある。早すぎる段階で打ち切りたくはないし、先を行きすぎたくもない。Labsでは、プロジェクトを保留にすることがある。クリーガーが例に挙げたのは、Anthropicが2024年に社内で初めて作ったコンピューター操作（computer use）のプロダクトだ。クリーガーいわく、それは「モデルがまだ追いついていなかったので、ひどい出来」だった。当初の仮説は、たとえ多くを自動化できなくても、Photoshopで複雑な作業をする方法を示すなど、教育には役立つかもしれないというものだった。しかし実際には、試行錯誤しながらもがき（「うまくいった？ だめだ」）、20分後にようやく成功するものの、ユーザーは何も学べないままだった。自動化にも教育にも役立たなかったのだ。

チームはそれを保留にし、評価ハーネス上で動かし続け、新しいモデルが出るたびに再試行した。3.7モデルで、性能が突然跳ね上がるのを確認した。トランスクリプトを読み、「失敗するよりも成功するほうが多い」ことに気づいたとき、チームはそれが本物の瞬間だと認識した。クリーガーによれば、Labsでは、プロジェクトがモデルの準備がまだ整っていないことを示すだけに終わったとしても、その成果が評価（eval）に転換されるか、研究チームとつなげられ、数か月後に再検討できるのであれば、それを成功とみなしている。そうした直感を養うには、早い段階から作ってみる必要がある。

シッパーは、その逆の失敗を「能力盲目（capability blindness）」と呼んだ。一度試しただけで、再試行も評価の作成もせず、モデルにはそれが決してできないと思い込んでしまう。そして3か月後、モデルが予想外の形で改善される。シッパーは会場にアンケートを取った。Fableを使ったことがある人は多く、Astraを使ったことがある人はそれより少なかった。シッパーは、モデルにはこれができないと言う人に会うと、最後に試したのはSonnet 4.5のような古いモデルだったと認めることがよくあると語った。ヴォラはこれを自身のテーマに結びつけた。すべてを捨てる覚悟がなければ、直近に起きたことが永遠に正しいままだと思い込んでしまう。

シッパーは、Anthropic、OpenAI、そして自分の会社のいずれもが、成功した実験をメインのプロダクトに統合し直すという問題に直面していると指摘した。選択肢としては、タブを追加する方法があるが、そうするとそれぞれ少しずつ動作の異なるタブが大量にできてしまう。あるいは、統合されることのない別アプリとして残す方法もある。誰もまだ答えを確立できていないようだ。

ヴォラは「何のことを言っているのか分からない」と冗談を言った後、まだ完全には解決できていないと認めた。ヴォラの答えの一部は、再びプリミティブの話に戻った。ユーザーは、あまり深く考えずに使い始められることを期待している。ツールを山ほど渡して選ばせることで、ユーザーに認知的な負担を押し付けるのは簡単だ。目指すのは、システムがユーザーを理解できるようにするプリミティブと、常に親しみやすく感じられるUIであり、それを人々の反応に応じて反復的に磨いていくことだ。

クリーガーは、タブの利用が強いべき乗則に従っていたInstagramでの経験を引き合いに出した。メインのフィードが利用の約80％を占めており、発見タブを改善しても10％から15％に上がる程度かもしれない。クリーガーは、どのプロダクトもメインのタブは何か、それをどう素晴らしいものにするかという同じ問いに直面し、その体験がほかの機能への入り口として機能するようになると予想している。クリーガーは、仕事の半分は、サイドバーの項目やタブをまた一つ追加することにノーと言うこと、そして早すぎる段階で打ち切ることなく、実証された後にそれを統合できるかどうかを見極めることだと語った。物事がこれほど速く動く中では、それこそが「プロダクト開発の技のすべて」だという。

来年また登壇するとしたら何が変わっているかと問われ、ヴォラは、人々がはるかに多くのことをできると感じられるようになっていることを願った。思いどおりに作り、必要なときに答えを得て、事業を始められるようになることだ。小規模なチームや個人の作り手が増えることを期待し、作り手は、ツールを直接使うことのない多くの人々に対してもインパクトを拡大するのだと語った。

クリーガーは、モデルにできることと、大半の人がモデルを使っている用途との間のギャップに焦点を当てた。クリーガーは、このギャップはユーザーのせいではなく、より優れたプロダクトによってそれを埋めるのはAnthropicの責任だと語った。2024年にはそれが難しく、昨年はさらに難しくなり、今はなおいっそう難しくなりつつあるという。このギャップを埋めることは、民主化につながる。完全に機能するマルチエージェント環境は、もはや最も「Claudeにどっぷりはまった」ソフトウェアエンジニアだけのものではなくなる。並行してリサーチを進める人や、自分の事業を運営する人にも届くようになる。課題は、そうした人々が構成要素を理解し、適切なタイミングで状況を確認し、長期にわたる作業を「無力感を覚えさせない形で」こなせるよう手助けすることだ。クリーガーはそれを「技（art）」と呼び、1年後の成功とは、このギャップが埋まりつつある状態のことだと語った。