Anthropic初のテクニカルPMが語る、評価（eval）、創発的能力、そしてプロダクトの判断力が今も重要な理由

ラチツキー氏はまず、Anthropicが最初のモデルをリリースした当時、同社がいかに絶望的に見えたかを振り返った。OpenAIがはるかに先を行っているように思えたのだ。ペン氏によれば、今日のAnthropicを支えるものの多くは2023年の時点ですでに存在していた。当時のプロダクトエンジニアは5人で、API事業全体をエンジニア1人が担当していた。ペン氏の目を引いたのは文化だった。同社はミッションと価値観について「本当に有言実行している」うえに、スタートアップらしい活気があった。一方でAnthropicは、まだ自らのアイデンティティを模索していた。技術はあったが、それがユーザーや社会にとってどのような価値を生むのかは明確ではなかった。同社はチャットアシスタントの一つであるClaude.aiから始め、徐々にツール利用などの領域へと進んでいった。

ペン氏は、会社が「調子をつかみ始めた」瞬間の一つとしてGolden Gate Claudeを挙げた。2024年初頭、Anthropicは解釈可能性（interpretability）に関する研究を発表し、モデルの内部に、箇条書きで書くこと、人や場所、あるいはゴールデンゲートブリッジといったテーマに対応する「特徴（feature）」が存在することを示した。研究者たちがゴールデンゲートブリッジの特徴を強めると、Claudeはこの橋に夢中になった。スパゲッティのレシピを尋ねると、ソースのオレンジ色が橋のインターナショナルオレンジに似ていると指摘するのだ。エンジニアリング、プロダクト、デザイン、リサーチの各チームが協力し、この体験を24時間以内にClaude.aiに載せ、公開期間はおよそ1日だった。ペン氏は、届いたのはおそらく2,000人程度だったかもしれないと認める。それでもペン氏はこれを「隠れた転換点」と呼んだ。Anthropicの研究に根ざした本物のユーザー体験であり、競合他社が提供するものとは異なり、しかもスタートアップのスピードで出荷できることを示したからだ。ペン氏はまた、このプロジェクトがボトムアップだったことを強調した。エンジニアやデザイナーが自らの時間を割いて取り組んだのである。その文化は今も変わっていないとペン氏は言う。

大きな転換点について問われたペン氏は、まずClaude 3 Opusの学習とテストを挙げた。当時の社員数は200人未満で、ユーザーに届くためにも、研究成果を示すためにも、フロンティアモデルが必要であることは明らかになっていた。外部から繰り返し投げかけられたのは「なぜClaudeを選ぶべきなのか？」という問いだった。このモデルは、推論、事前学習、ファインチューニング、研究にわたる数か月の作業を経て、2024年3月初旬にリリースされた。ペン氏は、12月頃にリサーチリードたちと行ったビデオ通話を覚えている。全員が実家にいて、子どもの頃の寝室を背景に、モデルが意図したとおりに仕上がっているかを懸命に確認していた。ペン氏によれば、その数か月で築かれた信頼が、今もプロダクトとリサーチの協働のあり方を形作っている。当時のリサーチリードの何人かは、現在、強化学習、キャラクター、アライメントの分野を率いている。

二つ目の転換点は、コーディングが重要だと気づいたことだ。「私が入社した2023年には、AnthropicやClaudeとコーディングを同じ文脈で語る人は誰もいませんでした」とペン氏は言う。GPT-4のような競合モデルもコーディングに使われてはいたが、多くのユースケースの一つにすぎなかった。ペン氏は、人々がモデルを単なる自動補完ではなく、長いコードを書くために使い始めていることに気づき、Opus 3をその点で優れたものにするよう学習させる好機だと考えた。ペン氏はこれを、学習の観点からは比較的小さな変更だったと説明する。しかしそれは早い段階でClaudeを差別化し、熱心な開発者の最初の波を引きつけた。Claudeが、彼らがまだ可能だと思っていなかった価値を提供したからである。

ラチツキー氏は、今となってはOpus 3は控えめに見えると指摘し、約1年後、やはり冬休みの時期、「みんなが家にいてコードを書けるとき」に登場したClaude Opus 4.5の話題を持ち出した。ペン氏も、それがもう一つの大きな瞬間だったと同意した。今回違ったのは、モデルに乗り物があったことだとペン氏は言う。Claude Codeである。チームがよく使うフレーズに、フロンティアモデルの魔法を人々に感じてもらうにはフロンティアプロダクトが必要だ、というものがある。社内では、チームは何か月も前からClaude Codeの魔法を感じていた。Opus 4.5でモデルの知能があるレベルに達し、幅広いユーザーがエージェント的にエンドツーエンドで物事を実行できるようになった。ペン氏は両者を相互依存的なものと捉えている。Claude CodeがなければOpus 4.5はあのような瞬間を迎えなかっただろうし、Opus 4.5がなければClaude Codeの普及はあれほど加速しなかっただろう。

ラチツキー氏は、ダリオ・アモデイ氏がAIが事実上すべてのコードを書くようになると予測していたことに触れた。多くの人はそれを一蹴したが、ラチツキー氏の見方では、アモデイ氏は正しかった。アモデイ氏は現在、業界は指数関数曲線の急勾配の部分にいると述べている。ラチツキー氏は、それが内側からどう感じられるのか、そして人々はどう備えるべきかを尋ねた。

ペン氏はこの瞬間を、インターネットが目新しいものから誰もが使うものへと移行した時期になぞらえた。現在のチームの大半は、その移行を働き手として経験していなかった。ペン氏はそこから二つの教訓を引き出す。一つ目は適応力だ。Anthropicには評価、安全性テスト、レッドチーミング、新しいプロトタイプがあるが、それでも特定の能力がいつ、どのモデルで現れるかを正確に予測するのは非常に難しい。だからこそ重要なスキルは、当初の計画に固執するのではなく、新しい情報が入ってきたときにより良い判断を下すことだ。二つ目は、「それで何が変わるのか」を第一原理から考えることだ。どの新しいプロダクトに投資するか、そしてその違いをユーザーにどう説明するか。実際には、チームが数か月後に実行するつもりだった計画が、新しいモデルがすでにそれをこなせるために前倒しになることがある。ペン氏はCowork、Skills、Tagをその例として挙げ、これを好循環の自己強化ループと呼んだ。ペン氏はより柔らかい要件も挙げた。指数関数的な変化を他のチームより早く感じるチームもあるため、成長する組織には全員を巻き込むための信頼と「寛容さ」が必要だという。

ペン氏はこの予測不可能性を、初期のスケーリング則の論文と結びつけた。多くの人は、計算量とデータが増えるにつれて次トークン予測の損失が滑らかに下がっていく曲線でこれらの論文を知っている。しかし論文には、不連続に跳ね上がる創発的能力のグラフも含まれている。モデルが1足す1を計算できない状態から、確実に計算できる状態へと変わるのだ。ペン氏によれば、この予測可能性の欠如は、常にこの技術の仕組みの一部だった。そしてそれは安全性を難しくしている要因の一部でもある。それを検証するための評価やシステムがなければ、こうした飛躍が誰にも気づかれないまま起こりうるからだ。

ペン氏はこれをPMの言葉で「プロダクト・オーバーハングとユーザー・オーバーハング」と表現した。現在のOpusモデルやFableを含む今日のモデルでさえ、これまでに探索されてきたよりはるかに多くのことができる。そうした能力を発見することは、最初からAnthropicのDNAの一部であり、プロダクト、Labs、リサーチの運営において今も中心的なものだとペン氏は言う。

ラチツキー氏は、ギャリー・タン氏の主張を持ち出した。今、トークンに年間10万ドルを費やす覚悟があるなら、その計算資源が安くなる2028年の人の暮らし方を先取りしていることになる、というものだ。ペン氏はこの考えにプロダクトの観点からアプローチした。トークンの支出はインプットである。本当に望む成果は実験であり、実験を軸に目標を設定すれば、そこに到達する方法は他にもあるかもしれない。一方でペン氏は、Anthropic社内で最も創造的な思考の持ち主や最も優れたプロトタイパーたちが、Claudeの新しいリサーチ版のすべてに多くの時間を費やしていることには同意した。「良いアイデア、素晴らしいアイデア、さらに優れたアイデアを生み出すには、モデルを使わなければなりません。それに代わるものはありません」。技術がこれほどの速さで進んでいる中で、それに触れずに強力な戦略を書くのは非常に難しいとペン氏は主張した。

ペン氏が主に付け加えたのは、実験は一人で行うものであるべきではないということだ。Anthropicのプロダクトサーフェスがまだ少なかった初期、あるSlackチャンネルで、ほぼ全社員がClaudeの初期バージョンを公開の場でテストできた。人々はそれを「ユースケース」と呼ぶこともなく、エッセイの編集やメールの下書きを頼んでいた。ペン氏が目にしたのは、ほとんど魔法のような現象だった。ある人がアイデアを試すと、他の人がそのバリエーションを試し、10回ほどのリクエストのうちに新しいユースケースが生まれるのだ。「実験は必ずしも個人競技ではありません」とペン氏は言い、業界はそうした共有型の発見をもっと促進できるのではないかと提案した。長文の執筆のような幅広い能力は知られている。それを特定のユーザーの課題に対する答えに変えるには、探索が必要なのだ。

ペン氏はLabsを、ベン・マン氏やマイク・クリーガー氏を卒業生やメンバーに持つグループであり、コアのロードマップに収まらないかもしれない「不連続な大きな賭け」の糸をたぐるグループだと説明した。Labsが問うのは、そこに「何かがあるのか」、そしてもしあるなら、その10倍、100倍、あるいは1,000倍のバージョンはどのようなものか、ということだ。Claude Code、Skills、MCP、そして最近ではClaude Designが、このモデルから生まれた。

ペン氏によれば、今年のアプローチは、テーマや領域については強い意見を持ち、具体的なプロトタイプについては弱い意見を持つことだ。エンジニアは自発的で、ボトムアップでアイデアを試す。チームがまだうまくいかない仮説を持っていて、1〜2世代後のモデルで再び取り組むこともある。学びしか生まなかったプロトタイプも価値あるものとみなされ、それによってLabsは会社の他の部分のために「角の先を見通す」ことができる。

Labsがうまくいっている理由を問われたペン氏は、文化、アイデアの10倍や100倍のバージョンを考えさせるベン・マン氏のビジョンと推進力、そして小さなポッドを挙げた。たった1人のエンジニアから始まるアイデアもある。ペン氏は、非常に曖昧なアイデアを追う大きなチームは遅くなりがちだと考えている。Labsはまた、ゼロからイチを生み出す仕事をしたい人を選んでいる。ペン氏はこれが難しいことも認めた。チームは多くの賭けを却下したり打ち切ったりしており、心血を注いだ後で「ある賭けの創業者として振る舞っているのに、それがまだうまくいっていない」という状態になるからだ。

ラチツキー氏は、研究者についての自らのメンタルモデルを示した。仮説を立て、データを見つけ、アルゴリズムと学習を調整し、テストし、反復する。ペン氏は、それは日々の仕事をよく表していると言う。しかし優れた研究者は、「非常に創業者的なエネルギー」を伴う長期的なビジョンも持っている。会社が設立された時点ですでに、研究者たちはAIがどのようにコンピューターを使い、画面を操作できるかを問うていた。リサーチは二つのループで動いている。技術がどこまで行けるかについての中長期的な視点と、人々がすでに使っているClaudeの短期的な改善だ。

ペン氏のチームは、ユーザーが最も影響を感じる場所でそのループに入り込んでいる。ビジョン、コンピューター操作、コーディングとエージェント型コーディング、ツール利用、テスト時計算である。仕事の大きな部分であり、時に最も難しい部分は、ユーザーのフィードバックを研究者が行動に移せるものに変えることだ。「Claudeがハルシネーションを起こした」では、研究者に渡すには曖昧すぎる。そこでチームは、ユーザーが共有に同意したフィードバックの背後にあるトラジェクトリを調べる。Claudeは自らの知識から答えるのではなく、ツールを呼び出すべきだったのか？ それならツール利用の失敗だ。正しい文書を見ていたのに、間違った事実を抜き出したのか？ それなら検索と統合の問題だ。それともアライメントの問題なのか？ そのうえでチームは、その問題が優先するに値するほど大きいかを判断し、改善したかどうかを示せる評価を構築する。ペン氏はこれを、研究者の日常の言葉を学び、ユーザーとモデル学習の距離を縮めることだと説明した。

ペン氏によれば、Anthropicで最も成功している研究者や研究リーダーは、第一原理から考える力が強く、自分の領域に情熱を持ち、それが何になりうるかの大胆なビジョンを語ることができ、かつ細部の近くにいる人たちだ。ペン氏によると、チーフサイエンティストやファインチューニング、RLの責任者は、学習の実行、評価、そして基礎となるデータを直接見ている。細部を楽しむ研究者はセンスを育てる。そして彼らは長い時間軸で大きく考えもする。ペン氏が例に挙げたのは、ソフトウェアエンジニアリングは変革されうるというダリオ・アモデイ氏の信念だった。ペン氏の考えでは、星を目指すことで多くのことを学べる。

ラチツキー氏は、最近「もっと野心的になれ」という言葉をよく耳にするが、そのアドバイスを実行に移すのは難しいと指摘した。ペン氏は、それを地に足のついたものにすることを提案した。アイデアを一度か二度、エンドツーエンドで考え抜き、領域についてはこだわりを持ち、アプローチについては柔軟でいること。ペン氏がよくチームに投げかける問いがある。「仮にClaude 8が登場したとしましょう。ユーザーがすることの何が変わりますか？」 そしてそれは、今日作っているものにとって何を意味するのか？ それはその未来と前方互換性があるのか？

ラチツキー氏は、Fableのリリース（同氏はMythosとも呼んだ）が、モデルを全員に向けてリリースするという従来のパターンを破ったと述べた。それは精査を受け、アクセスが制限され、企業は自社のシステムに侵入できないことを確認しなければならなかった。ペン氏は、政策や輸出管理についてはそれを担当する人々に委ね、プロダクトの側面についてのみ語った。フロンティアモデルの能力が高まるにつれ、セーフガード、レッドチーミング、リリース前のプロセスは急速に進化しなければならない。目標は、技術の便益がリスクを明確に上回るようにし、深刻な悪影響を最小限に抑えることだ。Fable以前、チームには強力なフォールバックのUXやシステムがなかった。現在では、リクエストがブロックされても、ユーザーはOpusモデルから良い応答を得ることができる。ペン氏は、安全性とユーザー体験の両面でまだやるべきことがあり、Anthropicは現在「モデルセーフガードパッケージ」と呼んでいるものを今後数週間から数か月で改善していくと述べた。

ラチツキー氏は、アクセス制限がラボやアクセスを持つ一部の企業に不公平な優位性をもたらしうると示唆した。ペン氏は、Anthropicの目標はこうしたシステムをできるだけ包摂的なものにし、汎用技術においてそのような結果を避けることであり、それを減らすことが現在同社の最優先事項の一つだと述べた。

採用がどう変わったかを問われたペン氏は、チームは3年間PMの採用プロセスを変えていないと答えた。最も重要な資質は今も第一原理思考だ。つまり、コンシューマー向けやB2B SaaSからのパターンマッチングではなく、このユーザー層にとって、この技術で、今、何がユーザー価値を生むのかを突き詰めることである。

ペン氏が第一原理思考の例として挙げたのは、チームの合言葉「評価は新しいPRDである」だ。PMはプロダクト戦略とユーザー価値を担う。従来、PMはそれをPRDやビジョン文書で表現してきた。リサーチPMにとって、ユーザー価値を推進する方法は、適切なユーザーフィードバックを、ユーザーのニーズを体現する評価として捉えることだ。第一原理的な一手とは、おなじみの活動を繰り返すのではなく、どの活動が実際に目標を達成するのかを問うことである。

ペン氏は、ラチツキー氏の要約をさらに精緻にした。最初のステップは今もユーザーの課題を理解することだが、それにアクセスする方法が違う。かつてのユーザーインタビューではピクセルを一つずつ確認していた。今は「ピクセルにこだわるのと同じくらい、トークンにこだわらなければならない」。チームは失敗したトラジェクトリのトランスクリプトを読み、慎重に分類する。ハルシネーションだったのか？ Claudeが過信していたのか？ そのニュアンスが課題の永続的な記述となり、それが評価になる。評価はまた「分布に沿った（on distribution）」ものである必要がある。モデルが失敗するケースと、失敗すべきでないケースの両方をカバーしなければならない。その評価はリサーチに渡され、ペン氏が挙げた仮の例で言えば、将来のOpus 5.5が文書の正しい部分を見つけ、正しく統合できるかをチームが確認できるようになる。

ペン氏によれば、チームはAnthropicでこの手法を開拓したのであり、初期の例を挙げた。Claude 2の時代、ユーザーからClaudeは指示に従うのが苦手だという不満が寄せられていた。ペン氏はユーザーに具体的な内容を尋ねた。どんな状況で、どんなプロンプトで、どんな応答だったのか。すると不満の約80%が、Claudeが正しいJSONを生成できないという意味だったことがわかった。これは重要だった。出力スキーマに従うことは、優れたエージェントであるための基本だからだ。必要なフォーマットを生成できなければ、モデルはAPIやツールを呼び出せない。チームはまず、それぞれプロンプトと「ゴールデンアンサー」を備えた失敗例を30〜40件ほど作成し、それが評価セットになった。それは評価リポジトリに入り、Claudeの新しいバージョンごとに実行されている。ペン氏によれば、現在のスコアは事実上100%、あるいは99.9%で、もはや課題ではない。プロセスはこうだ。ユーザーのフィードバックを受け取り、ユーザーが実際に何を意味しているのかを突き止め、それが一貫して再現できるか、大きな問題かを確認し、研究者が使えるように標準化する。

ラチツキー氏はこれを、PMのためのテスト駆動開発と呼んだ。ペン氏は、多くのプロダクトがモデル、ハーネス、コンテキスト、ユーザーの交差点に位置しており、「測定できないものは改善できない」ため、これはモデルチーム以外にも広がるスキルになりつつあると述べた。ペン氏は、この仕事は今も手触り感があり、判断に基づくものだと付け加えた。ラチツキー氏は、これは非決定的でもあるため、評価は完全一致テストよりも広く振る舞いを記述しなければならないと指摘した。

ペン氏によれば、PRDは今も二つの目的で重要だ。第一に、大きなグループの足並みをそろえることだ。どのモデルにもPRDがあり、それは研究者向けというよりも、増え続けるプロダクトサーフェス、エンジニアリングチーム、そして法務や安全性などのステークホルダー向けに書かれ、全員が「同じ方向に漕ぐ」ためのものだ。第二に、曖昧な機会に役立つことだ。コンピューター操作のようなものが出荷される前には、参照できるユーザーの課題の蓄積が存在しない。PRDのプロダクトビジョンの部分は、未成熟な技術をまずある層にとってうまく機能させる方法を考えるのに役立つ。ラチツキー氏は、これはOpenAIのCodexアプリの責任者がポッドキャストで語っていた内容と一致すると述べた。

中堅層やリーダーについて、ペン氏は、自ら手を動かさなければ、この技術を扱うチームをうまくマネジメントすることはできないと強く感じている。それは単にいじってみることではなく出荷することであり、PMやエンジニアと並んでトークンにこだわることを意味する。ペン氏のチームに加わる経験豊富なPMも、キャリア初期の採用者と同じオンボーディング計画を受ける。ユーザーを理解し、同意を得たフィードバックを読み、顧客と話すことだ。自分で何かを作らなければ、良いAI機能や素晴らしいAI機能がどのようなものかを見分けるのは難しいとペン氏は言う。ペン氏自身、モデルごとに1つか2つのワークストリームを担当し、モデルがどれほどの速さで改善しているかについての正確な「心の理論」を保つようにしている。

ペン氏は、それを楽しむことも必要だと付け加えた。どのレベルでも成功する可能性が最も高いのは、AIと働くことを愛し、手を動かしてエンドツーエンドで出荷し、ユーザーフィードバックを集める時間を確保している人たちだ。

ラチツキー氏は、AIを使わなければというプレッシャーに疲れを感じている人たちに何を伝えるべきかを尋ねた。ペン氏は、実験は一人で行うスポーツではないという点に立ち返った。ペン氏はClaudeの約20の本番バージョンにわたり、ほぼすべてのリサーチ版に携わってきたが、喜びの多くは他の人がユースケースを発見するのを見ることから来ていると言う。ペン氏の提案は、完璧なユースケースを一人で見つけようとする（それは仕事のように感じられ始めるかもしれない）のではなく、自分が関心を持つユースケースについて、熱意のある誰かとペアを組むことだ。ラチツキー氏は、同僚のノーム氏と行った調査に触れた。それによれば、人々は、うまく機能しないものに数多く手を広げるよりも、生活を本当に良くするいくつかのAIの使い方を深く掘り下げたときのほうが幸せだった。ペン氏も同意した。追いつけないほど多くのプロトタイプがあるため、ペン氏は1つか2つを深く掘り下げており、これを時間とエネルギーの優先順位付けの問題として捉えている。

燃え尽きについて、ペン氏はペースの感覚を伝えた。Anthropicは2024年全体で4つのモデルシリーズを出荷したが、今年は第2四半期だけでそれ以上を出荷したとペン氏は言う。この仕事はハイパフォーマンスなスポーツのように感じられることがあり、ユーザーや学習についての新しい情報をもとに重要な判断を素早く下すことになる。そして「それを一人で持続的に行える人はいません」。ペン氏はチームの功績を称えた。ローンチ前夜には、そのモデルの直接の責任者ではない人たちも夜遅くまで残ってブログ記事をレビューし、デモを改善する。ペン氏は、これをAnthropicの「ハイブマインド（集合知）」と表現した記事に言及した。そのおかげで、休暇を取っても3倍の仕事量に戻ってくるわけではないとペン氏は言う。チームが正しい判断を下してくれると信じて有給休暇を取れるのだ。ペン氏はまた、支えてくれるパートナーの存在にも触れ、AIの仕事に携わって今年で6年目になること、最初はAmazonで、現在はAnthropicで働いていることにも言及した。

ラチツキー氏は、フィオナ・ファン氏が、人々がエージェントの群れと働くようになった今、ソフトウェアエンジニアリングはより孤独に感じられると語っていたことに触れた。ペン氏は、技術が一人ひとりにより大きなレバレッジを与えるため、人々は非常に大きな事柄について判断を下していると応じた。第一原理や前提を共有する同僚は、あなたを後押ししたり異議を唱えたりして、思考を研ぎ澄ませてくれる。だからこそペン氏は、大きな組織を築くことよりもチームのインパクトに貢献することを大切にする、エゴが小さくチーム志向の人を採用している。

FableとClaude Tag（ペン氏は後者を、エージェントに任せて作業をして戻ってきてもらう方向への初期段階の転換だと説明した）に加えて、ペン氏はより以前からの使い方を挙げた。より良いマネージャーになることだ。ペン氏は『Crucial Conversations』という本を愛読しており、それに基づいたSkillを作った。このSkillは、難しい会話に臨む際に適切な詳細レベルまで踏み込めているかを確認するのに役立つ。ペン氏はこれをパーソナライズされたコーチングだと表現した。相手がどう反応しうるかをブレインストーミングし、より速く深く掘り下げ、信頼を築き、より率直になること。ペン氏はClaudeの提案を常に採用するわけではないが、そのプロセスが役立つと感じており、他のマネージャーとも共有している。

認知能力の衰えについて、ペン氏は、自分にとって考えることと書くことは密接に結びついていると述べた。個人の判断が最も重要な場面では、ペン氏はまず自分の視点を形成し、それからClaudeとともにそれを練り上げ、自分自身の感覚と語調を保つ。月次のビジネスレビューのような定型的な仕事では、書くことの価値は考えることよりはるかに小さいため、ペン氏は、現在も改良中のSkillの支援を受けながら執筆を完全にClaudeに任せ、自らはレビュアー兼検証者として振る舞いたいと考えている。判断の決め手となる問いは、その文脈でClaudeに任せることが非対称な価値をもたらすかどうかだ。

ラチツキー氏は、Claudeの憲法とアライメントへの注力が、Claudeを話し相手としてつまらなくするのではなく、むしろ面白くしているというベン・マン氏の指摘を取り上げ、報道によればOpenClawのユーザーはClaudeから切り替えることを嫌がったと述べた。ペン氏はこれを思考と結びつけた。半端なアイデアに一切反論しない同僚を望まないのと同じように、ただ同意するだけのAIは望まないはずだ。Claudeができる限り有能であるためには、適切なタイミングで反論しなければならない。ペン氏はややメタな例を挙げた。Opusのリサーチ版を使って、次のバージョンのClaudeの価格設定を決める手助けをしてもらったのだ。目指すのは、委任されたタスクをただ実行するアシスタントではなく、より良い結果である。ペン氏はこれをプロアクティブさと結びつけた。プロアクティブであるとは、予定されたことをすることではない。新しいアイデアをいつ提示すべきかを知ることであり、いつ反論すべきかを知ることもその一部だ。ペン氏によれば、目標は、Claudeとの会話を終えたときに、一人で考えていたら得られなかったより良いアイデアを持っていることであり、単に10%良いだけのアイデアではない。

ラチツキー氏は、なぜAIの文章は今もこれほど見分けがつくのかを尋ねた。ペン氏はまず、それを見分けることの目的は何か（「評価は何か？」）を問うた。ペン氏は、あるアイデアが特定の人物から生まれたものかどうかは明確であるべきだと考えている。しかし月次のビジネスレビューのようなものであれば、ペン氏はClaudeにエンドツーエンドで書いてもらって構わない。重要な問いは、誰が書いたかよりも、誰が検証し承認したかなのかもしれない。

モデルがなぜ今も見分けのつく書き方をするのかについて、ペン氏は、技術がでこぼこ（ジャギッド）だからだと述べた。モデルが優れた書き手だが弱いエージェントだった頃は、よりエージェント的にし、ツール呼び出しを上手にすることに焦点が当てられていた。エージェント的な振る舞いが改善した今、他の領域が粗い部分として表れており、文章はその一つだ。ペン氏によれば、ペン氏のチームとリサーチの両方で、Claudeの文章をより良くするための非常に活発な取り組みが行われており、語調とキャラクターは優先事項だという。文章が改善されれば、次のフロンティアはより高いプロアクティブさのようなものになるとペン氏は予想している。ラチツキー氏は、AIの文章に対する人々の不満を、飛行機のWi-Fiに文句を言うことについてのルイ・C・Kのネタになぞらえ、ペン氏も、技術を改善し続けたいと思うのは単に人間の性だと同意した。

AGIへの道のりで人間の頭脳が最も価値を持ち続けるのはどこかと問われたペン氏は、まず判断を挙げた。Anthropicは、ここ1年ほどでモデルの判断力を高める取り組みを始めている。しかしペン氏は、人間の判断とは、こうしたシステムがまだ持っていないニュアンスと経験の蓄積だと考えている。AIが作りうるものがこれほど多い中で、ラボが何を作るべきかを決めるには、粘り強さやプロアクティブさとともに、今も人間の判断が必要だ。ペン氏はこれらを、汎用的な能力を超えた振る舞いや特性と呼んだ。ペン氏はまた、専門分野の知見も挙げた。ペン氏の見方では、ソフトウェアエンジニアリングはすでに指数関数の上にあるが、生物学や生命科学のような分野はまだその底近くにある。だからこそAnthropicはClaude for scienceのような取り組みを出しているのだという。

4歳と8歳の2人の子どもに対して、ペン氏はこれまでの世代に必要だったのと同じ資質を重視している。好奇心、粘り強さ、そして自分の内なる声を育て、それを信じること。親であるペン氏に対して自分の意見をはっきり主張することも含めてだ。ラチツキー氏はこれを、過度な依存を避けるためのペン氏のアドバイスと結びつけた。どちらも自分自身の視点を守ることに帰着するからだ。ラチツキー氏は別の親から聞いたアイデアを紹介した。子どもには初期の弱いモデルを使わせ続け、苦労しなければならない状態にしておくというものだ。ペン氏は、好奇心とモンテッソーリ教育というベン・マン氏の答えが心に残っていると述べ、ペン氏の家族もモンテッソーリを選んでいると語った。

ラチツキー氏が最後に何か言いたいことはあるかと促すと、ペン氏はラチツキー氏が尋ねなかった問いを持ち出した。モデルがこれほど有能になり、エンジニアが積極的に関わるようになった今でも、PMは必要なのか？ ペン氏の答えはイエスであり、しかもより多く必要だという。ペン氏はこの役割の核心を、ユーザー中心であること、ユーザーが何を達成しようとしているのかを掘り下げること、それを実行可能な形で浮かび上がらせること、そしてそれを実現するために徹底的に取り組むことだと説明した。仕事がより技術主導になるにつれ、それを意味あるものにするには、深く掘り下げ、好奇心を持ち、非常に手を動かすことが必要だとペン氏は主張した。ラチツキー氏は、作ることが簡単になると、難しいのは何を作るか、そしてそれが良いものかどうかを判断することだと付け加えた。

ライトニングラウンドでペン氏は、親は子どもではなく大人を育てているという視点を持つ『How to Raise an Adult』と、エリック・リース氏の『Incorruptible』を薦めた。ペン氏は特に、収益と並んで文化を測定するという同書の考えに関心を持ち、それをチームの規範にどう応用するかを考えているという。最近観たものとしてはPrime Videoの『フォールアウト』を、お気に入りのプロダクトとしてはClaude Tagを挙げ、Anthropicでは社内でその複数のバージョンを使っていると述べた。ペン氏のモットーは、移民である両親がアメリカで学生だった間、最初の10年間ペン氏を育てた祖父の言葉だ。「どれだけ遠くまで行っても、常にもう一段上がある」。ペン氏は、何か新しいことや前例のないことが起こるたびに、この言葉に立ち返る。

JPモルガンでハイイールド債のトレーダーとして過ごした年月も、ペン氏に永続的な教訓を残した。トレーディングデスクで唯一の女性であり、ペン氏のような経歴を持つ唯一の人物だったペン氏は、たとえ最も下っ端であっても、最良のアイデアとそれに対する確信こそが何よりも重要だということを学んだ。現在ペン氏は、レベルや在籍年数に関係なく、素晴らしいアイデアを持つチームの誰もがそれを追求できるよう手助けしようとしている。アイデアを表に出し、それに確信を持ち、細部まで実行し切ることだ。ペン氏は最後に、リスナーにフィードバックを求めた。Anthropicのプロダクトでの高評価・低評価や、営業担当者を通じたフィードバックはペン氏のチームに届き、チームは各リサーチモデルについて好感度を綿密に追跡している。ペン氏はまた、チームが、前提を疑い、「いじくり回すハッカー精神」を持つ、好奇心旺盛で第一原理から考える人を採用中であることにも触れた。