San Franciscoで開催されたThe Pragmatic Summit に参加してきた．
Pragmatic Engineeringは元UberのEMのGergely Oroszによるエンジニアでは最も有名なニュースレターの一つ．毎週業界の流れやテクノロジー関連のニュース，各社のリーダーや開発者たちへのインタビューが配信されている．今回のSummitはこのニュースレターでこれまで扱われてきたトピック，登場した人らを中心とした初のカンファレンス．
Open AIやLinear，Cloudflare, DX, Ramp, TemporalのCTO/VP，Martin FowlerやKent Beck，そしてEntire/ex-GitHubのThomas DohmkeといったAI Nativeの先端にいる・これまで業界を率いてき人らによるセッションを聞くことができとても刺激的だった．自分の考えや戦略の方向性がより強化されたところもあれば，危機感を持って根本的に考えを改めないといけないな思わされることも多くあり，非常に学びがあった．以下は，それぞれのセッションのまとめというよりかは全体を通じたまとめ．
Organization
これまでも言われてたいたが，ミドル・マネージメント層がなくなり，スパン・オブ・コントロールの拡大と組織のフラット化が進んでいる．セッションの中で聞いて驚いたのはOpen AIのHead of Engineeringが直接のレポートとして30+名を見てるという例．またハンズ・オフのリーダーももはや通用しないということは何度も言われており，リーダーはより現場に近くなっている (例えばAI以前からコードを書いていたEMのPRの数は5倍に増えているとか)．フラット化は，情報の集約や伝達，進捗管理などはどんどんAIにより効率化されてることだけではなく，意思決定の分散化やリーダー含めてより実行に重きが置かれるようになったことが大きそう．マネージメント側はこれまで通りのキャリアパスを考えていることの危険性も言われていた．
「ジュニア不要論」に対する明確な反論が複数セッションで出た．AI初期などはインターン含めて採用を見送る企業が増えたが，むしろ積極的な採用に向かってるようにも見えた (具体的にインターンや新卒の採用を増やす例もあった)．特に今の世代は現役世代よりも圧倒的に上手くAIを使いこなし成果を出してる．また，インターンの積極性によってメンターやそのマネージメントがむしろ触発されてAIをさらに使うようになったという例も聞いた．むしろAI利用に積極的ではなくプロダクトマインドも薄いミドル層の危機が言われていた．
AIと組織でユニークだなと思ったのは，ex-GitHub CEOのThomas Dohmkeが始めたEntire (プロダクト自体も面白いがこれに関しては下で解説する)．オフィス回帰とは逆行していて，むしろフルリモートの世界分散チーム / Follow-the-sun on-callを実施してる．エージェントがコードレビュー・ブレインストーミング・リサーチの常時利用可能なパートナーとして孤独なリモートワーカーを支えており，オフィス勤務の優位性を相殺してるということを言っていた．
あと別途挙がっていたのは，トークン消費と人件費に関して．生産性が上がるほどトークンのコストは増加していき，ハイパフォーマーほど制限をかけられる危険性もある．OpenAIなどは無限に使えるだろうが多くの企業はコストの制限がかかる．トークンコストはスタートアップではランウェイが短くなる問題として現れ、大企業では既存の予算管理プロセス（固定人件費ベース）と根本的に合わないので，この辺の考え方も変えていく必要もある．
New Bottlenecks
AI エージェントによるコード生成が高速化した結果，ボトルネックはコーディングからその左右で発生している．左は計画や仕様の策定，そして右はコードレビューとCI/CD．右でいうと週末にAgentが大量に生成したコードを週明けにレビューしないといけないという悪夢が現実になりつつあるみたいな話も出ていた．
これらのボトルネックによりAIによる組織全体の生産性も頭打ちになっているという実際のデータもDXのCTO Laura Tachoから共有された．具体のデータとして，「AI利用による時間節約は週約4時間で推移し，劇的には変化していない」「オンボーディング時間は10PR到達までほぼ半減したが，そこから先は大きく変わらない」などが象徴的だった．これらは，元々の組織とシステムにあるボトルネックによって制限されてるにすぎず (AIによって増幅されてるとも言える)，それらを解決しないと更なる改善は期待できない．
コードの右のボトルネックに関しては，「今こそDeveloper Experience (DX) の改善が重要になってる」ということがいくつかのセッションで言われた．特にMartin Fowlerが言っていた「DXとAX (Agent Experience)でベン図を書いたら多くが一致する」，と言ってたのはまさにそうで，DXの悪さは AXも悪さに直結する．例えば，ローカル開発環境のセットアップとローカルでのテストを人間が簡単にできなかったら，AIもできない．CI/CDが遅かったら，AIだろうと人間だろうとデリバリーのスピードは落ちる．モジュラーなコード，良いテスト，優れたドキュメンテーションは人間にもエージェントにも有効になる．これらをしっかり整備することに投資するのは全体としての生産性の向上としてとても重要になる．
一方でDXの改善はこれまでの延長的な考えであって，根本的に考えやアプローチを変えていけないところもいくつかある．
New Approaches
Accountability Shift
AI Agentが大量のコードを生成しまくっていくと，それらを全て人間がチェックするのは現実的ではなくなる．人間の責任は「コードレビューでコードの良し悪しを判断する」から「成果物の検証」方向に比重が移っていく．現状では未だにレビューは非常に重要であることは確認されつつも，いくつかのセッションで「テストコードのレビューを重視」「入力と出力を定義・テストし，中間のブラックボックスは許容する」といったアプローチも聞かれた．また「UIなど変化が速い部分ではAI生成コードのレビューを省略する」一方で，「プラットフォーム層など他のエンジニアが使うコードについてはメンテナンス性を重視するためにレビューを厳密に行う」といったことも言われており，この辺は自分の考えと同じだった．
より将来的には抽象度はさらに上がり「テストが通ればOK」ではなく，セキュリティ・信頼性・パフォーマンスといったシステム特性 (Property) をガードレールとして定義し，それで正しさを保証するモデルに移行し，人間の役割は「コードを読む」から「特性と制約を定義する」に変わっていくだろうという予測もあった．一方で抽象化の変化速度自体が急加速しており，十分に複雑なシステムはコードレベルのデバッグが不可能になる．従来の「コードを読んで原因を特定する」デバッグから，症状とシステム特性に基づくデバッグへの移行が不可避になりつつある．そのためレビューだけでなく，障害対応やインシデントレスポンスのあり方も根本的に変えることを意味する．
Intent as Source of Truth
さらにAI Agentがコードを書く世界が進むと，最大のフリクションは「コードを読むこと」ではなくて，「意思決定とそのコンテキストを理解すること/復元すること」になる．現在でも，書いた本人の記憶や，PRの議論，散在するドキュメント，コミュニケーションベースでなんとか復元はできる．AI Agentによるコーディングでは，多くの意思決定や試行錯誤，Agentに与えた制約などはセッションを閉じると容易に失われる．GitはWHATは保存できるが，WHYは残らない．Agentが大量にコードを生成すればするほどこれらのコンテキストはどんどん失われる．共通のコンテキストがないと複数のAgentが協調するのも難しくなり，無駄にトークンを消費して同じような推論を繰り返すことになる．人間同士のコミュケーションを前提に作られたプロセスも人間とAgent，AgnetとAgentを前提に変えていく必要がある．
このような課題に取り組むために出てきたのがEntireによるCheckpoints．Checkpointsはプロンプト・Intent・推論過程をコミットに紐づくfirst-classメタデータとして記録する．開発者のIntentをリポジトリに埋め込み，意思決定の軌跡を再実行可能かつチーム内で共有可能にすることで，制度的知識を人間とエージェントの双方がナビゲートできるシステムにする．この方向が進むとコードレビューもIntentを評価・再実行・反復するプロセスに変わっていく．マージのコンフリクトをコードのdiffで解決する代わりに，Intentを再実行する「Intent replay」が可能になり，同一ブランチで複数人が作業する際にエージェントが検知して共同セッションに誘導する可能性も紹介されていた．
この「Accountability Shitt」と「Intent」という2つの転換は互いに補完し合う関係でもある．検証の枠組みが整っているからこそ，事後的にその「Intent」が正しかどうかを確認することができるようになる．
Others
それ以外で面白かった話をいくつか
- PMやデザイナーがコードを書きPRを送ることはもはや驚きではなくなっておりむしろ歓迎になっている．Flintでは元Netflixデザインヘッドが週5-6本のPRを出してるとか
- 「人間が使うプロダクトを作る限り人間のデザイナーは必須」「プロセスやクリエイティビティなしに多くのアイデアをエージェントに投げるようになると機能過多の醜い製品になるので，プロダクトマネジメントとデザインの重要性は増す」
- ある機能の開発を複数同時に走らせて結果を比較するアプローチも取っている (これは無限にトークンを使えるところじゃないと厳しいね)
- 2026年最大のインパクトはエンジニアリング組織内のAI活用ではなく組織全体のCitizen Developerになりうるという話．その場合はますますセキュリティは重要になる．新たなトレーニングだけではなく，容易にアイディアを実装・デプロイできる基盤および， (どれだけ変なことされても影響を減らせるように) より厳密な隔離が可能なSandboxインフラの整備も重要になる
- Tech debtの扱いに関してもより上手く使えるようになるのではという話もあった．例えば作り替えのコスト自体が減っているので取れるの選択肢自体が変わっている．
- AI ROIに関して．Pilot→production→profitの急激なドロップオフが確認されていて「AIを直接的にP&L成果に直接結びつけるのは現段階では極めて困難ということも議論として出ていた
- 自然言語がメインになった時に英語が母語でない人に取ってはその難しさは高まるだろうし，語彙の少ないプログラミング言語と比べても意図のブレは多く発生する可能性はある．多言語・多文化チームでの自然言語ベースの開発プロセスに関しては課題として残りそう．
Usecase of AI Agent
いくつか面白かったAI Agent活用事例
- 週次アナリティクスレビューではダッシュボードで答えが出ない質問をすぐにCodexスレッドに投げ，会議の最後の10分で5〜6件の回答を確認する (OpenAI)
- Bug Bashの結果をCodexでNotion docに集約→Linearチケット化→全員にアサイン→フォローアップまで自動化している (OpenAI)
- モデルに環境とスキルを与えて数時間のQAループを夜間実行させ結果のPDFレポートを自動生成させている (OpenAI)
- 常時約4つのClaude Codeエージェントを並行実行しており，スタンドアップなどでは「主タスクはABC，バックグラウンドでXYZ」といった報告をするようになっている (Flint)
- セールスコール録音が自動でSlackに要約付き投稿され，エンジニアが即座にClaude Codeでバグ修正をキックオフする．朝8時のバグが11時には修正される (Flint)
Summary
今は「Explore mode」にあり，AIツールの確立されたベストプラクティスはまだ存在しない．また誰も答えを持っておらず，答えは週ごとに変わる．この環境では，既知の解を適用する能力よりも積極的に検証することが価値になる．Kent Beckが「自分のskepticismに対してもskepticalであること」 (curiosityとskepticismのバランス) 言っていたが，それこそが変化を見極めるのに重要になるなと．