Interviewing Engineers in the AI Era: Lessons from a Year of Rebuilding

背景

Coinbaseのマージ済みコードに占めるAI生成コードの割合は2025年Q1の5.7%から2026年Q1に約80%へ増加

エンジニアの仕事はコードをゼロから書くことから、AIへの指示・レビュー・アーキテクチャ上の誤り検出・トレードオフ判断へ移行

「構築コストがゼロに近づくと、何を作るべきかの見極め・正しさの検証・安全な出荷が律速要因になる」という社内の声

課題

従来の面接（URL短縮サービス設計など）はアーキテクチャ知識の暗記を測るもので、今やAIに聞けば1分で答えが出る

偽陽性：パターン暗記が得意な候補者が高評価を得るが実務での判断力は測れていない

偽陰性：暗記力は弱いが判断力の高い候補者が不利になる、まさにAIネイティブ環境で活躍する人材

2つの面接ラウンド間で84%の相関があり、シグナルとして冗長だった

3段階の再構築

Phase 1（2025年下期）: フロントエンド面接のパイロット

AI支援を有効化しただけでは既存の問題をAIがそのまま解いてしまった

問題自体を作り直し、プロンプトの質・出力の評価・誤り検出・反復の巧拙を見るようにした

Phase 2（2026年1月）: バックエンド面接へ拡大

既存のリポジトリでデバッグ・コードレビュー・ロールバックシナリオを扱う設問を新規開発

Phase 3（2026年3月）: 全社的なAI Fluency導入

面接の全ラウンドにAI活用の評価軸を組み込む

AI Fluencyの3軸

Usage: AIツールを適切かつ責任を持って使えるか

Application: AIが適する場面とそうでない場面を見極め、実務に効くワークフローを設計できるか

Understanding Limits: AIの限界、プライバシー・セキュリティ上の含意を理解し人間の判断で補えるか

現在測る3つのシグナル

AIを使ったシステム設計（試験導入中）：パターン暗記ではなく制約やトレードオフを見極めるテイストを測る

リーダーシップと行動面接（運用中）：AI活用の実例を具体的な行動証拠として問う

ラウンドは追加せず、既存を置き換えるか明確に異なるシグナルの場合のみ追加する原則を維持

運用体制

エンジニア・採用マネージャー・リクルーターからなる横断チームが所有し、パイロット→データ検証→展開のサイクルで継続改善

未解決の課題

半減期問題：モデルの進化が速く、今日の設問が来四半期には陳腐化しうるため四半期ごとに見直す

面接でのAI Fluencyが実務でのそれをどれだけ予測するかを45日・90日のパルスサーベイで検証中

早期ラウンドの統合やA/Bテスト、オンサイト前シグナルの導入などV2を検討中