AIエンジニアの面接対策
「新しい推薦モデルの効果をどう確かめますか」|A/B テスト設計の面接対策
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
モデルをオフラインで評価して良い結果が出ても、本当に業務の数字が良くなるかは、本番で比べてみないと分かりません。そのため、推薦・検索・広告などを扱う会社の面接では、「新しいモデルの効果をどう確かめますか」という形で A/B テストの設計がよく出ます。
統計の公式を覚えているかより、何を比べ、誰をどう分け、どれだけの期間やり、結果をどう判断するかを、筋道を立てて説明できるかが見られます。この記事では、面接の進め方の順に解説します。
問題の例
EC サイトの商品ページにある「この商品を見た人はこんな商品も見ています」の推薦を、新しいモデルに置き換えたい。オフラインの評価では、Recall@10 が今のモデルより15%高い。本番での効果をどう確かめますか。
1. 聞き返すこと
| 聞くこと | なぜ聞くか |
|---|---|
| この推薦で最終的に増やしたいものは何か(売上、購入数、回遊) | 主な指標を決めるため |
| 1日の訪問者数と、推薦枠が表示される数 | 必要な期間を見積もるため |
| 今の購入率などの基準の値と、そのばらつき | 必要なサンプル数を計算するため |
| 悪くなってはいけないもの(表示速度、返品率、他の枠の売上) | 守る指標(ガードレール)を決めるため |
| ログインしていない利用者の割合 | 割り当ての単位を決めるため |
| 同時に動いている他のテスト | 干渉を避けるため |
| 曜日や季節、セールの予定 | 期間の設計のため |
「Recall@10 が15%高い」ことが業務の数字にどれくらいつながるかは分からない、という前提を最初に確かめておくと、話の筋が通ります。
2. テストの構成
指標を決める
指標は、役割ごとに3種類に分けて決めます。
- 主な指標:1つに絞る。例えば「訪問者あたりの購入額」。複数にすると、どれかが偶然良くなっただけで「効果あり」と判断してしまう
- 補助の指標:推薦枠のクリック率、推薦経由の購入数。効果の理由を説明するために見る
- ガードレールの指標:ページの表示時間、エラー率、返品率。悪くなっていないことを確かめる
推薦枠のクリック率だけを主な指標にすると、クリックはされるが買われない商品を推すモデルが勝ってしまうことがある、と添えると良いです。
割り当ての単位を決める
ページの表示ごとにランダムに分けると、同じ人が両方の推薦を見るので、効果が混ざります。通常は利用者の単位(ログイン ID、なければ Cookie)で分けます。ID をハッシュ化して割り当てると、同じ人は何度来ても同じ群に入ります。
ただし、分析の単位が割り当ての単位と違う場合(利用者で分けて、ページ表示あたりのクリック率を見る場合)は、同じ人の表示が互いに似ているので、普通の計算では誤差を小さく見積もります。デルタ法やブートストラップで利用者単位の誤差を計算する、と答えられると深い理解が伝わります。
サンプル数と期間を見積もる
必要なサンプル数は、次の4つで決まります。
- 基準の値とばらつき(今の購入率など)
- 検出したい最小の効果(例えば訪問者あたり購入額の1%の改善)
- 有意水準(通常5%)
- 検出力(通常80%)
検出したい効果を半分にすると、必要なサンプル数はおよそ4倍になります。この関係を言えると、「どこまで小さい効果を測る価値があるか」を議論できます。
期間は、計算したサンプル数に届く日数を出したうえで、曜日の影響をならすために最低1〜2週間(週の単位)にすると答えます。
開始前に確かめること
- A/A テスト:同じものを2群に出して差が出ないかを確かめ、割り当てと集計の仕組みが正しいか確かめる
- 割り当ての比率の確認:50:50 で分けたのに、実際の人数が 50.8:49.2 のようにずれていたら(sample ratio mismatch)、どこかで利用者が抜け落ちている。結果を信じる前に原因を調べる
3. 深掘りの質問と答え方
「途中で結果を見て、有意になったら止めてもいいですか」
だめです。毎日結果を見て、有意になった時点で止めると、効果がなくても「効果あり」と判断する確率が5%より大きくなります。期間を事前に決めて最後に1回判断するか、途中で見ることを前提にした逐次検定の方法を使う、と答えます。
「主な指標は変わらず、補助の指標だけ良くなりました」
主な指標で効果が確かめられなかったので、原則として「効果は確認できなかった」と判断します。補助の指標の改善は、次のテストの仮説として扱います。指標をたくさん見るほど、偶然良くなる指標が出ることも説明します。
「新しいモデルは最初だけ良く見えるのでは」
新しいものに反応する効果(新奇性効果)や、逆に慣れるまで反応が鈍る効果があります。日ごとの効果の推移を見て、最初の数日だけ差が大きくないかを確かめる、期間を延ばす、新規の利用者だけで比べる、と答えます。
「推薦が売上に効くまで時間がかかる場合は」
購入まで日数がかかる商品なら、テスト期間の後もしばらく購入を追います。長期の指標を直接待てない場合は、長期の指標と関係の強い短期の指標(カートへの追加など)を、過去のデータで確かめたうえで使う、と答えます。
「利用者どうしが影響し合う場合は」
フリマやマッチングのように、片方の群の行動がもう片方に影響するサービスでは、利用者の単位で分けても効果が混ざります。地域や時間帯の単位で分ける、交互に切り替える、などの方法を挙げます。
「テストの数が足りず、何週間もかかります」
ばらつきを減らす工夫を答えます。テスト前の同じ指標を使って補正する方法(CUPED)で、必要なサンプル数を減らせます。ランキングの比較なら、2つのモデルの結果を1つの一覧に混ぜて出し、どちらの結果がクリックされたかで比べる interleaving も、少ない人数で差を見つけやすい方法です。
4. 面接官が見ていること
- 主な指標を1つに絞り、ガードレールを置いたか
- 割り当ての単位と分析の単位の違いを意識しているか
- サンプル数と期間を、事前に根拠を持って決めたか
- 途中で結果を見る問題や、比率のずれなど、結果を信じる前に確かめることを知っているか
- 結果が割れたときに、都合の良い解釈をしないか
実務で A/B テストを設計した経験があれば、「事前に決めたこと」と「結果をどう判断したか」をセットで話してください。効果が出なかったテストの話でも、判断の過程が筋道立っていれば十分に評価されます。
まとめ
- 指標は主な指標・補助の指標・ガードレールに分け、主な指標は1つに絞る
- 割り当ては利用者の単位で行い、分析の単位とのずれに気をつける
- サンプル数と期間は事前に決め、途中で止めない
- 比率のずれや新奇性効果など、結果を信じる前の確認を話せるようにする
推薦や検索の仕事で、A/B テストの経験を職務経歴書にどう書くか迷ったときは、ジンベイ AIタレントで相談を受け付けています。
