AIエンジニアの面接対策
「本番のモデルの精度が少しずつ落ちています」|ドリフト対策の面接で聞かれること
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
機械学習のモデルは、本番に出した時点が一番良く、その後は少しずつ精度が落ちていくのが普通です。利用者の行動、商品の品ぞろえ、取引先、季節、法律の改正など、学習したときの前提が変わっていくからです。これをモデルの劣化、またはドリフトと呼びます。
MLOps エンジニアや機械学習エンジニアの面接では、「本番のモデルをどう監視し、いつ再学習しますか」という形でよく聞かれます。モデルを作るだけでなく、運用し続ける仕組みを設計できるかが見られる題材です。
よく聞かれる質問
- データのドリフトと概念のドリフトの違いは何ですか
- 本番のモデルの精度が落ちていることに、どうやって気づきますか
- 正解ラベルが3か月後にしか分からない業務では、どう監視しますか
- 再学習はどのくらいの頻度で行いますか。定期と、必要なときだけのどちらにしますか
- 再学習したモデルを本番に出すとき、何を確かめますか
答えの骨組み
まず、ドリフトの種類を分けて説明します。
| 種類 | 何が変わるか | 例 |
|---|---|---|
| データのドリフト | 入力の分布 | 新しい年代の利用者が増えた、新しいカテゴリの商品が増えた |
| 概念のドリフト | 入力と正解の関係 | 同じ行動でも、不正の手口が変わって不正かどうかの意味が変わった |
| ラベルの分布の変化 | 正解の割合 | 景気の変化で、延滞する人の割合が増えた |
データのドリフトがあっても、精度が落ちるとは限りません。モデルがうまく扱える範囲の変化なら問題ありません。逆に、概念のドリフトは入力の分布を見ているだけでは気づけません。この点をはっきり言えると、理解が深いと伝わります。
そのうえで、対策を「監視する → 原因を調べる → 再学習する → 安全に入れ替える」の流れで答えます。
深掘りの質問と答え方
「何を監視しますか」
上から順に、直接的で信頼できる指標ですが、手に入るのが遅くなります。
- 業務の指標:売上、確認担当の作業量、苦情の件数
- モデルの精度:正解ラベルが届いたものから計算する
- 予測の分布:スコアの分布、陽性と判定した割合
- 入力の分布:特徴量ごとの欠損の割合、平均、カテゴリの割合。分布の差は PSI(Population Stability Index)や KS 検定などで測る
- データの品質:件数、型、範囲の外の値
分布の差の検定は、件数が多いとごく小さな差でも「有意」になります。そのため、p 値で警告を出すと鳴りすぎます。過去の変動の幅から、業務上意味のある大きさで基準を決める、と答えると実務的です。
「正解ラベルが3か月後にしか分からない場合は」
与信や解約の予測でよくある状況です。次の組み合わせで答えます。
- 入力と予測の分布の変化を、早めの警告として使う
- 早く分かる代わりの指標を使う(延滞なら「初回の支払いの遅れ」など)
- 一部のデータだけ人が先にラベルを付け、精度を推定する
- 3か月後に精度を正式に計算し、早めの警告が正しかったかを確かめて、基準を見直す
「再学習はどのくらいの頻度で行いますか」
定期の再学習と、条件を満たしたときの再学習を組み合わせる、と答えます。
- 定期:仕組みが単純で、手順が毎回検証される。頻度は、過去のデータで「何か月前のデータで学習したモデルが、どれくらい精度が落ちるか」を測って決める
- 条件を満たしたとき:監視の指標が基準を超えたら再学習する。無駄が少ないが、条件の決め方が難しい
頻度を勘で決めるのではなく、過去のデータで劣化の速さを測ってから決める、と言えることが大事です。
「再学習で、どのデータを使いますか」
最新のデータだけにすると、まれな事例(年に一度の繁忙期など)を忘れます。全期間を使うと、古い傾向が残ります。期間を区切る、新しいデータに重みを付ける、の選択肢を示し、検証で決めると答えます。
また、モデルの判断が次の学習データに影響する問題(フィードバックループ)にも触れられると良いです。例えば、不正と判定した取引は止めるので、本当に不正だったかが分からず、その種類のデータが学習から消えます。一部をランダムに通して正解を確かめる、といった対策があります。
「再学習したモデルを本番に出すとき、何を確かめますか」
- 固定の評価データと、最新の期間のデータの両方で、今のモデル以上の精度か
- 重要な顧客の区分や、カテゴリごとに精度が落ちていないか
- 予測の分布が大きく変わっていないか(しきい値の意味が変わるため)
- 応答時間やメモリの使用量
そのうえで、本番のトラフィックを新しいモデルにも流して結果だけ記録する(シャドーデプロイ)、一部の利用者から段階的に切り替える(カナリアリリース)、すぐに前のモデルに戻せるようにしておく、と答えます。
よくある失敗
書き換える前 ドリフトを検知したら、自動で再学習して本番に出す仕組みを作ります。
自動化そのものは良いことですが、検証の工程がなく、データの障害で分布が変わった場合に、壊れたデータで学習したモデルを本番に出してしまいます。
書き換えた後 分布の変化を検知したら、まずデータの品質の問題かどうかを確かめます。品質に問題がなければ再学習し、固定の評価データと直近のデータの両方で今のモデルと比べ、基準を満たしたときだけ段階的に切り替えます。
ほかに多い失敗は、次のとおりです。
- 監視の警告が多すぎて、誰も見なくなる
- 精度だけを見て、陽性と判定する割合の変化に気づかない
- 学習時と推論時のずれ(学習時と推論時のずれ)をドリフトと取り違える
実務の経験の話し方
ドリフトの経験は、「何で気づいたか」から話すと具体的になります。
需要予測のモデルで、ある月から特定の地域だけ外れが大きくなりました。入力の分布を見ると、その地域で新しい店舗が増えていて、店舗の属性の分布が変わっていました。新店舗のデータが少ないので、近い条件の既存店のデータで補う特徴量を足し、再学習の頻度も月1回から2週に1回に変えました。
インフラや SRE の経験がある人は、監視の基準の決め方、警告の出し方、切り戻しの手順など、運用の経験をそのまま活かせます。ここを具体的に話せると、MLOps の面接では大きな強みになります。
まとめ
- データのドリフト、概念のドリフト、ラベルの分布の変化を分けて説明する
- 監視は業務の指標から入力の品質まで層に分け、基準は業務上の意味で決める
- 正解が遅れて届くなら、早めの警告と代わりの指標を組み合わせる
- 再学習の頻度は過去のデータで劣化の速さを測って決め、入れ替えは段階的に行う
運用の経験を MLOps の職務経歴書や面接でどう見せるか迷ったら、ジンベイ AIタレントに相談してください。
