jinbay無料で相談する

AIエンジニアの面接対策

「本番のモデルの精度が少しずつ落ちています」|ドリフト対策の面接で聞かれること

MLOps・機械学習エンジニアの面接で聞かれるモデルの劣化(ドリフト)について、データのドリフトと概念のドリフトの違い、正解ラベルが遅れて届くときの監視、再学習の決め方、安全な入れ替え方まで、答え方を解説します。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

機械学習のモデルは、本番に出した時点が一番良く、その後は少しずつ精度が落ちていくのが普通です。利用者の行動、商品の品ぞろえ、取引先、季節、法律の改正など、学習したときの前提が変わっていくからです。これをモデルの劣化、またはドリフトと呼びます。

MLOps エンジニアや機械学習エンジニアの面接では、「本番のモデルをどう監視し、いつ再学習しますか」という形でよく聞かれます。モデルを作るだけでなく、運用し続ける仕組みを設計できるかが見られる題材です。

よく聞かれる質問

  • データのドリフトと概念のドリフトの違いは何ですか
  • 本番のモデルの精度が落ちていることに、どうやって気づきますか
  • 正解ラベルが3か月後にしか分からない業務では、どう監視しますか
  • 再学習はどのくらいの頻度で行いますか。定期と、必要なときだけのどちらにしますか
  • 再学習したモデルを本番に出すとき、何を確かめますか

答えの骨組み

まず、ドリフトの種類を分けて説明します。

種類何が変わるか例
データのドリフト入力の分布新しい年代の利用者が増えた、新しいカテゴリの商品が増えた
概念のドリフト入力と正解の関係同じ行動でも、不正の手口が変わって不正かどうかの意味が変わった
ラベルの分布の変化正解の割合景気の変化で、延滞する人の割合が増えた

データのドリフトがあっても、精度が落ちるとは限りません。モデルがうまく扱える範囲の変化なら問題ありません。逆に、概念のドリフトは入力の分布を見ているだけでは気づけません。この点をはっきり言えると、理解が深いと伝わります。

そのうえで、対策を「監視する → 原因を調べる → 再学習する → 安全に入れ替える」の流れで答えます。

深掘りの質問と答え方

「何を監視しますか」

上から順に、直接的で信頼できる指標ですが、手に入るのが遅くなります。

  1. 業務の指標:売上、確認担当の作業量、苦情の件数
  2. モデルの精度:正解ラベルが届いたものから計算する
  3. 予測の分布:スコアの分布、陽性と判定した割合
  4. 入力の分布:特徴量ごとの欠損の割合、平均、カテゴリの割合。分布の差は PSI(Population Stability Index)や KS 検定などで測る
  5. データの品質:件数、型、範囲の外の値

分布の差の検定は、件数が多いとごく小さな差でも「有意」になります。そのため、p 値で警告を出すと鳴りすぎます。過去の変動の幅から、業務上意味のある大きさで基準を決める、と答えると実務的です。

「正解ラベルが3か月後にしか分からない場合は」

与信や解約の予測でよくある状況です。次の組み合わせで答えます。

  • 入力と予測の分布の変化を、早めの警告として使う
  • 早く分かる代わりの指標を使う(延滞なら「初回の支払いの遅れ」など)
  • 一部のデータだけ人が先にラベルを付け、精度を推定する
  • 3か月後に精度を正式に計算し、早めの警告が正しかったかを確かめて、基準を見直す

「再学習はどのくらいの頻度で行いますか」

定期の再学習と、条件を満たしたときの再学習を組み合わせる、と答えます。

  • 定期:仕組みが単純で、手順が毎回検証される。頻度は、過去のデータで「何か月前のデータで学習したモデルが、どれくらい精度が落ちるか」を測って決める
  • 条件を満たしたとき:監視の指標が基準を超えたら再学習する。無駄が少ないが、条件の決め方が難しい

頻度を勘で決めるのではなく、過去のデータで劣化の速さを測ってから決める、と言えることが大事です。

「再学習で、どのデータを使いますか」

最新のデータだけにすると、まれな事例(年に一度の繁忙期など)を忘れます。全期間を使うと、古い傾向が残ります。期間を区切る、新しいデータに重みを付ける、の選択肢を示し、検証で決めると答えます。

また、モデルの判断が次の学習データに影響する問題(フィードバックループ)にも触れられると良いです。例えば、不正と判定した取引は止めるので、本当に不正だったかが分からず、その種類のデータが学習から消えます。一部をランダムに通して正解を確かめる、といった対策があります。

「再学習したモデルを本番に出すとき、何を確かめますか」

  • 固定の評価データと、最新の期間のデータの両方で、今のモデル以上の精度か
  • 重要な顧客の区分や、カテゴリごとに精度が落ちていないか
  • 予測の分布が大きく変わっていないか(しきい値の意味が変わるため)
  • 応答時間やメモリの使用量

そのうえで、本番のトラフィックを新しいモデルにも流して結果だけ記録する(シャドーデプロイ)、一部の利用者から段階的に切り替える(カナリアリリース)、すぐに前のモデルに戻せるようにしておく、と答えます。

よくある失敗

書き換える前 ドリフトを検知したら、自動で再学習して本番に出す仕組みを作ります。

自動化そのものは良いことですが、検証の工程がなく、データの障害で分布が変わった場合に、壊れたデータで学習したモデルを本番に出してしまいます。

書き換えた後 分布の変化を検知したら、まずデータの品質の問題かどうかを確かめます。品質に問題がなければ再学習し、固定の評価データと直近のデータの両方で今のモデルと比べ、基準を満たしたときだけ段階的に切り替えます。

ほかに多い失敗は、次のとおりです。

  • 監視の警告が多すぎて、誰も見なくなる
  • 精度だけを見て、陽性と判定する割合の変化に気づかない
  • 学習時と推論時のずれ(学習時と推論時のずれ)をドリフトと取り違える

実務の経験の話し方

ドリフトの経験は、「何で気づいたか」から話すと具体的になります。

需要予測のモデルで、ある月から特定の地域だけ外れが大きくなりました。入力の分布を見ると、その地域で新しい店舗が増えていて、店舗の属性の分布が変わっていました。新店舗のデータが少ないので、近い条件の既存店のデータで補う特徴量を足し、再学習の頻度も月1回から2週に1回に変えました。

インフラや SRE の経験がある人は、監視の基準の決め方、警告の出し方、切り戻しの手順など、運用の経験をそのまま活かせます。ここを具体的に話せると、MLOps の面接では大きな強みになります。

まとめ

  • データのドリフト、概念のドリフト、ラベルの分布の変化を分けて説明する
  • 監視は業務の指標から入力の品質まで層に分け、基準は業務上の意味で決める
  • 正解が遅れて届くなら、早めの警告と代わりの指標を組み合わせる
  • 再学習の頻度は過去のデータで劣化の速さを測って決め、入れ替えは段階的に行う

運用の経験を MLOps の職務経歴書や面接でどう見せるか迷ったら、ジンベイ AIタレントに相談してください。

あわせて読みたい