AIエンジニアの面接対策
「この課題では、どの評価指標を使いますか」|機械学習の評価指標の面接対策
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
評価指標の質問は、機械学習の面接で「分かっている人」と「用語を覚えている人」の差が最も出やすい題材です。正解率、適合率、再現率の定義は誰でも答えられます。差がつくのは、「この業務なら、なぜこの指標なのか」を説明できるかどうかです。
この記事では、よく聞かれる質問、答えの骨組み、深掘りの質問、よくある失敗、実務の経験の話し方の順に解説します。
よく聞かれる質問
- 不正利用の検知モデルを作ります。評価指標は何にしますか
- 正解率(accuracy)だけで評価してはいけないのはなぜですか
- ROC-AUC と PR-AUC はどう使い分けますか
- 分類のしきい値はどう決めますか
- 回帰で RMSE と MAE のどちらを使いますか
- オフラインの指標が良くなったのに、売上が変わりません。なぜでしょうか
答えの骨組み
どの質問でも、次の順で考えると答えがぶれません。
- 間違いの種類ごとの損失を確かめる:見逃し(偽陰性)と誤検知(偽陽性)のどちらが痛いか。それぞれ1件あたりどれくらいの損失か
- 業務での使われ方を確かめる:結果を人が確認するのか、自動で処理するのか。人が見るなら1日に何件まで見られるか
- 指標を決める:上の2つに合う指標と、補助の指標を選ぶ
- しきい値を決める:指標とは別に、運用の条件からしきい値を決める
例えば不正利用の検知なら、次のように答えます。
不正の見逃しは損失が大きい一方、誤検知が多いと確認担当の人手が足りなくなります。そこで、担当者が1日に確認できる件数を上限として、その件数の中でどれだけ不正を拾えるか(上位 k 件の再現率)を主な指標にします。モデルの比較には、不正がまれなので ROC-AUC ではなく PR-AUC を補助に使います。
主な指標の整理
| 課題 | よく使う指標 | 注意する点 |
|---|---|---|
| 二値分類 | 適合率、再現率、F1、PR-AUC、ROC-AUC | 陽性がまれなときは正解率と ROC-AUC が高く出やすい |
| 確率を使う分類 | 対数損失(log loss)、Brier スコア | 確率の当たり具合(較正)を見たいときに使う |
| 多クラス分類 | マクロ平均とマイクロ平均の F1 | 少ないクラスを重視するならマクロ平均 |
| 回帰 | RMSE、MAE、MAPE | RMSE は大きな外れを重く見る。MAPE は実績が0に近いと壊れる |
| ランキング・推薦 | NDCG、MAP、Recall@k | 上位に何を出したかだけが利用者に見える |
深掘りの質問と答え方
「ROC-AUC と PR-AUC はどう使い分けますか」
ROC-AUC は、陰性の中での誤検知の割合(偽陽性率)を横軸にとります。陰性が圧倒的に多いと、誤検知の件数が多くても割合は小さく見えるので、値が高く出やすくなります。陽性がまれで、陽性と判定したものの中身(適合率)が大事な課題では、PR-AUC のほうが差が分かりやすいです。
PR-AUC は、何もしないモデルの値が陽性の割合そのものになる点も付け加えると良いです。陽性が1%なら、PR-AUC が0.1でも何もしない場合の10倍です。
「しきい値はどう決めますか」
「0.5 にします」は避けます。次のどれかで決めると答えます。
- 処理できる件数の上限から決める(確認担当が1日200件まで、など)
- 誤検知と見逃しの1件あたりの費用から、期待される損失が最小になる点を選ぶ
- 「再現率90%以上」のような条件を満たす中で、適合率が最も高い点を選ぶ
そのうえで、しきい値は検証データで決め、テストデータで確かめる、と添えます。
「確率の値そのものを使う場合は」
広告の入札や、与信の期待損失の計算のように、予測の確率を金額の計算に使う場合は、順位が正しいだけでは足りません。予測が0.2なら実際に約2割が陽性になっているか(較正)を、較正曲線や Brier スコアで確かめます。ずれていれば、Platt scaling や isotonic regression で補正します。
「RMSE と MAE のどちらを使いますか」
大きく外れることの損失が特に大きい(在庫切れで大口の注文を失うなど)なら RMSE、外れの大きさに比例して損失が増えるなら MAE、と答えます。需要予測で欠品と過剰在庫の費用が違う場合は、左右で重みの違う分位点損失(quantile loss)を使って、予測したい分位点を直接学習する方法も挙げられます。
「オフラインの指標が良くなったのに、業務の数字が変わりません」
よくある原因は次のとおりです。
- オフラインの指標が業務の目的とつながっていない(全体の精度は上がったが、改善したのは結果に影響しない部分だった)
- 評価データが本番の分布と違う
- 予測が良くなっても、それを使う側の運用が変わっていない
- 効果が小さく、測定の誤差に埋もれている
最終的には A/B テストで業務の指標を測る、と答えます。
よくある失敗
書き換える前 不均衡なデータなので、F1 スコアを使います。
なぜ F1 なのかが業務とつながっていません。F1 は適合率と再現率を同じ重さで扱いますが、多くの業務ではどちらかがより大事です。
書き換えた後 見逃しの損失が誤検知の約10倍なので、再現率を重く見ます。ただ、確認担当の処理件数に上限があるので、しきい値はその件数で決め、その条件での再現率を主な指標にします。
そのほかの失敗には、次のようなものがあります。
- 指標の値だけを報告し、何もしない場合や今のルールとの比較を出さない
- 少ないクラスの件数を確かめずに、マクロ平均の F1 の小さな差で優劣を決める
- 指標を途中で変えて、良く見える数字だけを報告する
実務の経験の話し方
評価指標の経験は、「最初に選んだ指標」と「途中で変えた理由」を話すと、判断の過程が伝わります。
問い合わせの自動振り分けで、最初はクラス全体の正解率を見ていました。ところが、件数の少ない解約関係の問い合わせを取りこぼしていて、それが一番対応を急ぐものでした。そこで、解約のクラスの再現率を別に目標として置き、全体はマクロ平均の F1 で見るように変えました。
このように、指標を業務の事情に合わせて選び直した話は、どの会社の面接でも評価されます。
まとめ
- 指標を答える前に、間違いの種類ごとの損失と、業務での使われ方を確かめる
- 陽性がまれなら、正解率と ROC-AUC だけで判断しない
- しきい値は指標とは別に、処理できる件数や費用から決める
- 最終的な効果は、業務の指標で測る
面接でどの経験を話すか迷ったときは、職務経歴書と一緒にジンベイ AIタレントで相談できます。
