AIエンジニアの面接対策
「LLM アプリの評価の仕組みを設計してください」|評価データ・自動採点・本番の指標
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
LLM の面接で、どの題材でも最後に必ず聞かれるのが「それが良くなったと、どうやって分かりますか」という質問です。そこで、評価の仕組みそのものを設計させる問題も出ます。
LLM の出力は文章なので、正解と1文字ずつ照らし合わせることができません。そのうえ、同じ入力でも毎回少しずつ違う答えが返ります。この難しさをどう扱うかが、この問題の中心です。
問題の例
社内向けの問い合わせチャットを運用している。プロンプトの修正や、使うモデルの切り替えを月に数回行うが、変更のたびに別の質問で回答が悪くなったという苦情が来る。変更の前に品質を確かめる仕組みを設計してください。
1. まず聞き返す
| 聞くこと | なぜ聞くか |
|---|---|
| 「良い回答」の条件は何か | 正確さ、根拠の有無、口調、長さのどれを重く見るか |
| 間違えたときの影響 | 採点の厳しさと、人の確認をどこまで入れるかが変わる |
| 過去の問い合わせ記録はあるか | 評価データの元になる |
| 回答の正しさを判断できる人は誰か | 評価データの正解を作る人と、その工数 |
| 変更の頻度と、確かめに使える時間 | 毎回全件を回すか、一部だけ回すか |
「良い回答」の条件を言葉にしないまま評価を作ると、採点が人によってぶれます。最初に観点を分けて決めることを提案します。
2. 全体の構成
評価は「変更する前」と「変更した後」の2段で考えます。
変更する前(オフライン評価)
- 評価データ:実際の問い合わせから、種類が偏らないように200〜500問を選ぶ。正解の回答と、根拠になる文書を付ける
- 観点ごとの採点:正確さ、根拠に沿っているか、答えるべきでない質問に答えていないか、形式を守っているか、に分けて採点する
- 自動採点:決まった形の出力(分類、JSON)はプログラムで判定し、文章の質は LLM に採点させる
- 前回との比較:全体の点数だけでなく、前回は正解で今回は不正解になった問題の一覧を出す
変更した後(本番の評価)
- 利用者の「役に立った/立たなかった」の評価、担当者への引き継ぎ率、言い直しの多さを見る
- 一部の利用者だけに新しい版を出し、指標を比べてから全体に広げる
採点の基準は具体的に書く
LLM に採点させるときの基準が曖昧だと、点数が安定しません。面接で基準の例を口頭で示せると、実際に作ったことがある人だと伝わります。
書き換える前:回答の正確さを1〜5点で評価してください。
書き換えた後:回答に含まれる事実(日付、金額、手続きの名前)を1つずつ取り出し、それぞれが根拠の文書に書かれているかを「はい/いいえ」で判定してください。1つでも「いいえ」があれば不合格とします。
点数の幅を広くするより、判定できる問いに分けたほうが、人の採点との一致が上がりやすくなります。
3. 深掘りの質問と答え方
「LLM に採点させて、信用できるのですか」
そのままでは信用できません、と答えるのが正解です。まず人が100問ほど採点し、LLM の採点と一致する割合を確かめます。一致が低い観点は、採点の基準を具体的に書き直したり、点数ではなく「根拠に書かれているか:はい/いいえ」のような二択にしたりします。採点に使うモデルを変えたときも、この確認をやり直します。
LLM による採点には、長い回答を高く評価しがちである、2つを比べさせると先に示したほうを選びやすい、といった癖があることも知られています。比べる順番を入れ替えて2回採点する、といった工夫を話せると良いです。
「同じ入力でも答えが変わるのに、どう比べますか」
同じ問題を数回ずつ実行して、正解した割合で比べます。少し点数が上がった、下がったというのは誤差の範囲かもしれません。問題数と点数の差から、意味のある差かを判断する考え方を持っておくと強いです。
「評価データを作る時間がありません」
最初から完璧なものは要りません、と答えます。まず30〜50問を、過去に苦情があった質問を中心に選びます。運用の中で、悪い評価がついた回答を評価データに足していきます。評価データは育てるもの、という考え方です。
「評価データに対しては点数が良いのに、本番で苦情が出ます」
評価データが本番の質問の分布とずれている可能性があります。本番の質問を定期的に抜き出して、評価データの種類の割合と比べます。また、プロンプトを何度も同じ評価データで調整していると、その問題にだけ合った状態になります。調整用と最終確認用で評価データを分けることを提案します。
「CI に組み込むなら、どう組みますか」
プロンプトや設定の変更をコードと同じように管理し、変更のたびに評価を自動で回します。全件は時間と費用がかかるので、変更のたびには重要な50問、リリース前には全件、のように分けます。前回より大きく下がった観点があれば、マージを止めます。
4. 面接官が見ていること
- 「良い回答」を観点に分けて、測れる形にしているか
- 自動採点をそのまま信じず、人の採点で確かめているか
- 評価データを固定のものではなく、運用で育てるものとして扱っているか
- オフラインの点数と本番の指標を、両方見る設計にしているか
テストの設計や品質保証の経験がある人は、テスト観点の洗い出しや回帰テストの考え方がそのまま使えます。本番の指標の集め方はLLM アプリの運用監視、機械学習の一般的な評価指標は評価指標の選び方で解説しています。
まとめ
LLM アプリの評価では、観点を分けた評価データ、人の採点で確かめた自動採点、前回との差分の確認、本番での段階的な公開、の4つを組み合わせます。「点数が上がった」で終わらず、何が悪くなったかを見つけられる仕組みを話せるかが分かれ目です。評価の経験を職務経歴書にどう書くか迷ったら、ジンベイにご相談ください。
