AIエンジニアの面接対策
「社内文書を検索して答える仕組みを設計してください」|RAG のシステム設計面接の解き方
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
LLM を扱う会社のシステム設計面接で、最もよく出る題材が「社内文書を検索して答える仕組み(RAG)」です。題材は身近ですが、検索、権限、精度の測り方、費用と、見るべき論点が多く、設計の力の差が出やすい問題です。
この記事では、45〜60分の面接を想定して、進め方の順に解説します。
問題の例
従業員3,000名の会社で、社内規程、業務マニュアル、過去の問い合わせ対応の記録をもとに、社員の質問に答えるチャットを作りたい。どう設計しますか。
1. まず聞き返す(5〜10分)
いきなり構成図を描き始めるのは避けます。面接官は、要件をはっきりさせる力も見ています。次のような点を聞き返します。
| 聞くこと | なぜ聞くか |
|---|---|
| 文書の量と種類(PDF、Word、Web ページ、表) | 取り込みの方式と、分割の方法が変わる |
| 文書の更新頻度 | 取り込みを一括でやるか、変更のたびにやるか |
| 見られる文書が人によって違うか | 権限の制御が要るかどうか。ここは必ず聞く |
| 1日の質問数、同時に使う人数 | 費用と、流量の設計 |
| 許される応答時間 | 検索の段数や、使うモデルの大きさの判断 |
| 間違った回答の影響の大きさ | 根拠の表示、人への引き継ぎの要否 |
| 社外のサービスにデータを出してよいか | LLM を外部の API にするか、社内の環境で動かすか |
ここで「権限によって見られる文書が違う」という条件が出ると、問題の難しさが一段上がります。面接官が条件を出さなくても、自分から確かめると評価が上がります。
2. 全体の構成を描く(10〜15分)
大きく分けて、取り込みと回答の2つの流れがあります。
取り込みの流れ
- 文書を集める(ファイルサーバー、社内 Wiki、問い合わせ管理システムなど)
- テキストを取り出す(PDF の表や見出しの構造をなるべく残す)
- 分割する(見出しの単位で区切り、長すぎる部分はさらに分ける)
- 埋め込み(ベクトル)を作り、元の文書の情報(タイトル、更新日、閲覧できる部署)と一緒に保存する
- キーワード検索用の索引も作る
回答の流れ
- 質問を受け取り、利用者の権限を確かめる
- 必要なら質問を言い換える(会話の続きの質問を、単独で意味が通る文にする)
- キーワード検索とベクトル検索を両方行い、結果を合わせる
- 権限のない文書を除く
- 並べ替えのモデルで上位を選び直す
- 選んだ文書を根拠として LLM に回答を作らせる
- 回答に根拠の文書へのリンクを付けて返す
- 質問、使った文書、回答、利用者の評価を記録する
ここで大切なのは、権限の確認を検索の前後のどこで行うかを明確にすることです。検索結果から後で除く方式は作りやすい一方、除いた結果、根拠が足りなくなることがあります。件数が多い場合は、検索の条件として権限を最初から絞り込む方式を説明できると良いです。
3. 精度の測り方を話す(10分)
RAG の面接で、差がつくのはここです。「どうやって良し悪しを判断しますか」と聞かれる前に、自分から話します。
- 評価データを作る:実際の問い合わせ記録から、質問と正解の回答、根拠になる文書を100〜200問選ぶ
- 検索と生成を分けて測る:正しい文書が検索の上位に入っているか(検索の精度)と、その文書から正しく答えられたか(生成の精度)を別々に測る。どちらが悪いかで、直す場所が変わる
- 自動評価と人の評価を組み合わせる:LLM に採点させる方法は手軽だが、ずれることがある。最初は人の採点と照らし合わせて、自動評価が信用できるかを確かめる
- 本番での評価:回答への「役に立った/立たなかった」の評価、担当者への引き継ぎ率を見る
4. 深掘りの質問と答え方(15〜20分)
よく聞かれる質問と、答えの方向性です。
「規程の条番号を含む質問に、うまく答えられません。どうしますか」
ベクトル検索は意味の近さで探すので、「第12条」のような番号や固有名詞は苦手です。キーワード検索を組み合わせる、文書を分割するときに条番号を見出しとして各部分に付けておく、と答えます。
「文書が更新されたのに、古い内容で答えてしまいます」
更新のたびに該当する文書だけを取り込み直す流れにする、古い版を確実に消す、回答に文書の更新日を表示する、と答えます。
「費用が想定の3倍かかっています」
まず、どこで費用がかかっているかを測ります。よくある原因は、根拠として渡す文書が長すぎることと、同じ質問を何度も処理していることです。渡す文書の数と長さを絞る、よくある質問の回答を一定時間保存して使い回す、簡単な質問は小さなモデルで処理する、と答えます。
「根拠がない質問にも、それらしく答えてしまいます」
検索結果の関連度が低いときは「分かりません」と答えさせる、回答の各文が根拠の文書に書かれているかを確かめる処理を足す、担当者に引き継ぐ導線を作る、と答えます。詳しくは幻覚への対策で解説しています。
5. 最後にまとめる(5分)
時間の最後に、設計の要点と、時間があれば次にやることを1分でまとめます。
- 権限を守った検索、根拠つきの回答、評価データによる改善の3点を軸にした
- 次にやるなら、質問の種類ごとの精度の分析と、担当者への引き継ぎの改善
面接官が見ていること
この問題で面接官が見ているのは、RAG の部品の名前を知っているかではありません。
- 要件を自分から確かめたか(特に権限と、間違いの影響)
- 精度を測る方法を持っているか
- 本番で起きる問題(更新、費用、障害)を想像できているか
実務でRAG を作った経験があれば、その経験に沿って話すのが一番説得力があります。経験がなければ、小さくても自分で作ってみて、評価データで改善した経験を持っておくことをおすすめします。
