jinbay無料で相談する

AIエンジニアへの転身ガイド

QA・テストエンジニアから生成AIエンジニアへ|評価・レッドチーミング・回帰テストの強み

QA・テストエンジニアが生成AIの開発に移るときに活きる経験(テスト設計、回帰テスト、探索的テスト)と、LLM の評価やレッドチーミングへの活かし方、職務経歴書の書き換え例をまとめました。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

LLM を使ったアプリは、テストが難しいソフトウェアです。同じ入力でも出力が毎回変わり、「期待値と完全に一致するか」で合否を決められません。プロンプトを1行直しただけで、関係ないはずの質問の答えが悪くなることもあります。

それでも、テストの考え方そのものは変わりません。何を確かめるべきかを洗い出し、漏れなく、効率よく確かめ、変更のたびに壊れていないかを確認する。QA の経験者は、この骨組みをすでに持っています。この記事では、QA の経験を生成AIの評価・レッドチーミング・回帰テストにどう活かすか、足りない部分をどう埋めるかを説明します。

そのまま活きる経験

これまでの経験生成AIの開発での使われ方
テスト設計(同値分割・境界値)質問の種類、長さ、言い回し、答えが文書にない場合などを分けて、評価データを網羅的に作る
回帰テストの自動化プロンプトやモデルを変えるたびに評価データを流し、前回より悪くなった質問を見つける
探索的テスト想定外の使い方を試し、危ない出力を引き出す(レッドチーミング)
不具合の報告と分類失敗を再現できる形で記録し、原因の種類ごとに件数を追う
テストの自動化(Playwright など)画面からの操作も含めた、エンドツーエンドの確認
リリース判定「正答率が何%以上、危険な出力が0件ならリリース」といった基準を決めて運用する

LLM のテストで変わること

完全一致で判定しない

答えの文章そのものではなく、答えが満たすべき性質を確かめます。

  • 出力が決められた JSON の形になっているか
  • 根拠として示した文書が、実際に検索された文書の中にあるか
  • 個人情報や社外秘の言葉が含まれていないか
  • 答えが文書にない質問に「分かりません」と答えているか
  • 正解に含まれるべき数値や固有の言葉が入っているか

形式や禁止語のように機械的に判定できるものはプログラムで、意味の正しさは LLM に判定させるか人が見る、と使い分けます。

1回で合否を決めない

出力にばらつきがあるので、同じ質問を複数回流して「何回中何回正しかったか」で見ることがあります。テストの結果も「全件合格」ではなく、「正答率が基準を下回っていないか」「前回合格していた質問のうち何件が落ちたか」で判定します。不安定なテストを放置しないという QA の感覚は、ここでとても役に立ちます。

レッドチーミング

レッドチーミングは、攻撃する側の立場で危ない出力を引き出す試験です。生成AIでは次のようなものを確かめます。

  • プロンプトインジェクション:「これまでの指示を無視して」のような入力で、決められた動きを外させる
  • 間接的なインジェクション:検索される文書やメールの中に指示を仕込み、AIエージェントに意図しない操作をさせる
  • 情報の漏えい:権限のない利用者に、他の部署や他の顧客の文書の内容を答えてしまう
  • 不適切な出力:差別的な表現、危険な手順、根拠のない断定

探索的テストで「普通は誰もやらない操作」を試してきた経験は、そのまま活きます。見つけた攻撃は回帰テストに加え、修正後も再発していないかを毎回確かめます。

足りない経験と、埋め方

1. LLM のアプリの中身

不具合を見つけたあと、原因が検索なのか、プロンプトなのか、モデルの限界なのかを切り分けられると、報告の価値が大きく上がります。そのためには、RAG(検索拡張生成)や AIエージェントのしくみを、自分で作って理解しておく必要があります。

2. Python でのコード

評価の仕組みは Python で書かれることが多く、promptfoo のような評価ツールも設定や独自の判定をコードで書きます。テスト自動化を JavaScript や Java でやってきた人も、Python で評価スクリプトを書けるようにしてください。

3. 自動判定の検証

LLM に答えを判定させる場合、その判定がどれだけ正しいかを確かめなければなりません。人が判定した50件程度と比べて、一致しない例を読み、判定の基準を直す作業が要ります。「テストのテスト」にあたる部分です。

学ぶ順番

  1. LLM の API で小さな質問応答アプリを作る(1〜2週間)。対象を知るために、まず自分で作ります。
  2. 性質を確かめるテストを書く(2週間)。JSON の形、禁止語、根拠の文書の有無など、機械的に判定できるものから書きます。
  3. 評価データを設計する(2〜3週間)。質問の種類ごとに分けて50〜100問を作り、正答率を出します。どの区分が弱いかが見えるようにします。
  4. レッドチーミングを行い、見つけた攻撃を回帰テストに加える(2〜3週間)。インジェクション、情報の漏えい、不適切な出力の3種類から始めます。
  5. CI に組み込む(1〜2週間)。プロンプトの変更のたびに評価が自動で流れ、悪くなった質問が一覧で出るようにします。

職務経歴書の書き換え例

職務要約

書き換える前 Web アプリケーションのテストに6年間従事。テスト設計、テスト実行、自動化を担当。

書き換えた後 金融系 Web サービスの QA に6年間携わり、テスト設計とリリース判定の基準づくり、Playwright による回帰テストの自動化を担当しました。2025年からは社内の生成AI機能の品質保証を担当し、質問の種類別に設計した評価データ150問と、インジェクション・情報漏えいのレッドチーミングを CI に組み込み、リリース前に危険な出力を12件検出しました。LLM のプロダクトの品質を仕組みで守る仕事に携わりたいと考えています。

プロジェクトの書き方

書き換える前 AI チャットボットのテストを担当。

書き換えた後 AI チャットボットの評価データを、質問の種類(手順・料金・規約・文書にない質問)と言い回しの違いで分けて設計しました。プロンプトの変更ごとに自動で評価を流し、前回合格していた質問が落ちた場合にプルリクエストへ結果を出す仕組みを作りました。

「テストを担当した」ではなく、何を基準に、どう網羅し、何を見つけたかを書くと、評価の設計ができる人として伝わります。

応募先の選び方

  • 企業向けの生成AI製品を作る会社:顧客の情報システム部門やセキュリティ部門の審査を通す必要があり、レッドチーミングと品質の記録が求められます。
  • 評価専任のチームを持つ AI スタートアップ:AI評価エンジニア、AIセーフティの担当などの職種名で募集されることがあります。
  • 生成AIの機能を持つ SaaS の QA チーム:既存の QA の仕組みに LLM の評価を組み込む仕事で、移りやすい入口です。

応募のときは、「テストの担当」ではなく「LLM の品質の仕組みを作る人」として、評価データの設計と回帰テストの自動化を前に出してください。

まとめ

  • LLM のテストは完全一致では判定できないが、テスト設計・回帰テスト・探索的テストの考え方はそのまま使える
  • レッドチーミングでは、インジェクション、情報の漏えい、不適切な出力を確かめ、見つけた攻撃を回帰テストに加える
  • 足りないのは LLM のアプリの中身、Python、自動判定の検証で、自分で作って確かめる経験で埋める

QA の経験を生成AIの求人でどう見せるかは、応募先によって変わります。職務経歴書を見ながら、伝わりやすい書き方を一緒に考えます。

あわせて読みたい