AIエンジニアへの転身ガイド
データエンジニアから機械学習エンジニアへ|データの強みと、モデリングの補い方
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
機械学習の現場では、「モデルの改善より、データを直したほうが精度が上がった」という話がよくあります。学習データの欠損、重複、ラベルの誤り、未来の情報が混ざっていること(リーク)が、精度を大きく左右するからです。データを正しく、継続して用意できるデータエンジニアは、機械学習のチームにとって欠かせない存在です。
一方で、機械学習エンジニアとして採用されるには、モデルを選び、学習させ、正しく評価する力が問われます。この記事では、データエンジニアの経験が機械学習でどう評価されるかと、足りないモデリングと評価の力をどう補うかを説明します。
そのまま活きる経験
| これまでの経験 | 機械学習での使われ方 |
|---|---|
| ETL・ELT のパイプライン | 学習データと特徴量を、毎日同じ手順で作る |
| dbt などでのデータモデリング | 特徴量の定義を SQL で管理し、レビューできる形にする |
| データ品質のチェック | 学習データの欠損、外れ値、分布の急な変化を見つける |
| Spark・BigQuery などでの大規模処理 | 数億行のログから特徴量を集計する |
| 時系列のデータの扱い | ある時点で「その時に分かっていたデータ」だけで特徴量を作る |
| ワークフローの管理 | Airflow などで、特徴量の計算から学習までをつなぐ |
特に重要なのが、最後から2番目の 時点を正しく扱う力 です。たとえば解約の予測で、「解約した月の問い合わせ件数」を特徴量に入れてしまうと、学習時の精度は高く出ますが、本番では使い物になりません。予測する時点より後の情報を混ぜないように特徴量を作ること(point-in-time の正しさ)は、データエンジニアが得意とする部分で、機械学習エンジニアの面接でもよく問われます。
足りない経験と、埋め方
1. 評価の設計
機械学習エンジニアにまず求められるのは、モデルが本当に役に立つかを正しく測る力です。
- データの分け方:時系列のデータをランダムに分けると、未来のデータで学習して過去を当てることになり、精度が高く出すぎます。時間で分ける、同じ利用者を学習と検証にまたがらせない、といった判断が必要です。
- 指標の選び方:不正検知のように陽性がまれな問題では、正解率(accuracy)はほぼ意味がありません。適合率と再現率、PR-AUC など、業務の損失に合った指標を選びます(評価指標の選び方)。
- 過学習の見抜き方:学習データでは良いのに検証データで悪い、という状態を、学習曲線や交差検証で確かめます。
2. モデルの選び方と調整
表形式のデータなら、まずは LightGBM のような勾配ブースティングで十分な精度が出ることが多いです。線形モデルを基準にし、勾配ブースティングで改善し、それでも足りなければ深層学習を考える、という順番を自分で判断できるようにします。ハイパーパラメータの調整も、闇雲に探すのではなく、何を変えると何が起きるかを理解しておきます。
3. 特徴量の設計
データエンジニアは特徴量を「作る」ことは得意ですが、「どんな特徴量が予測に効くか」を考えるのは別の力です。業務の理解から仮説を立て、特徴量を足して検証データで効果を確かめ、効かなかったものを外す、という繰り返しを経験しておきます(特徴量の設計)。
4. 統計の基礎
信頼区間、検定、サンプルサイズの考え方は、モデルの改善が偶然でないかを判断するのに必要です。A/B テストで効果を確かめる場面でも使います。
学ぶ順番
- 表形式のデータで、モデルを一通り作る(3〜4週間)。公開データで、データの分け方、ベースラインのモデル、勾配ブースティング、評価指標の比較までを行います。
- 時系列の予測で、リークを体験する(2〜3週間)。わざとランダムに分けた場合と時間で分けた場合の精度の差を確かめると、評価の設計の大切さが実感できます。
- Kaggle などのコンペに参加する(並行して)。上位の解法を読むと、特徴量の作り方と評価の工夫が学べます。順位より、何を試して何が効いたかを記録することが大切です(コンペの書き方)。
- 業務のデータで小さく試す(機会があれば)。今の職場で、データサイエンスのチームと一緒に特徴量を作る、予測モデルのデータ部分を担当する、といった形で関わります。
職務経歴書の書き換え例
職務要約
書き換える前 広告配信の会社でデータエンジニアとして5年間、データ基盤の構築・運用を担当。BigQuery、dbt、Airflow。
書き換えた後 広告配信の会社で5年間、BigQuery と dbt によるデータ基盤と、Airflow による日次のパイプラインを担当しました。2024年からはクリック率の予測モデルの特徴量を担当し、配信時点で取得できないデータが特徴量に混ざっていた問題を見つけて、時点を揃えた特徴量のテーブルに作り直しました。並行して LightGBM で予測モデルを自分でも作り、時間で分けた検証データで評価する手順をチームに提案しました。データの品質を土台に、モデルの開発と評価まで担う仕事に移りたいと考えています。
ポイントは、データ基盤の経験を省かずに書き、そのうえで 機械学習に直接つながった経験(リークの発見、特徴量の設計、評価の改善)を具体的に書くことです。
プロジェクトの書き方
書き換える前 データ品質監視の仕組みを構築。
書き換えた後 主要なテーブルに、件数、欠損率、値の分布のチェックを入れ、前日から大きく変わったら通知する仕組みを作りました。上流のシステムの変更で一部の項目が空になった障害を当日中に見つけ、予測モデルの学習に使われる前に止めることができました。
データ品質の監視は、機械学習ではモデルの劣化を防ぐ仕組みでもあります。その関係を書き添えると、機械学習への理解が伝わります。
応募先の選び方
データ量が多く、モデルを毎日作り直すような会社(広告、推薦、需要予測、不正検知など)では、データに強い機械学習エンジニアが特に求められます。求人票に「特徴量の基盤」「学習パイプライン」といった言葉があれば、今の経験が活きやすい会社です。
いきなりモデリングの専任を目指すより、データと機械学習の両方を担う役割から入り、少しずつモデルの比重を増やすほうが、最初の転職としては現実的です。
まとめ
- 機械学習の精度はデータで決まる部分が大きく、パイプライン、データ品質、時点を正しく扱う力はそのまま強みになる
- 足りないのは、評価の設計、モデルの選び方と調整、効く特徴量を考える力、統計の基礎
- 表形式のデータでモデルを一通り作り、時系列でリークを体験し、コンペで手数を増やす
- 職務経歴書では、データ基盤の経験に加えて、機械学習に直接つながった経験を具体的に書く
データエンジニアの経験をどこまで前に出すか、機械学習の経験をどう書くかは、応募先によって変わります。職務経歴書を見ながら一緒に考えることもできます。
