jinbay無料で相談する

AIエンジニアへの転身ガイド

インフラエンジニア・SRE から MLOps エンジニアへ|GPU と学習基盤で変わること

インフラエンジニア・SRE が MLOps エンジニアに移るときに、Kubernetes や IaC の経験がどう活きるか、GPU・学習ジョブ・モデルの監視で新しく求められること、職務経歴書の書き換え例をまとめました。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

MLOps エンジニアの求人を見ると、Kubernetes、Terraform、CI/CD、監視といった、インフラエンジニアや SRE になじみのある言葉が多く並んでいます。機械学習の基盤は、結局のところ計算資源とデータとワークフローの基盤なので、インフラの経験は大きな土台になります。

ただし、機械学習の基盤には、Web サービスの基盤とは違う性質があります。GPU という高価で扱いにくい資源、数時間から数日かかる学習ジョブ、数 GB〜数百 GB のモデルとデータ、そして「エラーを出さずに精度が落ちる」という障害です。この記事では、SRE の経験が活きる部分と、新しく身につけるべき部分を説明します。

そのまま活きる経験

これまでの経験MLOps での使われ方
Kubernetes の運用学習ジョブと推論サーバーを同じクラスタで動かす。GPU ノードの管理
IaC(Terraform など)学習用の環境を、チームごと・実験ごとに同じ構成で作る
CI/CD学習用のコンテナイメージの作成、評価を通ったモデルだけを出すパイプライン
監視・SLO推論の応答時間と可用性に加え、予測の分布や精度の監視
費用の管理GPU の費用の見える化、使われていない GPU の検出
障害対応・ポストモーテム学習の失敗、推論の劣化の原因を切り分けて記録する

機械学習のチームでは、データサイエンティストが自分で GPU のインスタンスを立て、止め忘れて費用がかさむ、ということがよく起きます。資源を管理し、誰でも安全に使える基盤を作る役割は、SRE の経験がいちばん活きる部分です。

新しく身につけること

1. GPU の扱い

GPU は CPU のように細かく分けて使うのが難しく、1枚を1つのジョブが占有するのが基本です。Kubernetes で GPU を使うには、NVIDIA のデバイスプラグインやドライバの管理が要り、CUDA のバージョンとフレームワークのバージョンの組み合わせでつまずくこともよくあります。1枚の GPU を複数の推論に分ける方法(MIG など)や、ジョブの順番待ちの管理も含めて、GPU の割り当てを設計するのが MLOps の重要な仕事です。

2. 長い学習ジョブの扱い

Web サービスのプロセスは、落ちたら再起動すれば済みます。数十時間かかる学習ジョブは、途中で落ちると最初からやり直しになり、時間も費用も大きく失います。そのため、学習の途中経過(チェックポイント)を定期的にストレージに保存し、そこから再開できる作りにします。費用を抑えるためにスポットインスタンスを使う場合は、この仕組みが前提になります。

3. 大きなデータとモデルの置き場所

学習データやモデルは容量が大きく、コンテナイメージに含めると扱いにくくなります。オブジェクトストレージに置き、どのモデルがどのデータで作られたかを記録する、モデルの登録の仕組み(MLflow のモデルレジストリなど)を整える必要があります。推論サーバーの起動時に大きなモデルを読み込む時間も、スケールの設計に影響します。

4. モデルの監視

SRE の監視は、エラー率、応答時間、飽和度が中心です。機械学習のモデルは、入力のデータの傾向が変わると、エラーを出さずに精度だけが落ちていきます。入力と予測の分布を記録し、学習時と比べて大きく変わったら知らせる、正解が分かったら精度を測り直す、といった監視が加わります(モデルの劣化(ドリフト)への対処)。

5. 機械学習の流れそのものの理解

データの準備、学習、評価、登録、デプロイ、監視、作り直しという流れが分かっていないと、何を自動化すべきかを決められません。一度、自分で小さなモデルを学習させて、評価して、API で返すところまで体験しておくことをおすすめします。

SRE から生成AIの基盤に移る道との違い

同じインフラ出身でも、LLM を使ったアプリの基盤を担う道もあります。こちらは、LLM の API の流量制御や費用の管理、公開されているモデルを自社の GPU で動かす推論サーバーの運用が中心です。一方、この記事で扱う MLOps は、自社でモデルを学習させ、作り直し続けるための基盤が中心です。どちらに進むかは、学習の基盤に関わりたいか、推論と運用に関わりたいかで選ぶとよいです。生成AIの基盤についてはインフラエンジニア・SRE から生成AIエンジニアへを参照してください。

学ぶ順番

  1. 小さなモデルを自分で学習させる(2週間)。PyTorch で画像分類などの小さなモデルを作り、学習・評価・保存の流れを体験します。
  2. 学習ジョブを Kubernetes で動かす(2〜3週間)。GPU 付きのノードで学習ジョブを Job として動かし、チェックポイントの保存と再開を作ります。
  3. 実験管理とモデルの登録(2週間)。MLflow を立て、学習のたびに設定と評価結果とモデルを記録します。
  4. ワークフローと推論(3〜4週間)。Kubeflow Pipelines や Argo Workflows で学習から登録までをつなぎ、登録したモデルを推論サーバー(KServe など)で公開します。入力と予測の分布の監視も加えます。

IaC で一式を作れる形にしておくと、SRE らしい成果物になります。

職務経歴書の書き換え例

職務要約

書き換える前 Web サービスのインフラ構築・運用に7年従事。AWS、Kubernetes、Terraform、Datadog。SRE チームのリーダー。

書き換えた後 Web サービスのインフラと SRE を7年間担当し、AWS 上の Kubernetes クラスタの設計と運用、Terraform による環境の管理、SLO にもとづく監視を整備してきました。2024年からは、社内の機械学習チームの学習環境を担当し、各自が立てていた GPU インスタンスを Kubernetes の GPU ノードに集約して、順番待ちの仕組みとチェックポイントからの再開を整え、GPU の費用を月あたり約35%減らしました。モデルを継続して学習・提供する基盤を作る仕事に移りたいと考えています。

機械学習のチームを支えた経験があれば、どんな課題を、どの仕組みで、どれだけ改善したかを数字で書きます。

プロジェクトの書き方

書き換える前 監視基盤の刷新。Datadog への移行を担当。

書き換えた後 監視基盤を刷新し、サービスごとに SLO を決めて、それを外れたときだけ通知する形に変えました。通知の件数が月300件から40件に減り、対応すべき障害に集中できるようになりました。

「何を監視し、何を通知しないかを決めた」経験は、モデルの監視で何を見るかを決めるときにそのまま活きます。

まとめ

  • 機械学習の基盤は、計算資源とデータとワークフローの基盤。Kubernetes、IaC、CI/CD、監視の経験は大きな土台になる
  • 新しく身につけるのは、GPU の割り当て、長い学習ジョブとチェックポイント、大きなデータとモデルの管理、モデルの監視
  • 一度自分でモデルを学習させてから、学習ジョブ、実験管理、ワークフローと推論の順に学ぶ
  • 職務経歴書では、機械学習のチームを支えた経験を、課題と仕組みと数字で書く

学習の基盤と推論の基盤のどちらに進むか迷っている方は、求人の中身を見比べながら一緒に考えることもできます。

あわせて読みたい