職務経歴書
2026年11月16日現在
氏名 木村 拓也
■ 職務要約
情報学の博士課程で、文書の構造を使った自然言語処理を研究しました。2021年に電機メーカーの研究所に入り、帳票や技術文書の理解に関する論文の手法の実装と、社内向けの文書理解モデルの開発を担当しました。2024年からは LLM の継続事前学習とファインチューニングを行うスタートアップで、GPU 128基規模の分散学習の運用と、日本語の評価基盤の開発を担当しています。学習の計算効率(MFU)を29%から41%に上げ、同じ予算で学習できるトークン数を約1.4倍にしました。
■ 活かせる経験・知識・技術
- 論文の手法の再実装と、公開されている数値の再現(差が出たときの原因の調査を含む)
- PyTorch と Megatron-LM による分散学習の設計・運用(GPU 128基規模、テンソル並列・パイプライン並列)
- ベンチマークの条件をそろえた評価基盤と、学習データへの問題の混入の確認
- 学習データの前処理(重複の除去、品質のフィルタリング、個人情報の除去)
■ テクニカルスキル
| 言語 | Python(5年8か月)、C++、Bash |
|---|---|
| フレームワーク・ライブラリ | PyTorch(5年8か月)、Hugging Face Transformers(3年3か月)、vLLM(1年8か月)、Megatron-LM(1年3か月) |
| 機械学習・生成AI | 画像と文書のレイアウトを扱うモデル(3年3か月)、lm-evaluation-harness(1年8か月)、オープンウェイトのLLM(1年3か月) |
| OS・クラウド・インフラ | Linux(5年8か月)、Docker(3年3か月)、Slurm(2年5か月)、AWS(1年3か月) |
| ツール | Weights & Biases(2年5か月)、Slurm |
■ 職務経歴
事業内容:日本語に強い LLM の開発と、企業向けのファインチューニングの提供 従業員数:約40名 雇用形態:正社員
所属・役職:リサーチ部 学習基盤チーム
| 2024年7月〜2025年9月 | 公開モデルの日本語での継続事前学習 公開されているモデル(オープンウェイトのモデル)を、日本語中心のデータ約1,000億トークンで継続事前学習。GPU 128基で約6週間の学習を2回実施した。 【役割】リサーチエンジニア(学習の設定と運用の主担当) 【規模】チーム5名 【担当工程】基本設計、実装・単体テスト、保守・運用、データ整備、モデル開発・評価 【取り組み】
【成果】
【使用技術】Python、PyTorch、Megatron-LM、オープンウェイトのLLM、Linux、Slurm、AWS、Weights & Biases |
| 2025年4月〜現在 | 日本語の評価基盤の開発 日本語のベンチマーク14種と社内の評価データを、同じ条件で回して比べられる評価基盤。学習途中のチェックポイントと、顧客向けのファインチューニングの結果の確認に使う。 【役割】主担当 【規模】チーム2名 【担当工程】要件定義、基本設計、実装・単体テスト、保守・運用、モデル開発・評価 【取り組み】
【成果】
【使用技術】Python、PyTorch、vLLM、lm-evaluation-harness、Linux、Slurm、Weights & Biases |
事業内容:電機メーカー(研究開発部門) 従業員数:約2万名(グループ全体) 雇用形態:正社員
所属・役職:研究開発本部 AI研究所
| 2021年4月〜2024年6月 | 帳票・技術文書の理解モデルの研究開発 社内の帳票や技術文書から項目を抜き出すモデルを研究開発。論文の手法の再実装と、社内データでの検証、事業部への技術移転を担当。 【役割】研究員 【規模】チーム4名 【担当工程】基本設計、実装・単体テスト、データ整備、モデル開発・評価 【取り組み】
【成果】
【使用技術】Python、PyTorch、Hugging Face Transformers、画像と文書のレイアウトを扱うモデル、Linux、Docker |
■ 社外での活動
- 博士(情報学)(2021年3月)
- 国際会議のワークショップ論文 1本(筆頭著者、2023年)、言語処理学会 年次大会 発表 3件(うち筆頭2件)
- 分散学習のライブラリにチェックポイントの非同期保存の不具合修正のプルリクエストが取り込まれた(2025年)
■ URL
- GitHub:https://github.com/example
- Google Scholar:https://scholar.google.com/example
■ 自己PR
研究の成果を、誰が回しても同じ結果が出るコードにすることを大切にしています。研究所では、論文の数値を再現できないことがよくありましたが、差が出た原因を一つずつ切り分けて記録し、チームで同じ失敗を繰り返さないようにしてきました。現在の会社でも、評価の条件を固定し、学習データへの混入を確かめるしくみを作ったことで、モデルの改善を数字で正しく議論できるようになりました。
今後も、研究と実装の間に立ち、新しい手法を素早く確かめて、使える形にしていく仕事をしたいと考えています。
以上
