jinbay無料で相談する

AIエンジニアの面接対策

LLM アプリの費用と応答時間を見積もる|トークン数から概算する面接の答え方

「月の費用はいくらになりますか」「なぜ遅いのですか」と聞かれたときに、トークン数から費用と応答時間を概算する式と考え方、下げるための打ち手を面接向けに整理します。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

LLM アプリの設計面接では、構成を描いたあとに「これ、月にいくらかかりますか」「応答に何秒かかりますか」と聞かれることがよくあります。正確な金額を答える必要はありません。見られているのは、何から費用と時間が決まるかを分かっていて、その場で桁を見積もれるかです。

この記事では、料金表の具体的な数字ではなく、どのモデルにも当てはまる計算の式と考え方を整理します。

よく聞かれる質問

  • 「1日1万件の質問が来るとして、月の費用を概算してください」
  • 「応答に8秒かかっています。どこに時間がかかっていると考えますか」
  • 「費用を半分にしてください。品質はなるべく落とさずに」
  • 「外部の API と、自社で GPU を用意するのと、どちらが安いですか」

答えの骨組み:費用

商用 LLM の API の多くは、入力のトークン数と出力のトークン数に、それぞれ単価をかけて課金されます。出力の単価は入力より高いのが一般的です。

1回の費用 = 入力トークン数 × 入力単価 + 出力トークン数 × 出力単価

月の費用 = 1回の費用 × 1回の質問で LLM を呼ぶ回数 × 1日の質問数 × 30

面接では、それぞれの項目を声に出して置いていきます。RAG の例なら、入力はシステムプロンプト、会話の履歴、根拠として渡す文書、質問の合計です。根拠の文書を5件、1件あたり数百トークン渡すと、入力は数千トークンになります。出力は回答の長さで、数百トークン程度です。

ここで大事なのは、入力が出力の何倍もあるという構造に気づくことです。RAG では費用の大半が入力から来ることが多く、渡す文書を減らすことが一番効きます。

もう1つ見落としやすいのが「1回の質問で LLM を呼ぶ回数」です。質問の言い換え、回答の生成、回答の確認と3回呼べば、費用は単純に3倍近くになります。エージェントがツールを何度も呼ぶ設計では、呼ぶたびにそれまでの会話全体を入力し直すので、入力トークンは段数に応じて積み上がります。

日本語のトークン数は、トークナイザー(文章をトークンに区切る仕組み)によってかなり違います。面接では「実際の文書で数えて確かめます」と添えれば十分です。

答えの骨組み:応答時間

LLM の応答時間は、大きく2つに分けて考えます。

応答時間 ≒ 最初の1トークンが出るまでの時間 + 出力トークン数 ÷ 1秒あたりの生成トークン数

最初の1トークンまでの時間(TTFT)は、入力を読み込む処理(prefill)にかかる時間で、入力が長いほど延びます。その後は1トークンずつ順に生成するので、出力が長いほど比例して時間がかかります。

8秒かかっているなら、内訳を測ります。検索に1秒、TTFT に1秒、出力600トークンに5秒、のように分ければ、出力の長さが主な原因だと分かります。この場合は、回答を短くする指示や、画面に順次表示する(ストリーミング)ことで、待っている感覚を減らせます。

深掘り:費用を下げる打ち手

打ち手効く場面気をつけること
渡す文書を減らす・短くするRAG で入力が大きい検索の精度が低いと、正解の文書を落とす
プロンプトのキャッシュ毎回同じ長いシステムプロンプトがある変わらない部分を先頭に置かないと効かない
回答の使い回し同じ質問が多い権限や日付で答えが変わる質問は使い回せない
小さなモデルへの振り分け簡単な質問が多い振り分けの誤りで品質が落ちていないか測る
まとめて処理(バッチ)すぐ返さなくてよい処理応答を待たない業務に限られる
会話の履歴を要約する長い会話が多い要約で必要な情報が落ちる

「費用を半分に」と言われたら、いきなり打ち手を並べず、まず「どこに費用がかかっているかを測る」と答えます。入力と出力、処理の段ごとのトークン数を記録していないと、どの打ち手が効くか分かりません。記録の仕組みはLLM アプリの運用監視で扱っています。

深掘り:外部の API か、自社の GPU か

自社で GPU を用意する場合の費用は、トークン数ではなく、GPU を何台、何時間動かすかで決まります。

自社運用の月の費用 ≒ GPU の台数 × 1台あたりの月額(または購入費の月割り) + 運用する人の工数

利用が少ないうちは、GPU が空いている時間も費用がかかるので、API のほうが安くなりがちです。利用が多く、昼夜を問わず GPU が埋まるなら、自社運用が安くなる可能性があります。ただし、費用だけで決まることは少なく、データを社外に出せるかどうかが先に決まっていることが多い、と付け加えると現実的です。自社運用の構成は社外にデータを出せない環境での LLM の構成で解説しています。

よくある失敗

  • 出力だけで計算する:回答の長さだけを見て、根拠の文書や会話の履歴を入れた入力を数え忘れる
  • 呼ぶ回数を1回と置く:言い換えや確認、エージェントの複数段の呼び出しを数えていない
  • 平均だけで見積もる:一部の長い会話や大きな文書が費用の多くを占めることがある。分布の上のほうも見る
  • 応答時間を1つの数字で語る:TTFT と生成の時間を分けないと、どこを直すべきかが言えない
  • 同時に使う人数を忘れる:1件の応答時間が短くても、混み合うと API の流量の上限で待たされる。これは多くの人が使うときの流量制御の論点です

まとめ

費用は「入力と出力のトークン数 × 単価 × 呼ぶ回数 × 件数」、応答時間は「TTFT + 出力の長さ ÷ 生成の速さ」で考えます。この2つの式を置けば、どこを直せば効くかを順序立てて話せます。インフラの容量見積もりの経験は、この問題でそのまま強みになります。経験の伝え方を相談したい方は、ジンベイにお声がけください。

あわせて読みたい