LLM GPU Cost Calculator

Compare the monthly cost of self-hosting an LLM on a rented GPU against paying per token for an API — with a break-even volume and cost per million tokens.

LLM GPU 비용 계산기

GPU를 빌려 LLM을 직접 호스팅하는 월 비용과 토큰당 API 비용을 비교합니다 — 손익분기 요청량과 100만 토큰당 비용까지 계산합니다.

Workload

Real production utilization is usually 30–60%. A rented GPU costs the same idle or busy, so low utilization pushes cost up 2–3x versus a naive estimate.

GPU $/hr and throughput defaults are editable — real numbers drift by provider, model, quantization, and batch size.

Cost Comparison

Self-hosted monthly cost
$0 / mo
API monthly cost
$0
GPU-hours needed / mo
0
Self-host $/1M tokens
$0
Break-even volume
0 / mo
Verdict
—
Self-hosting wins only above the break-even volume, assuming you keep at least one GPU running 24/7 (~730 hours/month).
Rent a Cloud GPU on Vultr →

Rough model. Actual cost depends on model size, quantization, batch size, context length, KV-cache pressure, and provider pricing. Output tokens dominate; input (prefill) is cheaper per token. Verify with a load test before committing to hardware.

More server tools

All VPS & Server tools

About this LLM GPU cost calculator

Deciding whether to self-host an open model like Llama, Mistral, or Qwen on a rented GPU or to keep paying a commercial LLM API comes down to one question: at your request volume, which is cheaper per million tokens? A rented GPU is a fixed monthly cost — it bills the same whether it sits idle or runs flat out — while an API charges per token with zero idle cost. This LLM inference GPU cost calculator estimates both sides from your monthly request volume, average input and output tokens, GPU hourly price, assumed token throughput, and a realistic utilization percentage, then reports the break-even request volume where self-hosting starts to win.

It is aimed at backend and platform engineers sizing an inference stack, indie developers weighing a self-hosted AI coding assistant against API bills, and teams on a Vultr Cloud GPU or similar rented-GPU plan who want a defensible cost-per-million-tokens number. Every GPU $/hr and tokens-per-second value is editable because published throughput figures vary widely by model, quantization, batch size, and serving framework (vLLM, TGI, TensorRT-LLM). The default utilization of 40 percent reflects the awkward truth that most self-hosted inference GPUs run well below capacity, which is why naive spreadsheets underestimate the true cost by two to three times.

LLM GPU 비용 계산기 소개

Llama, Mistral, Qwen 같은 오픈 모델을 GPU를 빌려 직접 호스팅할지, 아니면 상용 LLM API를 계속 사용할지는 결국 하나의 질문으로 귀결됩니다. 우리 요청량에서 100만 토큰당 어느 쪽이 더 저렴한가? 빌린 GPU는 놀든 풀가동하든 동일한 고정 월 비용이고, API는 유휴 비용 없이 토큰당 과금됩니다. 이 계산기는 월 요청량, 평균 입력·출력 토큰, GPU 시간당 가격, 가정 처리량(tokens/sec), 현실적 가동률을 입력받아 양쪽 비용을 추정하고, 자체 호스팅이 유리해지는 손익분기 요청량을 알려줍니다.

추론 스택을 설계하는 백엔드·플랫폼 엔지니어, 자체 호스팅 AI 코딩 어시스턴트와 API 요금을 저울질하는 개인 개발자, Vultr Cloud GPU 등 GPU 임대 플랜에서 100만 토큰당 비용 근거가 필요한 팀에게 유용합니다. GPU $/hr와 초당 토큰 값은 모두 수정 가능합니다 — 공개된 처리량 수치는 모델, 양자화, 배치 크기, 서빙 프레임워크(vLLM, TGI, TensorRT-LLM)에 따라 크게 달라지기 때문입니다. 기본 가동률 40%는 대부분의 자체 호스팅 추론 GPU가 용량 이하로 돌아간다는 현실을 반영한 것이며, 순진한 스프레드시트가 실제 비용을 2~3배 과소평가하는 이유이기도 합니다.

How to use this calculator

1. Enter your volume

Type your monthly request count and the average input and output tokens per request.

2. Pick a GPU

Choose A100, H100, L40S, RTX 4090, or RTX 3090. The $/hr and throughput defaults fill in automatically.

3. Tune the assumptions

Adjust GPU price, tokens/sec, utilization, and API prices to match your model and provider quotes.

4. Read the verdict

Compare self-hosted vs API monthly cost, check the break-even volume, and see cost per million tokens.

계산기 사용 방법

1. 요청량 입력

월 요청 수와 요청당 평균 입력·출력 토큰을 입력하세요.

2. GPU 선택

A100, H100, L40S, RTX 4090, RTX 3090 중 선택하세요. $/hr와 처리량 기본값이 자동 입력됩니다.

3. 가정값 조정

GPU 가격, tokens/sec, 가동률, API 가격을 사용 모델과 제공업체 견적에 맞게 수정하세요.

4. 결과 확인

자체 호스팅과 API 월 비용을 비교하고, 손익분기 요청량과 100만 토큰당 비용을 확인하세요.

Frequently asked questions

It depends almost entirely on volume and GPU utilization. A rented GPU costs the same whether it runs at 5 percent or 95 percent load, so self-hosting only wins once you push enough tokens through it to beat the per-token API price. At low volume the API is far cheaper because you pay nothing for idle capacity. This calculator estimates the break-even request volume for your specific token sizes, GPU price, and throughput assumptions. In practice real utilization sits around 30 to 60 percent, so the honest break-even is usually 2 to 3 times higher than a naive spreadsheet suggests.
For a small model like Llama 3 8B, a single mid-range GPU such as an RTX 4090 (around 0.69 USD per hour rented) or an A100 40GB (around 1.29 USD per hour) can serve roughly 1500 to 3000 output tokens per second before batching limits. Running one GPU continuously for a month is about 730 hours, so the monthly floor is roughly 500 to 1500 USD per GPU depending on the card. Larger models (70B and up) need multiple GPUs or an H100, pushing the monthly cost into the thousands. Divide that fixed cost by the tokens you actually generate to get your real cost per million tokens.
Model size and quantization decide the GPU. An 8B model in fp16 needs about 16GB of VRAM and runs well on an RTX 4090, RTX 3090, or L40S. A 13B model wants 24GB or more. A 70B model in fp16 needs roughly 140GB, so two A100 80GB or H100 cards, or aggressive 4-bit quantization to fit on one 48GB card. For production serving you also want headroom for the KV cache, which grows with context length and batch size, so size up one tier from the bare model weights.
Cost per million tokens for a self-hosted GPU is the monthly GPU bill divided by the millions of tokens you generate that month. At full utilization an RTX 4090 generating 2000 tokens per second produces about 5.2 billion tokens per month, which at roughly 500 USD per month is under 0.10 USD per million tokens. At a realistic 40 percent utilization the same GPU costs about 0.24 USD per million tokens. Commercial APIs for comparable small models charge roughly 0.15 to 0.60 USD per million input and output tokens, which is why self-hosting only pays off at steady high volume.
Start with total output tokens per month, which is monthly requests multiplied by average output tokens per request. Divide that by your effective token throughput, which is the GPU's raw tokens per second multiplied by your realistic utilization percentage. That gives GPU-seconds; divide by 3600 for GPU-hours. Multiply GPU-hours by the rented GPU price per hour for the compute cost. Input tokens are processed during the prefill phase and are much cheaper per token than generation, so output tokens dominate the estimate.

자주 묻는 질문

거의 전적으로 요청량과 GPU 가동률에 달려 있습니다. 빌린 GPU는 5% 부하든 95% 부하든 비용이 같으므로, 토큰당 API 가격을 이길 만큼 충분한 토큰을 처리해야만 자체 호스팅이 유리해집니다. 요청량이 적을 때는 유휴 용량에 비용을 내지 않는 API가 훨씬 저렴합니다. 이 계산기는 입력한 토큰 크기, GPU 가격, 처리량 가정에 대한 손익분기 요청량을 추정합니다. 실제 가동률은 보통 30~60% 수준이라, 솔직한 손익분기점은 순진한 계산보다 2~3배 높습니다.
Llama 3 8B 같은 소형 모델은 RTX 4090(임대 시 시간당 약 0.69달러)이나 A100 40GB(시간당 약 1.29달러) 한 장으로 배치 한계 전까지 초당 약 1500~3000 출력 토큰을 처리할 수 있습니다. GPU 한 장을 한 달 내내 돌리면 약 730시간이므로, 카드에 따라 월 최소 약 500~1500달러입니다. 70B 이상 대형 모델은 GPU 여러 장이나 H100이 필요해 월 비용이 수천 달러대로 올라갑니다. 이 고정 비용을 실제 생성한 토큰 수로 나누면 100만 토큰당 실비용이 나옵니다.
모델 크기와 양자화가 GPU를 결정합니다. fp16 기준 8B 모델은 약 16GB VRAM이 필요하고 RTX 4090, RTX 3090, L40S에서 잘 돌아갑니다. 13B 모델은 24GB 이상이 필요합니다. fp16 기준 70B 모델은 약 140GB가 필요해 A100 80GB나 H100 2장, 또는 48GB 한 장에 맞추려면 공격적인 4비트 양자화가 필요합니다. 프로덕션 서빙에서는 컨텍스트 길이와 배치 크기에 따라 커지는 KV 캐시 여유분도 필요하므로 모델 가중치보다 한 단계 위 GPU를 선택하세요.
자체 호스팅 GPU의 100만 토큰당 비용은 월 GPU 청구액을 그 달에 생성한 토큰 수(백만 단위)로 나눈 값입니다. 완전 가동 시 초당 2000 토큰을 생성하는 RTX 4090은 월 약 52억 토큰을 생성하며, 월 약 500달러 기준 100만 토큰당 0.10달러 미만입니다. 현실적인 40% 가동률에서는 같은 GPU가 100만 토큰당 약 0.24달러입니다. 비슷한 소형 모델의 상용 API는 100만 입력·출력 토큰당 약 0.15~0.60달러를 청구하므로, 자체 호스팅은 꾸준한 대량 처리에서만 이득입니다.
월 총 출력 토큰(월 요청 수 × 요청당 평균 출력 토큰)에서 시작하세요. 이를 실효 처리량(GPU의 초당 토큰 × 현실적 가동률)으로 나누면 GPU-초가 나오고, 3600으로 나누면 GPU-시간입니다. GPU-시간에 시간당 임대 가격을 곱하면 컴퓨팅 비용입니다. 입력 토큰은 prefill 단계에서 처리되며 생성보다 토큰당 훨씬 저렴하므로, 출력 토큰이 추정치를 좌우합니다.

Related Tools

Related guides관련 가이드

GPU

Vultr Cloud GPU Review

→ VPS

VPS Cost Calculator

→ Sizing

Server Spec Recommender

→
Vultr Cloud GPU Review
Sponsor
Get started on Vultr
Get $300 free credit — valid for 30 days (limited-time offer)
Claim your credit →