跑 Llama-70B 需要多少显存：FP16 140GB / FP8 70GB——一张表看懂
结论先行：70B FP16 权重 = 140GB——H200 141GB 是唯一“整卡装下”的单卡（KV 余量≈1GB，只适合低并发短上下文）；FP8 权重 70GB 后余 71GB，可开 32K 上下文×多路并发，这是 H200 单卡的实战口径。INT4 量化 35GB 是下限口径。
显存算账
| 分项 | 参数量 | 精度（B/参数） | 显存 |
|---|
| 权重 FP16/BF16 | 70B | FP16（2） | 140GB |
| 权重 FP8 | 70B | FP8（1） | 70GB |
| 权重 INT4（GPTQ/AWQ） | 70B | INT4（0.5） | 35GB |
| KV cache（FP16） | 80层×8 KV头×128维 | 2B | ≈0.32MB/token |
| KV cache @32K 上下文×1路 | — | FP16 | ≈10.5GB |
| 框架开销（vLLM/TRT-LLM） | — | — | 权重的 5-10% |
口径：KV cache = 2(K&V) × 层数 × KV头数 × 头维 × 序列长 × 批 × 字节数。Llama-70B 用 GQA（8 个 KV 头），比 MHA 省 10 倍 KV；并发 N 路 = KV×N。H100 80GB 装不下 FP16 的 140GB——需要 2×H100 张量并行（160GB）或降精度。
推荐配置（按预算档 · 人民币整机口径）
预算 ≤150万 · 单卡方案为主词条 →NVIDIA H200 141GB
显存 141GB HBM3e · NVLink 900GB/s（SXM） · 单卡
萬安指数 88 · LLM推理
为什么是它：70B FP16 权重≈140GB，H200 141GB 刚好整卡装下；实战口径 FP8 权重 70GB，余 71GB 开 32K×多并发。
词条建设中H100 80GB ×2
显存 2×80GB = 160GB · NVLink 桥接（张量并行） · 双卡服务器
为什么是它：2×80GB=160GB 张量并行装 FP16：能跑，但卡间带宽成为吞吐瓶颈，优先级次于 H200 单卡。
预算 150-600万 · 可入双卡·入门八卡词条 →NVIDIA H200 141GB
显存 141GB HBM3e · NVLink 900GB/s（SXM） · 单卡
萬安指数 88 · LLM推理
为什么是它：FP8 权重 70GB 对 141GB 余 71GB（≈100 路×32K KV），单卡即生产档；升档买的是并发冗余。
词条建设中H100 80GB ×2
显存 2×80GB = 160GB · NVLink 桥接（张量并行） · 双卡服务器
为什么是它：2×80GB=160GB 张量并行装 FP16 全量 140GB：精度敏感场景的替代解，代价是卡间通信。
预算 600-2000万 · 旗舰八卡·B300 NVL8 档词条 →HGX H200 八卡
显存 8×141GB = 1.128TB · NVLink/NVSwitch · 8U 风冷整机
萬安指数 88 · LLM推理
大陆行情带 585-700 万/台（8 卡整机口径）
为什么是它：高并发满血服务：1.128TB 可驻留多份 70B FP8 副本+海量 KV 池，批处理不排队。
词条 →NVIDIA B300 NVL8
显存 8×288GB = 2.304TB HBM3e · NVLink 5 · 8U 风冷整机
萬安指数 94 · LLM推理
大陆在售约 1700 万级（8 卡整机口径）
为什么是它：下一代推理口径：288GB×8=2.304TB，萬安指数·LLM推理 94（词条值）。
常见问答
一张 H100 80GB 能装 Llama-70B FP16 吗？
不能：FP16 权重 140GB > 80GB。可选 2×H100 张量并行（160GB），或单卡降精度 FP8（70GB）/INT4（35GB）。
H200 141GB 跑 70B 是最优解吗？
是同预算下的首选：FP16 140GB 刚好整卡装下（KV 余量≈1GB，低并发口径）；实战用 FP8 权重 70GB，余 71GB 开 32K 上下文×多路并发。
KV cache 怎么算？
KV = 2 × 层数 × KV头数 × 头维 × 序列长 × 批 × 字节数。Llama-70B：2×80×8×128×2B ≈ 0.32MB/token，32K 上下文≈10.5GB/路；并发 N 路 KV×N。
参考选型不构成交易要约，配置与价格实际以货主报价为准。数据来源：萬安算交所