Q4_K_M: 流畅可跑 71.92 GB / 94.1 GB 安全可用
NVIDIA RTX PRO 6000 Blackwell 96GB 运行 Llama-4-Scout-109B-A17B (MoE) 显存与速度估算
可以流畅运行。在主流 Q4_K_M 4-bit 量化(16K 上下文)下,Llama-4-Scout-109B-A17B (MoE) 总显存占用约 71.92 GB(权重 66.08 GB + KV 缓存 3.22 GB + 系统开销 2.62 GB),低于 RTX PRO 6000 96G 的安全可用水位(94.1 GB),预估单并发推理速度约 108.3 tokens/s。
并发请求数 (Batch):
MoE 109B / A17B·48L (d=5120)·40Q/8KV·Ctx 1M·Text+Image
流畅可跑71.92 / 94.1 GB~108.3 tok/s