大模型显存计算器
选模型 + 选显卡,按官方 config.json 拆解权重与 KV Cache 显存,估算吐字速度,并给出 Ollama / llama.cpp / vLLM 启动命令。
并发请求数 (Batch):
Dense 27B·64L (d=5120)·24Q/4KV·Ctx 256K·Text+Image+Video
流畅可跑19.33 / 23.5 GB~42.6 tok/s· Q4_K_M · 16K ctx
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)
流畅可跑
19.33/ 23.5 GB 可用显存
物理总容量 24 GB · 占用率 82.2%
理论带宽解码速度 (Decode)
~42.6tokens/s
实际吞吐受框架 (vLLM/Ollama/Unsloth) 影响约 ±25%
当前并发 (1x) 最大可开窗口
78K/ 256K
高并发下开启 Q8/Q4 KV 量化可成倍提升并发上限
模型权重: 16.37 GBKV Cache (1×16K): 1.34 GB框架开销: 1.63 GB
🏃 丝滑顺畅(超越人眼阅读)生成 500 Token 回答约需 11.7 秒
参考启动命令:
OLLAMA_CONTEXT_LENGTH=16384 ollama run qwen3.5:27bRTX 4090 可运行 Qwen3.5-27B · 硬件成本与回本参考
参考均价约 ¥15,999(折合 ¥667/GB)· 满载约 450W
大模型「能力 × 成本」性价比象限图
绿线 = 同成本最强前沿越靠左上角代表「花更少的显存/钱,拿到更高的综合评测表现」;纵轴来自公开综合评测指数(AA / ZeroEval 聚合)或盲测 Elo
Qwen3.5-35B-A3BAlibaba Qwen · MoE A3BQ4: 23.34 GB综合指数 45同档位性价比冠军