Q4_K_M: 显存不足 (OOM) 148.98 GB / 61.4 GB 安全可用
华为昇腾 Ascend 910B 64GB (HBM2e) 运行 Qwen3-235B-A22B (MoE) 显存与速度估算
单张 昇腾 910B 64G(可用显存约 61.4 GB)难以全量装入 Qwen3-235B-A22B (MoE) 的 Q4_K_M 权重(需 148.98 GB)。建议切换更低比特量化、多卡并联,或直接租用大显存云 GPU / 调用在线 API。
并发请求数 (Batch):
MoE 235.1B / A22.2B·94L (d=4096)·64Q/4KV·Ctx 128K
显存不足 (OOM)148.98 / 61.4 GBOOM· Q4_K_M · 16K ctx
3. 权重量化精度