Q4_K_M: 显存不足 (OOM) 178.12 GB / 94.1 GB 安全可用
NVIDIA H20 96GB (HBM3) 运行 ERNIE-5.5-Flash (280B MoE) 显存与速度估算
单张 H20 96G(可用显存约 94.1 GB)难以全量装入 ERNIE-5.5-Flash (280B MoE) 的 Q4_K_M 权重(需 178.12 GB)。建议切换更低比特量化、多卡并联,或直接租用大显存云 GPU / 调用在线 API。
并发请求数 (Batch):
MoE 286B / A14B·43L (d=4096)·64Q/1KV·Ctx 1M
显存不足 (OOM)178.12 / 94.1 GBOOM· Q4_K_M · 16K ctx
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)