Q4_K_M: 显存不足 (OOM) 176.19 GB / 61.4 GB 安全可用
海光深算 DCU K100-AI 64GB (HBM2e) 运行 DeepSeek-V4-Flash (284B-A13B MoE) 显存与速度估算
单张 海光 DCU K100-AI(可用显存约 61.4 GB)难以全量装入 DeepSeek-V4-Flash (284B-A13B MoE) 的 Q4_K_M 权重(需 176.19 GB)。建议切换更低比特量化、多卡并联,或直接租用大显存云 GPU / 调用在线 API。
并发请求数 (Batch):
MoE 284B / A13B·43L (d=4096)·64Q/1KV·Ctx 1M
显存不足 (OOM)176.19 / 61.4 GBOOM· Q4_K_M · 16K ctx
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)