ai.canshu.com
EN
显存计算器 配机与回本向导 API 价格 同屏 PK 对比 模型库 排行榜 显卡库

全局搜索模型、显卡与工具

↑↓ 移动 · Enter 直达 · ★ 优先展示我的关注 ai.canshu.com
DeepSeek
开源权重 DeepSeek · MoE 671B / A37B · Text · FP8 Mixed

DeepSeek-R1 (671B-A37B MoE) 模型架构参数、评测与显存全表

671B 满血推理标杆,MLA 多头潜在注意力大幅压缩长文本 KV Cache,Q4 量化可装入 512GB Mac Studio 或 8×80G 服务器。

🧬 DeepSeek-R1 (671B-A37B MoE) 底层网络与张量参数总表 (Model Overview & config.json)

全部字段同步自官方 HuggingFace 仓库 (deepseek-ai/DeepSeek-R1) 的 config.json 与技术报告 · 核验日期 2026-11-20

HF Class: DeepseekV3ForCausalLM

1. 骨干网络与维度参数

deepseek_v3
总参数量 / 单步激活
671B / 37B
Hidden Size (d_model)
7,168
FFN Intermediate Size
18,432
MoE 专家中间层维度
2,048
MoE 专家配置
256 路由 · 激活8 + 1 共享
激活函数 / RMSNorm
SiLU (SwiGLU) · ε=1e-6
原生权重精度
FP8 Mixed

2. 注意力机制与混合层拓扑

MLA
Transformer 总层数
61 层
网络层排布 (Hidden Layout)
61 层 DeepSeekMoE + MLA 多头潜在注意力 (前 3 层稠密 FFN + 58 层 MoE)
注意力头 (Q / KV)
128 Q / 128 KV
Head Dimension
56
线性注意力 / KV 压缩机制
MLA 潜在向量压缩:kv_lora_rank=512 + qk_rope_head_dim=64
视觉编码器 / MTP 头
MTP 1L

3. 上下文、位置编码与词表

Tokenizer
原生上下文长度
163,840 tokens
旋转位置编码 (RoPE)
YaRN Decoupled RoPE (θ=10,000 · qk_rope_dim=64 · 160K Context)
词表大小 (vocab_size)
129,280 (独立输出头)
特殊控制 Token ID
BOS: 0 · EOS: 1

📋 DeepSeek-R1 (671B-A37B MoE) 官方 API 技术规格与计费参数总表

核验自 DeepSeek 官方开发者文档与公开定价页(核验日期 2026-11-20)

API Model ID: deepseek-r1

1. 模型标识与能力开关

API Spec
官方调用 Model ID
deepseek-r1
版本发布日期
2025-05-28
权重授权形态
开源权重 (云端 API 规格)
原生深度推理思考
✅ 支持 (可调思考预算)
Function Calling & JSON Schema
✅ 原生支持
Batch API 异步批处理
✅ 支持 (通常享 5 折)

2. 上下文、输出上限与模态

Limits
最大输入上下文窗口
128,000 tokens (128K)
单次最大输出上限
16,000 tokens
支持输入模态
Text
支持输出模态
Text
中国大陆网络直连
✅ 国内极速直连 + 人民币结算
分发与部署形态
开源权重 + 托管云 API

3. 官方 Token 单价与缓存阶梯

CNY / 1M
标准输入单价 (每百万)
¥ 4
Prompt 缓存命中输入
¥ 0.8 -80%
标准输出单价 (每百万)
¥ 16
长上下文阶梯与计费备注
阿里云百炼:百炼企业级高可用满血 R1

🏆 DeepSeek-R1 (671B-A37B MoE) 官方基准评测成绩单

摘录自官方 System Card / Model Card 与权威公开横评表

Arena Elo ~1476 AA Index 48
📚 知识与指令
MMLU 90.8 %

大规模多任务语言理解基准,覆盖 STEM 理工、人文、社科及医学法律等 57 个学科的综合知识测试。

📚 知识与指令
MMLU-Redux 92.9 %

经人工重新逐题核对与纠错的 MMLU 精修版,消除了原数据集中的错标与歧义题目,使高分段对比更可靠。

📚 知识与指令
MMLU-Pro 84 %

MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。

🧠 数学与深度推理
GPQA Diamond 71.5 %

研究生级物理、化学与生物高难防搜索推理选择题

🧠 数学与深度推理
MATH-500 97.3 %

OpenAI 精选的 500 道具有代表性的高难度竞赛数学题子集(源自 MATH 数据集)。

🧠 数学与深度推理
AIME 2024 79.8 %

2024 年美国数学邀请赛(AIME I & II)30 道竞赛数学真题,衡量竞赛级数学逻辑推导。

💻 代码工程
LiveCodeBench 65.9 %

持续从 LeetCode、AtCoder 与 CodeForces 采集最新赛题的无污染代码生成与算法推理基准。

🤖 Agent 工具调用
AlpacaEval 2.0 87.6 %

长度去偏置的开放式日常指令遵循胜率基准

🎛️ 官方调用采样与思考参数指南

API / 推理引擎调用时的最佳超参数与约束说明

深度推理标准配置 (DeepThink Recommended)
temperature=0.6 top_p=0.95 max_tokens=32,768

💡 温度建议固定在 0.5~0.7(推荐 0.6);官方建议不添加 System Prompt,将全部指令放入 User Prompt

⚡ DeepSeek-R1 (671B-A37B MoE) 本地显存占用 & 实时吐字速度计算器

并发请求数 (Batch):
MoE 671B / A37B·61L (d=7168)·128Q/128KV·Ctx 128K
该设备兼容榜 →
并联卡数
96 GB VRAM·4000 GB/s·安全可用上限 94.1 GB
显存不足 (OOM)416.53 / 94.1 GBOOM
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)
显存不足 (OOM)
416.53/ 94.1 GB 可用显存

物理总容量 96 GB · 占用率 442.7%

理论带宽解码速度 (Decode)
—tokens/s

超出安全可用上限 322.45 GB

当前并发 (1x) 最大可开窗口
0K/ 128K

MLA 潜在注意力显著压缩高并发 KV 占用

模型权重: 406.79 GBKV Cache (1×16K): 1.15 GB框架开销: 8.59 GB
⛔ 无法加载
参考启动命令:
OLLAMA_CONTEXT_LENGTH=16384 ollama run deepseek-r1:671b

本地显存不足?运行 DeepSeek-R1 (671B-A37B MoE) 的替代方案

可按小时租用预装好 vLLM / LLaMA-Factory 的大显存云显卡,或算一下直接调 API 对比买卡的 12 个月回本线。

📊 DeepSeek-R1 (671B-A37B MoE) 各量化精度显存占用对照表 (16K 上下文)

量化格式 等效位数 纯权重体积 KV Cache (16K) 总显存需求 精度评价
FP16 / BF16 16 bpw 1342 GB 1.15 GB 1370.44 GB 无损原精度
FP8 / Q8_0 8.5 bpw 712.94 GB 1.15 GB 728.8 GB 99.9% 接近无损
GGUF Q6_K 6.56 bpw 550.22 GB 1.15 GB 562.83 GB 极高画质 · 严肃编码
GGUF Q5_K_M 5.69 bpw 477.25 GB 1.15 GB 488.4 GB 高均衡度
Q4_K_M / AWQ 4.85 bpw 406.79 GB 1.15 GB 416.53 GB 黄金甜点(推荐)
GGUF IQ4_XS 4.25 bpw 356.47 GB 1.15 GB 365.2 GB 省显存优选
GGUF Q3_K_M 3.91 bpw 327.95 GB 1.15 GB 336.11 GB 轻度智商折损
GGUF Q2_K 3.15 bpw 264.21 GB 1.15 GB 271.09 GB 极限压缩尝鲜

🖥️ 主流显卡、Mac 与国产卡运行 DeepSeek-R1 (671B-A37B MoE) (Q4_K_M) 兼容性列表

常见问题解答 (FAQ)

DeepSeek-R1 (671B-A37B MoE) 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?

DeepSeek-R1 (671B-A37B MoE) 底层架构为 DeepseekV3ForCausalLM,共 61 层(61 层 DeepSeekMoE + MLA 多头潜在注意力 (前 3 层稠密 FFN + 58 层 MoE)),隐藏层维度 hidden_size=7168,注意力头配置为 128 个 Query 头 / 128 个 KV 头(head_dim=56),词表大小 vocab_size=129,280,原生上下文窗口 163,840 tokens。

DeepSeek-R1 (671B-A37B MoE) 本地部署至少需要多少 GB 显存?

在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,DeepSeek-R1 (671B-A37B MoE) 共需约 416.53 GB 显存(含权重 406.79 GB + KV 缓存 1.15 GB + 系统开销 8.59 GB)。无损 FP16/BF16 则需约 1370.44 GB。

DeepSeek-R1 (671B-A37B MoE) 官方推荐的采样参数(Temperature / Top-P)是多少?

依据官方 generation_config.json 与最佳实践,在「深度推理标准配置 (DeepThink Recommended)」下建议设置 temperature=0.6、top_p=0.95。注意:温度建议固定在 0.5~0.7(推荐 0.6);官方建议不添加 System Prompt,将全部指令放入 User Prompt