ai.canshu.com
EN
显存计算器 配机与回本向导 API 价格 同屏 PK 对比 模型库 排行榜 显卡库

全局搜索模型、显卡与工具

↑↓ 移动 · Enter 直达 · ★ 优先展示我的关注 ai.canshu.com
Alibaba Qwen
开源权重 Alibaba Qwen · MoE 397B / A17B · Text+Image+Video · BF16

Qwen3.5-397B-A17B (MoE) 模型架构参数、评测与显存全表

千问 3.5 开源家族最大尺寸旗舰(对应阿里云百炼 Qwen3.5-Plus 同源底座),总参 397B、仅激活 17B,512 专家混合线性注意力。

🧬 Qwen3.5-397B-A17B (MoE) 底层网络与张量参数总表 (Model Overview & config.json)

全部字段同步自官方 HuggingFace 仓库 (Qwen/Qwen3.5-397B-A17B) 的 config.json 与技术报告 · 核验日期 2026-11-20

HF Class: Qwen3_5MoeForConditionalGeneration

1. 骨干网络与维度参数

qwen3_5_moe
总参数量 / 单步激活
397B / 17B
Hidden Size (d_model)
4,096
MoE 专家中间层维度
1,024
MoE 专家配置
512 路由 · 激活10 + 1 共享
激活函数 / RMSNorm
SiLU (SwiGLU) · ε=1e-6
原生权重精度
BF16

2. 注意力机制与混合层拓扑

HYBRID
Transformer 总层数
60 层 (15 层全局 KV)
网络层排布 (Hidden Layout)
60 层混合 MoE:15 × [3 层 Gated DeltaNet→MoE + 1 层 Gated Attention→MoE]
注意力头 (Q / KV)
32 Q / 2 KV (16:1 GQA)
Head Dimension
256
线性注意力 / KV 压缩机制
仅 15 层 × 2 KV 头产生全局 KV 缓存,支持 YaRN 扩展至 1,010,000 tokens
视觉编码器 / MTP 头
ViT 27L · MTP 1L

3. 上下文、位置编码与词表

Tokenizer
原生上下文长度
262,144 tokens
最大扩展上下文 (YaRN)
1,010,000 tokens
旋转位置编码 (RoPE)
mRoPE (θ=10,000,000 · partial=0.25 · YaRN 4x→1M)
词表大小 (vocab_size)
248,320 (独立输出头)
特殊控制 Token ID
BOS: 248044 · EOS: [248046,248044] · PAD: 248044

📋 Qwen3.5-397B-A17B (MoE) 官方 API 技术规格与计费参数总表

核验自 Alibaba Qwen 官方开发者文档与公开定价页(核验日期 2026-11-20)

API Model ID: qwen3.5-397b-a17b

1. 模型标识与能力开关

API Spec
官方调用 Model ID
qwen3.5-397b-a17b
版本发布日期
2026-02-23
权重授权形态
开源权重 (云端 API 规格)
原生深度推理思考
✅ 支持 (可调思考预算)
Function Calling & JSON Schema
✅ 原生支持
Batch API 异步批处理
✅ 支持 (通常享 5 折)

2. 上下文、输出上限与模态

Limits
最大输入上下文窗口
256,000 tokens (256K)
单次最大输出上限
66,000 tokens
支持输入模态
Text + Image + Video
支持输出模态
Text
中国大陆网络直连
✅ 国内极速直连 + 人民币结算
分发与部署形态
开源权重 + 托管云 API

3. 官方 Token 单价与缓存阶梯

CNY / 1M
标准输入单价 (每百万)
¥ 1.2
Prompt 缓存命中输入
¥ 0.24 -80%
标准输出单价 (每百万)
¥ 7.19
长上下文阶梯与计费备注
阿里云百炼:开源旗舰 MoE 官方云托管

🏆 Qwen3.5-397B-A17B (MoE) 官方基准评测成绩单

摘录自官方 System Card / Model Card 与权威公开横评表

Arena Elo ~1495 AA Index 51
📚 知识与指令
MMLU-Pro 87.8 %

MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。

📚 知识与指令
C-Eval 93 %

面向中文语境的权威综合性基础模型评测集,涵盖理工、人文、社科与职业资格等 52 个学科共 13,948 道选择题。

🧠 数学与深度推理
GPQA Diamond 88.4 %

研究生级物理、化学与生物高难防搜索推理选择题

🧠 数学与深度推理
AIME 2026 91.3 %

2026 年美国数学邀请赛(AIME I & II)全部 30 道竞赛真题,要求输出 000–999 精确整数答案,检验奥数级推理能力。

💻 代码工程
LiveCodeBench v6 83.6 %

零数据污染的动态竞赛编程基准(v6),持续采集 LeetCode、AtCoder 与 CodeForces 最新赛题,全面测试算法编写、修复与执行推理。

🤖 Agent 工具调用
TAU2-Bench 86.7 %

双控动态交互环境下的业务规则遵循与工具调用评测

🤖 Agent 工具调用
BFCL-V4 72.9 %

伯克利函数调用排行榜第 4 代(BFCL-V4),全面评测单步、多步、并行、嵌套及多轮对话下的 API / Function Calling 精确度。

🎛️ 官方调用采样与思考参数指南

API / 推理引擎调用时的最佳超参数与约束说明

思考模式 (Thinking Mode)
temperature=0.6 top_p=0.95 top_k=20 min_p=0 max_tokens=32,768
非思考模式 (Instruct Mode)
temperature=0.7 top_p=0.8 top_k=20 presence_penalty=1.5 max_tokens=32,768

📊 Qwen3.5-397B-A17B (MoE) 全量评测成绩与维度排名

共 37 项公开评测 · 排名为在本站 154 款有评测数据模型中的名次 · 数据同步于 2026-11-20

⚔️ 和其他模型逐项比分

📐 数学 11 项

MMLU-Redux #2/15 94.9%

经人工重新逐题核对与纠错的 MMLU 精修版,消除了原数据集中的错标与歧义题目,使高分段对比更可靠。

HMMT 2025 #3/11 94.8%

2025 年哈佛-麻省理工数学锦标赛(HMMT)竞赛数学评测,涵盖代数、几何与组合难题。

HMMT25 #2/9 92.7%

2025 年哈佛-麻省理工数学锦标赛(HMMT)高难度数学竞赛基准。

AIME 2026 #13/18 91.3%

2026 年美国数学邀请赛(AIME I & II)全部 30 道竞赛真题,要求输出 000–999 精确整数答案,检验奥数级推理能力。

MMMLU #10/20 88.5%

OpenAI 发布的多语言版 MMLU,由专业译者将题目精准翻译为中文、阿拉伯语、德语、法语、日语等 14 种语言,衡量跨语言综合知识。

MMLU-Pro #5/39 87.8%

MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。

MMLU-ProX #3/13 84.7%

MMLU-Pro 的多语种对齐扩展版,在 29 种不同语系语言上提供完全对齐的 11,829 道高难度学科推理题。

IMO-AnswerBench #15/17 80.9%

国际数学奥林匹克(IMO)级别高难数学答案生成与验证基准,测试顶级数学竞赛求解实力。

PolyMATH #4/9 73.3%

包含 5,000 道人工精选图文题的多模态数学与空间认知推理基准。

SuperGPQA #5/16 70.4%

超大规模研究生级跨学科评测,涵盖工程、理学、医学、法学、经济学等 13 大门类共 285 个研究生学科、25,957 道高难度专业题。

Humanity's Last Exam #45/69 28.7%

「人类最后的考试」(HLE),由全球学者联合出题的 2,500 道数学、人文与自然科学前沿难题(图文多模态),专门测试大模型在人类知识边界上的推理极限。

来源:ZeroEval / llm-stats.com 公开评测聚合(✓ 为第三方验证,其余为厂商官方自报)。点击任一评测可查看全库排名。

⚡ Qwen3.5-397B-A17B (MoE) 本地显存占用 & 实时吐字速度计算器

并发请求数 (Batch):
MoE 397B / A17B·60L (d=4096)·32Q/2KV·Ctx 256K·Text+Image+Video
该设备兼容榜 →
512 GB 统一内存·1200 GB/s·安全可用上限 460.8 GB
流畅可跑247.5 / 460.8 GB~74.3 tok/s
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)
流畅可跑
247.5/ 460.8 GB 可用显存

物理总容量 512 GB · 占用率 53.7%

理论带宽解码速度 (Decode)
~74.3tokens/s

MoE 架构:每步仅读取 10.31 GB 激活权重

当前并发 (1x) 最大可开窗口
256K/ 256K

高并发下开启 Q8/Q4 KV 量化可成倍提升并发上限

模型权重: 240.68 GBKV Cache (1×16K): 0.7 GB框架开销: 6.11 GB
统一内存默认预留约 10% 给操作系统
🚀 闪电秒出(长推理/写代码极爽)生成 500 Token 回答约需 6.7 秒
参考启动命令:
OLLAMA_CONTEXT_LENGTH=16384 ollama run qwen3.5:397b-a17b

Mac Studio M5 Ultra 512G 可运行 Qwen3.5-397B-A17B (MoE) · 硬件成本与回本参考

参考均价约 ¥74,999(折合 ¥146/GB)· 满载约 190W

📊 Qwen3.5-397B-A17B (MoE) 各量化精度显存占用对照表 (16K 上下文)

量化格式 等效位数 纯权重体积 KV Cache (16K) 总显存需求 精度评价
FP16 / BF16 16 bpw 794 GB 0.7 GB 811.88 GB 无损原精度
FP8 / Q8_0 8.5 bpw 421.81 GB 0.7 GB 432.25 GB 99.9% 接近无损
GGUF Q6_K 6.56 bpw 325.54 GB 0.7 GB 334.05 GB 极高画质 · 严肃编码
GGUF Q5_K_M 5.69 bpw 282.37 GB 0.7 GB 290.02 GB 高均衡度
Q4_K_M / AWQ 4.85 bpw 240.68 GB 0.7 GB 247.5 GB 黄金甜点(推荐)
GGUF IQ4_XS 4.25 bpw 210.91 GB 0.7 GB 217.13 GB 省显存优选
GGUF Q3_K_M 3.91 bpw 194.03 GB 0.7 GB 199.92 GB 轻度智商折损
GGUF Q2_K 3.15 bpw 156.32 GB 0.7 GB 161.45 GB 极限压缩尝鲜

🖥️ 主流显卡、Mac 与国产卡运行 Qwen3.5-397B-A17B (MoE) (Q4_K_M) 兼容性列表

常见问题解答 (FAQ)

Qwen3.5-397B-A17B (MoE) 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?

Qwen3.5-397B-A17B (MoE) 底层架构为 Qwen3_5MoeForConditionalGeneration,共 60 层(60 层混合 MoE:15 × [3 层 Gated DeltaNet→MoE + 1 层 Gated Attention→MoE]),隐藏层维度 hidden_size=4096,注意力头配置为 32 个 Query 头 / 2 个 KV 头(head_dim=256),词表大小 vocab_size=248,320,原生上下文窗口 262,144 tokens。

Qwen3.5-397B-A17B (MoE) 本地部署至少需要多少 GB 显存?

在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,Qwen3.5-397B-A17B (MoE) 共需约 247.5 GB 显存(含权重 240.68 GB + KV 缓存 0.7 GB + 系统开销 6.11 GB)。无损 FP16/BF16 则需约 811.88 GB。

Qwen3.5-397B-A17B (MoE) 官方推荐的采样参数(Temperature / Top-P)是多少?

依据官方 generation_config.json 与最佳实践,在「思考模式 (Thinking Mode)」下建议设置 temperature=0.6、top_p=0.95、top_k=20。