GLM-5 (744B-A40B MoE) 模型架构参数、评测与显存全表
智谱 744B 总参 / 40B 激活旗舰开源基座,面向多卡 H20/A100/昇腾 910B 企业私有化集群。
🧬 GLM-5 (744B-A40B MoE) 底层网络与张量参数总表 (Model Overview & config.json)
全部字段同步自官方 HuggingFace 仓库 (zai-org/GLM-5) 的 config.json 与技术报告 · 核验日期 2026-11-20
1. 骨干网络与维度参数
glm_moe_dsa- 总参数量 / 单步激活
- 744B / 40B
- Hidden Size (d_model)
- 6,144
- FFN Intermediate Size
- 12,288
- MoE 专家中间层维度
- 2,048
- MoE 专家配置
- 256 路由 · 激活8 + 1 共享
- 激活函数 / RMSNorm
- SiLU (SwiGLU) · ε=1e-5
- 原生权重精度
- BF16
2. 注意力机制与混合层拓扑
MLA- Transformer 总层数
- 78 层
- 网络层排布 (Hidden Layout)
- 78 层旗舰稀疏注意力 MoE (GlmMoeDsa:256 路由专家 + 1 共享专家,激活 8 专家)
- 注意力头 (Q / KV)
- 64 Q / 64 KV
- Head Dimension
- 64
- 线性注意力 / KV 压缩机制
- DeepSeek 稀疏潜在注意力 DSA:kv_lora_rank=512 + qk_rope_head_dim=64
- 视觉编码器 / MTP 头
- MTP 1L
3. 上下文、位置编码与词表
Tokenizer- 原生上下文长度
- 202,752 tokens
- 旋转位置编码 (RoPE)
- RoPE (θ=1,000,000 · 原生 202,752 Context)
- 词表大小 (vocab_size)
- 154,880 (独立输出头)
- 特殊控制 Token ID
- EOS: [154820,154827,154829] · PAD: 154820
📋 GLM-5 (744B-A40B MoE) 官方 API 技术规格与计费参数总表
核验自 Zhipu AI 官方开发者文档与公开定价页(核验日期 2026-11-20)
1. 模型标识与能力开关
API Spec- 官方调用 Model ID
- glm-5
- 版本发布日期
- 2026-02-12
- 权重授权形态
- 开源权重 (云端 API 规格)
- 原生深度推理思考
- ✅ 支持 (可调思考预算)
- Function Calling & JSON Schema
- ✅ 原生支持
- Batch API 异步批处理
- ✅ 支持 (通常享 5 折)
2. 上下文、输出上限与模态
Limits- 最大输入上下文窗口
- 1,024,000 tokens (1024K)
- 单次最大输出上限
- 131,000 tokens
- 支持输入模态
- Text
- 支持输出模态
- Text
- 中国大陆网络直连
- ✅ 国内极速直连 + 人民币结算
- 分发与部署形态
- 开源权重 + 托管云 API
3. 官方 Token 单价与缓存阶梯
CNY / 1M- 标准输入单价 (每百万)
- ¥ 4
- Prompt 缓存命中输入
- ¥ 1 -75%
- 标准输出单价 (每百万)
- ¥ 18
- 长上下文阶梯与计费备注
- 智谱 BigModel:智谱第 5 代通用底座
🏆 GLM-5 (744B-A40B MoE) 官方基准评测成绩单
摘录自官方 System Card / Model Card 与权威公开横评表
研究生级物理、化学与生物高难防搜索推理选择题
「人类最后的考试」开启检索与代码工具辅助得分
经人类工程师逐题验证可解的 500 道真实 GitHub 开源仓库 Issue 修复基准,衡量模型阅读大型代码库并生成通过单测补丁的实战工程能力。
覆盖 Java、TypeScript、JavaScript、Go、Rust、C 与 C++ 等主流语言的 1,632 道真实开源仓库 Issue 修复评测。
双控动态对话环境下的客服规则遵循与多步工具调用
大规模模型上下文协议(MCP)工具协同基准,评估智能体在复杂多步任务中协调、组合调用数十种外部 MCP 工具的真实成功率。
🎛️ 官方调用采样与思考参数指南
API / 推理引擎调用时的最佳超参数与约束说明
📊 GLM-5 (744B-A40B MoE) 全量评测成绩与维度排名
共 5 项公开评测 · 排名为在本站 154 款有评测数据模型中的名次 · 数据同步于 2026-11-20
💻 代码工程 3 项
来源:ZeroEval / llm-stats.com 公开评测聚合(✓ 为第三方验证,其余为厂商官方自报)。点击任一评测可查看全库排名。
⚡ GLM-5 (744B-A40B MoE) 本地显存占用 & 实时吐字速度计算器
物理总容量 96 GB · 占用率 491.1%
超出安全可用上限 367.91 GB
MLA 潜在注意力显著压缩高并发 KV 占用
OLLAMA_CONTEXT_LENGTH=16384 ollama run glm5:744b本地显存不足?运行 GLM-5 (744B-A40B MoE) 的替代方案
可按小时租用预装好 vLLM / LLaMA-Factory 的大显存云显卡,或算一下直接调 API 对比买卡的 12 个月回本线。
📊 GLM-5 (744B-A40B MoE) 各量化精度显存占用对照表 (16K 上下文)
| 量化格式 | 等效位数 | 纯权重体积 | KV Cache (16K) | 总显存需求 | 精度评价 |
|---|---|---|---|---|---|
| FP16 / BF16 | 16 bpw | 1488 GB | 1.47 GB | 1519.68 GB | 无损原精度 |
| FP8 / Q8_0 | 8.5 bpw | 790.5 GB | 1.47 GB | 808.23 GB | 99.9% 接近无损 |
| GGUF Q6_K | 6.56 bpw | 610.08 GB | 1.47 GB | 624.2 GB | 极高画质 · 严肃编码 |
| GGUF Q5_K_M | 5.69 bpw | 529.17 GB | 1.47 GB | 541.68 GB | 高均衡度 |
| Q4_K_M / AWQ | 4.85 bpw | 451.05 GB | 1.47 GB | 461.99 GB | 黄金甜点(推荐) |
| GGUF IQ4_XS | 4.25 bpw | 395.25 GB | 1.47 GB | 405.08 GB | 省显存优选 |
| GGUF Q3_K_M | 3.91 bpw | 363.63 GB | 1.47 GB | 372.82 GB | 轻度智商折损 |
| GGUF Q2_K | 3.15 bpw | 292.95 GB | 1.47 GB | 300.73 GB | 极限压缩尝鲜 |
🖥️ 主流显卡、Mac 与国产卡运行 GLM-5 (744B-A40B MoE) (Q4_K_M) 兼容性列表
常见问题解答 (FAQ)
GLM-5 (744B-A40B MoE) 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?
GLM-5 (744B-A40B MoE) 底层架构为 GlmMoeDsaForCausalLM,共 78 层(78 层旗舰稀疏注意力 MoE (GlmMoeDsa:256 路由专家 + 1 共享专家,激活 8 专家)),隐藏层维度 hidden_size=6144,注意力头配置为 64 个 Query 头 / 64 个 KV 头(head_dim=64),词表大小 vocab_size=154,880,原生上下文窗口 202,752 tokens。
GLM-5 (744B-A40B MoE) 本地部署至少需要多少 GB 显存?
在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,GLM-5 (744B-A40B MoE) 共需约 461.99 GB 显存(含权重 451.05 GB + KV 缓存 1.47 GB + 系统开销 9.47 GB)。无损 FP16/BF16 则需约 1519.68 GB。
GLM-5 (744B-A40B MoE) 官方推荐的采样参数(Temperature / Top-P)是多少?
依据官方 generation_config.json 与最佳实践,在「深度推理模式 (Reasoning / HLE / Math)」下建议设置 temperature=1、top_p=0.95。