ai.canshu.com
EN
显存计算器 配机与回本向导 API 价格 同屏 PK 对比 模型库 排行榜 显卡库

全局搜索模型、显卡与工具

↑↓ 移动 · Enter 直达 · ★ 优先展示我的关注 ai.canshu.com
Zhipu AI
开源权重 Zhipu AI · Dense 32B · Text · BF16

GLM-4-32B-0414 模型架构参数、评测与显存全表

单卡 24GB 极友好的 32B 强代码模型,仅 2 个 KV 头令长上下文显存占用极低。

🧬 GLM-4-32B-0414 底层网络与张量参数总表 (Model Overview & config.json)

全部字段同步自官方 HuggingFace 仓库 (zai-org/GLM-4-32B-0414) 的 config.json 与技术报告 · 核验日期 2026-11-20

HF Class: Glm4ForCausalLM

1. 骨干网络与维度参数

glm4
总参数量 / 单步激活
32B (Dense)
Hidden Size (d_model)
6,144
FFN Intermediate Size
23,040
激活函数 / RMSNorm
SiLU (SwiGLU) · ε=1e-5
原生权重精度
BF16

2. 注意力机制与混合层拓扑

GQA
Transformer 总层数
61 层
网络层排布 (Hidden Layout)
61 层极窄 KV 头稠密架构 (48 Q / 仅 2 KV 头,GQA 压缩比高达 24:1)
注意力头 (Q / KV)
48 Q / 2 KV (24:1 GQA)
Head Dimension
128

3. 上下文、位置编码与词表

Tokenizer
原生上下文长度
32,768 tokens
旋转位置编码 (RoPE)
RoPE (θ=10,000 · 原生 32,768 Context)
词表大小 (vocab_size)
151,552 (独立输出头)
特殊控制 Token ID
EOS: [151329,151336,151338] · PAD: 151329

🏆 GLM-4-32B-0414 官方基准评测成绩单

摘录自官方 System Card / Model Card 与权威公开横评表

Arena Elo ~1426 AA Index 40
📚 知识与指令
SimpleQA (w/ Search) 88.1 %
📚 知识与指令
IFEval 87.6 %

可程序化验证的指令遵循基准(IFEval),包含字数限制、JSON 格式、禁用词、段落结构等 25 类严格格式约束测试。

🤖 Agent 工具调用
BFCL-v3 (Overall) 69.6 %

伯克利函数调用排行榜 v3,引入多轮动态对话与多步状态依赖场景下的工具调用评估。

🤖 Agent 工具调用
TAU-Bench (Retail) 68.7 %

零售电商客服多轮对话与后台数据库 API 合规操作

📚 知识与指令
HotpotQA 63.8 %

跨多篇维基百科段落寻找关联线索的多跳问答基准

💻 代码工程
SWE-bench Verified 33.8 %

经人类工程师逐题验证可解的 500 道真实 GitHub 开源仓库 Issue 修复基准,衡量模型阅读大型代码库并生成通过单测补丁的实战工程能力。

🎛️ 官方调用采样与思考参数指南

API / 推理引擎调用时的最佳超参数与约束说明

通用工程代码与工具调用 (Default Instruct)
temperature=0.7 top_p=0.9 max_tokens=8,192

💡 15T 语料预训练,擅长前端 HTML/SVG Artifact 生成与多轮 Function Calling

⚡ GLM-4-32B-0414 本地显存占用 & 实时吐字速度计算器

并发请求数 (Batch):
Dense 32B·61L (d=6144)·48Q/2KV·Ctx 32K
该设备兼容榜 →
并联卡数
32 GB VRAM·1792 GB/s·安全可用上限 31.4 GB
流畅可跑21.26 / 31.4 GB~64.8 tok/s
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)
流畅可跑
21.26/ 31.4 GB 可用显存

物理总容量 32 GB · 占用率 67.8%

理论带宽解码速度 (Decode)
~64.8tokens/s

实际吞吐受框架 (vLLM/Ollama/Unsloth) 影响约 ±25%

当前并发 (1x) 最大可开窗口
32K/ 32K

高并发下开启 Q8/Q4 KV 量化可成倍提升并发上限

模型权重: 19.4 GBKV Cache (1×16K): 1.02 GB框架开销: 0.84 GB
🚀 闪电秒出(长推理/写代码极爽)生成 500 Token 回答约需 7.7 秒
参考启动命令:
OLLAMA_CONTEXT_LENGTH=16384 ollama run glm4:32b

RTX 5090 可运行 GLM-4-32B-0414 · 硬件成本与回本参考

参考均价约 ¥18,999(折合 ¥594/GB)· 满载约 575W

📊 GLM-4-32B-0414 各量化精度显存占用对照表 (16K 上下文)

量化格式 等效位数 纯权重体积 KV Cache (16K) 总显存需求 精度评价
FP16 / BF16 16 bpw 64 GB 1.02 GB 66.75 GB 无损原精度
FP8 / Q8_0 8.5 bpw 34 GB 1.02 GB 36.15 GB 99.9% 接近无损
GGUF Q6_K 6.56 bpw 26.24 GB 1.02 GB 28.24 GB 极高画质 · 严肃编码
GGUF Q5_K_M 5.69 bpw 22.76 GB 1.02 GB 24.69 GB 高均衡度
Q4_K_M / AWQ 4.85 bpw 19.4 GB 1.02 GB 21.26 GB 黄金甜点(推荐)
GGUF IQ4_XS 4.25 bpw 17 GB 1.02 GB 18.81 GB 省显存优选
GGUF Q3_K_M 3.91 bpw 15.64 GB 1.02 GB 17.43 GB 轻度智商折损
GGUF Q2_K 3.15 bpw 12.6 GB 1.02 GB 14.33 GB 极限压缩尝鲜

🖥️ 主流显卡、Mac 与国产卡运行 GLM-4-32B-0414 (Q4_K_M) 兼容性列表

常见问题解答 (FAQ)

GLM-4-32B-0414 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?

GLM-4-32B-0414 底层架构为 Glm4ForCausalLM,共 61 层(61 层极窄 KV 头稠密架构 (48 Q / 仅 2 KV 头,GQA 压缩比高达 24:1)),隐藏层维度 hidden_size=6144,注意力头配置为 48 个 Query 头 / 2 个 KV 头(head_dim=128),词表大小 vocab_size=151,552,原生上下文窗口 32,768 tokens。

GLM-4-32B-0414 本地部署至少需要多少 GB 显存?

在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,GLM-4-32B-0414 共需约 21.26 GB 显存(含权重 19.4 GB + KV 缓存 1.02 GB + 系统开销 0.84 GB)。无损 FP16/BF16 则需约 66.75 GB。

GLM-4-32B-0414 官方推荐的采样参数(Temperature / Top-P)是多少?

依据官方 generation_config.json 与最佳实践,在「通用工程代码与工具调用 (Default Instruct)」下建议设置 temperature=0.7、top_p=0.9。注意:15T 语料预训练,擅长前端 HTML/SVG Artifact 生成与多轮 Function Calling