ai.canshu.com
EN
显存计算器 配机与回本向导 API 价格 同屏 PK 对比 模型库 排行榜 显卡库

全局搜索模型、显卡与工具

↑↓ 移动 · Enter 直达 · ★ 优先展示我的关注 ai.canshu.com
Google DeepMind
开源权重 Google DeepMind · Dense 30.7B · Text+Image+Video · BF16

Gemma-4-31B-IT 模型架构参数、评测与显存全表

Google Apache-2.0 开源旗舰多模态稠密模型(30.7B),原生支持图文与可配置思考模式,适配 RTX 5090 32G 与 32G+ Mac。

🧬 Gemma-4-31B-IT 底层网络与张量参数总表 (Model Overview & config.json)

全部字段同步自官方 HuggingFace 仓库 (google/gemma-4-31B-it) 的 config.json 与技术报告 · 核验日期 2026-11-20

HF Class: Gemma4ForConditionalGeneration

1. 骨干网络与维度参数

gemma4
总参数量 / 单步激活
30.7B (Dense)
Hidden Size (d_model)
5,376
FFN Intermediate Size
21,504
激活函数 / RMSNorm
GELU-Tanh (GeGLU) · ε=1e-6
原生权重精度
BF16

2. 注意力机制与混合层拓扑

HYBRID
Transformer 总层数
60 层 (10 层全局 KV)
网络层排布 (Hidden Layout)
60 层交替注意力:50 层局部滑动窗口 (w=1024, 16KV) + 10 层全局注意力 (4KV, dim=512)
注意力头 (Q / KV)
32 Q / 4 KV (8:1 GQA)
Head Dimension
512
线性注意力 / KV 压缩机制
5:1 局部/全局交替注意力,大幅降低 256K 长文本全局 KV 缓存膨胀
视觉编码器 / MTP 头
ViT 27L

3. 上下文、位置编码与词表

Tokenizer
原生上下文长度
262,144 tokens
旋转位置编码 (RoPE)
Dual RoPE (Global Proportional θ=1,000,000 partial=0.25 · Sliding θ=10,000)
词表大小 (vocab_size)
262,144 (共享词嵌入)
特殊控制 Token ID
BOS: 2 · EOS: [1,106,50] · PAD: 0
语言覆盖
140+ 种语言预训练(35+ 核心语言)

📋 Gemma-4-31B-IT 官方 API 技术规格与计费参数总表

核验自 Google DeepMind 官方开发者文档与公开定价页(核验日期 2026-11-20)

API Model ID: google/gemma-4-31b-it

1. 模型标识与能力开关

API Spec
官方调用 Model ID
google/gemma-4-31b-it
版本发布日期
2026-04-02
权重授权形态
开源权重 (云端 API 规格)
原生深度推理思考
✅ 支持 (可调思考预算)
Function Calling & JSON Schema
✅ 原生支持
Batch API 异步批处理
✅ 支持 (通常享 5 折)

2. 上下文、输出上限与模态

Limits
最大输入上下文窗口
256,000 tokens (256K)
单次最大输出上限
16,000 tokens
支持输入模态
Text + Image + Video
支持输出模态
Text
中国大陆网络直连
✅ 国内极速直连 + 人民币结算
分发与部署形态
开源权重 + 托管云 API

3. 官方 Token 单价与缓存阶梯

USD / 1M
标准输入单价 (每百万)
$ 0.2
Prompt 缓存命中输入
$ 0.2
标准输出单价 (每百万)
$ 0.4
长上下文阶梯与计费备注
OpenRouter:Google 开源多模态稠密旗舰托管(OpenRouter 国内可直连,支持支付宝/外币卡)

🏆 Gemma-4-31B-IT 官方基准评测成绩单

摘录自官方 System Card / Model Card 与权威公开横评表

Arena Elo ~1450 AA Index 44
📚 知识与指令
MMLU-Pro 85.2 %

MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。

📚 知识与指令
MMMLU 88.4 %

OpenAI 发布的多语言版 MMLU,由专业译者将题目精准翻译为中文、阿拉伯语、德语、法语、日语等 14 种语言,衡量跨语言综合知识。

🧠 数学与深度推理
AIME 2026 (no tools) 89.2 %
🧠 数学与深度推理
GPQA Diamond 84.3 %

研究生级物理、化学与生物高难防搜索推理选择题

💻 代码工程
LiveCodeBench v6 80 %

零数据污染的动态竞赛编程基准(v6),持续采集 LeetCode、AtCoder 与 CodeForces 最新赛题,全面测试算法编写、修复与执行推理。

🤖 Agent 工具调用
TAU2-Bench 76.9 %

双控动态交互环境下的业务规则遵循与工具调用评测

👁️ 视觉与多模态
MMMU-Pro 76.9 %

MMMU 抗猜题增强版大学多学科多模态基准,剔除了仅靠纯文本就能猜对的题目并引入纯视觉输入截图模式,严格考察图文深度融合推理。

👁️ 视觉与多模态
MATH-Vision 85.6 %

🎛️ 官方调用采样与思考参数指南

API / 推理引擎调用时的最佳超参数与约束说明

官方默认多模态与思考配置 (generation_config.json)
temperature=1 top_p=0.95 top_k=64 max_tokens=32,768

💡 原生支持交错图文输入、内置 Thinking 思考模式与原生 Function Calling 工具调用

📊 Gemma-4-31B-IT 全量评测成绩与维度排名

共 16 项公开评测 · 排名为在本站 154 款有评测数据模型中的名次 · 数据同步于 2026-11-20

⚔️ 和其他模型逐项比分

来源:ZeroEval / llm-stats.com 公开评测聚合(✓ 为第三方验证,其余为厂商官方自报)。点击任一评测可查看全库排名。

⚡ Gemma-4-31B-IT 本地显存占用 & 实时吐字速度计算器

并发请求数 (Batch):
Dense 30.7B·60L (d=5376)·32Q/4KV·Ctx 256K·Text+Image+Video
该设备兼容榜 →
并联卡数
32 GB VRAM·1792 GB/s·安全可用上限 31.4 GB
流畅可跑22.47 / 31.4 GB~65.5 tok/s
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)
流畅可跑
22.47/ 31.4 GB 可用显存

物理总容量 32 GB · 占用率 71.6%

理论带宽解码速度 (Decode)
~65.5tokens/s

实际吞吐受框架 (vLLM/Ollama/Unsloth) 影响约 ±25%

当前并发 (1x) 最大可开窗口
122K/ 256K

高并发下开启 Q8/Q4 KV 量化可成倍提升并发上限

模型权重: 18.61 GBKV Cache (1×16K): 2.18 GB框架开销: 1.67 GB
🚀 闪电秒出(长推理/写代码极爽)生成 500 Token 回答约需 7.6 秒
参考启动命令:
OLLAMA_CONTEXT_LENGTH=16384 ollama run gemma4:31b

RTX 5090 可运行 Gemma-4-31B-IT · 硬件成本与回本参考

参考均价约 ¥18,999(折合 ¥594/GB)· 满载约 575W

📊 Gemma-4-31B-IT 各量化精度显存占用对照表 (16K 上下文)

量化格式 等效位数 纯权重体积 KV Cache (16K) 总显存需求 精度评价
FP16 / BF16 16 bpw 61.4 GB 2.18 GB 66.11 GB 无损原精度
FP8 / Q8_0 8.5 bpw 32.62 GB 2.18 GB 36.75 GB 99.9% 接近无损
GGUF Q6_K 6.56 bpw 25.17 GB 2.18 GB 29.16 GB 极高画质 · 严肃编码
GGUF Q5_K_M 5.69 bpw 21.84 GB 2.18 GB 25.75 GB 高均衡度
Q4_K_M / AWQ 4.85 bpw 18.61 GB 2.18 GB 22.47 GB 黄金甜点(推荐)
GGUF IQ4_XS 4.25 bpw 16.31 GB 2.18 GB 20.12 GB 省显存优选
GGUF Q3_K_M 3.91 bpw 15 GB 2.18 GB 18.79 GB 轻度智商折损
GGUF Q2_K 3.15 bpw 12.09 GB 2.18 GB 15.81 GB 极限压缩尝鲜

🖥️ 主流显卡、Mac 与国产卡运行 Gemma-4-31B-IT (Q4_K_M) 兼容性列表

常见问题解答 (FAQ)

Gemma-4-31B-IT 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?

Gemma-4-31B-IT 底层架构为 Gemma4ForConditionalGeneration,共 60 层(60 层交替注意力:50 层局部滑动窗口 (w=1024, 16KV) + 10 层全局注意力 (4KV, dim=512)),隐藏层维度 hidden_size=5376,注意力头配置为 32 个 Query 头 / 4 个 KV 头(head_dim=512),词表大小 vocab_size=262,144,原生上下文窗口 262,144 tokens。

Gemma-4-31B-IT 本地部署至少需要多少 GB 显存?

在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,Gemma-4-31B-IT 共需约 22.47 GB 显存(含权重 18.61 GB + KV 缓存 2.18 GB + 系统开销 1.67 GB)。无损 FP16/BF16 则需约 66.11 GB。

Gemma-4-31B-IT 官方推荐的采样参数(Temperature / Top-P)是多少?

依据官方 generation_config.json 与最佳实践,在「官方默认多模态与思考配置 (generation_config.json)」下建议设置 temperature=1、top_p=0.95、top_k=64。注意:原生支持交错图文输入、内置 Thinking 思考模式与原生 Function Calling 工具调用