Llama-4-Scout-109B-A17B (MoE) 模型架构参数、评测与显存全表
Meta 16 专家 109B 总参 / 17B 激活多模态模型,128GB 统一内存主机(Mac Studio / AI Max+ 395)甜点之选。
🧬 Llama-4-Scout-109B-A17B (MoE) 底层网络与张量参数总表 (Model Overview & config.json)
全部字段同步自官方 HuggingFace 仓库 (meta-llama/Llama-4-Scout-17B-16E-Instruct) 的 config.json 与技术报告 · 核验日期 2026-11-20
1. 骨干网络与维度参数
llama4- 总参数量 / 单步激活
- 109B / 17B
- Hidden Size (d_model)
- 5,120
- FFN Intermediate Size
- 8,192
- MoE 专家配置
- 16 路由 · 激活1 + 1 共享
- 激活函数 / RMSNorm
- SiLU (SwiGLU) · ε=1e-5
- 原生权重精度
- BF16 / FP8
2. 注意力机制与混合层拓扑
GQA- Transformer 总层数
- 48 层
- 网络层排布 (Hidden Layout)
- 48 层 iRoPE 交错无位置编码注意力的多模态 MoE (16 路由专家 + 1 共享专家)
- 注意力头 (Q / KV)
- 40 Q / 8 KV (5:1 GQA)
- Head Dimension
- 128
- 线性注意力 / KV 压缩机制
- iRoPE (交错 RoPE + 局部温度缩放 NoPE 层),支持最高 1000 万 (10M) 上下文寻址
- 视觉编码器 / MTP 头
- ViT 34L
3. 上下文、位置编码与词表
Tokenizer- 原生上下文长度
- 10,485,760 tokens
- 旋转位置编码 (RoPE)
- iRoPE (θ=500,000 · max_position_embeddings=10,485,760 / 10M)
- 词表大小 (vocab_size)
- 202,048 (独立输出头)
- 特殊控制 Token ID
- BOS: 200000 · EOS: [200001,200007,200008] · PAD: 200018
📋 Llama-4-Scout-109B-A17B (MoE) 官方 API 技术规格与计费参数总表
核验自 Meta 官方开发者文档与公开定价页(核验日期 2026-11-20)
1. 模型标识与能力开关
API Spec- 官方调用 Model ID
- meta-llama/llama-4-scout
- 版本发布日期
- 2025-04-05
- 权重授权形态
- 开源权重 (云端 API 规格)
- 原生深度推理思考
- —
- Function Calling & JSON Schema
- ✅ 原生支持
- Batch API 异步批处理
- ✅ 支持 (通常享 5 折)
2. 上下文、输出上限与模态
Limits- 最大输入上下文窗口
- 1,024,000 tokens (1024K)
- 单次最大输出上限
- 16,000 tokens
- 支持输入模态
- Text + Image
- 支持输出模态
- Text
- 中国大陆网络直连
- ✅ 国内极速直连 + 人民币结算
- 分发与部署形态
- 开源权重 + 托管云 API
3. 官方 Token 单价与缓存阶梯
USD / 1M- 标准输入单价 (每百万)
- $ 0.1
- Prompt 缓存命中输入
- $ 0.1
- 标准输出单价 (每百万)
- $ 0.3
- 长上下文阶梯与计费备注
- OpenRouter:超长上下文轻量 MoE 低成本路由(OpenRouter 国内可直连,支持支付宝/外币卡)
🏆 Llama-4-Scout-109B-A17B (MoE) 官方基准评测成绩单
摘录自官方 System Card / Model Card 与权威公开横评表
大规模多任务语言理解基准,覆盖 STEM 理工、人文、社科及医学法律等 57 个学科的综合知识测试。
MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。
研究生级物理、化学与生物高难防搜索推理选择题
包含 12,500 道源自 AMC 10/12 与 AIME 等赛事的高中数学竞赛题集,跨 7 个学科分支与 5 个难度等级。
融合 31 个子数据集共 6,141 道题的视觉数学与科学图表综合推理评测基准。
大规模多学科多模态理解基准,汇集大学考试与教材中的 1.15 万道图表、公式、电路图与医学影像专业推理题。
持续从 LeetCode、AtCoder 与 CodeForces 采集最新赛题的无污染代码生成与算法推理基准。
🎛️ 官方调用采样与思考参数指南
API / 推理引擎调用时的最佳超参数与约束说明
📊 Llama-4-Scout-109B-A17B (MoE) 全量评测成绩与维度排名
共 11 项公开评测 · 排名为在本站 154 款有评测数据模型中的名次 · 数据同步于 2026-11-20
📐 数学 5 项
多语言应用题数学基准,将 GSM8K 精选 250 题人工翻译为中文、西语、法语、日语等 10 种代表性语言。
大规模多任务语言理解基准,覆盖 STEM 理工、人文、社科及医学法律等 57 个学科的综合知识测试。
MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。
融合 31 个子数据集共 6,141 道题的视觉数学与科学图表综合推理评测基准。
包含 12,500 道源自 AMC 10/12 与 AIME 等赛事的高中数学竞赛题集,跨 7 个学科分支与 5 个难度等级。
👁️ 多模态与视觉 3 项
来源:ZeroEval / llm-stats.com 公开评测聚合(✓ 为第三方验证,其余为厂商官方自报)。点击任一评测可查看全库排名。
⚡ Llama-4-Scout-109B-A17B (MoE) 本地显存占用 & 实时吐字速度计算器
物理总容量 128 GB · 占用率 66.1%
MoE 架构:每步仅读取 10.31 GB 激活权重
高并发下开启 Q8/Q4 KV 量化可成倍提升并发上限
OLLAMA_CONTEXT_LENGTH=16384 ollama run llama4:scoutMac Studio M5 Max 128G 可运行 Llama-4-Scout-109B-A17B (MoE) · 硬件成本与回本参考
参考均价约 ¥27,999(折合 ¥219/GB)· 满载约 120W
📊 Llama-4-Scout-109B-A17B (MoE) 各量化精度显存占用对照表 (16K 上下文)
| 量化格式 | 等效位数 | 纯权重体积 | KV Cache (16K) | 总显存需求 | 精度评价 |
|---|---|---|---|---|---|
| FP16 / BF16 | 16 bpw | 218 GB | 3.22 GB | 226.88 GB | 无损原精度 |
| FP8 / Q8_0 | 8.5 bpw | 115.81 GB | 3.22 GB | 122.65 GB | 99.9% 接近无损 |
| GGUF Q6_K | 6.56 bpw | 89.38 GB | 3.22 GB | 95.69 GB | 极高画质 · 严肃编码 |
| GGUF Q5_K_M | 5.69 bpw | 77.53 GB | 3.22 GB | 83.6 GB | 高均衡度 |
| Q4_K_M / AWQ | 4.85 bpw | 66.08 GB | 3.22 GB | 71.92 GB | 黄金甜点(推荐) |
| GGUF IQ4_XS | 4.25 bpw | 57.91 GB | 3.22 GB | 63.59 GB | 省显存优选 |
| GGUF Q3_K_M | 3.91 bpw | 53.27 GB | 3.22 GB | 58.86 GB | 轻度智商折损 |
| GGUF Q2_K | 3.15 bpw | 42.92 GB | 3.22 GB | 48.3 GB | 极限压缩尝鲜 |
🖥️ 主流显卡、Mac 与国产卡运行 Llama-4-Scout-109B-A17B (MoE) (Q4_K_M) 兼容性列表
常见问题解答 (FAQ)
Llama-4-Scout-109B-A17B (MoE) 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?
Llama-4-Scout-109B-A17B (MoE) 底层架构为 Llama4ForConditionalGeneration,共 48 层(48 层 iRoPE 交错无位置编码注意力的多模态 MoE (16 路由专家 + 1 共享专家)),隐藏层维度 hidden_size=5120,注意力头配置为 40 个 Query 头 / 8 个 KV 头(head_dim=128),词表大小 vocab_size=202,048,原生上下文窗口 10,485,760 tokens。
Llama-4-Scout-109B-A17B (MoE) 本地部署至少需要多少 GB 显存?
在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,Llama-4-Scout-109B-A17B (MoE) 共需约 71.92 GB 显存(含权重 66.08 GB + KV 缓存 3.22 GB + 系统开销 2.62 GB)。无损 FP16/BF16 则需约 226.88 GB。
Llama-4-Scout-109B-A17B (MoE) 官方推荐的采样参数(Temperature / Top-P)是多少?
依据官方 generation_config.json 与最佳实践,在「官方默认对话与多模态配置 (generation_config.json)」下建议设置 temperature=0.6、top_p=0.9。