ai.canshu.com
EN
显存计算器 配机与回本向导 API 价格 同屏 PK 对比 模型库 排行榜 显卡库

全局搜索模型、显卡与工具

↑↓ 移动 · Enter 直达 · ★ 优先展示我的关注 ai.canshu.com
Meta
开源权重 Meta · Dense 70.6B · Text · BF16

Llama-3.3-70B-Instruct 模型架构参数、评测与显存全表

70B 稠密基准模型,Q4_K_M 约需 44GB 显存,常用于评测双卡 24G 与 48G/64G 工作站真实算力。

🧬 Llama-3.3-70B-Instruct 底层网络与张量参数总表 (Model Overview & config.json)

全部字段同步自官方 HuggingFace 仓库 (meta-llama/Llama-3.3-70B-Instruct) 的 config.json 与技术报告 · 核验日期 2026-11-20

HF Class: LlamaForCausalLM

1. 骨干网络与维度参数

llama
总参数量 / 单步激活
70.6B (Dense)
Hidden Size (d_model)
8,192
FFN Intermediate Size
28,672
激活函数 / RMSNorm
SiLU (SwiGLU) · ε=1e-5
原生权重精度
BF16

2. 注意力机制与混合层拓扑

GQA
Transformer 总层数
80 层
网络层排布 (Hidden Layout)
80 层经典稠密 Transformer (64 Q / 8 KV GQA + SwiGLU)
注意力头 (Q / KV)
64 Q / 8 KV (8:1 GQA)
Head Dimension
128

3. 上下文、位置编码与词表

Tokenizer
原生上下文长度
131,072 tokens
旋转位置编码 (RoPE)
Scaled RoPE (θ=500,000 · factor=8.0 · 131,072 Context)
词表大小 (vocab_size)
128,256 (独立输出头)
特殊控制 Token ID
BOS: 128000 · EOS: [128001,128008,128009] · PAD: 128004
语言覆盖
8 种官方核心语言(含英/德/法/西/葡/印/意/泰)

📋 Llama-3.3-70B-Instruct 官方 API 技术规格与计费参数总表

核验自 Meta 官方开发者文档与公开定价页(核验日期 2026-11-20)

API Model ID: meta-llama/llama-3.3-70b-instruct

1. 模型标识与能力开关

API Spec
官方调用 Model ID
meta-llama/llama-3.3-70b-instruct
版本发布日期
2024-12-06
权重授权形态
开源权重 (云端 API 规格)
原生深度推理思考
—
Function Calling & JSON Schema
✅ 原生支持
Batch API 异步批处理
✅ 支持 (通常享 5 折)

2. 上下文、输出上限与模态

Limits
最大输入上下文窗口
128,000 tokens (128K)
单次最大输出上限
115,000 tokens
支持输入模态
Text
支持输出模态
Text
中国大陆网络直连
✅ 国内极速直连 + 人民币结算
分发与部署形态
开源权重 + 托管云 API

3. 官方 Token 单价与缓存阶梯

USD / 1M
标准输入单价 (每百万)
$ 0.71
Prompt 缓存命中输入
$ 0.71
标准输出单价 (每百万)
$ 0.71
长上下文阶梯与计费备注
OpenRouter:经典 70B 稠密开源指令模型(OpenRouter 国内可直连,支持支付宝/外币卡)

🏆 Llama-3.3-70B-Instruct 官方基准评测成绩单

摘录自官方 System Card / Model Card 与权威公开横评表

Arena Elo ~1418 AA Index 39
📚 知识与指令
MMLU (CoT) 86 %

大规模多任务语言理解基准,覆盖 STEM 理工、人文、社科及医学法律等 57 个学科的综合知识测试。

📚 知识与指令
MMLU-Pro (CoT) 68.9 %

MMLU 进阶推理增强版,将选项从 4 个扩充至 10 个并剔除简单记忆题,重点考察跨学科复杂计算与多步逻辑推理。

📚 知识与指令
IFEval 92.1 %

可程序化验证的指令遵循基准(IFEval),包含字数限制、JSON 格式、禁用词、段落结构等 25 类严格格式约束测试。

💻 代码工程
HumanEval 88.4 %

OpenAI 经典代码生成基准,包含 164 道根据函数签名与文档字符串编写 Python 算法题。

💻 代码工程
MBPP EvalPlus 87.6 %

扩充 35 倍边界单测用例的严格 Python 编程评测

🧠 数学与深度推理
MATH (CoT) 77 %

包含 12,500 道源自 AMC 10/12 与 AIME 等赛事的高中数学竞赛题集,跨 7 个学科分支与 5 个难度等级。

🤖 Agent 工具调用
BFCL v2 77.3 %

伯克利函数调用排行榜 v2,基于 2,251 组真实企业与开源函数签名测试 API 调用准确率。

🧠 数学与深度推理
GPQA Diamond 50.5 %

研究生级物理、化学与生物高难防搜索推理选择题

🎛️ 官方调用采样与思考参数指南

API / 推理引擎调用时的最佳超参数与约束说明

官方默认对话与指令跟随 (generation_config.json)
temperature=0.6 top_p=0.9 max_tokens=8,192

📊 Llama-3.3-70B-Instruct 全量评测成绩与维度排名

共 8 项公开评测 · 排名为在本站 154 款有评测数据模型中的名次 · 数据同步于 2026-11-20

⚔️ 和其他模型逐项比分

来源:ZeroEval / llm-stats.com 公开评测聚合(✓ 为第三方验证,其余为厂商官方自报)。点击任一评测可查看全库排名。

⚡ Llama-3.3-70B-Instruct 本地显存占用 & 实时吐字速度计算器

并发请求数 (Batch):
Dense 70.6B·80L (d=8192)·64Q/8KV·Ctx 128K
该设备兼容榜 →
128 GB 统一内存·614 GB/s·安全可用上限 108.8 GB
流畅可跑49.48 / 108.8 GB~8.9 tok/s
3. 权重量化精度
4. 单并发上下文窗口16K (16,384 tok)
参数核验:2026-11-20·带宽与算力屋顶模型估算(当前并发=1)
流畅可跑
49.48/ 108.8 GB 可用显存

物理总容量 128 GB · 占用率 45.5%

理论带宽解码速度 (Decode)
~8.9tokens/s

实际吞吐受框架 (vLLM/Ollama/Unsloth) 影响约 ±25%

当前并发 (1x) 最大可开窗口
128K/ 128K

高并发下开启 Q8/Q4 KV 量化可成倍提升并发上限

模型权重: 42.8 GBKV Cache (1×16K): 5.37 GB框架开销: 1.31 GB
统一内存默认预留约 15% 给操作系统
🚶 正常可读(适合日常问答)生成 500 Token 回答约需 56.2 秒
参考启动命令:
OLLAMA_CONTEXT_LENGTH=16384 ollama run llama3.3:70b

本地显存不足?运行 Llama-3.3-70B-Instruct 的替代方案

可按小时租用预装好 vLLM / LLaMA-Factory 的大显存云显卡,或算一下直接调 API 对比买卡的 12 个月回本线。

📊 Llama-3.3-70B-Instruct 各量化精度显存占用对照表 (16K 上下文)

量化格式 等效位数 纯权重体积 KV Cache (16K) 总显存需求 精度评价
FP16 / BF16 16 bpw 141.2 GB 5.37 GB 149.84 GB 无损原精度
FP8 / Q8_0 8.5 bpw 75.01 GB 5.37 GB 82.33 GB 99.9% 接近无损
GGUF Q6_K 6.56 bpw 57.89 GB 5.37 GB 64.87 GB 极高画质 · 严肃编码
GGUF Q5_K_M 5.69 bpw 50.21 GB 5.37 GB 57.04 GB 高均衡度
Q4_K_M / AWQ 4.85 bpw 42.8 GB 5.37 GB 49.48 GB 黄金甜点(推荐)
GGUF IQ4_XS 4.25 bpw 37.51 GB 5.37 GB 44.08 GB 省显存优选
GGUF Q3_K_M 3.91 bpw 34.51 GB 5.37 GB 41.01 GB 轻度智商折损
GGUF Q2_K 3.15 bpw 27.8 GB 5.37 GB 34.17 GB 极限压缩尝鲜

🖥️ 主流显卡、Mac 与国产卡运行 Llama-3.3-70B-Instruct (Q4_K_M) 兼容性列表

常见问题解答 (FAQ)

Llama-3.3-70B-Instruct 的核心网络架构参数(层数、隐藏维度、注意力头、词表)是多少?

Llama-3.3-70B-Instruct 底层架构为 LlamaForCausalLM,共 80 层(80 层经典稠密 Transformer (64 Q / 8 KV GQA + SwiGLU)),隐藏层维度 hidden_size=8192,注意力头配置为 64 个 Query 头 / 8 个 KV 头(head_dim=128),词表大小 vocab_size=128,256,原生上下文窗口 131,072 tokens。

Llama-3.3-70B-Instruct 本地部署至少需要多少 GB 显存?

在主流 4-bit 量化(GGUF Q4_K_M / AWQ,16K 上下文)下,Llama-3.3-70B-Instruct 共需约 49.48 GB 显存(含权重 42.8 GB + KV 缓存 5.37 GB + 系统开销 1.31 GB)。无损 FP16/BF16 则需约 149.84 GB。

Llama-3.3-70B-Instruct 官方推荐的采样参数(Temperature / Top-P)是多少?

依据官方 generation_config.json 与最佳实践,在「官方默认对话与指令跟随 (generation_config.json)」下建议设置 temperature=0.6、top_p=0.9。