ERNIE 5.5 Flash Base 解读：280B 只激活 14B，百度把预训练底稿放出来了
11 月 5 日，百度文心团队往 Hugging Face 上传了一个 280B 的模型，没有发布会，没有跑分海报，只有一篇技术博客。它叫 ERNIE-5.5-Flash-Base，在 Hacker News 上拿到 128 分、73 条评论——不算爆款，但讨论质量比大多数模型发布高得多。
原因很简单：它是 Base 模型。也就是说，它没做中训练，没做后训练，不会听指令，不能拿来当编程助手。你把「帮我修这个 bug」丢给它，它只会像一台过于博学的自动补全器那样接着往下写。很多人第一反应是「这玩意儿放出来有什么用」。
但这恰恰是这篇 ERNIE 5.5 Flash Base 解读的重点：2026 年敢放预训练终点权重的团队越来越少了，而百度这次不但放了，还把它做得很省——每 token 只激活 14B 参数，却在一半以上的基准上压过了同级的另外三个 Base 模型。
一句话结论：Base 模型不是残次品，是半成品原料
- 规模：稀疏 MoE，总参数 280B，每 token 激活 14B，在 33.5 万亿 token 上从零预训练。训练上下文最长 128K，微调和推理支持 100 万 token。
- 放出来的是什么：预训练终点的 checkpoint，没有中训练、没有后训练。想直接用？得自己训。
- 成绩：MMLU 93.3、MMLU-Pro 78.4、GPQA 60.2、HumanEval+ 82.3，对比 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 三个同级模型，多数维度领先。
- 关键的省：43 层里 37 层只对 128 倍压缩后的序列做注意力，只有 6 层做全上下文逐 token 访问。KV cache 因此小一个量级。
- 下载条件：Hugging Face 上 FP8 和 BF16 两套 safetensors 权重，许可证是百度自定的 ERNIE 5.5 Flash Base Model License Agreement v1.0——不是 Apache，用前建议自己读一遍。
先说清楚「Base」意味着什么
大部分模型发布讲的是「训完之后能干什么」，Base 模型发布讲的是「训完之后能被训成什么」。这两种东西的价值逻辑完全不同。
一个后训练完成的模型，能力边界基本被厂商的偏好锁死了：它拒绝什么、偏向什么风格、遇到敏感话题怎么绕，都写在权重里。Base 模型什么都没有。它只知道「这段文本接下来最可能出现什么」。对做领域适配的人来说，这不是缺点——你拿到的是一张没被涂改过的底稿，可以往上写任何东西：医疗、法律、某个公司的内部话术、某套特定的安全策略。
Hacker News 上有人把这件事说得更直白：训练一个前沿模型，大约 90% 的成本和工夫花在 Base 上，而那「最后 10%」——决定模型是否愿意帮人做危险的事、有哪些政治倾向——才是真正有争议的部分。放 Base，等于把前 90% 的成果白送，把最后 10% 的选择权交出去。
这也解释了为什么 Base 发布总能引来「这不能用啊」的评论。有人说得很准：它没做指令微调，所以不适合拿来跑编程 Agent。这话没错，但骂错了对象——它本来就不是给终端用户用的。
架构：省在哪些具体的地方
这篇技术博客写得相当实在，几乎把每个模块的设计动机都摊开了。43 层 Transformer，hidden size 4096，64 个注意力头。值得单独拎出来的是注意力这块，因为它直接决定了你显存够不够。
ERNIE 5.5 Flash 用的是「MLA + HCA」混合注意力。每七层里只留一层做逐 token 的全上下文访问（也就是 MLA 层），其余层用重度压缩注意力（HCA）：每 128 个 token 压成一条缓存条目，然后对这些条目加上最近一小段未压缩 token 做稠密注意力。落到 43 层的模型上，就是 37 层在压缩序列上算，只有 6 层碰真实 token。
这个分配和他们做过的一个对比实验有关：在 KV cache 预算相同的前提下，HCA 搭配 MLA 优于 HCA 搭配 CSA（后者先把历史压 4 倍、再稀疏挑一部分）。也就是说，他们宁可只让极少数层看到完整的过去，也不愿意让更多层看到「打了折的过去」。
那 6 层也没闲着。它们跑的是稀疏注意力（DSA）：一个轻量 indexer 先给每个 query 的历史位置打分，核心注意力只在得分最高的 top-k 上算，于是每层的开销不再随上下文变长而线性增长。博客说这么改之后预训练 loss 和稠密注意力持平，训练速度明显更快。
另外三个改动值得记一下，因为都指向同一种审美——「不额外加东西，而是把已有的东西用得更狠」：
- 低秩门控注意力：门控注意力的门通常由该层隐状态算出来。他们改成用这一层本来就会生成的低秩 query latent 去算——维度只有隐状态的四分之一，门投影的权重参数因此少了 75%。
- ECHO 取代 MTP：传统多 token 预测要在主干外挂一套专用模块，多步损失只监督那套模块。ECHO 直接用主干最后一层预测未来 token，让本来负责生成下一个 token 的参数提前规划后续序列。博客说这层还顺带成了投机解码的草稿模型，同训练步数下多步起草质量优于辅助 MTP。
- MultiMax 输出头：单一 softmax 温度调低会压掉合理候选，调高会抬高长尾垃圾。MultiMax 用可学习的分段温度，在 softmax 之前逐元素调制 logits，训练开销可忽略、不涨显存。
MoE 部分也有一处反套路的设计。Multi-Router Latent MoE：不只用一个路由器给专家打分，而是多个独立初始化的 sigmoid 路由器一起打分。他们说单路由器的打分和专家实际效用只是弱相关，中深层尤其明显，而且落选的专家拿不到梯度，一旦选错就一直错下去。多路由器让「被某一个强烈看好」或「被几个同时看好」的专家都能入选，激活专家数、FLOPs 和通信量完全不变。512 个路由专家选 10，外挂 1 个共享专家，负载均衡用无辅助损失的 bias 修正。
还有个小细节挺有意思：新 BPE 分词器词表约 20 万，数字按从右到左、最多三位一组切分（1,234,567 → 1 234 567），让不同长度的数字数位对齐。这种处理对算术和数字密集文本有用，属于那种不做没人发现、做了才显出差别的地方。
跑分：多数维度领先，但有四处输了
对比对象选的是发布时能找到的同规模最新开源 Base 模型。需要提醒的是，百度对比的 DeepSeek-V4-Flash-Base 是今年 4 月的版本，不是后面的 4.1 或 4.1-1017。Hacker News 上有人专门挑出这一点，说得也对。但反过来说，Base 对 Base 的比法本身是合理的——4.1 是从这个 Base 训出来的，不是同一起跑线。
| 基准 | ERNIE 5.5 Flash | DeepSeek V4 Flash | Hy3 preview | MiMo V2.5 |
|---|---|---|---|---|
| 总参数 / 激活 | 280B / 14B | 284B / 13B | 295B / 21B | 310B / 15B |
| MMLU | 93.3 | 89.4 | 87.5 | 87.6 |
| MMLU-Pro | 78.4 | 69.2 | 66.9 | 65.7 |
| GPQA | 60.2 | 55.9 | 50.2 | 51.4 |
| SimpleQA | 34.1 | 29.1 | 25.9 | 20.8 |
| HumanEval+ | 82.3 | 69.5 | 78.0 | 74.4 |
| LiveCodeBench | 40.1 | 31.9 | 33.5 | 32.4 |
| RepoQA | 91.7 | 81.0 | 91.3 | 56.5 |
| LongBench-v2 | 48.7 | 44.5 | 39.8 | 44.6 |
领先的幅度在代码和综合知识上最大：MMLU-Pro 领先第二名 9.2 分，LiveCodeBench 领先 6.6 分，HumanEval+ 领先 4.3 分。而它激活参数只有 14B，是这四个里第二小的。
但也有四处是输的，而且输得不算巧合：
- ChineseSimpleQA 73.0，输给 DeepSeek 的 75.3。中文事实问答这块不是它的强项。
- BBH（CoT）89.2，输给 Hy3 preview 的 90.0。有意思的是 BBH 用 direct 提示时它 77.1 领先全场——说明它的「一步到位」能力强，但把推理摊开写成思维链时不一定更好。
- FullStackBench 54.6，输给 Hy3 preview 的 56.7。全栈场景不是它最亮的地方。
- HELMET-Rerank 56.2、InfiniteBench 46.5，两项都输给 DeepSeek。长上下文里「重排序」和「超长」这两类任务偏弱。
所以更准确的说法是：它在知识密度、推理、代码这三块明显更强，在中文事实、长上下文的重排序与超长检索这几块没有优势。官方博客自己也承认「43 层里 37 层在压缩序列上做注意力」是个激进取舍，虽然 6 项长上下文基准「效果不错」，但激进取舍总有代价，上面两项就是。
要跑起来得多少显存
这是 Hacker News 上最实用的一段讨论。280B 听起来很吓人，但 MoE 的显存需求看总参数、推理速度看激活参数，两回事。按 280B 总量、4-bit 量化估算，权重约占 150GB，加上 KV cache 和并发缓冲，合计约 175GB 才能撑满 100 万 token 上下文。两张 128GB 的卡就能放下，6-bit 量化也还有腾挪空间。
这个定位其实挺准的：它不是给单卡消费级硬件准备的，也不是必须上八卡 H100 才能碰。正好卡在「小团队买得起、个人买不起」那一档。
部署路径博客也给了：HF 上有 FP8 和 BF16 两套 safetensors，SGLang 和 vLLM 都能通过 completions API 起服务。要注意 Base 模型要求每条输入以 BOS token 开头，分词时保持 add_special_tokens=True——这一条不做，输出会明显变差，而且很难看出来是哪出了问题。
适合谁、怎么看
三类人，三种判断：
- 做领域微调的团队：这是最直接的目标用户。140 亿激活参数、两张 128GB 卡、能撑 100 万 token 上下文，拿来跑医疗、法律、金融这类垂直领域的继续预训练或 SFT，成本比从零训低一个量级。中文事实问答偏弱这点要留意，如果你的领域正好吃中文事实准确性，得在数据里多补。
- 研究后训练方法的人：Base checkpoint 的最大价值是「干净的起点」。同一个起点上比较不同的 SFT 配方、不同的 RL 算法，才能把增益归因到方法本身。官方把这点写进了「核心亮点」，说得很明白。
- 只想找个能干活的模型的人：现在别急。经过后训练的 ERNIE 5.5 Flash 会随后推出，官方原话。等那个版本出来再评估，现在这个你拿去聊天只会失望。
还有一点值得说：许可证是百度自定的 ERNIE 5.5 Flash Base Model License Agreement v1.0，不是 Apache 2.0 也不是 MIT。这类自定义许可证通常在商用、再分发、命名上有些附加条款，动手之前花十分钟读完，比训完两周才发现不能商用划算得多。
最后回到开头那个问题：放一个不能直接用的模型，图什么。从技术博客的措辞看，百度这次的意图是把「预训练这 90%」当成公共基础设施来送，赌的是别人会在这个基座上做出他们自己做不出来的东西。这个赌注对不对不好说，但至少方向是清楚的——与其再发一个又一个高度相似的后训练模型，不如把底稿放出来。对做模型的人来说，这个选择比再刷一个跑分榜有意义。
