llama-modchip：284B 塞进 64GB，平均只有 1.71 bit
llama-modchip 在 64GB 内存、无显卡的机器上跑起 284B DeepSeek-V4-Flash：预填充 44.36 tok/s，生成 9 tok/s。仓库标 3.75 bpw，但整个文件平均只有 1.71 bit/权重——专家压到 1.56 bpw，密集层保留 5–6 bit，284B 这档至今无第三方复现。
MoE
共 2 篇文章
ERNIE 5.5 Flash Base 解读：280B 只激活 14B，百度把预训练底稿放出来了
ERNIE 5.5 Flash Base 开源权重：280B 稀疏 MoE 每 token 仅激活 14B，MMLU-Pro 78.4 领先同级 9.2 分。没有后训练，拿来即用会失望，适合领域微调团队。