跳到正文
ChatGPT Pro 俱乐部
标签

硬件

共 1 篇文章

博客

llama-modchip:284B 塞进 64GB,平均只有 1.71 bit

llama-modchip 在 64GB 内存、无显卡的机器上跑起 284B DeepSeek-V4-Flash:预填充 44.36 tok/s,生成 9 tok/s。仓库标 3.75 bpw,但整个文件平均只有 1.71 bit/权重——专家压到 1.56 bpw,密集层保留 5–6 bit,284B 这档至今无第三方复现。

19 阅读