llama-modchip:284B 塞进 64GB,平均只有 1.71 bit
llama-modchip 在 64GB 内存、无显卡的机器上跑起 284B DeepSeek-V4-Flash:预填充 44.36 tok/s,生成 9 tok/s。仓库标 3.75 bpw,但整个文件平均只有 1.71 bit/权重——专家压到 1.56 bpw,密集层保留 5–6 bit,284B 这档至今无第三方复现。
共 1 篇文章
llama-modchip 在 64GB 内存、无显卡的机器上跑起 284B DeepSeek-V4-Flash:预填充 44.36 tok/s,生成 9 tok/s。仓库标 3.75 bpw,但整个文件平均只有 1.71 bit/权重——专家压到 1.56 bpw,密集层保留 5–6 bit,284B 这档至今无第三方复现。