-
清华、哈工大提出OneBit方法：可把大模型压缩到1bit 保持 83% 性能
近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。 这项研究提出的 OneBit 方法，首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化…- 15.3k
哈工大
扫码打开当前页
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×