​清华、哈工大提出OneBit方法:可把大模型压缩到1bit 保持 83% 性能

近期,清华大学和哈尔滨工业大学联合发布了一篇论文,成功将大模型压缩到1bit,仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去,2bit 以下的量化一直是研究人员难以逾越的障碍,而这次的1bit 量化尝试,引起了国内外学术界的广泛关注。

​清华、哈工大提出OneBit方法:可把大模型压缩到1bit 保持 83% 性能

这项研究提出的 OneBit 方法,首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化感知训练,成功将大模型参数压缩到1bit 表示。该方法不仅保留了模型的高精度和高秩,还能够在极大幅度压缩模型参数的同时,保证模型至少83% 的性能。

OneBit 方法的核心在于将权重矩阵压缩到1bit,并引入两个 FP16格式的值向量以弥补精度损失。通过新的参数初始化方法 SVID 和知识迁移,成功将高精度预训练模型的能力转移到1bit 量化模型上。实验结果表明,OneBit 方法相较于其他2bit 量化方法,在验证集困惑度和 Zero-shot 准确度上表现更为优秀。

该研究的意义在于,成功突破了2bit 量化的障碍,为在 PC 和智能手机上部署大模型提供了新的可能性。未来,随着技术的不断进步,将有望实现将大型语言模型等大模型压缩到极低位宽,并实现在移动设备上高效运行的愿景。

论文地址:https://arxiv.org/pdf/2402.11295.pdf

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

港大开发V-IRL平台:将真实世界地图纳入虚拟环境 给AI Agent完整的一生!

2024-3-4 10:16:22

资讯

汤姆猫:计划申请接入OpenAI的Sora模型

2024-3-4 10:17:53

搜索