-
清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番
3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。 据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性： 多元算力适配：不仅支持 NVIDIA 最新旗舰到…- 8.5k
-
清华、哈工大提出OneBit方法：可把大模型压缩到1bit 保持 83% 性能
近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。 这项研究提出的 OneBit 方法，首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化…- 9.4k
-
清华、浙大推GPT-4V开源平替！LLaVA、CogAgent等开源视觉模型大爆发
近期，GPT-4V的开源替代方案在中国的顶尖学府清华、浙大等的推动下，出现了一系列性能优异的开源视觉模型。其中，LLaVA、CogAgent和BakLLaVA是三种备受关注的开源视觉语言模型。 LLaVA是一个端到端训练的多模态大模型，它将视觉编码器和用于通用视觉和语言理解的Vicuna相结合，具备令人印象深刻的聊天能力。而CogAgent是在CogVLM基础上改进的开源视觉语言模型，拥有110亿…- 7.8k
扫码打开当前页
-
￥優惠使用時效：无法使用使用時效：
之前
使用時效：预期有效优惠编号：×