大数据公司Databricks最近发布了一款名为DBRX的MoE大模型，引发了开源社区的热议。DBRX在基准测试中击败了Grok-1、Mixtral等开源模型，成为了新的开源之王。这款模型的总参数量达到了1320亿，但每次激活只有360亿参数，并且其生成速度比Llama2-70B快1倍。
DBRX是由16个专家模型组成，每次推理有4个专家处于激活状态，上下文长度为32K。为了训练DBRX，Databricks团队从云厂商那里租用了3072个H100，历时两个月进行训练。经过内部讨论，团队决定采用课程学习的方法，用高质量数据提高DBRX在特定任务上的能力。这一决策取得了成功，DBRX在语言理解、编程、数学和逻辑等方面均达到了SOTA水平，并在大多数基准测试中击败了GPT-3.5。
Databricks还发布了DBRX的两个版本:DBRX Base和DBRX Instruct，前者是预训练基础模型，后者则经过指令微调。首席科学家Jonathan Frankle透露团队接下来计划对模型进行进一步研究，探索DBRX如何在训练的“最后一周”中获得额外技能。
尽管DBRX受到开源社区的欢迎，但也有人对其“开源”的质疑。根据Databricks公布的协议，基于DBRX打造的产品，如果月活超过7亿，就必须另行向Databricks提交申请。
声明：内容均采集自公开的网站等各类媒体平台，若收录的内容侵犯了您的权益，请联系邮箱，本站将第一时间处理。