Mistral AI发布专家混合模型Mixtral 8x7B

法国AI创企Mistral AI在其官网宣布正式发布了名为Mixtral 8x7B的模型。该模型是一个高质量稀疏专家混合模型(SMoE),具有开放权重。据介绍,Mixtral 8x7B在大多数基准测试中表现优于Llama 2 70B,并且推理速度快6倍。它的测评成绩与GPT-3.5相媲美甚至更好。Mixtral可以处理32k长度的上下文,支持英语、法语、意大利语、德语和西班牙语,并具备强大的代码生成能力。该模型总共拥有467亿参数,但每个令牌只使用了129亿参数,因此它的处理速度和成本与12.9B模型相当。

Mistral还开放了第一个平台服务的测试版。该平台提供了三个聊天端点,用于根据文本指令生成文本,并提供了一个嵌入端点。根据介绍,前两个端点(mistral-tiny和mistral-small)分别使用Mistral 7B和刚发布的Mixtral 8x7B;第三个端点(mistral-medium)使用性能更高的原型模型,目前正在测试部署环境中。

平台地址:https://console.mistral.ai

搜索