法国AI初创公司Mistral AI在社交平台X上发布了一个名为MoE 8x7B的开源模型，只提供了一个BT种子文件链接。一位Reddit网友将该模型描述为“缩小版GPT-4”，因为它似乎是由8个7B专家组成的MoE。该网友表示：“从GPT-4的泄露信息中，我们可以推测GPT-4是一个由8个专家组成的MoE模型，每个专家有111B的自己参数和55B的共享注意力参数（每个模型总共有166B的参数）。对于每个标记的推理，也只使用了2个专家。MoE 8x7B可能采用了与GPT-4非常相似的架构，但规模较小。”
资源链接：
magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce