6 月 16 日消息，MiniMax 昨日宣布，已正式开源旗下多模态旗舰模型 MiniMax M3 的模型权重，并同步公开了 MSA（MiniMax Sparse Attention）技术论文。
MiniMax M3 总参数量 428B，激活参数 23B，官方将其定位为首个从训练第一步（Step 0）起便引入多模态混合训练的开源大模型。
训练阶段大量融入了文本、图像及多模态交错数据，以期在预训练阶段即构建统一的跨模态语义空间；MSA 架构的引入大幅降低了长上下文场景下的计算成本。
💻 Github: github.com/MiniMax-AI/MiniMax-M3
🤗 Hugging Face: huggingface.co/MiniMaxAI/MiniMax-M3
声明：内容来源公开的各类媒体平台，若收录的内容侵犯了您的权益，请联系邮箱，本站将第一时间处理。