华为首批7B、72B开源大模型发布,用4000颗昇腾训练

华为首次开源两款大模型:720亿参数混合专家模型”盘古Pro MoE”和70亿参数稠密模型”盘古Embedded 7B”;盘古Pro MoE基于4000颗昇腾NPU训练,激活参数量16B,性能对标Qwen3-32B、GLM-Z1-32B等模型,单卡推理吞吐可达1528 tokens/s;盘古Embedded 7B采用”快思考”和”慢思考”双系统架构,可根据任务复杂度自动切换,性能超过同规模的Qwen3-8B、GLM4-9B。

搜索