华为+DeepSeek,推理性能创新高!技术报告也公布出来了

华为昇腾新推出CloudMatrix 384超节点和Atlas 800I A2服务器,在DeepSeek模型推理性能上超越英伟达Hopper架构;采用”以数学补物理”策略,通过FlashComm通信方案、AMLA算法等技术创新,解决超大规模MoE模型部署难题;CloudMatrix 384超节点在50ms时延下单卡吞吐达1920 Tokens/s,Atlas 800I A2在100ms时延下达808 Tokens/s,相关技术将陆续开源。

搜索