华为 ModelEngine 宣布支持 DeepSeek 全系列本地部署

2 月 6 日，华为 ModelEngine 宣布支持 DeepSeek 全系列本地部署。据介绍，ModelEngine 全面支持 DeepSeek 系列模型 R1&V3 671B 以及蒸馏系列模型，开发者可通过 ModelEngine 实现「一键部署」，省去硬件选型、兼容性验证和环境配置等繁琐步骤。此外，ModelEngine 通过其高度的开放性和模块化设计，极大地缩短了 DeepSeek 的本地部署时间。据悉，此次 ModelEngine 基于昇腾 AI 芯片，通过推理框架优化和 MoE 存算协同，提供动态换入换出和全局统一缓存，实现推理高并发和低时延，用户通过 ModelEngine 体验 DeepSeek 更加快速高效的推理能力。ModelEngine 于 2024 年 8 月亮相全球开源技术峰会（GOTC2024），是华为 DCS（Data Center Stack）全栈的 AI 训推全流程工具链，提供从数据处理、知识生成，到模型微调和部署，以及 RAG 应用开发、应用部署。