摩尔线程上线大语言模型高速推理框架开源项目 vLLM 的 MUSA 移植版本，为开发者提供基于摩尔线程全功能 GPU 进行开源项目 MUSA 移植范例。摩尔线程努力构建完善的 MUSA 应用生态，vLLM 是高效易用的大模型推理和服务框架，已广泛应用于各种大语言模型。摩尔线程对 vLLM v0.4.2 版本进行移植适配并完全开源。得益于 MUSA 架构先进性和软件栈对 CUDA 的优良兼容性，可通过 MUSIFY 代码自动转换工具将 CUDA 代码迁移到 MUSA 平台，快速替换 CUDA 相关库为 MUSA 加速库。摩尔线程通过 MUSA 软件栈对 CUDA 软件栈接口兼容，提升应用移植效率、缩短开发周期，并提供实用工具和脚本。
开源地址：
https://github.com/MooreThreads/vLLM_musa
论文地址：
https://arxiv.org/pdf/2309.06180