Mooncake是由月之暗面Kimi和清华大学MADSys实验室联合发布的开源项目，其底层推理系统设计方案于2024年6月发布。该项目以KVCache为中心，采用PD分离和以存换算架构提升推理吞吐量。11月28日，Mooncake技术框架开源上线，传输引擎Transfer Engine部分已在GitHub全球开源。开源项目将分阶段进行，逐步实现高性能KVCache多级缓存Mooncake Store并兼容各类资源。其最终目标是打造大模型时代新型高性能内存语义存储的标准接口及参考实现方案。
开源地址：
https://github.com/kvcache-ai/Mooncake