撞车DeepSeek NSA，Kimi杨植麟署名的新注意力架构MoBA

MoBA通过将MoE原理应用于注意力机制，采用块稀疏注意力和无参数门控机制，实现了对长序列的高效处理；实验表明MoBA性能与完全注意力机制相当，在处理1M token时速度提升6.5倍，具有良好的扩展性；月之暗面开源的MoBA已经过一年实际部署验证，支持完全注意力与稀疏注意力的无缝切换，且代码可用性强。