OpenNLPLab团队发布论文，并开源了Lightning Attention-2。这是一种能够实现线性注意力的理论计算优势的线性注意力实现。为了实现这一点，团队利用了Tiling思想，分别处理线性注意力计算中的内部块和间隔块组件。无论输入序列长度如何，Lightning Attention-2都能保持一致的训练和推断速度，并且比其他注意力机制快得多。
论文地址：
https://arxiv.org/pdf/2401.04658.pdf
开源地址：
https://github.com/OpenNLPLab/lightning-attention