Andrej Karpathy 私人邮件：Transformer 注意力机制真相

Andrej Karpathy公开了与Dzmitry Bahdanau的私人邮件，揭示了Transformer核心“注意力”机制的起源；注意力机制最初由Bahdanau在Yoshua Bengio实验室通过RNNSearch提出，旨在解决机器翻译中的瓶颈问题；注意力的命名源自人类翻译过程中的认知机制，后来成为Transformer模型的基础，推动了深度学习的重大进步。