微软：发布27亿参数基座模型Phi-2

微软发布了一个拥有27亿参数的语言模型Phi-2，据称其性能可以与规模大25倍的大模型相媲美。该模型已经加入了Azure AI Studio。Phi-2是基于Transformer训练的，其目标是预测下一个单词。它在1.4T个词组上进行了训练，这些词组来自NLP和编码的合成数据集或网络数据集。训练过程使用了96个英伟达A100 GPU，在14天内完成。Phi-2是一个基座（Base）模型，没有通过人类反馈强化学习（RLHF）进行调整，也没有经过指导性微调。在多个基准测评中，仅有27亿参数的Phi-2的性能超越了Mistral和Llama 2的7B或13B模型，以及谷歌规模为3.2B的Gemini Nano 2模型。