这就是OpenAI神秘的Q*？斯坦福：语言模型就是Q函数

斯坦福大学团队研究认为，大型语言模型实际上是一个Q函数，这为OpenAI的Q*项目提供了理论支持。该团队通过直接偏好优化(DPO)方法，展示了语言模型可以隐式学习token层面的奖励函数，与人类奖励对齐。实验表明，DPO模型能够进行credit assignment，经典搜索算法等价于在DPO策略上的似然搜索，初始策略选择对隐性奖励轨迹重要。这可能有助于强化学习和RLHF在LLM中的应用。（机器之心）