最新强化自训练方法 ReST-MCTS,可以让大模型持续“升级”

清华与加州理工开发的ReST-MCTS*方法通过树搜索增强自训练,提升大语言模型的性能;该方法避免了人工标注,使用概率估计为每一步推理提供奖励,从而自动获取可靠推理路径;实验显示ReST-MCTS*在准确率上超越现有自训练算法,并能持续自我提升。

搜索