HybridFlow（开源项目：veRL）是一个灵活高效的大模型 RL 训练框架，兼容多种训练和推理框架，支持灵活的模型部署和多种 RL 算法实现。它采用混合编程模型，融合单控制器和多控制器的优势，能更好地实现和执行多种 RL 算法，显著提升训练吞吐量，降低开发和维护复杂度。实验结果显示，HybridFlow 在各种模型规模和 RL 算法下，训练吞吐量相比其他框架可提升 1.5 倍至 20 倍。该框架由字节豆包大模型团队与香港大学发布并开源。
论文地址：
https://arxiv.org/abs/2409.19256
开源地址：
https://github.com/volcengine/veRL