verl-rl-training - 大语言模型强化学习训练库
提供使用 verl 库对大语言模型进行强化学习训练的指导
标签
更新于: 2026-06-30能力
典型输入
典型输出
该技能可以做什么
- 使用 RLHF 训练模型
- 使用 GRPO 训练模型
- 使用 PPO 训练模型
- 使用 RLOO 训练模型
- 使用 REINFORCE++ 训练模型
- 使用 DAPO 训练模型
- 使用 ReMax 训练模型
- 使用 SPIN 训练模型
- 使用 SPPO 训练模型
- 切换训练后端
- 执行 rollout 生成
- 计算奖励
- 训练视觉语言模型
- 执行多轮 rollout
- rollout 过程中调用工具
- 使用 FSDP 后端
- 使用 Megatron-LM 后端
- 使用 vLLM 后端
- 使用 SGLang 后端
- 配置 LoRA 训练
输入
- 训练数据集
- 基础模型
- 奖励函数
- 训练配置
- GPU 集群
- 模型检查点
输出
- 训练好的模型检查点
- 训练指标
- 评估结果
要求
- Python 环境
- verl>=0.3.0
- torch>=2.0.0
- ray>=2.41.0
- vllm>=0.8.2
- transformers>=4.40.0
- 8 个以上 GPU 的集群