simpo - 简单偏好优化
提供无需参考模型的语言模型偏好优化与对齐训练方法。
标签
更新于: 2026-09-16能力
典型输入
典型输出
该技能可以做什么
- 使用 SimPO 训练基座模型
- 微调指令模型
- 优化推理密集型任务
输入
- 偏好数据集
- 模型权重
- 训练配置文件
输出
- 训练后的模型权重
- 训练日志
要求
- Python 3.10
- PyTorch 2.2.2
- alignment-handbook 软件包
- flash-attn 软件包
- NVIDIA A100 或 H100 GPU
- Linux、macOS 或 Windows
