dataset-generator - 生成并验证训练数据集
从主题、参考资料、网络研究或现有文件生成、规范化、验证、去重并导出 SFT 或 DPO 训练数据集。
标签
更新于: 2026-09-29能力
典型输入
典型输出
该技能可以做什么
- 生成训练数据集
- 收集源材料
- 规范化数据记录
- 验证数据记录
- 去除近似重复项
- 扩充数据记录
- 审计数据文件
- 导出数据格式
- 跟踪流水线状态
输入
- 生成请求
- 主题或查询
- URL
- 参考资料
- JSONL 文件
- CSV 文件
- 导出架构
- 覆盖计划
- 审核文件
输出
- 训练数据集文件
- 规范化 JSONL 记录
- 导出的 CSV 文件
- 导出的 JSONL 文件
- 覆盖率报告
- 验证结果
- 去重状态
- 流水线进度状态
- 记录历史
要求
- Python 3 环境
- 本地脚本访问权限
- SQLite 状态存储
- IDE 浏览工具
- IDE 搜索工具
- 可选的语义审核支持