llm-as-a-judge - 构建LLM评估器实现自动化质量评估
构建和部署LLM评估器，用于LLM管道输出的Pass/Fail自动化质量评估
标签
更新于: 2026-05-28能力
典型输入
典型输出
该技能可以做什么
- 编写评估提示词
- 分割标注数据
- 测量TPR/TNR
- 优化评估提示词
- 估算成功率
- 计算偏差修正
- 配置CI管道
输入
- 标注轨迹
- 失败模式标准
- 人工基准标签
- 生产轨迹
- 参考输出
输出
- 评估判断
- TPR/TNR指标
- 修正成功率
- CI评估结果
要求
- Python运行时
- 标注训练数据
- 支持版本固定的LLM评估模型