karenina-qa - 构建并运行单轮问答基准
通过定义问题、附加答案模板、配置验证流程并分析结果,构建和运行单轮问答基准。
标签
更新于: 2026-10-12能力
典型输入
典型输出
该技能可以做什么
- 定义基准问题
- 附加答案模板
- 配置验证流程
- 运行问答验证
- 分析评估结果
- 保存和加载检查点
输入
- 基准名称
- 基准检查点路径
- 问题和答案数据
- 答案模板
- 评分标准定义
- 模型配置
- 提供商 API 凭据
- 结果输出路径
输出
- 基准检查点文件
- 验证结果
- 评估摘要
- 进度消息
- 失败记录
要求
- 已安装 karenina 包
- 进程环境中的提供商 API 密钥
- 可访问的回答和解析模型
