hugging-face-evaluation - 管理 Hugging Face 模型评估结果
通过提取 README 表格、导入 Artificial Analysis 分数或运行自定义评估，在 Hugging Face 模型卡片中添加和管理评估结果。
标签
更新于: 2026-10-16能力
典型输入
典型输出
该技能可以做什么
- 检查现有拉取请求
- 检查评估表格
- 提取 README 评估数据
- 导入 Artificial Analysis 分数
- 生成 model-index YAML
- 合并评估元数据
- 验证 model-index 元数据
- 运行 Hugging Face Jobs 评估
- 运行 GPU 模型评估
- 创建评估拉取请求
输入
- Hugging Face 仓库 ID
- README 内容
- 表格选择
- 模型列提示
- 模型和任务标识符
- Hugging Face 写入令牌
- Artificial Analysis API 密钥
- 评估硬件
- GPU 模型资源
输出
- 生成的评估 YAML
- 更新后的模型卡片元数据
- 评估分数
- 评估作业
- 评估拉取请求
要求
- Python 环境
- uv 或已安装的依赖
- Hugging Face 写入权限
- 导入数据所需的 Artificial Analysis API 密钥
- 运行 vLLM 所需的 GPU 和足够显存
- 运行 vLLM 评估所需的 uv
- 运行远程作业所需的 Hugging Face Jobs 权限