hugging-face-evaluation - 管理 Hugging Face 模型评测
提取、导入、验证和运行模型评测，并将结构化结果添加到 Hugging Face 模型卡片。
标签
更新于: 2026-10-16能力
典型输入
典型输出
该技能可以做什么
- 检查 README 表格
- 提取评测结果
- 导入 Artificial Analysis 分数
- 生成 model-index YAML
- 合并 model-index 条目
- 验证 model-index 元数据
- 创建评测拉取请求
- 运行推理提供商评测
- 运行 vLLM 评测
- 运行 lighteval 评测
输入
- Hugging Face 模型仓库
- README 内容
- 模型名称
- 模型标识符
- 评测表格编号
- 模型列索引
- 任务类型
- Artificial Analysis API 密钥
- 评测任务
- 硬件选择
- Hugging Face 令牌
输出
- 评测 YAML
- 更新后的模型卡片
- model-index 元数据
- 评测拉取请求
- 评测作业
- 评测结果
要求
- Python 环境
- 所需 Python 依赖
- 具有写入权限的 Hugging Face 令牌
- 导入时所需的 Artificial Analysis API 密钥
- 运行 vLLM 脚本所需的 uv
- 运行 vLLM 评测所需的足够 GPU 显存
- 检查 GPU 所需的 NVIDIA 工具