embedding-analysis - 数据集嵌入分析
计算和分析嵌入向量，用于数据集质量评估、分布比较、去重和多样性测量
标签
更新于: 2026-06-30能力
典型输入
典型输出
该技能可以做什么
- 生成嵌入向量
- 语义去重
- 比较分布
- 测量多样性
- 质量评分
- 过滤样本
- 计算相似度
- 计算困惑度
输入
- 文本数据集
- 图像数据集
- 嵌入模型
- 参考模型
- 训练/验证/测试集
- 黄金参考集
输出
- 嵌入向量
- 去重掩码
- 分布指标
- 质量分数
- 多样性指标
- 困惑度分数
- 过滤后的数据集
要求
- Python 3.8+
- sentence-transformers库
- scikit-learn
- numpy
- umap-learn
- GPU支持（可选）