deduplication - 事件去重与权威版本选择
通过哈希分组移除重复事件，并从多个来源选择权威版本
标签
更新于: 2026-02-11能力
典型输入
典型输出
该技能可以做什么
- 生成去重键
- 按语义相似度分组
- 评分来源信誉
- 选择权威版本
- 计算减少指标
输入
- 多个数据源
- 带ID的文章
- 内容元数据
- URL地址
- 来源信誉数据
输出
- 去重后的项目列表
- 减少百分比报告
- 来源归属数据
- 重复组数量
要求
- TypeScript/JavaScript环境
- 用于哈希的crypto模块
- 具有唯一标识符的数据