nlp-engineering - 构建自然语言处理流水线与语义搜索
用于构建涵盖文本预处理、分词、嵌入、语义搜索、分类、命名实体识别、摘要和 RAG 分块的自然语言处理流水线。
标签
更新于: 2026-10-03能力
典型输入
典型输出
该技能可以做什么
- 清理并规范化文本
- 对文本进行分词
- 生成文本嵌入
- 构建语义搜索
- 对文本进行分类
- 提取命名实体
- 总结文档内容
- 为 RAG 切分文档
- 调优分词策略
- 评估自然语言处理系统
输入
- 原始文本
- 文档
- 搜索查询
- 训练数据集
- 评估数据集
- 文本标签
- 分词配置
- 模型检查点
输出
- 清理后的文本
- 文本嵌入
- 语义搜索结果
- 分类标签
- 命名实体
- 文档摘要
- RAG 文档分块
- 评估指标
- 自然语言处理实现指导
要求
- Claude Code、Gemini CLI 或 OpenAI Codex