embedding-strategies - 选择并优化用于搜索的嵌入方案
选择嵌入模型、切分文档、预处理文本,并为语义搜索和 RAG 应用优化嵌入效果。
标签
更新于: 2026-09-29能力
典型输入
典型输出
该技能可以做什么
- 选择嵌入模型
- 优化文本切分策略
- 预处理嵌入文本
- 生成文本嵌入
- 降低嵌入维度
- 比较模型性能
- 处理多语言内容
- 处理文档以便存储
输入
- 源文本或文档
- 嵌入模型配置
- 文本切分参数
- 预处理函数
- 元数据字段配置
输出
- 文本嵌入向量
- 文档分块
- 处理后的向量记录
要求
- Python 运行环境
- 使用 OpenAI 模型时需要 OpenAI API 访问权限
- 使用本地模型时需要 Sentence Transformers
- 本地嵌入模型访问权限
- 按令牌切分时需要 tiktoken
- 按句子切分时需要 NLTK 数据
