llm-integration - 安全集成本地大语言模型
使用 llama.cpp 和 Ollama 集成本地大语言模型，涵盖安全加载模型、推理优化、提示词处理和漏洞防护。
标签
更新于: 2026-10-07能力
典型输入
典型输出
该技能可以做什么
- 安全加载模型
- 优化推理性能
- 清理用户提示词
- 防范提示词注入
- 过滤生成输出
- 执行资源限制
- 流式传输过滤响应
- 验证模型完整性
- 处理模型故障
输入
- 用户提示词
- 本地模型文件
- 模型选择
- 推理配置
- Ollama 端点配置
输出
- 生成的响应
- 过滤后的响应
- 注入警告
- 推理指标
- 备用响应
要求
- llama.cpp b2500 或更高版本
- Ollama 0.1.34 或更高版本
- llama-cpp-python 0.2.72 或更高版本
- ollama-python 0.4.0 或更高版本
- pydantic 2.0 或更高版本
- jinja2 3.1.3 或更高版本
- tiktoken 0.5.0 或更高版本
- structlog 23.0 或更高版本
- 沙箱化模型执行环境
- 访问获准的模型目录