teoria-engine - 生产级自托管 LLM 推理堆栈
启动和管理本地 LLM 推理堆栈，为 Linux 和 macOS 提供 OpenAI 兼容 API
标签
更新于: 2026-05-09能力
典型输入
典型输出
该技能可以做什么
- 启动推理引擎
- 停止推理引擎
- 检查引擎状态
- 切换模型配置
- 调用推理 API
- 安装引擎
- 配置设置
输入
- NVIDIA GPU 或 Apple Silicon
- Docker 环境
- 模型配置
- API 密钥
- GitHub 仓库
- HuggingFace 令牌
输出
- 推理 API 端点
- 聊天完成文本
- 流式响应
- 视觉语言输出
- 引擎状态消息
要求
- Linux (Ubuntu 22.04+) 或 macOS Apple Silicon
- 支持 CUDA 12.4+ 的 NVIDIA GPU 或 Apple Silicon GPU
- Docker 与 Docker Compose v2+
- Python 3.10+
- Git 和 Bash