★ 0 · 更新于 2026-09-22
用于部署生产级大语言模型的高性能服务框架,支持 OpenAI 兼容 API、模型量化与张量并行。
浏览带有该标签的技能列表。
★ 0 · 更新于 2026-09-22
用于部署生产级大语言模型的高性能服务框架,支持 OpenAI 兼容 API、模型量化与张量并行。
★ 602 · 更新于 2026-06-15
根据官方规范验证 OpenAI API 实现,包括端点、参数和身份验证
★ 0 · 更新于 2026-05-09
启动和管理本地 LLM 推理堆栈,为 Linux 和 macOS 提供 OpenAI 兼容 API