provider-setup - 为多提供商路由器配置LLM提供商LLM提供商适配器多提供商★ 22 · 更新于 2026-06-15使用适配器模板和速率限制配置添加新LLM提供商⚙ 创建提供商适配器⚙ 注册适配器⚙ 配置自动发现
tensorrt-llm - NVIDIA TensorRT-LLM LLM推理优化器推理优化TensorRT-LLMNVIDIA GPULLM推理★ 248,179 · 更新于 2026-03-19在NVIDIA GPU上优化LLM推理,支持量化和多GPU扩展⚙ 优化LLM推理⚙ 生成文本⚙ 服务聊天完成
llm-router - 统一LLM网关 - 一个API访问70+ AI模型LLMAPI网关模型路由AI集成★ 816 · 更新于 2026-02-10通过统一的OpenAI兼容API将请求路由到多个LLM模型。⚙ 路由到LLM模型⚙ 提供聊天完成⚙ 流式响应