llm-inference-scaling - Kubernetes上自动扩展LLM推理集群kubernetes自动扩缩容LLMGPU★ 602 · 更新于 2026-03-26在Kubernetes上水平扩展LLM推理,支持GPU感知自动扩缩容、请求排队和竞价实例策略。⚙ 部署vLLM推理Pod⚙ 配置KEDA自动扩缩容⚙ 设置基于队列的扩展