llm-inference-scaling - Kubernetes上自动扩展LLM推理集群
在Kubernetes上水平扩展LLM推理，支持GPU感知自动扩缩容、请求排队和竞价实例策略。
标签
更新于: 2026-03-26能力
典型输入
典型输出
该技能可以做什么
- 部署vLLM推理Pod
- 配置KEDA自动扩缩容
- 设置基于队列的扩展
- 配置竞价实例优先级
- 安装NVIDIA GPU Operator
- 监控GPU指标
- 按队列长度扩展副本
- 按GPU使用率扩展副本
- 部署批处理推理任务
- 配置集群自动扩缩器
- 创建Pod中断预算
输入
- 带有GPU节点的Kubernetes集群
- 已安装KEDA
- 带有GPU指标的Prometheus
- Helm 3
- Hugging Face Hub令牌
- vLLM或TGI模型镜像
- Redis队列
- GPU节点池
输出
- 扩展的vLLM/TGI推理Pod
- Prometheus扩展指标
- 基于队列的批处理任务
- 集群自动扩缩器配置
- Pod中断预算策略
要求
- 带有GPU节点的Kubernetes集群
- KEDA (Kubernetes事件驱动自动扩缩器)
- 带有GPU指标的Prometheus (dcgm-exporter或gpu-operator)
- Helm 3+