serving-llms-vllm - 高性能大语言模型服务框架

用于部署生产级大语言模型的高性能服务框架，支持 OpenAI 兼容 API、模型量化与张量并行。