tensorrt-llm - NVIDIA TensorRT-LLM LLM推理优化器推理优化TensorRT-LLMNVIDIA GPULLM推理★ 248,179 · 更新于 2026-03-19在NVIDIA GPU上优化LLM推理，支持量化和多GPU扩展⚙ 优化LLM推理⚙ 生成文本⚙ 服务聊天完成
tensorrt-llm - TensorRT-LLM LLM推理优化推理服务TensorRT-LLMNVIDIA推理优化★ 2 · 更新于 2026-03-19使用 NVIDIA TensorRT 优化 LLM 推理，在 NVIDIA GPU 上实现高吞吐、低延迟的生产部署。⚙ 优化 LLM 推理⚙ 使用 TensorRT 编译模型⚙ 通过 HTTP API 服务模型
