tensorrt-llm - NVIDIA TensorRT-LLM LLM推理优化器推理优化TensorRT-LLMNVIDIA GPULLM推理★ 248,179 · 更新于 2026-03-19在NVIDIA GPU上优化LLM推理,支持量化和多GPU扩展⚙ 优化LLM推理⚙ 生成文本⚙ 服务聊天完成
Local Model Deployment - 在VS Code Agent中部署和集成本地AI模型本地模型OllamavLLM模型部署★ 0 · 更新于 2026-02-23部署本地或开源AI模型,包括模型选择、量化、Ollama/vLLM设置以及与ModelSelector的集成⚙ 部署本地模型⚙ 配置Ollama运行时⚙ 配置vLLM运行时