案例技能关于

ClawIndex

OpenClaw Skills 与 Use Case 索引

ClawIndex 是一个生态驱动的 OpenClaw Skills 与真实 Use Case 索引站。

索引

Meta

© 2026 ClawIndex 保留所有权利。

带有该标签的 Skills：推理服务

浏览带有该标签的技能列表。

serving-llms-vllm - 高性能大语言模型服务框架
vLLM 推理服务 PagedAttention 连续批处理
★ 0 · 更新于 2026-09-22
用于部署生产级大语言模型的高性能服务框架，支持 OpenAI 兼容 API、模型量化与张量并行。
⚙ 部署生产级 LLM API ⚙ 运行离线批量推理 ⚙ 提供量化 LLM 服务
tensorrt-llm - 使用 TensorRT-LLM 优化 NVIDIA GPU 上的大语言模型推理
推理服务 TensorRT-LLM NVIDIA 推理优化
★ 0 · 更新于 2026-09-09
在 NVIDIA GPU 上通过量化、动态批处理与多 GPU 扩展优化大语言模型推理性能。
⚙ 根据提示词生成文本响应 ⚙ 通过 HTTP API 提供模型服务 ⚙ 将模型量化为低精度格式
tensorrt-llm - 使用 NVIDIA TensorRT 优化大语言模型推理
推理服务 TensorRT-LLM NVIDIA 推理优化
★ 0 · 更新于 2026-09-09
基于 NVIDIA GPU 提供模型量化、动态批处理与多 GPU 并行优化以加速大模型推理。
⚙ 运行大语言模型推理 ⚙ 提供 HTTP 模型服务 ⚙ 使用 FP8 量化模型
tensorrt-llm - TensorRT-LLM LLM推理优化
推理服务 TensorRT-LLM NVIDIA 推理优化
★ 2 · 更新于 2026-03-19
使用 NVIDIA TensorRT 优化 LLM 推理，在 NVIDIA GPU 上实现高吞吐、低延迟的生产部署。
⚙ 优化 LLM 推理 ⚙ 使用 TensorRT 编译模型 ⚙ 通过 HTTP API 服务模型