使用输入“模型路径”的 Skills

sglang - 具备RadixAttention前缀缓存的高性能LLM服务框架
推理服务 SGLang 结构化生成 RadixAttention
★ 0 · 更新于 2026-09-24
使用RadixAttention前缀缓存为LLM与VLM提供结构化生成与高性能推理服务。
⚙ 提供LLM与VLM推理服务 ⚙ 使用RadixAttention自动缓存前缀 ⚙ 生成结构化JSON输出
llama-cpp - 使用 llama.cpp 本地运行 GGUF 模型
llama.cpp GGUF 量化 Hugging Face Hub
★ 92 · 更新于 2026-09-09
运行本地 GGUF 推理、选择量化方案，并在 Hugging Face 上发现兼容 llama.cpp 的模型和文件。
⚙ 运行本地 GGUF 推理 ⚙ 发现 Hugging Face 上的 GGUF 模型 ⚙ 为硬件选择量化方案
vllm-ascend-model-adapter - 在昇腾NPU上适配vLLM模型
昇腾NPU vLLM Hugging Face 模型适配
★ 0 · 更新于 2026-05-11
适配并调试Hugging Face或本地模型在昇腾NPU上运行vLLM
⚙ 收集模型上下文 ⚙ 分析模型文件 ⚙ 实现模型适配器
vllm-ascend-model-adapter - vLLM Ascend NPU模型适配器
模型适配器 vLLM 昇腾NPU Hugging Face
★ 0 · 更新于 2026-05-11
适配和调试模型在Ascend NPU上运行vLLM
⚙ 收集模型上下文 ⚙ 检查模型文件 ⚙ 分析架构
vllm-ascend-model-adapter - 适配模型在昇腾NPU上运行vLLM
vllm 昇腾 NPU 模型适配
★ 5 · 更新于 2026-05-11
适配Hugging Face或本地模型在vllm-ascend上运行，代码改动最小化
⚙ 分析模型架构 ⚙ 检查模型文件 ⚙ 实现模型适配器
vllm-ascend-model-adapter - vLLM Ascend 模型适配
模型适配 Ascend NPU vLLM 推理
★ 57 · 更新于 2026-05-11
为 vLLM 在 Ascend NPU 上适配和调试模型
⚙ 分析模型架构 ⚙ 实现模型适配器 ⚙ 添加处理器支持
ml-deployment-helper - 机器学习模型生产部署
机器学习模型部署 MLOps 容器化
★ 602 · 更新于 2026-05-11
为机器学习模型生成部署产物，包括API、容器化、监控和A/B测试基础设施
⚙ 容器化模型 ⚙ 创建API端点 ⚙ 设置监控
Vram-GPU-OOM - 多服务GPU显存共享管理
GPU 内存管理模型加载服务协调
★ 18 · 更新于 2026-03-23
通过OOM重试和自动卸载管理多服务GPU显存共享
⚙ 加载模型 ⚙ 捕获OOM错误 ⚙ 重试加载