gguf-quantization - GGUF 模型量化高效推理GGUF量化llama.cppCPU 推理★ 0 · 更新于 2026-06-30将模型转换为 GGUF 格式并进行量化以实现高效 CPU/GPU 推理⚙ 转换模型为 GGUF 格式⚙ 量化 GGUF 模型⚙ 运行模型推理
llama-cpp - llama.cpp 辅助本地LLM推理引擎推理LLMGGUFLoRA★ 22 · 更新于 2026-03-10辅助本地LLM推理引擎，用于直接运行GGUF模型、加载LoRA适配器、基准测试和自定义模型服务⚙ 运行GGUF推理⚙ 加载LoRA适配器⚙ 基准测试推理
