unsloth-finetuning - 使用Unsloth微调LLM模型
使用Unsloth通过4-bit量化和LoRA微调大语言模型
标签
更新于: 2026-03-26能力
典型输入
典型输出
该技能可以做什么
- 加载4-bit量化模型
- 配置LoRA参数
- 在数据集上训练
- 导出模型为GGUF
- 导出模型到Hugging Face
- 导出模型到vLLM
- 导出模型到Ollama
- 监控训练进度
- 启用梯度检查点
- 调整批处理大小
- 设置学习率
输入
- 训练数据集
- 预训练模型
- 支持CUDA的GPU
- Hugging Face令牌
输出
- 微调后的模型
- 训练日志
- 导出的模型文件
- 检查点
要求
- Python 3.10-3.12
- NVIDIA GPU
- CUDA 11.8或12.1+
- PyTorch 2.0+
- Transformers 4.37+