模型微调的大致流程微调训练、推理验证、模型导出、模型部署目录llamafactory三种搭建方式python环境的搭建认识llamafactory使用llamafactoryWebUICLI命令行模型训练模型推理模型合并llamafactory三种搭建方式python环境的搭建不管选择上面的哪一种我们都需要最基础的python所以最先需要在wsl环境里面配置好python建议311版本及以上。温馨提示最好在wsl的环境下去搭建如果是在window上的文件进行操作跨系统读写 NTFS 文件系统不仅有严重的 I/O 延迟还会导致文件锁、权限和硬链接等各种兼容性问题。我们可以mkdir -p ~/study/finetune cd ~/study/finetune前置环境安装命令如下sudo apt update sudo apt install -y build-essential sudo apt install -y software-properties-common sudo apt install -y python3.11-dev sudo add-apt-repository -y ppa:deadsnakes/ppa sudo apt update sudo apt install -y python3.11 python3.11-venv python3.11 --version # 确保安装了 pip3.11 对应的工具或者通过 pip3.11 安装 uv python3.11 -m pip install --upgrade pip python3.11 -m pip install uv # 1. 进入项目目录 cd ~/study/finetune/LLaMA-Factory # 2. 使用 Python 3.11 创建名为 ftenv 的虚拟环境 python3.11 -m venv ftenv # 3. 激活虚拟环境 source ftenv/bin/activate # 4. 在虚拟环境中安装 uv利用虚拟环境内置的 pip pip install uv附上部分内容的参考结果图我们可以选择的环境有本地环境、免费的服务器、租用外界服务器。本人选择的是本地环境跑个小模型差不多了。接下来执行如下操作安装。#安装系统级distutils sudo apt-get update sudo apt-get install -y python3-distutils #确定驱动已安装基本都装了没什么问题 nvidia-smi #拉取代码 git clone https://github.com/hiyouga/LLaMA-Factory.git #安装虚拟环境 pip install uv -ihttps://mirrors.aliyun.com/pypi/simple source ftenv/bin/activate #安装llamafactory cd LLaMA-Factory uv pip install -e .[torch,metrics] -i https://mirrors.aliyun.com/pypi/simple #验证是否安装成功 llamafactory-cli version ##验证GPU是否可用应输出True python -c import torch; print(torch.cuda.is_available())附上部分内容的参考结果图认识llamafactoryLLaMA-Factory常被开发者亲切地称为“LLaMA Factory”是一个专为大型语言模型LLMs设计的开源、一站式微调与部署框架。它的核心目标是打破大模型微调的高技术壁垒让开发者无需深入理解复杂的底层代码就能像“喝咖啡一样简单”地完成模型的定制化训练。使用llamafactoryWebUI执行llamafactory-cli webui启动webui在地址栏输入http://0.0.0.0:7860我这边选择了Qwen3.5-2B-Thinking模型点击加载模型在终端也会有加载信息显示这边我忘记截图了....所以是后面加载模型的结果了...CLI命令行模型训练执行llamafactory-cli -h查看可执行的参数信息用资源管理系统打开项目进入项目路径如下finetune\LLaMA-Factory\examples\train_lora使用qwen3_lora_sft.yaml来进行微调的案例展示打开文件将模型替换成刚刚下载好的模型template修改成default输出文件夹也修改了接下来在窗口执行USE_MODELSCOPE_HUB1 llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml命令去训练模型这个就是执行完成的展示在文件夹下面也可以查看结果模型推理进入finetune\LLaMA-Factory\examples\inference下找到qwen3_lora_sft.yaml同样继续修改配置文件执行USE_MODELSCOPE_HUB1 llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml输出的结果和使用的数据集给出的样例是一致的模型合并打开文件夹finetune\LLaMA-Factory\examples\merge_lora继续修改配置文件模型已经合并成一个了进入finetune\LLaMA-Factory\examples\inference文件夹把adapter_name_or_path属性删除掉因为模型已经整合成一个了其他的保持不变目的是通过api命令把模型部署成为一个接口仅供调用 。执行以下命令USE_MODELSCOPE_HUB1 llamafactory-cli api examples/inference/qwen3_lora_sft.yaml已经部署完成了打开新的终端窗口输入curl -s http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: output/Qwen3-0.6B, messages: [ {role: user, content: 你是谁} ], max_tokens: 64, temperature: 0.7 }到这里就结束了~