现阶段各大厂商免费模型已成熟可以接入着手研究大模型应用。轮子都造好了我们就拿来用了。但是个人要对于大模型学习使用成本小高那么我们先从基础走起。PS我用的是用户安装这个会有坑安装用root用户能规避一些问题。一、环境与硬件配置基础部署仅RAG/推理4核CPU、8G内存、无显卡也可运行操作系统Ubuntu 20.04 / 22.04 / 24.04推荐22.04 LTS运行方式全程离线私有化部署数据不出服务器网络内网部署可配置端口放行支持局域网访问二、前期初始化# 更新系统sudo apt update sudo apt upgrade -y# 安装基础依赖sudo apt install -y curl wget git vim python3-pip python3-venv build-essential# 开启开机自启依赖sudo apt install -y systemd# 清理无用依赖sudo apt autoremove -y三、安装 Docker Compose# 官方一键脚本Ubuntu 22.04/24.04curl -fsSL https://get.docker.com | sudo sh# 当前用户加入 docker 组sudo usermod -aG docker $USERnewgrp docker# 验证需 compose ≥ 2.24.0Dify 硬性要求docker --versiondocker compose version如果curl -fsSL https://get.docker.com | sudo sh安装不上切换国内镜像先确认是不是只有「只有 Docker 官方源有问题」# 基础网络ping -c 3 8.8.8.8ping -c 3 baidu.com# 对比测试curl -I https://www.baidu.comcurl -I https://get.docker.comcurl -v https://get.docker.com 21 | tail -20若baidu.com正常、get.docker.com失败 → 用国内镜像装 Docker推荐若所有 HTTPS 都失败 → 检查 VM 网络模式、DNS、代理若ping 8.8.8.8都不通 → VM 网络本身有问题NAT/桥接/网关# 1) 安装依赖sudo apt updatesudo apt install -y ca-certificates curl gnupg lsb-release# 2) 添加 Docker GPG阿里云镜像sudo install -m 0755 -d /etc/apt/keyringscurl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpgsudo chmod ar /etc/apt/keyrings/docker.gpg# 3) 添加 Docker apt 源按你的 Ubuntu 版本选一个# Ubuntu 22.04:echo deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu jammy stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null注意# Ubuntu 24.04 把 jammy 改成 noble:echo deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu noble stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null# 4) 安装sudo apt updatesudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin# 5) 验证docker --versiondocker compose version # 需要 2.24.0若阿里云 GPG 也curl (35)可换清华源curl -fsSL https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 22.04 示例echo deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu jammy stable | sudo tee /etc/apt/sources.list.d/docker.list同样注意# Ubuntu 24.04 把 jammy 改成 noble:echo deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu noble stable | sudo tee /etc/apt/sources.list.d/docker.list成功装完 Docker 后还要配镜像加速sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json EOF{registry-mirrors: [https://docker.1ms.run,https://docker.m.daocloud.io]}EOFsudo systemctl daemon-reloadsudo systemctl restart docker若 docker compose version 2.24.0升级 compose 插件sudo apt install -y docker-compose-plugin四、Ollama 服务部署核心推理引擎一键安装ollamacurl -fsSL https://ollama.com/install.sh | sh非常慢如果网络不行就需要使用魔法下载Releases · ollama/ollama · GitHub选择相应版本传入到Ubuntu以后解压安装zstdsudo apt updatesudo apt install zstd -y1、解压tar两种解压方式我使用的是第一种zstd解压管道给tar1、zstd 解压管道给 tar推荐不生成中间文件zstd -d -c ollama-linux-amd64.tar.zst | sudo tar -xvf - -C /-c输出到 stdout 管道-C /直接把二进制释放到根目录会把ollama二进制放到/usr/local/bin/服务文件放到/etc/systemd/system/ollama.service和官方脚本安装路径完全一致2、先解压出 tar 文件再 tar 解包zstd -d ollama-linux-amd64.tar.zst# 得到 ollama-linux-amd64.tarsudo tar -xvf ollama-linux-amd64.tar -C /2、注册 systemd 服务、启动 ollama解压完成后systemd 单元文件已经释放到/etc/systemd/system/ollama.service# 重载systemd识别新服务sudo systemctl daemon-reload# 设置开机自启并启动sudo systemctl enable --now ollama# 查看运行状态sudo systemctl status ollama如果运行状态不对校验文件完整性ls -lh /usr/local/bin/ollama正常二进制大小约140M 左右。如果只有几 MB说明压缩包下载残缺必须重新下载。删除损坏版本sudo systemctl stop ollamasudo systemctl disable ollamasudo rm -rf /usr/local/bin/ollama /usr/local/lib/ollamarm -f ~/ollama-linux-amd64.tgz我这里又重新下载了这里看有38Msudo nano /etc/systemd/system/ollama.service重新解压以后ollama 安装在/bin/ollama目录下面/bin/ollama servecurl http://127.0.0.1:11434/api/tags输出结果可以看到已经集成了千问模型 qwen3.5:4b还可以换小模型#小对话模型ollama pull qwen2:0.5b# Embedding 多语言含中文ollama pull bge-m3对话模型qwen2.5:1.8b向量嵌入模型bge‑small‑zh模型参数温度0.1‑0.2知识库切片大小建议600token重叠 100不要给小模型塞太长上下文。测试一下是否成功ollama run qwen2.5:1.8bcurl http://127.0.0.1:11434/api/embeddings -d { model:bge-small-zh, prompt:测试RAG文档 }切换root用户sudo -i如果本机可以访问外网不可以访问 修改 ollama systemd 配置允许外网 / 局域网访问vi /etc/systemd/system/ollama.service在[Service]段添加环境变量[Service]EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_HTTP_CLIENT_FORCE_HTTP1true保存退出重载 systemd 并重启 ollamasystemctl daemon-reloadsystemctl restart ollama3、如果不行可以安装docker ollama# 如果没装docker先安装dockercurl -fsSL https://get.docker.com | shsudo systemctl enable --now docker# 启动ollama容器持久化模型数据端口11434对外docker run -d \--name ollama \--restart always \-p 11434:11434 \-v ollama_data:/root/.ollama \ollama/ollama测试是否成功curl http://127.0.0.1:11434/api/tags返回带json串就成功容器内使用 ollama 命令示例# 拉取模型docker exec -it ollama ollama pull qwen3.5:4b# 运行对话docker exec -it ollama ollama run qwen3.5:4b环境变量 OLLAMA_HOST0.0.0.0 在官方 docker 镜像内部已经默认开启外部机器可以访问 11434。五、部署 Dify# 1) 克隆固定版本避免漂移cd ~git clone https://github.com/langgenius/dify.git --branch 1.7.1 --depth 1如果上面的不行用git clone --branch 1.7.1 --depth 1 https://mirror.ghproxy.com/https://github.com/langgenius/dify.git再不行用git clone --branch 1.7.1 --depth 1 https://gh-proxy.com/https://github.com/langgenius/dify.git如果都不行用最后方案 下载压缩包解压--------------------------------------------------------------------------------------------------------------------------------wget https://mirror.ghproxy.com/https://github.com/langgenius/dify/archive/refs/tags/v1.7.1.zip -O dify-v1.7.1.zipunzip dify-v1.7.1.zipmv dify-1.7.1 dify--------------------------------------------------------------------------------------------------------------------------------cd dify/dockerlscp .env.example .env# 2) 拉取并启动docker compose pull拉取镜像sudo chown -R 1000:1000 ./volumes # 避免 plugin_daemon 权限问题启动镜像 -d是后台启动docker compose up -d# 3) 检查状态docker compose ps # 全部 Up / healthy.env调整在线 VM 可选EXPOSE_NGINX_PORT80# 内网部署可关闭遥测可选# SENTRY_DSN这样基本就配置完毕然后就是进入dify设置。刚开始让输入用户名密码等用户基本设置。设置完的界面这样。剩下的就开始配置咱们的LLM 了。点击右上角的头像。我的是K那个蓝色的。然后点击设置。在模型供应商里面找到ollama安装。