上周我在通勤路上打开手机上的 Termux敲下一行命令把 DeepSeek-R1 的蒸馏小模型跑了起来。旁边的人以为我在刷代码实际上我在用一台不到两千块的手机做本地 AI 推理。放到两年前这基本属于做梦大模型动辄几十上百 GB 显存一言不合就要租卡。但现在不一样了——开源模型可以蒸馏出小参数量版本模型权重可以量化压缩到原来的四分之一手机的内存和算力也刚好够得着。你不需要买新电脑不需要租服务器也不需要付 API 费用就能在手机里拥有一个真正离线运行的“AI 推理平台”。这篇内容想聊的是怎么把这套东西搭起来哪些模型真的能跑哪些只是看着能跑量化参数怎么选Termux 和图形化应用两条路线各有什么优劣以及我在实际折腾中攒下来的坑。适合读的人我猜测有三类想离线聊天的隐私党、不想在这上面花钱的学生党以及单纯想把大模型塞进手机里图一乐的折腾党。不管是哪一类看完你至少会知道“手机跑 DeepSeek-R1/Qwen3”这句话里到底哪些部分是现实哪些部分是营销话术。1. 手机跑大模型这事到底靠不靠谱1.1 先搞清楚你的手机能跑到哪个量级手机跑大模型第一步不是选模型而是搞清楚内存上限。很多人一听“手机上跑 DeepSeek-R1”就觉得是天方夜谭因为 DeepSeek-R1 的完整版是 671B 参数这种体量别说手机连一张主流显卡都装不下需要多张服务器显卡共同推理。所以手机上跑的几乎都是它的“蒸馏版”——比如行业里常见的 1.5B、7B、8B 小参数版本。Qwen3 则天生就有小参数档位从 0.6B 到 8B 都能在移动端见到。模型名里的 B 是参数量单位1B 就是十亿个参数7B 就是七十亿个参数。每个参数在内存里至少要占 1 到 2 个字节所以 7B 模型直接原生加载光是权重就要 14GB 左右内存这还没算推理时的额外开销。所以选模型第一步不是看谁聪明而是看你的手机内存能不能把它装下。以市面上常见的安卓手机来说8GB 内存是起步线开机后系统和应用会占用两三 GB实际能留给推理引擎的通常只剩 5-6GB。这意味着 8GB 手机跑 0.6B、1.5B 很舒服跑 4B 属于勉强12GB 旗舰跑 4B、7B 才有底气16GB 以上的大内存机型才能往 8B、14B 试探。看到网上有人说“8GB 流畅跑 7B”别急着信他要么用了极端量化要么根本没跑起来就截图了。1.2 零成本不代表零门槛标题里的“零成本”我理解有两个层面一是你不需要为新硬件付费现有手机就能当推理终端二是不需要按 token 付 API 费模型文件下载到本地之后怎么聊都不花钱。但“零成本”不意味着“零门槛”它只是把成本从钱包转移到了别处时间成本下载几个 GB 的模型文件编译推理引擎加上试错整个过程可能花掉一两个小时。学习成本要理解参数量、量化格式、上下文长度这些概念对没用过命令行的朋友来说需要一点耐心。体验成本手机端 CPU 推理的速度通常只有云端的十分之一每蹦出一个字都要等急性子很容易劝退。买不买账取决于你的使用场景。我实测下来的感受是断网环境、隐私敏感对话、想研究推理原理、或者纯粹想省点 API 费这套方案很值如果你需要超长文本生成、高并发问答、毫秒级响应那还是老老实实接云端。手机本地推理的定位从来不是替代云端而是补足“离线可用”和“数据不出门”这两块短板。2. 模型选型与量化为什么是这些参数2.1 DeepSeek-R1 的蒸馏版逻辑先解释一个很多人会误解的词——“蒸馏”。蒸馏不是把大模型压缩成小模型而是用大模型当“老师”先生成几百万条带详细推理过程的问答数据再拿这些数据去训练一个小模型。小模型的参数量没有变大但它学到了大模型的“答题习惯”尤其是“先推理一会儿再给结论”的思维链路。这也是 DeepSeek-R1 蒸馏版最吸引人的地方你可以亲眼看到它思考的过程而不是直接吐结论。举个例子你问“树上有 10 只鸟猎人打掉 1 只还剩几只”这类带陷阱的逻辑题蒸馏小模型会先分析“打掉的那 1 只飞走了其他 9 只被枪声吓飞了”最后才给出“0 只”的答案。虽然速度慢一点但这种“先思考再回答”的体验在一年前的小模型上是看不到的。当然蒸馏版不是完整版。1.5B 的思考链很短容易想不明白7B、8B 的推理更老练但手机内存要求也上来了。我的建议是第一次尝试先用 1.5B 或 7B 的 Q4 量化版跑通流程之后再决定是否往上升档。2.2 Qwen3 的思考模式同样是加分项Qwen3 系列相比同体量模型一个很实用的特点是也带“思考模式”。你在对话里让它先思考再回答它就会在输出答案之前生成一段内部推理效果和 DeepSeek-R1 蒸馏版类似。这意味着你在手机上不只有 R1 这一条路可选Qwen3 的小模型同样有“会推理”的体验。选 Qwen3 还有一个好处是档位特别细0.6B、1.7B、4B、8B 都有覆盖不同内存档位。0.6B 的量化文件不到 1GB4GB 内存的老手机也能动4B 是日常体验与资源消耗的平衡点8B 则适合内存超过 16GB 的新机。如果你的手机内存比较小我强烈建议先跑 Qwen3-0.6B它也许不是最聪明的但它是让你快速建立“手机也能跑大模型”信心的最佳起点。2.3 量化手机能跑的前提模型权重默认用 FP16 精度存储一个参数占 2 个字节量化之后比如 4-bit 精度一个参数只占 0.5 个字节文件体积直接缩小到原来的四分之一。代价是精度损失但对于聊天问答这类任务4-bit 量化带来的损失并不明显尤其是 Q4_K_M 这种方案把关键层和敏感层保留更多精度属于“体积、速度、质量”三者之间的平衡点。现在主流的 GGUF 格式可以理解为“可以直接被 llama.cpp 推理引擎加载的量化模型容器”模型结构信息都写在文件头里下载后不需要额外转换。选模型时认准 GGUF 文件文件名里通常有 Q4_K_M、Q5_K_M、Q8_0 这类标记。模型档位FP16 原始大小Q4_K_M 量化后手机内存建议0.6B约 1.1GB约 0.4GB4GB 起步1.5B约 2.7GB约 0.9GB4-6GB4B约 7.2GB约 2.5GB6-8GB7B/8B约 14GB约 4.2GB8-12GB14B约 25GB约 8.0GB16GB 以上这是粗略估算不同量化方案会有 10% 左右的浮动。另外模型跑起来不是只占权重那点空间上下文越长KV Cache 占的内存越多。我实测 4B 模型在 4096 上下文下KV Cache 能吃掉 1-2GB 内存。所以“能装下模型”和“能跑长对话”是两回事。3. 实操路线ATermux llama.cpp3.1 前置准备如果你愿意折腾我推荐走 Termux 加 llama.cpp 这条路线。Termux 是在安卓上运行 Linux 环境的终端模拟器llama.cpp 则是目前手机端最成熟的纯 CPU 推理引擎它把大模型推理优化到了不需要 GPU 也能顺畅运行的程度。两个都是开源项目组合起来就是一套完整的本地推理平台。手机的准备条件很简单8GB 内存起步存储剩余 10GB 左右Android 10 以上。第一次安装 Termux建议到开源应用商店 F-Droid 下载最新版很多应用商店里的版本已经很久没更新容易踩兼容性的坑。装好之后先跑这三条命令pkg update -y pkg upgrade -y termux-setup-storage第三条命令会申请存储权限弹窗时选允许这样 Termux 才能访问你下载的模型文件。更新软件源的时候如果下载速度很慢可以在软件源配置里切换成国内镜像源这一步能大幅减少后续装包时的等待时间。3.2 安装依赖并编译推理引擎llama.cpp 的编译依赖 clang、cmake、git 这几个基础工具我在实际编译中还补了 rust因为部分新版本特性会用到。安装命令pkg install -y clang cmake git python rust然后拉取 llama.cpp 源码。拉取地址在你常用的代码托管平台里搜 llama.cpp 就能找到官方主仓库名保持不变git clone https://某个代码托管的地址/llama.cpp.git cd llama.cpp编译时用 CMake 构建。我建议打开 OpenMP 多线程支持这样可以多核并行推理cmake -B build -DGGML_OPENMPON -DCMAKE_BUILD_TYPERelease cmake --build build -j4编译过程大概 10 到 30 分钟具体取决于手机 CPU期间手机发热是正常的。为什么不直接下载现成的二进制文件因为手机端预编译包不一定和你的芯片架构匹配自己编译虽然多花点时间但能拿到完整功能后面排错也更方便。3.3 下载模型并跑起来模型文件建议找 GGUF 格式的量化版。打开模型托管平台搜索“Qwen3-0.6B-Instruct-GGUF”或者“DeepSeek-R1-Distill-Qwen-1.5B-GGUF”优先选择文件名里带 Q4_K_M 的那个文件。为什么优先 Q4_K_M因为它在体积、速度和输出质量之间最平衡属于“够用”的档位。你可以直接在手机浏览器里下载文件会落到“下载/Download”目录然后通过存储权限让 Termux 访问。我更习惯用命令行直接下载到专门目录方便管理mkdir -p ~/models cd ~/models curl -L -O 模型直链地址下载完成后开始推理。第一次建议先让模型回答一个简单问题确认整体链路没问题cd ~/llama.cpp ./build/bin/llama-cli \ -m ~/models/模型文件名.gguf \ -p 你好用一句话解释什么是大模型 \ -c 1024 \ -t 4 \ --temp 0.7看到模型加载信息后终端会等几秒然后开始逐字输出答案。如果你想进入连续对话模式去掉-p参数再运行一次就会变成交互式聊天。如果提示“无法打开文件”先检查文件名和路径大小写中文文件名容易出问题建议把模型文件改成纯英文名。3.4 常用参数讲解为什么这么调手机跑大模型的体验好坏很大程度上取决于参数设置。我把几个关键参数拆开讲一下-t线程数。手机 CPU 虽然一般有 8 核但真正适合跑密集计算的大核往往只有 4 个所以设 4 通常最优。设太大会因为线程切换和发热降频速度反而下降。-c上下文长度。它决定模型能“记住”多长的对话历史。手机端建议 512 到 2048不要盲目堆到 4096因为 KV Cache 会显著占用内存甚至直接导致 OOM。--temp采样温度。0.7 是百搭值既不会太死板也不会太飘。想稳定输出就调到 0.3想看到一些创造性回答就调到 0.9但小模型温度太高容易逻辑崩坏。--repeat-penalty重复惩罚。小模型在长文本生成时很容易陷入复读机循环设 1.1 左右能明显缓解。-nglGPU 加速层数。很多人以为调得越高越好但手机上事与愿违因为 GPU 与系统内存之间交换数据频繁兼容性问题也多。一般保持默认 0 反而更稳。这些参数不需要死记先用默认值跑通遇到问题再逐个调整。llama.cpp 的帮助信息写得很全随时可以查看./build/bin/llama-cli --help事。4. 实操路线B图形化应用零命令行4.1 一键式应用推荐与使用流程不想碰命令行的朋友可以直接用带图形界面的开源应用比如社区里常见的 PocketPal、MLC Chat 这类。它们本质上还是把 llama.cpp 或 GGML 推理内核包了一层界面模型格式和 Termux 完全通用所以你在 Termux 里下的 GGUF 文件也可以导入到这些应用里用。操作流程非常简单安装应用后在模型管理页添加模型文件可以在应用内搜索模型也可以手动导入本地下载好的 GGUF接着选择模型、设置上下文长度和线程数最后回到聊天页选一个能体现推理能力的模型开场即可。整个流程十分钟内能跑通不需要输入一行命令。这类应用最大的优势是省心。手机重启了、文件路径变了、参数乱了它都能帮你管理好。缺点是可调参数少日志不可见一旦输出效果不理想你很难判断是模型选小了还是量化太狠了还是上下文设短了。所以两条路线各有取舍没有绝对的优劣。4.2 把手机变成一台局域网推理服务器图形化应用适合顺手聊天但如果你想在电脑上用大键盘和模型深度交流可以把手机变成一台局域网推理服务器。Termux 里启动 llama.cpp 的服务端模式./build/bin/llama-server \ -m ~/models/模型文件名.gguf \ --host 0.0.0.0 \ --port 8080 \ -c 2048启动后手机本机浏览器访问http://127.0.0.1:8080就能打开网页聊天界面。同一 WiFi 下的电脑访问http://手机IP:8080也一样能用。这个方案的妙处在于手机只负责推理电脑只负责显示和输入等于用一台旧手机兼职做了一台随时可以携带的推理服务器。这里有个必须注意的安全细节--host 0.0.0.0表示局域网内所有设备都能访问你的模型服务我只建议在家里这种可控网络里开在公共 WiFi 下千万不要随便暴露端口用完就关掉。4.3 两条路线怎么选对比维度Termux 路线图形化应用路线上手难度较高需要命令行基础低装完即用模型管理灵活任意目录应用内目录参数可调性全量参数可精细控制只有基础参数故障排查日志清晰容易定位黑盒出问题只能重装适用人群开发者、折腾党日常使用、不折腾性能上限更高可编译优化视应用实现而定我的建议是第一次接触本地推理的人先用图形化应用建立手感知道那个速度、那个输出质量大概是什么样再决定要不要走 Termux 路线。直接上 Termux 也行无非多踩几个坑但踩坑本身也是这套玩法的乐趣。5. 实测数据与速度预期5.1 不同档位手机的实际表现聊了这么多理论给点实测参考。我在几台不同价位手机上跑过用虚构代号记录一下避免大家被“流畅运行”这种话术误导设备代号内存模型量化实测速度千元机A8GBQwen3-0.6BQ4_K_M15-20 token/s千元机A8GBDeepSeek-R1-Distill-Qwen-1.5BQ4_K_M10-14 token/s中端机B12GBQwen3-4BQ4_K_M5-8 token/s中端机B12GBDeepSeek-R1-Distill-Qwen-7BQ4_K_M3-5 token/s旗舰机C16GBQwen3-8BQ4_K_M6-9 token/s看到这组数别急着下结论。实际速度跟 SoC 定制、散热设计、系统调度、后台占用、是否插电都有关系。同一台手机刚开机冷启动能跑 18 token/s连续推理二十分钟后可能掉到 8 token/s因为芯片过热降频了。所以这组数据更多是量级参考让你心里有数所谓“手机流畅跑大模型”流畅到什么程度是很有弹性的。5.2 速度慢怎么办先调整预期再调整参数判断速度是否够用有个简单标准10 token/s 以上体感接近打字输入5 token/s 左右等得起但连续长文会让人焦虑3 token/s 以下只适合让它写结构化碎片不适合长对话。想提速按优先级来换更小的模型。从 7B 降到 4B速度提升可能接近一倍。降量化精度。Q8 换 Q4_K_M提速明显质量损失有限。缩短上下文。-c 2048降到-c 512内存压力小很多加载也更快。关后台、拆手机壳、保持散热。物理手段比任何软件调参都直接。不要边充电边满载跑。充电发热会让你功亏一篑尽管看起来能维持电量。还有一个建议手机端跑模型天然适合短轮次任务比如做翻译、改摘要、解释概念、生成代码片段而不是让它写 8000 字小说。任务选对了慢一点也能用得很舒服。6. 常见问题与避坑清单6.1 模型加载到一半就闪退这是手机端最常见的故障几乎都是同一个原因内存不够Android 系统把 Termux 或应用进程杀了。排查思路是先看内存余量free -h如果可用内存只剩一两百 MB基本没戏。解决办法按优先级试把上下文降到-c 512立刻省出几百 MB换 Q3_K_S 等更小的量化版本关掉所有后台任务把 Termux 锁定进最近任务列表防止被系统“自动清理”掉。如果厂商后台管理特别激进还得去电池设置里把 Termux 设为不限制后台。6.2 下载慢、下到一半失败模型文件动辄一两 GB 起步下载失败非常常见。我的经验是两条路一是用命令行断点续传下到一半断了也能接着下curl -L -C - -O 模型直链地址二是绕过下载环节直接用电脑下载模型通过局域网传输或数据线拷贝到手机。电脑端网络更稳定下载工具也更多。另外千万别手滑下载 FP16 原始模型那是手机根本跑不动的体积只有 GGUF 量化版才适合手机。6.3 发热严重、电池飞降手机跑大模型是重度负载发热是常态。我第一次编译完跑了五分钟手机背板就烫到不敢拿。关键是别让芯片过热降频到“越跑越慢”的恶性循环。实操办法把线程数从 4 降到 2速度慢一点但稳很多。拆掉手机壳让机身热量尽量散出去。把上下文调短减少单次推理的计算量。不要在大太阳底下玩更别边充电边跑满负载。如果手机已经烫到系统弹温度警告别硬撑退出去凉快几分钟再继续。真触发保护性重启对手机寿命也没好处。6.4 输出重复、乱码、答非所问如果模型回答质量差先别怪模型大概率是参数或 Prompt 的问题。我踩过几个坑重复绕圈加--repeat-penalty 1.1把重复的惩罚提到 1.15。回答太飘把--temp从 0.7 降到 0.4稳定很多。答非所问检查 Prompt 模板。小模型对提示格式很敏感Qwen3 和 DeepSeek-R1 蒸馏版在模型托管平台页面都会给出推荐模板直接用那个不要自己“自由发挥”。输出乱码检查模型文件字节数是否完整不要用“不完全下载”直链续传后的坏文件。这些排查步骤能解决九成以上的质量问题。要是都试过了还是不行那就真是模型能力上限或者量化损失太大换个大档位模型比继续调参更有效。6.5 中文输入在终端里不生效用过 Termux 跑 llama.cpp 的人大概率都遇到过中文输入失效的问题。在交互模式下手机输入法弹出的中文无法上屏敲出去的拼音直接变成乱码。我在这个坑上浪费了不少时间。现在的解法很简单不开交互模式直接用-p参数把问题塞给模型或者干脆启动 llama-server用手机浏览器打开网页界面聊天那个输入框对中文没有任何限制。如果你特别想在终端里聊中文也可以给llama-cli传--in-prefix参数手动指定前缀但体验依然不如 Web 界面顺畅。写到这里正好想起我第一次编译 llama.cpp 时把线程数设成 8手机热到能做煎蛋速度反而掉得惨不忍睹。后来老老实实-t 4凉爽又顺畅。如果你也想在手机上搭这套东西我的建议是别把目标定成“超越云端”它做不到但当你在地铁里没信号却还能问本地模型一个专业问题那种感觉确实很值。模型文件下载好之后这套推理平台就完全属于你了不用连网、不用授权、不用担心对话记录被传到别处这也是我后来一直在用的最大理由。