Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive llama.cpp 部署:从 0 到 1 跑通本地多模态推理
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive llama.cpp 部署从 0 到 1 跑通本地多模态推理【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSllama.cpp 把 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 装进你的机器不审查文本、图像、视频全通部署完终端对话和 API 服务两种用法直接上手。部署之后你能拿它做什么这个模型的“多模态”不是摆设。丢给它一段文字、一张截图或一段视频它可以描述内容、定位界面元素、按你的指令行动。本仓库里一个多模态 GUI Agent 从感知画面到执行动作的完整链路如下图所示。跑起来之后有两条使用路线任选其一终端对话一条 CLI 命令和模型面对面聊适合尝鲜和临时任务API 服务llama-server 一跑端口 8080 对外提供 /completion 接口内网任意程序都能调用适合搭自己的工作流。两者共用同一份模型文件和同一套参数从哪边入手都行。开跑前先把配置对一遍先把下面的自检清单过一遍缺什么补什么比部署到一半再回头折腾便宜得多。硬件自检清单内存 ≥32GB推荐 64GB 以上具体吃多少看你选哪档量化版本支持 CUDA 的显卡显存 12GB 以上如 RTX 3090/4090 或同等配置GitC 编译器GCC 或 ClangCMake清单都打勾再决定模型体积。按你的硬件选哪档量化版本GGUF 量化常见三档级别越高文件越大、效果越接近原始权重越低越省显存。对着自己的机器挑量化级别文件体积适合谁Q8_K_PQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q8_K_P.gguf约 44 GB高端 GPU / 服务器Q4_K_MQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf约 21 GB中端 GPUIQ2_MQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf约 11 GB入门级 GPU / CPU要多模态能力的话还差一件东西图像/视频输入依赖 f16 投影文件 mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf跟模型文件一起下好、放在同一处。从零到第一次跑通 下载、编译、验证、加载四步一条线每步做完再往下走。备齐模型文件。把对应量化档位的 GGUF 和 mmproj 投影文件取到本地一个目录里记好路径后面所有命令都要引用它们。编译 llama.cpp。项目是 C 写的本地编译完就能用。克隆仓库然后开启 CUDA 加速进行构建git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS make LLAMA_CUBLAS1LLAMA_CUBLAS1 是打开 GPU 加速的开关编译要跑几分钟等输出结束即可。验证编译结果。查一下版本号./llama-cli --version能看到版本信息输出说明编译成功继续下一步。首次加载模型。用下面这条命令把模型拉起来做个自检./llama-cli -m /path/to/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf \ --mmproj /path/to/mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf \ --jinja -c 131072 -ngl 99进入对话界面不报错整条链路就跑通了。模型跑起来的两种姿势姿势一终端对话CLI核心命令就是上一步用过的那条各参数的分工如下参数作用-m模型文件路径--mmproj多模态投影文件图像/视频输入必须带上--jinja启用 Jinja 对话模板保证消息格式正确-c 131072上下文窗口大小即 128K tokens-ngl 99把所有层全部放进显存进界面直接聊。最小示例 你好介绍一下自己 我是一个不审查的多模态 AI文本、图像、视频都能处理说说看有什么要我帮忙的截图也一样能看懂比如丢一张桌面画面给它它会描述界面内容、指认元素位置姿势二30 秒启动 API 服务llama-server把 ./llama-cli 换成 ./llama-server再追加两个对外暴露的参数其余照旧./llama-server -m /path/to/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf \ --mmproj /path/to/mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf \ --jinja -c 131072 -ngl 99 --host 0.0.0.0 --port 8080启动后 8080 端口打开内网任何设备都能访问。文本生成。用 curl 向 /completion 发请求把 prompt 换成你的任务即可curl -X POST http://localhost:8080/completion \ -H Content-Type: application/json \ -d { prompt: 写一篇关于人工智能的短文, temperature: 0.7, max_tokens: 512 }响应里直接返回生成出的文本。多模态输入。要让它看图把图像按 base64 编码后随 prompt 一起描述过去curl -X POST http://localhost:8080/completion \ -H Content-Type: application/json \ -d { prompt: 描述这张图片的内容: image, temperature: 0.7, max_tokens: 512 }模型会从截图里解析出界面内容还能以坐标形式返回元素位置效果如下图所示不同任务参数怎么调生成质量很吃三个采样参数官方按场景给出的推荐组合如下对号入座即可任务类型temperaturetop_ptop_k通用任务1.00.9520代码 / 精确任务0.60.9520推理任务1.01.040温度越低输出越稳适合要求准确的场景越高越发散适合开放对话。显存紧张时的备选动作加载吃紧或显存占用过高按顺序试这三招换更低的量化版本比如 IQ2_M约 11 GB追加 --low-vram 参数进入低显存模式把 -c 调小不是每个任务都需要 128K 上下文按实际需求设置。踩坑速查 ⚠️症状可能原因修复动作模型加载失败文件路径写错、下载不完整或 llama.cpp 版本过旧核对路径与文件完整性git pull 更新源码到最新版后重新编译推理速度明显偏慢GPU 层数给少了、别的程序占着显存或量化档偏低调大 -ngl把更多层推给 GPU99 表示全用关掉其他占用 GPU 的程序换 Q5_K_P、Q8_K_P 这类更高量化多模态输入不生效--mmproj 路径指错或图像格式不对把参数对准 f16 投影文件确认图像以 base64 形式传入跑通之后剩下的都是玩法终端对话与 API 调用两条路都在你手里。更细致的用法看项目里的 README.md 和 README_deploy.md遇到卡点官方社区里找答案最快。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

代付系统源码拆解:状态机、权限控制与API回调设计

代付系统源码拆解:状态机、权限控制与API回调设计

简介:一套面向代付业务场景的手工/API代付系统源码,适合有PHP开发基础的工程师或小微支付团队研究、二次开发及业务部署。系统整体设计简洁,支持单笔与批量代付,同时提供API自动对接与后台手动出款两条路径,后台-代理-…

2026/11/12 15:43:23 阅读更多 →
Audacity 4 如何使用 CMake Presets 配置 Debug 与 ASan 构建?

Audacity 4 如何使用 CMake Presets 配置 Debug 与 ASan 构建?

Audacity 4 如何使用 CMake Presets 配置 Debug 与 ASan 构建? 【免费下载链接】audacity Audio Editor 项目地址: https://gitcode.com/GitHub_Trending/au/audacity 如果你正在参与 Audacity 4 的开发,需要一份带调试符号的 Debug 构建&#x…

2026/10/25 10:43:35 阅读更多 →
God‘s Eye View 检测覆盖层详解:屏幕空间边界框与目标ID如何工作

God‘s Eye View 检测覆盖层详解:屏幕空间边界框与目标ID如何工作

Gods Eye View 检测覆盖层详解:屏幕空间边界框与目标ID如何工作 【免费下载链接】gods-eye-view A spy satellite simulator in your browser, except the data is real. Live open source spatial intelligence on a photorealistic 3D globe. 项目地址: https:/…

2026/11/21 20:30:31 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻