说实话第一次看到这个标题我自己都愣了一下——养龙虾和AI大模型有什么关系后来才反应过来原来是把硬核玩成了养龙虾的谐音梗讲的其实是Intel核显UHD/Ultra/Arc跑大模型这件事。这个路子看起来很野但实测下来还真不是瞎折腾。先说结论用Intel核显跑本地大模型完全可行只是很多人被核显不行的固有印象劝退了。这篇就当作一次个人实测记录从装Ollama、拉取qwen3.5模型到接上Copaw做技能化改造我把完整过程、跑分数据、踩坑点全部捋一遍。如果你手上只有一台集成显卡的办公本、轻薄本又不想花钱租云GPU这篇文章可以帮你少走不少弯路。1. 养龙虾是什么梗Intel核显跑大模型这件事的可行性1.1 硬核变养龙虾一个标题引发的误区澄清养龙虾之因特尔UHD/Ultra/Arc核显跑大模型拆开看就是在说用Intel集成显卡跑大语言模型。这类装机标题老玩家看一眼就懂但新朋友很容易被养龙虾三个字搞蒙以为是什么养殖农业项目。其实养龙虾是硬核的谐音调侃意思就是这件事做起来很硬核——要在集显上跑LLM既考验软件栈的耐心也考验硬件配置的兜底能力。我最初也认为没有NVIDIA独显就别指望本地跑模型了但事实证明这个判断过时了。关键变化有两个一是Intel近几代核显的EU单元数量和频率明显提升Arc系列更是跨进了高性能核显的阵营二是Ollama这类推理框架早就对Intel的 Level Zero 和 OpenCL 后端做了深度适配把核显能不能跑这个问题的答案从不能变成了能但要看内存带宽。1.2 为什么核显能跑LLM内存带宽与量化是关键很多人以为跑大模型最缺的是算力其实在集显场景下最缺的是内存带宽。核显没有独立的显存它用的是共享的系统内存。模型权重要从DDR4/DDR5内存或LPDDR5内存里搬运到GPU核心计算内存读起来多快推理就能跑多快。大语言模型的推理分两个阶段prefill解析你输入的一整段话和decode一个token一个token地生成答案。decode阶段尤其吃带宽因为每一步都要把全部权重重新读一遍。举个例子qwen3.5:0.8b按4bit量化后权重大约是0.5GB左右假设你的内存带宽是50GB/s理论上每秒最多能扫过100次权重对应大概几十个token每秒的生成速度。如果你的机器是DDR5双通道带宽上80-90GB/s那速度会更舒服如果还是老旧的单通道DDR4带宽只有20多GB/s那速度就只剩个位数了。所以核显跑大模型本质上不是显卡行不行而是内存快不快。理解这一点后面所有实测数据你都能自己推出来。2. 环境准备与模型部署Ollama安装、Intel核显检测与qwen3.5模型拉取2.1 检查核显是否满足条件从驱动到共享内存如果你用的是Linux系统第一步不是装Ollama而是确认核显暴露出来的设备节点和驱动栈是否完整。打开终端先看核显设备有没有被系统识别ls /dev/dri/正常情况下你会看到card0和renderD128两个设备。如果只有card0没有renderD128说明渲染节点没启用核显跑不了加速计算。接着确认OpenCL和Level Zero运行时是否就绪sudo apt update sudo apt install intel-opencl-icd intel-level-zero-gpu clinfo vainfo clinfo | grep Device Name vainfo | grep Driver versionclinfo能看到Intel核显的OpenCL设备信息vainfo主要验证视频加速但也能旁证图形驱动栈是否健康。这里有个经验很多笔记本在Windows下核显跑得好好的装完Linux才发现驱动没打全后面一堆问题都是从这里来的。内存方面建议至少16GB起步。qwen3.5:0.8b量完才1GB上下看起来8GB也够但核显默认会从共享内存里预分配一部分给图形再加上系统本身占用8GB会很紧张。qwen3.5:9b更是直接吃5-6GB权重加上下文缓存内存不够你就只能眼睁睁看着它OOM。2.2 安装Ollama并启用Intel核显后端Ollama的安装其实是最没技术含量的一步官方支持Linux、macOS、Windows一行命令搞定curl -fsSL https://ollama.com/install.sh | sh装完先别急着拉模型确认一下它到底用的什么后端。新版本的Ollama会自动做硬件探测但如果你的系统比较老或者之前装过乱改环境的软件最好手动指定一下Intel GPU后端。编辑Ollama服务配置加上环境变量sudo systemctl edit ollama.service在配置里加上[Service] EnvironmentOLLAMA_INTEL_GPU1 EnvironmentOLLAMA_LLM_LIBRARYintel保存后重启服务sudo systemctl daemon-reload sudo systemctl restart ollama这里要补充一个背景Ollama在Intel核显上走的是Level Zero API而Level Zero这套接口和NVIDIA的CUDA完全不是一个东西。如果你不显式指定后端Ollama可能会老老实实退回CPU推理速度立刻垮一半以上。Windows用户简单得多安装包双击完事Ollama会自动识别Intel核显。但Windows下想复用上面的验证命令你得装Intel官方工具我建议直接在设备管理器里看有没有Intel(R) Iris(R) Xe Graphics之类的显示适配器有就行。2.3 拉取qwen3.5:0.8b和qwen3.5:9b不只是ollama pull那么简单模型拉取命令看起来就是两条ollama pull qwen3.5:0.8b ollama pull qwen3.5:9b但这里有个非常容易踩的坑默认拉取的是量化版本还是完整版本不是你想当然的那回事。Ollama会按标签拉取合适格式但你最好在拉之前用ollama show看下模型文件结构。ollama show qwen3.5:0.8b关注输出里显存/内存需求那一行如果显示的需求量大得离谱说明拉到的不是适合集显跑的量化版得换带特定后缀的标签。说实话我一开始没看结果0.8b的模型占了4GB内存我还以为是正常开销后来才发现拉错了标签白白浪费半小时。正确的做法是先到模型仓库页确认你想要的量化精度比如Q4_K_M之类的QLoRA量化版本体积小、精度损失可控特别适合内存带宽吃紧的核显设备。0.8b这种迷你模型用Q4量化后大概0.5GB左右9b则要5.5GB这个量级参考下表模型量化格式权重体积推荐内存适合场景qwen3.5:0.8bQ4_K_M约0.5-0.8GB8GB日常对话、快捷总结qwen3.5:9bQ4_K_M约5.5-6.5GB16GB长文档分析、复杂任务拉完模型别急着关终端先跑一下自检命令ollama list ollama run qwen3.5:0.8b 你好请简单介绍一下你自己如果回复正常说明Ollama本体已经通了。这时要看是不是真的在核显上跑可以在另一个终端开htop或者用ollama ps看加载状态。有些机器上Ollama显示跑在GPU但GPU利用率是0%那就是后端没切干净回头再查那个环境变量。3. 实测数据0.8b流畅到起飞9b够用但别期待满载3.1 0.8b的实测速度与内存占用先说结论qwen3.5:0.8b在Intel核显上跑起来速度完全在可用范围。我测试用的是一台搭载Intel Iris Xe核显、双通道DDR4-3200内存的机器系统是Ubuntu 22.04Ollama后端明确切换到intel。实测生成一个200字的回复首token延迟大约1秒左右后续生成速度稳定在45-55 token/s之间。这个速度是什么概念你正常读文章的速度大约每分钟300-400字0.8b的输出速度已经比你读得快了。日常用来写摘要、写标题、做文本分类这种轻量任务完全没有任何拖沓感。内存占用情况模型加载后大约占1.2GB左右加上系统和其他应用8GB内存的机器勉强也能跑但如果你想同时开浏览器、编辑器建议还是16GB起步更稳。核显会动态划走一部分系统内存所以你在任务管理器或htop里看到的内存数值会跳动这是正常现象。有个小细节我在跑0.8b时把上下文窗口设成了8192结果首token延迟明显变长了。后来发现是KV Cache在初始化时就要占掉不少内存核显平台本来内存带宽就紧张窗口开太大反而拖慢速度。设成4096之后整体响应速度立刻回血。3.2 9b的实测表现与调参建议9b的数据就没那么漂亮了。同样在DDR4-3200双通道环境下qwen3.5:9b的生成速度大约是7-10 token/s首token延迟在3秒左右。这个速度用来写代码注释、做单轮问答、跑脚本任务是可以接受的但如果你习惯ChatGPT那种秒回节奏会有明显的卡顿感。换了DDR5双通道的机器测试速度能提升到15-20 token/s体感好不少。所以如果你的笔记本是近两年的DDR5平台9b其实可以当主力模型用。参数调优方面我建议在Ollama的运行参数上做几个保守设定ollama run qwen3.5:9b --num-ctx 4096 --temperature 0.6num-ctx控制在4096太大KV Cache吃内存decode速度会进一步下滑temperature调到0.6左右让模型输出更稳定减少重复生成还有一点9b跑起来之后核显温度会明显上升。我的机器在连续跑5分钟后核显温度稳定在80度左右CPU整体功耗也上了一个台阶。笔记本用户如果散热不好建议不要长会话挂着跑完一批任务就/bye退出让模型释放显存。3.3 双模型切换与Ollama常用运维命令手上有0.8b和9b两个模型以后最常遇到的问题就是怎么切换。Ollama的运行参数里其实能把模型换着加载但如果你不想等重新加载可以把两个模型都保持在后台然后用ollama ps查看当前加载的模型列表。ollama ps这个命令会显示当前正在运行的模型、显存/内存占用、上下文大小、直到过期的时间。我用下来最顺手的组合是0.8b常驻后台处理快速任务9b用到一个专门的脚本临时加载。需要9b时直接在命令行指定用完通过ollama stop qwen3.5:9b把它卸载把内存还给系统。如果你想把Ollama暴露给其他工具调用首先要保证服务在监听端口。默认情况下Ollama监听127.0.0.1:11434你可以先验证curl http://127.0.0.1:11434/api/generate -d {model: qwen3.5:0.8b, prompt: 你好}这一步通了后面接入Copaw就非常轻松了。4. Copaw 1.0.1接入与技能配置从聊天玩具到动手干活4.1 Copaw如何对接本地Ollama API模型跑通了但如果只是开个终端对话那充其量是本地版ChatGPT离干活还差一步。Copaw就是专门用来做这一步衔接的工具它负责把大模型封装成一个个可复用的技能每次执行任务时自动选择对应模型和提示词。Copaw接Ollama的思路非常简单Ollama本身就提供OpenAI兼容的API地址是http://127.0.0.1:11434/v1/chat/completions在Copaw的配置文件里把模型接口指到这个地址认证方式随便填一个任意字符串本地服务不需要真密钥然后模型名填你在Ollama里拉好的标签比如qwen3.5:0.8b或qwen3.5:9b。我给Copaw配的第一个技能叫中文标题生成器思路是让模型根据我给的正文内容输出3个不同风格的标题。技能配置大致长这样skill: name: 中文标题生成器 model: qwen3.5:0.8b system: | 你是一个资深新媒体编辑擅长为技术文章生成通俗有趣的中文标题。 要求 1. 标题必须包含核心关键词 2. 适当使用谐音梗或网络流行语 3. 长度控制在15-25字 4. 输出3个候选标题每个一行 temperature: 0.8 max_tokens: 128保存好后在Copaw里选中这个技能输入一段正文它就自动调Ollama的0.8b模型完成任务。我用它给上面的实测记录生成了几个标题有一个居然是养龙虾之因特尔UHD/Ultra/Arc核显跑大模型这让我哭笑不得——模型自己学会了这个梗。4.2 技能配置实操用一条系统提示词把模型改造成专职工具真正让Copaw效果炸裂的是把技能拆细。很多人配技能就是把system prompt一改换个名字本质上还是聊天。核心玩法是把任务拆成多个技能让模型各司其职。我做的第二套技能是文章段落总结器配给9b模型用skill: name: 文章段落总结器 model: qwen3.5:9b system: | 你是一个文档分析助手。用户会输入一段技术文章。 请输出 1. 段落编号和一句话主旨 2. 涉及的技术点列表 3. 可能的踩坑点如果有 要求输出简洁不超过300字。 temperature: 0.3 max_tokens: 512 stop: - 输出结束这一套跑在核显上速度虽然不如0.8b但质量高出一大截。9b在小参数模型里表现确实好长段落的主旨提取基本合理偶尔会漏掉小众技术细节但作为初筛工具已经够用。Copaw还支持把前一个技能的输出作为后一个技能的输入。比如我先用0.8b跑标题生成器把生成的标题作为素材再让9b跑摘要总结器对候选标题逐一打分最终输出最优标题。这种串联方式特别适合核显平台——0.8b先快速初筛9b再精加工速度和质量都能兼顾。4.3 问答延展技能编排、知识库注入与多轮优化配技能的过程中有几个容易被忽略的细节值得单独说说。第一系统提示词里的角色设定不是越复杂越好。核显平台跑小模型系统提示词写太长会挤压实际内容的生成空间我实测下来0.8b的system prompt限制在200字以内效果最好写太多它就开始忘记前面的角色要求。9b可以放宽到400字左右但再多也会出现优先级混乱。第二如果你想让技能更有针对性可以把常用知识片段直接放进system prompt里。比如我有一个本地论坛体回帖风格技能就把论坛常用的语气词、句式样例塞进提示词。Copaw会自动把这段固定知识像文档前缀一样带着效果比我预期好很多——相当于给模型做了一个微型知识库注入。第三多轮对话场景下建议把历史消息控制在4-6轮以内。因为核显平台的KV Cache会随上下文长度线性增长对话轮数太多decode速度会断崖式下降。我这台机器上9b在10轮对话后生成速度掉了将近一半切到0.8b才好一点。5. 这波实测最容易被坑死的几个细节5.1 核显不工作的三大元凶驱动、组权限、环境变量整个流程里最折磨人的环节不是模型拉不下来而是模型明明在跑核显GPU利用率却始终是0%。我第一次遇到这问题ollama ps显示模型加载在GPU但GPU利用率就1%速度全是CPU在扛。排查一圈发现是用户没加入video和render组Level Zero后端拿不到/dev/dri/renderD128的权限自动回退到CPU了。解决办法sudo usermod -aG video,render $USER然后注销重新登录再用clinfo确认设备可访问。这是Linux下跑Intel核显推理最常见的坑没有之一。第二个坑是Ollama退回了CPU后端。很多老教程让你装intel-opencl-icd但现在Ollama默认走Level Zero你只装OpenCL驱动根本没用。必须确认系统里有intel-level-zero-gpu并且在配置文件里显式指定OLLAMA_LLM_LIBRARYintel。第三个坑出现在Windows平台上——如果你用WSL跑Ollama核显直通是做不到的WSL 2里的Ollama只能CPU你在WSL里装Intel驱动纯属白费功夫。老老实实用Windows原生版或者在Linux实机上跑。5.2 显存共享与内存容量为什么9b吃掉了你大半内存核显模型推理不占独立VRAM这既是好事也是坏事。好处是你不用担心显存溢出模型权重多大直接落到系统内存里坏处是它和系统抢内存而且一旦模型加载后不卸载内存就一直被占着。实测下来qwen3.5:9b加载完系统可用内存从16GB直接掉到7-8GB仅模型和上下文缓存就吃掉了6GB左右。如果再开浏览器、IDE随时可能触发内存交换硬盘I/O顶上后推理速度直接崩到1-2 token/s。那时候你会产生一个错觉卡得像PPT。实际上不是显卡的问题是内存被掏空了。我的做法是给Ollama设置内存上限或者干脆准备一个卸载脚本。Copaw配置里我也特意把9b技能的使用频率控制住只有处理长文档时才调用轻量任务一律走0.8b。如果你只有8GB内存强烈建议只保留0.8b。9b虽然能加载但加载完你连打开文档都困难推理体验会非常糟糕。5.3 别迷信数字token速度之外的体验差异最后想聊点数字之外的东西。一开始我盯着token/s看总觉得9b速度只有个位数体验肯定不行。但用了一段时间发现实际感受比数字好很多。因为大模型交互里首token延迟才是更影响体感的指标而小上下文场景下9b在核显上首token延迟也就2-4秒完全在可接受范围内。对比下来0.8b虽然快但逻辑能力明显弱你问它复杂一点的因果推理它会一本正经地把因果关系倒过来。9b在这类任务上垮得没那么厉害。所以我现在的实际使用策略是能派给0.8b的绝不动用9b但关键任务必须9b兜底。还有一个小技巧Copaw技能的temperature参数建议跟任务类型绑定。生成类任务标题、文案开到0.8-1.0效果灵活分析类任务总结、提取开到0.2-0.4输出更稳定。这个参数在0.8b和9b上都成立但在9b上作用更明显。最后补一句跑完这套流程我对集显跑大模型的认知彻底变了。以前觉得这是玩具现在觉得只要选对模型量级、搭配合适的技能编排它完全可以当一个安静的本地AI工作台来用。档案经查全在本地不需要联网数据都在你手边这种安全感是云服务给不了的。如果你手头正好有一台带Intel核显的机器下一步建议从0.8b开始先把Ollama跑通配一个Copaw技能亲手感受一次核显干活的过程。实践一下比我在这儿写三千字管用。