概述官网Ollama公司开发的开源GitHub178K Star17.3K Fork工具旨在让用户能够更容易地运行和部署LLMs包括Llama和其他开源模型。使得模型的部署、使用变得更加简单且通常包括针对Llama等模型的封装与优化。Ollama特点简化部署Ollama提供简化的接口和工具使开发者可以在本地快速部署和运行Llama等语言模型而不需要处理底层的复杂性跨平台支持Ollama提供跨平台的支持包括Mac、Linux和Windows等一体化工具Ollama还提供一系列工具用于模型的调用、调试和性能优化帮助用户轻松集成这些AI模型到他们的应用程序中。安装对于Windows从官网下载exe文件双击即可非常简单。也支持通过PowerShell安装irm https://ollama.com/install.ps1 | iexCMD打开命令行可用命令serve启动Ollamacreate根据Modelfile创建模型show显示模型信息run运行模型stop停止模型pull从仓库registry拉取模型push往仓库推送模型list列举模型ps类似于docker ps查看运行中模型cp复制模型rm删除模型help帮助文档运行ollama serve报错Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.分析已成功启动Ollama试图再次启动发现端口被占用。浏览器打开http://127.0.0.1:11434Open WebUI早起版本的Ollama没有UI界面无法在浏览器里对话只能在命令行窗口下对话。需借助于Open WebUI安装Open WebUIdockerrun-d-p3000:8080 --add-hosthost.docker.internal:host-gateway\-vopen-webui:/app/backend/data\--nameopen-webui--restartalways\ghcr.io/open-webui/open-webui:main打开 http://localhost:3000体验。注由于需要下载镜像需要等几分钟。新版安装0.10版本自带UI本地未部署任何模型选择模型后发起Query自动下载模型并启动流畅得一批。支持设置模型地址为系统盘腾出空间自动检查新版本可选升级升级还是默认安装在C盘下面的目录迁移命令又得执行一次。飞行模式联网搜索目录迁移默认情况下Ollama安装在C盘且安装过程中或完成后没有提供修改配置的入口。迁移步骤手动将C:\Users\johnn\AppData\Local\Programs\Ollama目录移动剪切到目标文件夹D:\Program下可自定义选择目录产生目标目录D:\Program\Ollama以管理员身份执行命令mklink /D C:\Users\johnn\AppData\Local\Programs\Ollama D:\Program\Ollama。若出现如下报错检查目录是否输入正确是否已经将源文件夹彻底移动到目标文件夹并确保源文件夹不再存在源文件夹存在时无法创建软链接。效果命令行上面截图中聊天窗口右下角只有有限的几个模型待选择如果想下载更多模型怎么知道拼写是否正确打开模型库# 执行任何命令时若服务未启动会启动Ollama服务$ ./ollama.exe listtime2025-08-06T12:06:31.29408:00levelINFOsourceapp_windows.go:272msgstarting OllamaappD:\Program\Ollamaversion0.11.2OSWindows/10.0.19045time2025-08-06T12:06:31.34608:00levelINFOsourceapp.go:214msginitialized tools registrytool_count0time2025-08-06T12:06:31.37008:00levelINFOsourceapp.go:229msgstarting ollama serverNAME ID SIZE MODIFIED deepseek-r1:1.5b e0979632db5a1.1GB40hours ago gemma3:1b 8648f39daa8f815MB2days ago $ ./ollama.exe show 8648f39daa8f Error: model8648f39daa8fnot found $ ./ollama.exe show gemma3:1b $ ./ollama.exe stop gemma3:1b $ ./ollama.exe run gemma3:1b $ ./ollama.exeps$ ./ollama.exe pull deepseek-r1:1.5b./ollama.exe show展示模型架构、参数量、上下文长度、词嵌入长度、量化策略、能力对话、许可参数停止字符、温度、topK、topP。网络Ollama默认没有开启暴露网络时netstat命令看到Ollama监听在localhost:11434只能本机访问开启暴露Ollama到网络后Ollama监听在*:11434则可局域网访问如果Ollama运行在公网就能公网访问。环境变量变量描述默认值OLLAMA_HOST设置网络监听端口。设置为0.0.0.0时可让任意人外部网络访问OLLAMA_PORT设置端口11434OLLAMA_MODELS设置模型存储路径OLLAMA_KEEP_ALIVE模型内存存活时间OLLAMA_NUM_PARALLEL设置Ollama可同时加载的模型数量OLLAMA_MAX_LOADED_MODELS可以确保系统资源得到合理分配多模态引擎Ollama此前主要依赖ggml/llama.cpp项目专注于易用性和模型可移植性。但随着多模态模型的涌现原有的架构在支持这些复杂模型时遇到挑战。推出全新多模态引擎旨在提升可靠性和准确性通过模型模块化设计每个模型都相对独立减少相互干扰简化模型集成。新引擎能更准确地处理大图像产生的token并优化图像的批处理和位置信息。优化内存管理引入图像缓存机制并与硬件制造商合作优化内存预估和使用针对不同模型的特性如Gemma3的滑动窗口注意力和Llama4的分块注意力进行KV缓存优化从而在相同硬件上实现更长的上下文或更高的并发。为未来奠定基础为未来支持语音、图像生成、视频生成、更长上下文以及更完善的工具支持打下坚实基础。正式支持视觉模型Meta Llama 41090亿参数的MoE Llama 4 Scout能够对视频帧进行细致分析甚至回答基于地理位置的问题。Google Gemma 3处理多张图片并理解它们之间关系的能力。Qwen 2.5 VL强大的文档扫描和字符识别能力例如准确识别支票上的文字信息甚至能理解并翻译垂直书写的中文春联。Mistral Small 3.1工具调用Tool Calling支持流式响应当模型需要调用外部工具来回答问题时不必等工具完全执行完毕并返回所有结果后才开始响应。现在模型可以一边调用工具一边实时地将已经生成的内容流式地推送给你同时在适当的时候插入工具调用的指令。支持此功能的模型包括Qwen3DevstralLlama 3.1Llama 4等。Ollama开发一个新的增量解析器不再是简单地等待完整的JSON输出而是能够理解模型模板直接参考模型模板来识别工具调用的前缀。智能处理即使模型没有严格按照预设的工具调用格式输出解析器也能处理部分前缀或回退到解析JSON从而准确分离内容和工具调用。提高准确性避免之前可能因为模型在回复中引用先前工具调用而导致的重复调用问题。用户可通过cURL、Python或JS库轻松使用这一功能。模型上下文协议(MCP)对此功能的助益并建议使用32k或更高的上下文窗口以提升工具调用的性能和结果。Thinking推理或思考模式允许AI模型在给出最终答案之前先展示其内部的推理过程。提供开关支持开启和禁用支持此功能的模型包括DeepSeek R1Qwen3等。使用CLI可通过--think或--thinkfalse参数控制。在交互式会话中可使用/set think或/set nothink。--hidethinking参数用于在启用思考但只显示最终答案的场景API/api/generate和/api/chat接口新增think参数true/falsePython/JS库支持在调用时传递think参数。结构化输出Ollama结合使用高级语言模型和Pydantic等模式验证框架无缝地提供结构化输出。使用Pydantic等工具定义输出的预期结构将这些结构传递给聊天APIAI会被提示生成符合指定模式的内容。优势一致性确保输出可预测和机器可读的。验证任何与定义结构的偏差都会被标记从而减少下游流程中的错误。灵活性开发人员可以为各种用例定义模式从简单的数据结构到复杂的嵌套输出。通过将基于模式的验证直接集成到生成过程中Ollama最大限度地减少数据清理所需的工作量并确保根据需求定制可靠的结果。示例fromollamaimportchatfrompydanticimportBaseModelfromtyping_extensionsimportList,Literal,Optional# Define the schema for structured outputclassObject(BaseModel):name:strconfidence:floatattributes:strclassImageDescription(BaseModel):summary:strobjects:List[Object]scene:strcolors:List[str]time_of_day:Literal[Morning,Afternoon,Evening,Night]setting:Literal[Indoor,Outdoor,Unknown]text_content:Optional[str]Nonepathimage.png# Call Ollamas chat function with a schemaresponsechat(modelllama3.2-vision,formatImageDescription.model_json_schema(),# Pass the schemamessages[{role:user,content:Analyze this image and describe what you see, including any objects, the scene, colors, and any text you can detect.,images:[path],},],options{temperature:0},# Set temperature to 0 for deterministic output)# Validate and parse the response into the schemaimage_descriptionImageDescription.model_validate_json(response.message.content)print(image_description)解读基于Llama视觉模型Llama3.2-vision分析图像并根据预定义的架构生成结构化描述。APITODO自动更新设置里勾选自动下载更新Ollama维护是真给力版本迭代很频繁。集成不知哪个版本引入Launch菜单问题OLLAMA_ORIGINS设置系统变量OLLAMA_ORIGINS*后http://127.0.0.1:11434页面打开失败莫名其妙各种GPT答非所问甚至怀疑GPT降智。各种折腾浪费时间1个多小时最后居然是Chrome浏览器的问题。Edge浏览器正常。我次奥。启动超时命令行里启动失败报错信息Error: timed out waiting for server to start。此时也无法发起会话置灰状态打开C:\Users\user\AppData\Local\Ollama查看server-1.log报错日志Error: listen tcp 127.0.0.1:11434: bind: An attempt was made to access a socket in a way forbidden by its access permissions.尝试以管理员权限启动还是失败同样报错。卸载后重新安装还是老问题。拓展GollamaGitHub一个管理Ollama模型的工具提供一个TUI文本用户界面用于列出、检查、删除、复制和推送Ollama模型以及可选地将它们链接到LM Studio。允许用户使用热键以交互方式选择模型、排序、过滤、编辑、运行、卸载并对其执行操作。简单类比Gollama之于Ollamak9s之于k8s。功能列出可用模型、运行中模型模型操作排序按名称、大小、修改日期、量化级别、系列等、选择、查看元数据、复制、重命名、删除、运行、卸载编辑/更新模型的模型文件将模型链接到LM Studio将模型推送到注册表命令行模式-l列出所有可用模型并退出-L将所有可用的模型链接到LM Studio并退出-s search term按名称搜索模型OR(term1|term2)返回与任一术语匹配的模型AND(term1term2)返回同时匹配两个术语的模型-e model编辑模型文件新建模型-ollama-dir自定义模型目录-lm-dir自定义LM Studio模型目录-cleanup删除所有符号链接模型和空目录并退出-no-cleanup不要清理损坏的符号链接-u卸载所有正在运行的模型-v打印版本并退出HollamaGitHub轻量级WebUI定位等同于Open WebUI。特点大型提示字段带语法高亮的Markdown渲染代码编辑器功能可自定义的系统提示复制代码片段、消息或整个会话编辑并重试消息将数据存储在浏览器本地响应式布局明暗主题直接从UI下载Ollama模型参考