最近在给 OpenClaw 搭一个能用的搜索环境折腾了一圈最终在服务器上把 SearXNG 和 Jina Reader 组合了起来作为日常的免费搜索方案。这套组合让我挺满意的跑了一段时间稳定性和响应速度都达到了可用的水平今天就把整个部署过程、踩过的坑、以及最后的调优结果完整记录下来。如果你也在给 OpenClaw 或其他工具找搜索源这篇内容可以直接参考复制。先说说为什么做这个组合。OpenClaw 这类工具在处理需要实时信息的任务时必须先有一个可靠的搜索入口。直接用公共搜索 API 的话要么有调用次数限制要么收费要么返回的内容格式不够友好。而 SearXNG 作为一个私有元搜索引擎可以自托管、无追踪、聚合多个数据源配合 Jina Reader 能直接把网页正文抽取成干净的纯文本正好满足了 OpenClaw 对“搜索结果 网页内容”两段式信息获取的需求。整体成本为零只需要一台有公网 IP 的云服务器。1. 方案设计与架构思路1.1 为什么选 SearXNG 而不是直接用搜索 API先聊一下选型逻辑。如果你以前用过在线搜索 API应该知道有几道坎第一是配额免费层通常一天只能查几十到几百次对 OpenClaw 这种可能被连续调用的场景来说完全不够第二是费用超出配额后的按千次计价量一大账单数字就很可观第三也是最重要的是数据隐私搜索词会经过第三方服务敏感信息容易被记录和利用。SearXNG 不一样的地方在于它是跑在自己服务器上的元搜索引擎。它不会自己维护索引而是把请求分发到 Google、Bing、Brave 等上游搜索源然后把结果聚合回来。因为请求是从你自己的服务器 IP 出去的而且聚合过程去掉了追踪参数所以相对更干净。另外SearXNG 有现成的 JSON 输出接口对程序调用极其友好这正是 OpenClaw 需要的关键特性。单实例的 SearXNG 部署并不复杂核心就是一个 Docker 容器映射 8080 端口再给一份配置文件指定搜索引擎和输出格式跑起来就能用了。后续让 OpenClaw 调用它的/search?q关键词formatjson接口就能拿到结构化结果。1.2 Jina Reader 在链路中的位置有人会问既然 SearXNG 已经返回了搜索结果为什么还要 Jina Reader这里要理解搜索链路是两段的第一段是“找”得到的是标题、链接、摘要。第二段是“读”需要进入具体网页把正文内容拿回来。OpenClaw 在分析问题时光靠搜索结果的摘要信息通常不够它需要真正读到文章内容才能做判断或总结。直接让 OpenClaw 去抓原始网页会碰几个问题很多站点有反爬限制User-Agent 不对就拒绝访问网页结构复杂正文里混着导航、广告、评论区抽取出有效内容非常吃力JS 动态渲染的页面直接 HTTP 请求拿不到渲染后的 DOM。Jina Reader 就是来解决这些麻烦的它会做网页抓取和内容提取把正文转成干净的 Markdown 或纯文本给 OpenClaw 用。Jina Reader 有两种玩法一种是调用 Jina AI 官方提供的托管服务免费额度有限但够试用另一种是官方开源的自托管版本完全免费、无限制部署在自己的服务器上。既然我已经有了云服务器而且 SearXNG 都跑起来了再跑一个 Jina Reader 容器是顺理成章的事。1.3 整体架构图景整套系统是这样的OpenClaw 发起搜索请求SearXNG 负责聚合搜索结果并返回链接列表然后 OpenClaw 拿着链接去请求 Jina ReaderJina Reader 抓取网页正文并返回干净文本给 OpenClawOpenClaw 再基于这些材料做下一步推理。两个服务都用 Docker 跑在同一台服务器上互相之间通过内部端口通信对外只需要暴露 SearXNG 的 8080 端口供 OpenClaw 调用。服务器配置不用太高2 核 4G 内存的入门机型就带得动这点开销比任何搜索 API 的年费都便宜。2. 服务器环境准备与基础配置2.1 云服务器的选型与初始化这台服务器是某云厂商最基础的一款2 核 CPU、4G 内存系统盘 40G带宽 5M。用来跑两个 Docker 容器完全够用。系统我选了最新的 Debian 系发行版内核版本较新对 Docker 支持也友好。这里多说一句选系统时尽量别用太老的版本有些云厂商提供的初始系统已经停止维护了后续装软件包时会有各种兼容问题。服务器拿到手之后第一步肯定是更新系统包并装基础工具sudo apt update sudo apt upgrade -y sudo apt install -y curl wget git vim ufw fail2ban装上防火墙是为了保险云厂商的安全组只是在网络层拦了一波系统层的防火墙还是要打开的防止有别的端口意外暴露出去。2.2 安装 Docker 与 Docker ComposeSearXNG 和 Jina Reader 都用容器方式部署好处是隔离干净、升级方便、依赖不冲突。安装 Docker 直接用官方脚本curl -fsSL https://get.docker.com | sudo sh sudo systemctl enable docker sudo systemctl start docker sudo usermod -aG docker $USER装完后重新登录一下让用户组配置生效。Docker 装好后顺便把 Compose 插件装了后面编排两个容器省事很多sudo apt install -y docker-compose-plugin docker compose version这里要强调一个细节如果你是国内服务器直接拉取 Docker Hub 镜像可能会比较慢甚至超时。我这边实测下来最简单的方案是配置一个镜像加速源在/etc/docker/daemon.json里写入加速地址后重启 Docker 即可。镜像加速源的选择要根据网络实际情况来多试几个挑一个当前最稳定的。2.3 防火墙与端口规划整套服务涉及的端口主要有三个服务端口对外开放SearXNG 服务端口8080仅本机及内网Jina Reader 服务端口8888仅本机及内网Nginx 反向代理443/80对外开放我这边 OpenClaw 部署在同一台服务器上所以 SearXNG 的 8080 端口不需要暴露到公网只监听本机即可。真正对外服务的只有 Nginx 的 443 端口用来走 HTTPS。防火墙配置命令sudo ufw allow 22/tcp sudo ufw allow 80/tcp sudo ufw allow 443/tcp sudo ufw enable22 端口留着 SSH 用80 和 443 给后续的 Nginx 和 HTTPS 用其他端口统统不放行。3. 部署 SearXNG 并完成个性化配置3.1 创建数据目录与配置文件SearXNG 官方提供了 Docker 镜像和现成的配置文件模板。先创建目录结构mkdir -p ~/searxng cd ~/searxng然后从官方仓库拉取配置文件git clone https://github.com/searxng/searxng-docker.git cd searxng-docker这个仓库里带着完整的 Docker Compose 编排文件和配置文件比从零手写省事得多。基本结构是searxng-docker/ ├── docker-compose.yml ├── searxng/ │ └── settings.yml └── .env核心的配置都在settings.yml里。打开这个文件把关键参数改到符合自己的场景。3.2 修改 settings.yml 核心参数第一件事是设置secret_key这个密钥用来加密会话数据不能留默认值。可以用系统自带的随机数生成openssl rand -hex 32然后把生成的值填到server.secret_key位置。如果不设置或设置得太简单SearXNG 会拒绝启动或者每次重启会话都会失效。接下来是限制对外网段的访问。既然是私有部署应该只允许内网或本机调用。找到server: limiter: true public_instance: falsepublic_instance: false这个选项很关键它表示当前实例不是公开搜索服务对外不注册也不会被其他公网用户发现。同时内部的访问速率限制保持开启防止某个调用方挤压其他任务的请求配额。然后是 JSON 格式输出这是 OpenClaw 调用的关键search: formats: - html - jsonjson格式必须加上OpenClaw 就是通过formatjson参数来拿结构化搜索结果的。搜索引擎的启用列表也别全开根据自己的实际需要选择。默认配置里 Google、Bing、Brave、Wikipedia 这些都开着但有些引擎反爬比较严格请求容易失败反而拖慢响应。我的建议是保留 Google、Bing、Brave、Wikipedia、思源这几个稳定的源把不常用的注释掉。配置方式是在engines列表里把不需要的条目注释或删除。3.3 用 Docker Compose 启动看下这个仓库自带的docker-compose.yml内容大致是这样的services: searxng: image: searxng/searxng:latest container_name: searxng ports: - 127.0.0.1:8080:8080 volumes: - ./searxng:/etc/searxng environment: - SEARXNG_BASE_URLhttps://search.your-domain.com/ restart: unless-stopped注意把端口绑定改成127.0.0.1:8080:8080这样 SearXNG 只监听本机回环地址外部网络扫描器扫不到这个端口安全性提升不少。OpenClaw 在同机运行时直接访问http://127.0.0.1:8080就能访问。SEARXNG_BASE_URL要设成最终对外提供的 HTTPS 地址这里是反代域名后面 Nginx 配置会用到。启动命令docker compose up -d启动后先检查容器状态和日志docker compose ps docker logs -f searxng看到类似Listening on :8080的日志就说明 SearXNG 已经起来了。本地先简单测一下 JSON 接口是否正常curl http://127.0.0.1:8080/search?qlinuxformatjson | head -c 2000如果返回了一段 JSON里面带着results字段那搜索引擎就通了。3.4 解决搜索引擎反爬与限流的几个实测手段SearXNG 跑起来只是第一步真正麻烦的是上游搜索引擎对自动化请求的检测和限流。部署测试阶段我踩到了几个具体的问题逐一排查后总结出三个关键调整方向。第一个是请求频率。默认配置下 SearXNG 对每个引擎都有频率控制但如果你同时启用太多引擎或者某个 OpenClaw 任务短时间内连续发起搜索就会触发上游的临时拦截。解决办法是把server.limiter的每秒请求数调到一个合理范围server: limiter: true request_timeout: 3.0request_timeout也非常重要部分引擎响应慢如果超时时间太短就会频繁失败OpenClaw 拿到的搜索结果就缺胳膊少腿。实测下来 3 秒是一个不错的平衡点既能容忍慢引擎又不会让整体响应拖太久。第二个是上游引擎的请求指纹。SearXNG 默认会随机化浏览器头信息但部分引擎仍然能识别出搜索机器人特征。这时候可以把官方的searxng/searxng镜像换成带 Playwright 支持的变体并对settings.yml进行相应调整。这个变体用无头浏览器来模拟真实浏览器行为能显著降低被识别拦截的概率。不过要提醒的是启用无头浏览器会带来额外的内存占用和 CPU 消耗2G 内存的机器会明显吃力4G 的机器可以勉强带动。第三个是代理问题。如果你的服务器 IP 访问某些引擎时出现了“检测到异常流量”的提示SearXNG 支持在配置中挂代理出口。不过这个话题牵扯到不少合规方面的考量在普通云服务器部署场景下我不会鼓励你乱挂代理相反调整一下引擎选择策略更现实。比如在settings.yml中把经常出问题的引擎关掉把稳定的引擎放在前面组合起来的搜索结果并没有缺失感。我在实测中保留数量适中的主流数据源OpenClaw 的搜索完成率和准确度都保持在可用范围。3.5 为 OpenClaw 定制搜索格式OpenClaw 调用 SearXNG 的接口时通常会带这些参数GET http://127.0.0.1:8080/search?q关键词formatjsonsafesearch0formatjson让它返回结构化数据safesearch0表示关闭安全过滤适配更多技术类搜索场景。返回的 JSON 结构里results数组包含title、url、content几个字段OpenClaw 就是靠这些字段生成搜索结果摘要的。如果你发现返回结果里content经常为空可以在 SearXNG 的配置里开启摘要生成。在settings.yml中找到search: formats: - html - json default_lang: zh-CN加一个autocomplete和摘要相关的参数也可以但更关键的是确保搜索引擎里已经启用了能返回页面摘要的数据源。部分引擎只给 URL 和标题不给内容摘要这种情况会造成某个数据源的结果content字段空白。我在配置里直接把这类引擎停用了只保留那些能提供丰富摘要的源整体信息质量提升很明显。4. 部署 Jina Reader 并接入全文读取能力4.1 Jina Reader 的官方自托管镜像Jina Reader 的官方开源项目在 GitHub 上仓库里提供了 Docker 部署方式。它整体架构相对轻量核心功能是把网页抓取、正文提取、转 Markdown 三件事集成到一个服务里。部署之前先说明一下自托管和托管 API 的区别。托管 API 就是你直接调用https://r.jina.ai/URL由 Jina 提供在线读取能力不需要服务器和部署但免费额度有限而且待抓取的 URL 会经过他们的服务器对隐私敏感的场景不友好。自托管版本则是把 Reader 服务跑在自己的服务器上没有调用限制完全掌控数据流缺点是必须有一台能稳定访问目标站点的服务器。我选的是自托管方案因为 OpenClaw 的任务往往在一轮里要连续读好几个网页托管版免费额度很容易耗尽自托管版稳定性高很多。4.2 部署 Jina Reader 容器Jina Reader 官方仓库里给了 Compose 编排方式实际上它依赖 Redis 配合做缓存但为了简化部署量我换了一种更贴近单一服务的部署方式。直接用docker run把 Reader 跑起来docker run -d \ --name jina-reader \ -p 127.0.0.1:8888:8888 \ --restart unless-stopped \ registry.com/jina-reader:latest这里的镜像地址我按实际可用的镜像源做了替换具体部署时以官方仓库的最新说明为准。容器启动后Reader 服务会监听 8888 端口。注意同样绑到127.0.0.1不对外网暴露。测试一下抓取效果curl http://127.0.0.1:8888/https://example.com正常情况下会返回该网页的 Markdown 格式正文如果返回的是原始 HTML 或者空内容说明配置有问题需要检查网络和容器日志。4.3 给 Reader 配置合理的请求参数Jina Reader 自托管版本在请求参数上比较灵活。常用的参数组合如下参数用途推荐值x-timeout设置抓取超时时间10-20 秒x-target-selector指定正文选择器不设或设为.contentx-return-format返回格式markdown或textx-no-cache强制绕过缓存按需开启OpenClaw 调用 Reader 时一般不需要带太复杂的参数直接用最简单的方式请求即可。如果某些网站返回的内容不完整再加上x-target-selector来指定提取范围能解决不少页面结构特殊的抓取问题。这里要重点提一个经验不要对 Jina Reader 做高频连续抓取。部分目标站点有反爬机制短时间内大量请求会导致 IP 被临时封禁不仅 Reader 抓不到内容还会影响 SearXNG 的搜索质量。合理做法是 OpenClaw 端做好任务控制每轮最多读取 2-3 个页面抓不到的页面退回到摘要字段。4.4 与 SearXNG 配合时的调用流程OpenClaw 的搜索工具一般会按“搜索 → 选链接 → 读内容”的顺序工作。SearXNG 返回的搜索结果里包含了 URL 列表OpenClaw 会从中筛选出最相关的页面再调用 Jina Reader 去读取正文。这两个服务在流程上是串联的关系。在 OpenClaw 的工具调用配置里搜索工具的 API 地址指向http://127.0.0.1:8080/search网页读取工具的地址指向http://127.0.0.1:8888/。配置完成后OpenClaw 就能通过这两条链路完成“找信息”和“读信息”的全过程。如果 OpenClaw 侧的配置文件里还有其他第三方搜索或抓取服务把那部分配置替换成自建服务地址即可。我这里实践的结果是自建服务的响应速度比第三方公共 API 快因为省去了外网来回传输的时间整个链路都在内网跑。5. Nginx 反向代理与 HTTPS 加密配置5.1 为什么需要反代而不是直连端口虽然 SearXNG 和 Jina Reader 都只监听在本机回环地址OpenClaw 在本机可以直接访问但如果你想把搜索服务提供给局域网内其他设备使用或者后续想从外部网络调试就需要一个对外统一入口。Nginx 反代在这时候就派上用场了它可以把不同路径转发到不同服务同时把 HTTPS 加密层加上避免明文传输。对外入口只需要一个域名加一个 443 端口通过路径区分不同服务https://search.your-domain.com/ - 127.0.0.1:8080 (SearXNG) https://reader.your-domain.com/ - 127.0.0.1:8888 (Jina Reader)用不同子域名来分流配置清晰也不容易冲突。5.2 安装 Nginx 并配置站点安装 Nginxsudo apt install -y nginx然后为两个服务分别创建站点配置。以 SearXNG 为例server { listen 443 ssl; server_name search.your-domain.com; ssl_certificate /etc/letsencrypt/live/search.your-domain.com/fullchain.pem; ssl_certificate_key /etc/letsencrypt/live/search.your-domain.com/privkey.pem; location / { proxy_pass http://127.0.0.1:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } client_max_body_size 10m; }Jina Reader 的站点配置类似把监听域名和反代地址换成对应的即可。这里证书部分我用了通用的证书申请方式具体申请步骤就不展开了不同域名服务商的操作入口不太一样。5.3 配置 OpenClaw 走 HTTPS 调用如果你只在服务器本机跑 OpenClaw直接用http://127.0.0.1:8080就行不需要走反代。但如果 OpenClaw 部署在另一台机器上或者你希望所有调用都经过统一的域名入口那么就把 OpenClaw 的搜索 API 地址配置为https://search.your-domain.com/search。这里有一个实测中的重点OpenClaw 对某些自托管服务地址的证书校验很严格配置 HTTPS 域名时证书必须是受信任的自签名证书会导致 TLS 握手失败。建议直接用标准证书别在证书上省功夫。配置完成后从 OpenClaw 侧发起一次测试搜索确认返回结果正常整个链路就闭环了。6. 稳定性调优与问题排查6.1 内存占用与限流策略SearXNG 和 Jina Reader 都是吃内存的服务。SearXNG 本身占内存不高但如果你启用了无头浏览器依赖的镜像内存占用会明显上升。Jina Reader 在抓取大型网页时也会临时占用较多内存。我在这台 4G 内存机器上的实际资源消耗情况是两个容器加系统基础服务闲置时内存占用在 1.2G 左右OpenClaw 发起一轮搜索加页面读取时内存峰值在 2.5G 左右。整体空间还算宽裕但如果你的服务器只有 2G 内存建议关闭无头浏览器支持并把 Jina Reader 的并发数量调低。6.2 常见问题速查表部署过程中我整理了这么一份问题清单基本覆盖了你可能会遇到的大部分故障场景现象可能原因解决办法SearXNG 容器不断重启secret_key未设置或格式不对重新生成随机 key填入settings.yml搜索返回空结果启用的搜索引擎全部被上游限流减少引擎数量换用稳定数据源JSON 接口返回 403配置里未开启json格式search.formats加上jsonJina Reader 抓取超时目标网站响应过慢或屏蔽访问增加超时时间或放弃该站点OpenClaw 报 TLS 错误证书不受信任或过期更换受信任证书并配置自动续期内网访问正常但外部无法访问云安全组未放行 443 端口在云控制台的安全组规则里放行请求频率触发限流OpenClaw 任务并发过高调低并发数增加调用间隔6.3 日志监控与自愈策略两个容器都设置了restart: unless-stopped遇到异常挂掉会自动拉起。为了及时发现问题我加了一个简单的日志监控脚本定时检查容器状态发现异常重启时把日志写入本地文件方便事后排查。定时任务配置crontab -e加入一行*/5 * * * * /home/user/check_services.sh脚本内容就是检查两个容器的运行状态如果发现不是 running 状态就执行重启并记录时间戳。这个方案虽然简单但能在功能异常之前就把问题暴露出来省去很多临时排查的麻烦。7. 安全加固与对外暴露注意事项7.1 限制搜索引擎可查询网段SearXNG 的配置里有一个很重要的安全选项是限制可访问的 CIDR 网段。在settings.yml中加入server: outgoing: request_timeout: 3.0 limiter: true public_instance: falsepublic_instance: false已经避免了被公网用户发现和滥用。如果你的 OpenClaw 必须部署在远程机器上而不是本机可以在server下设置允许访问的 IP 列表进一步缩小暴露面。这个功能在官方文档里有详细说明我就不推导命令了配置思路就是把陌生网段全部挡在外面。7.2 容器网络隔离如果安全和隔离要求高我建议给两个服务创建一个独立的内网子网让它们只通过 Docker 内部网络互相通信不对宿主机网络开放。这样即使一个容器被攻破攻击面也限制在容器内部不会直接打到宿主机。创建 Docker 自定义网络docker network create search-net启动容器时用--network search-net指定网络同时不再映射宿主机端口。这样 SearXNG 和 Jina Reader 只有在同一个 Docker 网络里的容器才能访问外部完全无法直接触达。不过这种部署方式会带来一个调整OpenClaw 如果跑在宿主机上就需要把它也加入这个 Docker 网络才能通过容器名访问服务。我实测过容器名作为域名在 Docker 内网是能直接解析的配置 GoClaw 时把地址写成http://searxng:8080即可。7.3 数据保留与日志清理自托管服务最容易被人忽略的就是日志清理问题。SearXNG 默认会记录查询日志时间长了日志文件会越来越大占满磁盘。处理方案是在settings.yml里关闭访问日志或调整日志等级同时在系统层配置logrotate定期轮转。我的做法是保留一周的日志超过部分自动清理。这既保住了排查问题所需的痕迹又不会拖垮磁盘空间。8. 最终效果与真实体验整套系统跑通之后我让 OpenClaw 实际执行了几轮带搜索的复杂任务包括技术调研、资料对比、代码方案选型等场景。搜索结果基本能做到一次命中目标信息源正文读取的完成率大约在八成以上遇到少数反爬严格的站点会失败但会自动降级到用搜索结果摘要来回答问题。从调用延迟来看一轮搜索加读取三个页面的总耗时稳定在 12 到 20 秒之间。这个速度对我来说完全够用。公共 API 虽然有时更快但免费额度和隐私保护这两个硬伤没法解决。成本方面除了服务器本身的月租整套方案没有任何额外费用。SearXNG 和 Jina Reader 都是开源软件自己部署没有订阅成本。对于经常和 OpenClaw 打交道的人来说这是一个值得长期维护的基础设施。9. 后续可以继续扩展的方向搭建完这套搜索基础设施后我还在考虑几个扩展点。一个是把 SearXNG 接入更多垂直领域的搜索引擎比如学术搜索、代码搜索、技术文档源这样 OpenClaw 在面对特定领域问题时能找到更精准的信息。另一个是给 Jina Reader 增加内容持久化能力把每次读取的正文存入本地向量数据库作为长期记忆来使用。这样 OpenClaw 搜索过的信息可以形成自己的知识库后续查询不再需要重复抓取网页。还有一个思路是把这套服务容器化编排进 OpenClaw 的部署脚本里做到一键拉起整套环境。目前我已经把配置文件固定下来了后续如果有时间会把这部分整理成更完整的模板分享出来。整套方案的部署和调优过程我写到这里如果你照着操作过程中遇到问题最值得检查的还是三个地方SearXNG 的settings.yml配置是否正确、Docker 容器是否正常启动、以及防火墙和安全组是否放行了该放的端口。这三关过了剩下的优化都是锦上添花。我在实际使用中最大的体会是自托管搜索服务带来的不只是成本节省更是对数据流掌控力的提升。所有搜索请求都在自己的服务器内完成不经过第三方记录心理上踏实很多。调试问题时也方便看容器日志就能知道每一条请求去了哪里、结果如何这种透明度是公共 API 给不了的。希望这篇内容能帮你把 OpenClaw 的搜索能力完整搭建起来。