AigoTools高并发截图实践Playwright浏览器池设计与sharp压缩的性能优化之道【免费下载链接】aigotoolsAigoTools can help users quickly create and manage website directory, with built-in site auto-crawling features, and also provides internationalization, SEO, image storage, and other functions. It allows users to quickly deploy their own directory site online.项目地址: https://gitcode.com/gh_mirrors/ai/aigotoolsAigoTools 是一款帮助用户快速搭建和管理网站目录的开源工具内置站点自动爬取、截图、AI 摘要、国际化与 SEO 等能力。本文聚焦其中最吃资源的一环——高并发截图当批量收录成百上千个网站时AigoTools 如何通过 Playwright 浏览器池、Bull 任务队列、Redis 缓存与 sharp 图片压缩四件套稳定、省内存地完成站点截图与缩略图生成适合想了解爬虫性能优化的新手阅读。 为什么网站目录站需要批量截图AigoTools 的核心场景是「目录站」每个收录的站点都需要一张首页缩略图配合名称和描述展示在列表中见下方中文版主站首页。如果每张图都人工截图收录 1000 个站点就要点 1000 次浏览器即便用脚本一张张串行截图单张 3~10 秒跑完要 1 小时以上。AigoTools 的答案是让爬虫服务自动批量截图并尽可能压缩每一步的耗时与体积。 整体架构Bull 队列驱动的截图流水线爬虫服务是一个独立的 NestJS 应用入口配置见 packages/crawler/。任务流转分为三步入队管理端触发收录后site-queue.producer.ts 把站点 ID 写入名为site-queue的 Bull 队列并设置attempts: 3重试 10 秒退避失败自动补偿消费site-queue.consumer.ts 中Process装饰器声明concurrency: 10即同一时刻最多 10 个站点并行处理并行执行每个任务内部又用Promise.all把「截图」和「AI 摘要」两条互不依赖的链路同时跑见 site-queue.consumer.ts#L257-L261站点耗时取决于两者中的慢者而非两者之和。 Playwright 浏览器池用 generic-pool 管理 Chromium截图的核心在 browser.service.ts它没有「一次任务一个浏览器」而是基于generic-pool维护一个Chromium 浏览器对象池——这是高并发场景下的关键设计。池化参数四个环境变量决定吞吐上限池的创建配置在 browser.service.ts#L11-L18均可通过环境变量调整环境变量默认值作用BROWSER_POOL_MAX10池内浏览器上限直接决定截图并发数BROWSER_POOL_MIN2最少常驻浏览器保证冷启动不排队BROWSER_POOL_MAX_WAITING100允许排队的请求数防止任务瞬间打爆池BROWSER_POOL_IDLE_TIMEOUT15000ms空闲浏览器回收时间释放内存新手常犯的错误是每次截图都chromium.launch()再close()——Chromium 的进程启动与上下文初始化往往要 1~2 秒批量场景下这是纯浪费。池化后浏览器被复用启动成本被摊薄到接近于零。健壮的 acquire/release异常自愈机制浏览器是「易碎品」崩溃随时可能发生。AigoTools 在 screenshot 方法 中做了三层防御页面创建失败newPage抛错时把destoryFlag置为 truefinally里直接销毁该浏览器并从池中剔除而不是把「带病」浏览器归还池内毒害后续任务运行时断连browser.on(disconnected)事件监听器第58-65行在浏览器意外掉线时自动将其移出池优雅停机监听SIGINT容器停止前pool.drain()等所有在途截图完成避免半成品任务。一次请求里「截图 元数据提取」并行注意 第99-102行page.content()与page.screenshot()通过Promise.all并行获取拿到 HTML 后用 cheerio 解析meta namekeywords和meta namedescription。一次浏览器会话同时产出截图 SEO 元数据省掉二次访问。⚡ sharp 压缩从 1920×1080 到 800×450 WebP浏览器默认按 1920×1080 视口截图第67行原图动辄数 MB而目录列表缩略图只需要 800×450。getUrlScreenshot 中用 sharp 完成「缩放 转码」sharp(imageBuffer).toFormat(webp).resize(800, 450, { position: top }).toBuffer()三个细节值得学习position: top目录站缩略图最关键的是顶部 Logo 与标题区裁剪锚定顶部而非居中视觉完成度更高转 WebP同等画质下 WebP 比 PNG 小 50%~80%contentType直接设为image/webp存储与带宽双省按配置分发存储压缩后的 buffer 根据IMAGE_STORAGE环境变量上传到 S3、MinIO 或 COSsite-queue.consumer.ts#L66-L90本地开发用 MinIO生产可无缝切云存储。Redis 缓存同一站点不截两次爬取结果以 URL 为 key 写入 Redissetex600 秒过期第93-97行。10 并发下若多个任务命中同一域名、或任务重试触发二次爬取直接走缓存截图这一最重的操作被跳过。 容器化部署Playwright 官方镜像 docker-compose截图服务对系统依赖敏感Chromium 需要一整套共享库AigoTools 直接用微软官方镜像mcr.microsoft.com/playwright作为基础见 packages/crawler/Dockerfile多阶段构建生产层仅拷贝dist与生产依赖镜像更小RUN chown -R pwuser:pwuser /app USER pwuser以非 root 用户运行配合 Chromium 的--no-sandbox启动参数第32-38行兼顾安全与容器兼容性根目录 docker-compose.yml 把前端、crawler、MongoDB、Redis、MinIO 五个服务一并拉起一条命令即可得到完整的目录站环境。 性能优化要点清单回顾全文AigoTools 高并发截图的可迁移经验可以浓缩为 7 条对象池化Chromium 启动贵用 generic-pool 复用浏览器实例参数外部化池大小、超时全部走环境变量按机器规格调优而不用改代码故障隔离坏浏览器立即销毁、断连事件自动清理、优雅停机 drain防止池被污染会话内并行content 与 screenshot 用Promise.all同取一次访问拿全数据任务级并行Bullconcurrency: 10 重试退避吞吐与可靠性兼得图片瘦身sharp 裁顶部 WebP 转码800×450 缩略图体积缩小一个量级结果缓存Redis 600 秒 TTL重复 URL 零成本。总结AigoTools 用「Bull 队列 Playwright 浏览器池 Redis 缓存 sharp 压缩」四层设计把批量站点截图从串行的体力活变成了可水平扩展的流水线队列控制总吞吐池化消除启动开销缓存避免重复劳动压缩降低存储成本。如果你也要做网站监控、竞品抓取或目录收录类项目这套组合拳几乎可以直接照搬。项目源码位于packages/crawler/目录配合 docs/zeabur-deploy.md 的部署说明你可以快速在自己的环境里跑起来验证效果。【免费下载链接】aigotoolsAigoTools can help users quickly create and manage website directory, with built-in site auto-crawling features, and also provides internationalization, SEO, image storage, and other functions. It allows users to quickly deploy their own directory site online.项目地址: https://gitcode.com/gh_mirrors/ai/aigotools创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考