哪怕当下众多现代网站都采用前后端分离的模式来开展开发工作了, 然而对于直接 API 的调用, 我们一般会存有 token 的限制, 以及存在可以调用频率的限制。因此, 在某些特定网站之上, 我们或许依旧得采用网络爬虫的办法取得已然返回的 JSON 数据结构, 甚至于去处理已经实现界面展示的数据了。与和相比是一个不同的工具。它并非是专门为网络爬取而造就的, 它实际上是针对网络测试进行开发的, 它被运用在网络应用程序的自动化测试中。它能让网络浏览器实现自动化, 借助它能够代你于浏览器环境里开展操作。然而, 后来它亦被归入网络爬取范围。它能够发送网络请求, 并且带有一个分析器。借助这个分析器, 能够从HTML文档中提取数据, 恰似运用DOM API那般。其主要优势在于, 它能够进行加载, 并且能够助力你去访问背后的数据, 不必非要亲身经历发送额外请求所带来的那种痛苦。这使得它不仅于自身很有用处, 而且对于其他工具同样是有用的。使用或的网络爬虫, 若有那种只有在加载文件时候才能够获取到的数据相关需求, 便会去使用。会启动一个浏览器同时在这个浏览器中进行操作的模拟。与此同时, 具备HTML的DOM分析能力条件下, 借助选择器, 能够挑选出所需的数据。它是一个网络抓取框架, 此框架配备了大量工具, 这些工具能让网络抓取以及爬取变得简单, 它在设计方面属于多线程的, 且是建立在某种之上的内容, 它还是一个异步网络框架, 遵循着针对服务器的非阻塞I/O调用, 由于它具备多线程以及非阻塞的特性, 所以它在性能层面实际上是最为出色的, 在实际上的3个工具里是速度最快的, 相较于这三个工具而言它的一个优势在于, 它带有用于发送请求以及解析响应的模块。是开发复杂的网络抓取工具, 以及爬虫工具, 因为你能创建众多工作者, 并且每个工作者都能轻松进行工作。它被建立起来, 是为了消耗更少内存, 还将CPU资源的使用降低到最低限度。实际上, 一些基准测试显示, 在抓取方面比其他工具快20倍。它具有可移植性, 而且其功能能够扩展。与相关的主要问题是它不是一个以初学者为中心的工具。文档读起来颇为困难, 学习的曲线显得很是陡峭, 我觉得这个工具并不适宜初学者用于使用。其存在着一个主要的不足之处, 表现为它没办法进行渲染 , 你得去发送 Ajax 请求, 以此来获取隐匿于事件背后的数据。对当前这种前后端分离的技术而言, 这种情况是有点麻烦的, 我们必须对AJAX的数据请求, 做比较清楚的分析。对应 Java 世界来说Java 会有一个 JSoup。有一个专门针对 HTML 的 Dom 文件分析器, 还有一个针对此的选择器, 它们分别在里头做了同样一份工作。借助让你探究 HTML 界面里的内容, 从而开展分析以及处理, 以此达成能够从中获取数据之目的。举例来讲, 要是界面存在表格呢, 该表格里有数据么, 倘若我们所需获取为表格中的数据进而如此这般的话, 那就能够采用 DOM 分析工具去实施此分析步骤。总结因最近, 我们在对爬虫的使用展开研究, 针对上面3个框架, 都有了一些探讨。某些人发觉相对简易的部分是, 与此同时, 其具备相当的强大程度, 足以达成我们针对一些小型网站的爬虫方面的剖析需求。