用 C# 构建网络爬虫：分步教程

在本文中我将向你展示如何用 C# 构建一个网络爬虫。我们会从零开始一步一步来。到最后你将拥有一个高效、可扩展的爬虫用于收集所需数据。让我们开始吧什么是网络爬虫网络爬虫也称为 spider 或 bot是一种自动化程序会系统地浏览网页、发现链接并收集数据。与针对特定数据提取的网页抓取不同网页爬取侧重于浏览网站并构建其内容的结构化地图。爬虫还可以集成抓取功能在探索链接的同时提取相关数据。在这里比较网页爬取和网页抓取。构建网络爬虫的替代方案如果构建和维护网络爬虫让你感到负担过重Bright Data 提供了强大的替代方案来简化你的工作流。使用Web 爬虫工具 API进行轻松的结构化数据提取或访问根据你的需求定制的即用型数据集。这些解决方案可以节省时间、轻松扩展并包含 CAPTCHA 破解、IP 轮换以及遵守隐私法律等功能——让你专注于分析数据而不是收集数据。我与 Bright Data 没有任何关联这只是一个建议。用 C# 构建网络爬虫的先决条件开始之前请确保你具备以下工具和库.NET SDK版本 8 或更高版本 从官方 Microsoft .NET 网站下载并安装最新版本。IDE 使用 Visual Studio 2022 或安装了 C# 扩展的 Visual Studio Code。NuGet Package Manager 随 Visual Studio 提供用于安装 Html Agility Pack 和 CsvHelper 等依赖项。步骤 1设置环境首先创建一个新的控制台应用程序mkdir web-crawlercd web-crawlerdotnet new console - framework net8.0安装依赖项使用 NuGet 添加以下库Html Agility Pack用于解析 HTML。dotnet add package HtmlAgilityPackHtml Agility Pack CSS Selectors简化使用 CSS 选择器选择元素的过程。dotnet add package HtmlAgilityPack.CssSelectorsCsvHelper用于将数据导出到 CSV 文件。dotnet add package CsvHelper步骤 2编写基础爬虫加载网页设置程序以获取并解析网页using HtmlAgilityPack;class Program{static void Main(string[] args){var web new HtmlWeb();var document web.Load(https://example.com);Console.WriteLine(Page loaded successfully!);}}使用以下命令运行应用程序dotnet run发现链接扩展代码以识别页面上的链接。使用 HtmlAgilityPack 定位所有 a 元素并提取它们的 href 属性var links document.DocumentNode.SelectNodes(//a[href]);foreach (var link in links){var url link.GetAttributeValue(href, string.Empty);Console.WriteLine($Found URL: {url});}步骤 3管理爬取过程要系统地爬取多个页面请维护一个待访问 URL 队列以及一个已发现 URL 列表以避免重复。实现 URL 队列使用 Queue 存放待访问的 URL并使用 HashSet 跟踪已访问的 URLvar urlsToVisit new Queuestring();var visitedUrls new HashSetstring();urlsToVisit.Enqueue(https://example.com);while (urlsToVisit.Count 0){var currentUrl urlsToVisit.Dequeue();if (visitedUrls.Contains(currentUrl)) continue;visitedUrls.Add(currentUrl);Console.WriteLine($Crawling: {currentUrl});var currentDocument web.Load(currentUrl);var links currentDocument.DocumentNode.SelectNodes(//a[href]);if (links null) continue;foreach (var link in links){var url link.GetAttributeValue(href, string.Empty);if (!visitedUrls.Contains(url)){urlsToVisit.Enqueue(url);}}}第 4 步从页面中提取数据结构化数据定义一个 Product 类来存储抓取到的数据public class Product{public string Name { get; set; }public string Price { get; set; }public string ImageUrl { get; set; }}抓取产品更新爬虫以便在每个页面上查找并处理产品元素var products new ListProduct();foreach (var productNode in currentDocument.DocumentNode.SelectNodes(//li[classproduct])){var name productNode.SelectSingleNode(.//h2).InnerText.Trim();var price productNode.SelectSingleNode(.//span[classprice]).InnerText.Trim();var imageUrl productNode.SelectSingleNode(.//img).GetAttributeValue(src, string.Empty);products.Add(new Product { Name name, Price price, ImageUrl imageUrl });Console.WriteLine($Found product: {name});}第 5 步将数据保存到 CSV 文件使用 CsvHelper 将收集到的产品数据导出到 CSV 文件using CsvHelper;using System.Globalization;using System.IO;using (var writer new StreamWriter(products.csv))using (var csv new CsvWriter(writer, CultureInfo.InvariantCulture)){csv.WriteRecords(products);}运行应用程序生成一个包含所有抓取数据的 products.csv 文件。第 6 步优化爬虫并行爬取使用 Task.Run 并发爬取多个页面。处理动态内容对 JavaScript 渲染的页面使用 PuppeteerSharp。避免被封锁轮换 user agents、遵守 robots.txt并引入延迟。结论用 C# 构建网络爬虫核心就是探索网页、提取你需要的数据并确保它稳定运行。有了这份指南你将能够应对任何网页数据项目。祝你好运也祝你爬取愉快有任何问题吗欢迎在评论中告诉我对其他网页抓取指南感兴趣使用 Scrapy 进行网页抓取使用 Selenium 进行网页抓取用于网页抓取的 JavaScript 与 Python 对比使用 Python lxml 进行网页抓取使用 Excel 进行网页抓取使用 Python 进行网页抓取使用 C# 进行网页抓取抓取 Amazon 畅销榜使用 Google Sheets 进行网页抓取绕过 Cloudflare 进行网页抓取请求限流指南更多精彩文章请访问我的个人主页 — Data Journal ❤️