Selenium爬取京东商品信息：动态页面采集实战指南

简介面向需要采集动态网页数据的Python开发者与爬虫入门者这份资料以京东商品信息抓取为例演示了Selenium WebDriver处理动态加载页面的完整思路。脚本涵盖浏览器驱动初始化、CSS选择器与XPath元素定位、WebDriverWait显式等待配合expected_conditions、翻页循环与页面元素点击等关键环节并针对网站反爬机制提供了延时控制、随机User-Agent等实用应对策略随附的txt文件为抓取结果存档便于读者核对字段结构与输出格式。压缩包仅2KB共2个文件1个Python脚本1个文本数据体量轻、结构精适合快速拆解学习也适合作为后续扩展为分布式爬虫或数据清洗任务的起点。目前已有245人学习下载配套讲解能帮助读者理解动态爬虫的常见坑点同时强调在采集过程中遵循网站robots协议与数据合规要求。1. Selenium 爬取京东商品信息动态页面采集不再靠猜接到一个商品数据采集的需求第一反应是 requests 直接拉页面结果发现价格、评价数这些关键字段全是空的——京东商品详情页是异步渲染的真正的数据在 JS 执行完之后才出现在 DOM 里。这时候能把页面完整跑起来的就是 selenium 爬取京东商品信息这套思路用 WebDriver 控制真实浏览器把动态加载内容变成可落盘文本。这个资源给了完整复现路径Python 脚本负责打开详情页、等渲染、取值、写文件Java 参考代码覆盖同样逻辑a.txt 是跑出来的样本数据。适合有 Python 基础、想绕开动态渲染取数的工程师也适合刚开始接触 WebDriver 的爬虫初学者。2. 环境与驱动配置先把浏览器控制权拿到手Selenium 真正干活的浏览器进程要靠驱动来桥接。项目能跑通的第一道坎就是驱动版本和浏览器版本匹配。版本对不上最常见报错是 session not created: This version of ChromeDriver only supports Chrome version XX一行英文直接告诉你驱动该换。我一般用 Chrome 大版本号去对照下载同系列 ChromeDriverSelenium 4.6 之后自带的 Selenium Manager 也能自动拉驱动但内网环境经常拉不动手动放驱动反而最省事。2.1 驱动版本匹配与安装检查先看本机 Chrome 版本地址栏输入 chrome://version记下 126.0.6478.126 这种版本号中的大版本 126ChromeDriver 也选 126 系列。Python 侧安装 selenium 之后初始化浏览器时多数人习惯把驱动路径直接写进代码。# 查看本机 Chrome 版本 google-chrome --version # 安装 Python 依赖selenium 4.x 自带 Selenium Manager pip install seleniumfrom selenium import webdriver options webdriver.ChromeOptions() options.add_argument(--disable-blink-featuresAutomationControlled) options.add_experimental_option(excludeSwitches, [enable-automation]) driver webdriver.Chrome(optionsoptions)这段初始化做了两件容易被忽略的事--disable-blink-featuresAutomationControlled关掉 Chromium 的自动化检测标记excludeSwitches去掉“Chrome 正受到自动测试软件控制”的提示条。这两个参数直接影响后面能否顺利绕过京东的自动化探测实际跑下来比不设参数成功率高一截。新手最容易跳过这步结果浏览器一打开就带着明显的自动化特征后面的滑块验证就是从这里开始埋雷的。如果 Selenium Manager 自动下载驱动失败报错会停在 session not created 或者 unknow error: cannot find Chrome binary 这类信息。这时就去 ChromeDriver 镜像站下载与本机 Chrome 大版本号一致的驱动放到固定目录再通过serviceService(path/to/chromedriver)显式传入路径。显式传路径比依赖系统 PATH 更不容易踩环境差异尤其在公司电脑和服务器两套环境交替跑的时候。2.2 无头模式与资源加载控制采集任务多数跑在服务器上没有显示器开无头模式是常规操作。无头模式省掉渲染界面的开销但代价是部分站点的风控逻辑对无头浏览器识别率更高容易触发验证。我的习惯是先在本地有头模式把流程调通确认每个选择器都能命中再切无头跑批量。options.add_argument(--headlessnew) options.add_argument(--window-size1920,1080) prefs { profile.managed_default_content_settings.images: 2, profile.default_content_setting_values.notifications: 2 } options.add_experimental_option(prefs, prefs)--headlessnew是 Chrome 109 之后推荐的新无头模式兼容性比旧参数好。无头模式下必须显式给window-size否则浏览器默认 800x600 窗口页面上大量懒加载内容根本不会触发渲染后面 find_element 就找不到元素。prefs 里 images 设为 2 表示禁止加载图片——采集文本字段不需要等图片资源整页加载耗时会明显下降。notifications 关掉是为了避免页面弹出的通知层遮挡目标元素这类悬浮层在点击分页按钮时经常造成意外遮挡。无头模式跑的时候还可以加一条options.add_argument(--disable-gpu)这是老版本 Chrome 的惯例参数新版本虽然没那么依赖 GPU但加上不会出错能减少某些 Linux 服务器上的渲染异常。真正想排查页面状态时把无头参数去掉加上--auto-open-devtools-for-tabs手动看现场比盯着日志猜状态高效得多。2.3 定位方式选型CSS 选择器与 XPath 的取舍抓京东商品信息元素定位是重头戏。京东 DOM 里商品名称的类名是固定的 sku-name价格容器是 p-price评价数在 comment-count 附近。固定类名用 CSS 选择器足够代码短、执行快。但部分字段类名带随机后缀或者结构层级深CSS 写不出来就得用 XPath 按文本或层级关系绕。项目里的 Python 主脚本和 Java 参考代码刚好分别演示了这两种写法。name_element driver.find_element(By.CSS_SELECTOR, div.sku-name) name name_element.text.strip() price_element driver.find_element(By.CSS_SELECTOR, div.p-price span.price) price price_element.text.strip()find_element第一个参数是定位方式枚举第二个是具体表达式。div.sku-name 直接命中商品名称容器p-price 下的 span.price 取价格文本。京东不同商品的促销结构略有差异价格层级偶尔多包一层稳妥做法是先打印该区域的 outerHTML 确认层级再定选择器别想当然。XPath 的典型场景是按文本找节点比如定位“自营”标签tag driver.find_element(By.XPATH, //*[contains(text(), 自营)])CSS 选择器做不到按文本内容选节点XPath 的 contains(text()) 是替代方案。能用 CSS 优先 CSSXPath 绝对路径太依赖当前层级页面改版一次就断。两种定位方式的核心都是让 WebDriver 找到那个唯一节点定位不到时先回页面看 DOM别急着改代码。场景CSS 选择器XPath固定类名定位适合语法短可用但啰嗦按可见文本找节点不支持适合contains(text()) 常用层级深且类名带随机后缀难写适合用层级关系绕定位后取属性get_attribute 通用get_attribute 通用定位到元素之后取值也有讲究。text 属性拿到的是渲染后的可见文本比 get_attribute(textContent) 多一层隐藏内容过滤。京东价格容器里偶尔有隐藏的促销节点用 text 拿到的正好是用户最终看到的价格符合采集预期。3. 抓取单页商品信息从元素定位到落盘 a.txt单件商品采集流程收敛成三步打开详情页 URL、等动态内容渲染、定位并取出字段。这里最容易翻车的是第二步——你以为页面加载完了其实价格区域还是空的。get() 返回只代表文档就绪不代表异步数据回填完成必须靠显式等待去等目标元素出现。3.1 打开商品页与字段采集京东商品详情页 URL 结构固定https://item.jd.com/{SKU}.htmlSKU 是商品编号。拿到一批 SKU 之后循环打开逐个取数是最直白的思路。sku_list [100012043954, 100016034372, 100016036242] for sku in sku_list: driver.get(fhttps://item.jd.com/{sku}.html) name driver.find_element(By.CSS_SELECTOR, div.sku-name).text.strip() price driver.find_element(By.CSS_SELECTOR, div.p-price span.price).text.strip() comment driver.find_element(By.CSS_SELECTOR, #comment-count a).text.strip() print(sku, name, price, comment)这里用 f-string 拼 URL比手动字符串拼接更干净。循环里每次 get() 后立刻定位元素前提是目标字段已经渲染完成否则会抛 NoSuchElementException。京东热销款、预售款、无货款的页面结构有差异不是每个商品都有价格或评价数字段我的习惯是字段提取包一层 try缺字段时记空字符串而不是中断整个循环。评价数就是从#comment-count容器下的链接文本取“100万条评价”这样的原始文案它是商品评论数据采集的起点。京东的商品详情页在不同状态下字段差异很大无货时价格区域可能直接消失预售款评价数可能是空的进口商品还可能多出税费字段。所以在批量采集前我先用两三个不同状态的商品页验证选择器确认 name、price、comment 三个字段在这个 SKU 集合里都存在再放开循环跑。验证方式很简单取一个无货链接和一个促销链接手动走一遍代码路径把打印结果和浏览器页面比对。3.2 WebDriverWait 显式等待处理异步回填的价格京东价格是异步接口回填的页面刚打开时价格区域只有骨架甚至直接空着。直接 find_element 大概率拿到空白节点显式等待必须用上。from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC price_element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, div.p-price span.price)) ) price price_element.text.strip()WebDriverWait 的两个关键参数超时时间 10 秒、轮询间隔默认 0.5 秒。expected_conditions 里 presence_of_element_located 只管节点存在不管是否可见可用如果要等元素可见或可点击换visibility_of_element_located或element_to_be_clickable。价格这种文本字段 presence 够用但“等待 10 秒”不等于“最多等 10 秒”——如果节点在第 2 秒就出现until 立刻返回不会傻等。这个机制保证的是下限不是延时上限理解这点对调试帮助很大。WebDriverWait 的第三个参数 poll_frequency 默认 0.5 秒大多数场景不用改。但如果你等的是价格这类秒级回填的节点把轮询间隔放到 1 秒反而减少空轮询对浏览器的压力差别不大。真正要注意的是把超时和重试分开超时是单次等待上限重试是整页失败后的恢复策略。等待超时抛出的 TimeoutException 被捕获后先刷新页面再重试一次通常第二次能稳定拿到数据因为静态资源和字体文件都进缓存了。3.3 写 a.txt 的编码与分隔符细节数据抓下来要落盘资源里的 a.txt 就是 Python 脚本跑出来的样本。写文本文件最常见的坑是编码——不指定 encoding 时 Windows 下默认 GBK中文商品名写进去再读出来就是乱码。with open(a.txt, a, encodingutf-8) as f: f.write(f{sku}\t{name}\t{price}\t{comment}\n)a 模式是追加写适合边抓边存程序中断也不丢已完成的单页结果。分隔符用制表符 \t 而不是逗号因为商品名里大概率有逗号或括号CSV 按逗号解析会错列制表符安全得多。每行以 SKU 开头天然作为去重键。追加模式的另一个价值在断点续采重跑脚本时先把已抓 SKU 读进内存跳过已存在的行批量采集效率会高很多。字段顺序固定为 SKU、名称、价格、评价数后面清洗脚本解析时就按制表符拆分顺序错了数据列就乱了。我把列顺序写在脚本头部注释里强制自己每次改字段都更新注释。a.txt 里的行如果出现空名称多半是页面还没渲染完就取值了回到 3.2 的等待条件重新检查而不是在写入端硬补默认值。4. 翻页与批量遍历把单页能力放大成采集任务单页跑通只是起点真实需求往往是一整类商品。常见场景有两类已知 SKU 列表循环打开详情页或者从搜索结果页翻页收集商品链接再进详情页取数。资源里的脚本两种路径都覆盖这一章重点说搜索结果页的翻页逻辑因为它更通用也更考验对 DOM 状态变化的处理。4.1 搜索结果页翻页按钮操作京东搜索结果页的分页区域结构比较规范页码是一排链接最右侧是“下一页”按钮。Selenium 操作翻页的核心不是数页码而是找到那个语义为“下一页”的节点并点击然后判断是否翻到了头。from selenium.webdriver.common.by import By while True: items driver.find_elements(By.CSS_SELECTOR, li.gl-item) for item in items: link item.find_element(By.CSS_SELECTOR, div.p-name a).get_attribute(href) print(link) next_btn driver.find_element(By.CSS_SELECTOR, a.pn-next) if disabled in next_btn.get_attribute(class): break next_btn.click() time.sleep(2)while True 靠“下一页”按钮是否带 disabled class 判断是否最后一项比先数总页数再 for 循环更可靠——搜索结果的页数会随筛选条件实时变化预先数页数容易多翻出空页。京东翻页按钮在最后一页会带 disabled 样式直接查 class 属性即可。click() 后强制 sleep 2 秒给新页面渲染留时间不加这个延时下一页定位到的还是旧页面节点。这里有个必须牢记的细节点击翻页后 driver 的当前 URL 不一定会变页面内容换掉了但 WebDriver 视角下还在同一个文档里。所以旧页面的元素引用全部失效每次循环迭代必须重新用 find_elements 拉取列表项不能复用上一轮拿到的引用。// Java 版本翻页参考判断 disabled class 的思路一致 WebElement nextBtn driver.findElement(By.cssSelector(a.pn-next)); if (nextBtn.getAttribute(class).contains(disabled)) { break; } nextBtn.click(); Thread.sleep(2000);Java 版本和 Python 版逻辑一一对应差异只在 API 写法。包里那份 Java 参考代码就是干这个的给不熟 Python 的采集工程师当参照。重点还是那个判断 disabled class 的思路以及点击后要重新定位新页面的节点。4.2 采集节奏控制与断点续采批量场景必须考虑中断恢复。一台服务器采一小时某个商品页结构异常就可能让整个进程崩掉全部重来得不偿失。我的做法是把“已处理 SKU”单独维护在一个完成清单里每处理完一个就追加写入。import os import time def load_seen(pathdone.txt): seen set() if os.path.exists(path): with open(path, encodingutf-8) as f: seen.update(line.strip() for line in f) return seen def extract_and_save(item, sku): name item.find_element(By.CSS_SELECTOR, div.p-name a).text.strip() price item.find_element(By.CSS_SELECTOR, div.p-price i).text.strip() with open(a.txt, a, encodingutf-8) as f: f.write(f{sku}\t{name}\t{price}\n) seen load_seen() for card in driver.find_elements(By.CSS_SELECTOR, li.gl-item): sku card.get_attribute(data-sku) if not sku or sku in seen: continue try: extract_and_save(card, sku) except Exception as exc: print(fSKU {sku} failed: {exc}) continue seen.add(sku) with open(done.txt, a, encodingutf-8) as f: f.write(sku \n)done.txt 只存 SKU 主键每处理完一个就追加程序崩了下次启动先 load_seen 把已处理集合加载进来直接跳过。这个思路在已知 SKU 列表场景同样适用详情页打开前先查 done.txt抓过的直接跳省下的重复请求时间非常可观。注意列表项li.gl-item上的>import random import time options.add_argument(--user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36) # 每次访问前随机延时 1.5~3.5 秒 time.sleep(random.uniform(1.5, 3.5))随机延时用 uniform 取连续区间比固定 sleep(2) 更接近真人节奏。滑块验证触发后不要反复重试同一个拖动路径——连续失败两次就停止操作刷新页面重来或者换一个商品页进入分散风控的注意力。5.2 woff 字体反爬价格变成乱码字符现象F12 里价格 DOM 元素有值但.text拿到的不是数字而是“埭齑”这类 Unicode 字符页面显示的和 DOM 文本对不上。原因京东价格用了字体反爬把 0-9 和“”映射到自定义 woff 字体的私有码位。浏览器渲染时字体映射让用户看到正常数字但 DOM 里的文本是原始码位Selenium 的 text 属性拿到的是未经映射的内容。页面 woff 反爬这个坑在采集电商数据时非常典型只取 text 不看渲染结果就会踩进去。解决常规做法是用 fontTools 解析页面引用的 woff 文件读 cmap 表建立码位到真实数字的映射表再对 text 内容做替换。from fontTools.ttLib import TTFont # 拿到商品页引用的 woff 文件后解析码位到真实数字的映射 font TTFont(price.woff) cmap font.getBestCmap() # cmap 中 0xE005 - 4 这类映射生成替换表后对 text 做 translate更快的兜底方案是 OCR 识别渲染区域缺点是慢、识别率不稳。实践里我还会对比价格接口返回的数据交叉校验能排除一部分字体映射的干扰。资源脚本把价格解析失败的情况归为“待人工确认”写入单独标记不阻塞主流程批量采集时这个处理方式很重要宁可留下人工复核清单也别让一条坏数据中断全任务。5.3 StaleElementReferenceException翻页后元素集体失效现象单页采集正常翻到第 2 页后开始抛 StaleElementReferenceException明明刚定位到的元素再操作就提示 element is not attached to the page document。原因Selenium 的 find_element 返回的是元素引用而非 DOM 快照。点击“下一页”后旧页面 DOM 被替换所有旧引用全部悬空继续操作必然报错。4.1 里强调“每次迭代重新拉取列表项”就是针对这个坑。解决翻页后不要复用任何旧元素引用重新执行 find_elements 获取新页面节点。写循环时把“拉取列表”放在每次迭代内部而不是循环外。用 Page Object 模式时确保每个页面对象在翻页后重新创建。另外点击按钮后加一个 WebDriverWait 等待新页面第一个特征元素出现再往下走能避开“旧页面还没卸载完就操作新页面”的隐性窗口期。# 点击下一页后等新页面第一个商品项出现再继续 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, li.gl-item)) )这段等待代码的巧妙之处在于它等的是一个“新页面必然出现、旧页面也存在的元素”——如果等待立即返回说明新页面 DOM 已经就绪如果超时说明翻页逻辑可能根本没生效。这个特征元素选列表第一项就行不要选页码按钮因为最后一页时页码按钮可能变了。5.4 元素等待超时网速慢导致提前失败现象WebDriverWait(driver, 10) 设置好后某些商品页 10 秒内价格还没出现直接抛 TimeoutException整个采集流程中断。原因京东部分商品页脚本和图片量大弱网环境下渲染时间超过等待上限另一类原因是价格区域不在首屏懒加载逻辑没触发。两者都会导致超时。解决把超时放宽到 15~20 秒单页超过 30 秒判定页面异常记录 SKU 后继续下一个。另外把 page_load_strategy 设为 eagerDOM 就绪就返回不干等图片和子资源加载完翻页场景提速非常明显。options.page_load_strategy eager driver webdriver.Chrome(optionsoptions)page_load_strategy 的三个选项normal 等待全部资源加载完成eager 只等 DOM readynone 不等待任何信号。采集文本字段时 eager 完全够用价格和名称在 DOM 渲染阶段就已经存在不需要等图片流加载结束。要注意的是eager 模式下部分依赖图片懒加载触发的内容可能取不到所以这个参数要配合显式等待一起用不能单独依赖它。6. 从抓取到数据集清洗、去重与合规采集的习惯采集落盘只是前半程后半程是把 a.txt 那种原始行变成可以直接进分析工具的数据集。原始数据的问题很固定SKU 重复断点续跑或翻页重叠导致、价格带着“”符号、商品名里有多余空白和换行。一个小脚本就能理顺。import csv seen set() with open(a.txt, encodingutf-8) as fin, \ open(jd_items.csv, w, newline, encodingutf-8-sig) as fout: writer csv.writer(fout) writer.writerow([sku, name, price, comment]) for line in fin: parts line.rstrip(\n).split(\t) if len(parts) ! 4: continue sku, name, price, comment parts if sku in seen: continue seen.add(sku) name .join(name.split()) price price.replace(, ).strip() comment comment.replace(条评价, ).strip() writer.writerow([sku, name, price, comment])utf-8-sig 编码让 Excel 打开 CSV 不乱码Windows 同事拿到就能直接用。按 SKU 去重是数据集底线否则后面统计同一个商品会被重复计数。名称清洗用 .join(name.split())把所有连续空白和换行压成单个空格价格把“”去掉统一成纯数字评价数把“条评价”后缀剥掉转成 int 之后就能做排序筛选。验证数据集靠抽样我一般每 200 条抽查 5 条浏览器打开商品页人工核对名称、价格、评价数是否一致。Selenium 采集自动化程度高但京东改一次页面结构就可能全局出错纯看日志不一定看得破。把随机抽样的核对流程固定成脚本入口是采集工程里性价比最高的质检手段。合规这块我只保留一个基本习惯只采集公开商品页能看到的字段不碰登录后才能访问的内容控制请求频率保持在人工手动浏览的节奏附近不短时间连续刷新同一个接口采集结果只用于内部研究学习不带入商业闭环。代码能跑通和能不能这么做是两回事采集边界由使用方式决定而不是由代码能力决定。从那以后我每次跑采集任务第一件事是确认目标页面的访问协议和频率上限第二件事是核对 ChromeDriver 版本与浏览器版本一致第三件事才是敲启动命令。这三步检查看起来简单但已经帮我省掉了无数次跑到一半才发现的白跑任务希望帮到你。本文还有配套的精品资源点击获取