Python 使用 XPath 查找元素基本用法实战指南
前言在爬虫、网页数据提取场景中解析HTML常用两种方案CSS选择器、XPath。XPath 功能更强大支持父子层级、属性模糊匹配、文本匹配、多条件筛选是 Python 爬虫主流解析方式。很多同学刚开始使用 XPath 经常遇到路径写错、找不到元素、匹配规则失效等问题。本文基于lxml最常用库讲解 XPath 在 Python 中的基础语法、常用案例、避坑要点所有代码可直接运行。说明本文使用XPath 1.0lxml 仅支持 XPath 1.0部分 XPath2.0 函数无法使用。一、环境准备安装依赖pip install lxml基础载入模板from lxml import etree html html body div idbox h2 classtitlePython XPath教程/h2 div classitem文章1/div div classitem文章2/div div idc_001ID以c开头的区块/div div idd_001普通区块/div a hrefhttps://www.baidu.com百度/a /div /body /html # 构建解析对象 tree etree.HTML(html)二、绝对路径 vs 相对路径1. 绝对路径不推荐从根节点一层层往下写结构一旦变动直接失效。# 查找h2文本 res tree.xpath(/html/body/div/h2/text()) print(res)2. 相对路径日常开发首选//标签名全局搜索任意位置查找该标签.//标签名在当前节点内部搜索重点# 全局查找所有h2 res tree.xpath(//h2/text()) # 先拿到box节点再在box内部查找所有div box_node tree.xpath(//div[idbox])[0] items box_node.xpath(.//div/text()) print(items)⚠️ 高频踩坑在节点对象上调用xpath如果不加.//依旧会全局搜索不会限定在当前节点三、获取文本、属性、节点对象1./text()获取标签内直接文本# 获取h2内部文本 title tree.xpath(//h2/text())[0] print(title)2.属性名获取属性值# 获取a标签href链接 href tree.xpath(//a/href)[0] print(href)3. 不使用/text()直接获取元素对象想要打印元素完整HTML源码时必须拿到节点对象不能提取文本h2_node tree.xpath(//h2)[0] # 输出完整标签HTML html_str etree.tostring(h2_node, encodingutf-8).decode(utf-8) print(html_str)四、属性筛选语法最常用4.1 属性精确匹配//div[idbox] //h2[classtitle]python示例node tree.xpath(//div[idbox])坑点class 内存在多余空格时精确匹配会失败例如classelement-header 4.2 模糊匹配三大核心函数lxml支持XPath1.0内置三个函数starts-with(属性, 开头字符)属性以指定内容开头# 查找id以c开头的div c_divs tree.xpath(//div[starts-with(id, c)])contains(属性, 关键词)属性包含关键词# class包含item的div item_divs tree.xpath(//div[contains(class, item)])ends-with()不支持属于XPath2.0lxml无法使用。4.3 多条件组合and / or# classitem 并且文本包含文章 res tree.xpath(//div[classitem and contains(text(), 文章)]/text())五、层级关系筛选/直接子节点//div[idbox]/h2只匹配box下直接子元素h2孙子层级不会匹配//后代所有节点子、孙、曾孙//div[idbox]//div匹配第N个元素[position()]# 第一个class为item的div first_item tree.xpath(//div[classitem][1]/text()) # 最后一个 last_item tree.xpath(//div[classitem][last()]/text())六、文本匹配技巧匹配标签内文本# 文本完全等于 res tree.xpath(//h2[text()Python XPath教程]/text()) # 文本包含关键词 res tree.xpath(//h2[contains(text(), XPath)]/text())注意标签存在换行、空格时text()精确匹配容易失败优先使用contains七、实战通用模板模板1在指定节点内部循环提取元素# 拿到父节点 box tree.xpath(//div[idbox])[0] # 在父节点内查找所有item item_list box.xpath(.//div[classitem]) for item in item_list: text item.xpath(./text())[0] print(text)模板2获取元素完整HTMLdef get_html(elem): return etree.tostring(elem, encodingutf-8).decode(utf-8) item_node tree.xpath(//div[classitem][0])[0] print(get_html(item_node))八、高频踩坑清单在节点对象使用xpath忘记加.box.xpath(//div)全局搜索box.xpath(.//div)才是内部搜索class带有多余空格直接使用classxxx精确匹配失败改用contains想打印HTML却写了/text()拿到字符串而不是元素对象混淆/和//需要后代却只写直接子节点/试图使用ends-with()、lower-case()函数lxml不支持XPath2.0xpath匹配结果为空列表直接[0]取值触发报错建议增加判断result tree.xpath(//h2/text()) if result: print(result[0])九、补充Selenium / DrissionPage 兼容说明如果你使用 DrissionPage、SeleniumXPath语法完全通用# DrissionPage示例 items page.xpath(.//div[starts-with(id,c)])区别selenium获取文本使用.text属性不再依赖/text()。总结.//xxx限定当前节点内部查找//xxx全局查找精确匹配用属性值模糊匹配优先starts-with、contains需要HTML源码就不要加/text()保留元素对象优先使用相对路径避免脆弱的绝对路径lxml只支持XPath1.0不要使用XPath2.0专属函数。掌握以上基础用法可以覆盖80%网页数据提取场景。复杂爬虫筛选需求都可以在这套基础语法上进行组合扩展。

相关新闻

985取消长聘制引热议,学术圈要迎来短期主义时代?

985取消长聘制引热议,学术圈要迎来短期主义时代?

最近一段时间,一家知名985大学取消“长聘制”的消息刷屏朋友圈,甚至冲上热搜,一所全国知名的重点学府此次的大改革为什么会引发如此大的争议?我们到底该怎么看?一、知名985大学取消“长聘制”惹争议据《中国新闻周刊》…

2026/11/20 2:24:45 阅读更多 →
猫抓资源嗅探扩展使用路线图:3个成长阶段,把网页视频音频图片全拿下

猫抓资源嗅探扩展使用路线图:3个成长阶段,把网页视频音频图片全拿下

猫抓资源嗅探扩展使用路线图:3个成长阶段,把网页视频音频图片全拿下 【免费下载链接】cat-catch 猫抓 浏览器资源嗅探扩展 / cat-catch Browser Resource Sniffing Extension 项目地址: https://gitcode.com/GitHub_Trending/ca/cat-catch 猫抓资…

2026/11/19 9:09:29 阅读更多 →
fSpy-Blender 终极拆解:一张照片如何在几分钟内重建出透视精准的 3D 场景

fSpy-Blender 终极拆解:一张照片如何在几分钟内重建出透视精准的 3D 场景

fSpy-Blender 终极拆解:一张照片如何在几分钟内重建出透视精准的 3D 场景 【免费下载链接】fSpy-Blender Official fSpy importer for Blender 项目地址: https://gitcode.com/gh_mirrors/fs/fSpy-Blender fSpy-Blender 是 fSpy 官方出品的 Blender 导入插件…

2026/11/17 9:09:52 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/19 21:38:27 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/19 21:38:49 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/19 21:39:09 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/19 21:36:50 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/19 21:37:45 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/19 21:36:20 阅读更多 →

日新闻

周新闻

月新闻