亚马逊电商与python结合(四)Selenium
理解三个工具的分工把它们想象成一个数据处理团队工具 角色 主要工作Pandas 数据分析员 筛选、计算、汇总数据openpyxl Excel 助手 写入单元格、调整格式、保存工作簿Selenium 浏览器操作员 打开网页、点击元素、读取网页内容例如你想研究 Amazon 产品的价格变化Selenium 可以在适当情况下打开网页并读取公开显示的信息。Pandas 可以整理价格数据、计算均价和变化幅度。openpyxl 可以将分析结果输出成格式整齐的 Excel 报表。如果网站提供官方 API 或可下载报表通常优先考虑这些更稳定的方式不是所有数据获取任务都需要 Selenium。第 1步安装 Selenium在VS Code 终端中输入python-m pip install selenium按 Enter等待安装完成。Selenium 4 通常可以通过 Selenium Manager 自动处理兼容的浏览器驱动因此先不用手动下载 ChromeDriver。第 2 步检查 Selenium 版本在 VS Code 的 Jupyter Notebook 里新建一个代码单元格运行importseleniumprint(selenium.__version__)import selenium把 Selenium 导入当前 Notebook。print(selenium.version)显示安装的版本号。第 3 步用 Selenium 打开网页这一步我们让 Python 模拟人类操作浏览器启动 Chrome然后打开 Selenium 官方提供的练习网页。暂时不抓取 Amazon先把基本操作跑通。fromseleniumimportwebdriver driverwebdriver.Chrome()driver.get(https://www.selenium.dev/selenium/web/web-form.html)from selenium import webdriver导入浏览器控制工具。webdriver.Chrome()启动 Chrome 浏览器。可以把它理解为叫来一个浏览器操作员。driver.get(…)让浏览器访问指定网址。以后换网址只需要修改引号里的链接。程序一直在运行但没有弹出Chorme1.检查是否安装了chorme2.在终端输入检查环境python-cimport shutil; print(shutil.which(chrome)); print(shutil.which(chromedriver))检查 Chrome 是否安装在默认位置powershell Test-PathC:\Program Files\Google\Chrome\Application\chrome.exeTest-PathC:\Program Files (x86)\Google\Chrome\Application\chrome.exeTest-Path$env:LOCALAPPDATA\Google\Chrome\Application\chrome.exe第一行是 True说明它安装在 C:\Program Files\Google\Chrome\Application\chrome.exe 检查 Selenium 能否启动 Chrome 先确认 Jupyter 里之前一直运行的代码已经停止。然后在 VS Code 的终端中运行下面这条命令。 powershell python -c from selenium import webdriver; dwebdriver.Chrome(); print(Chrome启动成功); d.quit()打开网页fromseleniumimportwebdriver driverwebdriver.Chrome()driver.get(https://www.selenium.dev/selenium/web/web-form.html)print(driver.title)Selenium 可以模拟点击、输入、翻页等浏览器操作。第 4 步读取网页信息刚才你让 Selenium 打开了网页。接下来我们让它像人一样看看网页的标题并读取页面上的文字。print(网页标题,driver.title)textdriver.find_element(tag name,h1).textprint(页面标题文字:,text)driver.title读取浏览器标签页的网页标题。find_element(…)在网页里寻找一个指定元素。“tag name”, “h1”寻找 HTML 中的一级标题就像找到网页上最大号的标题。.text取出这个元素里显示的文字。注意这里的 driver 是刚才启动浏览器时创建的变量。如果你重启过 Notebook 内核需要重新执行启动浏览器的代码。是h1,数字1第 5 步把抓取结果整理成表格实际工作中我们通常不会只抓取一个标题而是希望把抓到的信息整理成结构化数据方便后续用 Pandas 分析或者用 openpyxl 写入 Excel。我们先把刚才读取的网页信息整理成一张小表格。import pandasaspd data{项目:[网页标题,页面标题文字],抓取结果:[driver.title,text]}dfpd.DataFrame(data)print(df)data把抓取结果装进两个字段里像先把资料放进两个文件夹。pd.DataFrame(data)把资料整理成表格。print(df)显示整理后的表格。Selenium采集员打开网页、点击按钮、读取网页文字。Pandas分析员清洗数据、计算指标、筛选异常。openpyxlExcel 助手把结果写入 Excel设置格式并保存文件。以后做 Amazon 数据分析时可以把这条流程理解成网页采集 → 数据整理 → 指标分析 → 导出 Excel。当然真实的 Amazon 页面可能有登录、反爬限制或访问权限不能假设 Selenium 可以直接抓取所有数据。

相关新闻

C语言函数编程核心技术与实践指南

C语言函数编程核心技术与实践指南

1. C语言函数基础概念解析在C语言编程中,函数是构建程序的基本模块单元。每个函数都是一段完成特定任务的独立代码块,通过函数我们可以实现代码的模块化、重用和逻辑分离。理解函数的工作原理,是掌握C语言编程的关键一步。1.1 函数的本质与价…

2026/10/15 8:42:52 阅读更多 →
hindsight不是马后炮:把后见之明变成事前避坑的复盘方法论

hindsight不是马后炮:把后见之明变成事前避坑的复盘方法论

不知道你有没有过这种时刻——项目失败之后回头复盘,忽然发现当初的每一个预警信号都摆在明面上,自己却像瞎了一样看不见。那种“我早该想到”的感觉,英文里有个专门的说法:hindsight,事后聪明。这个词最近在职场复盘圈…

2026/10/15 8:42:52 阅读更多 →
Claude Code 安装与卸载全指南:Node.js 环境配置、npm 全局包管理与常见问题排查

Claude Code 安装与卸载全指南:Node.js 环境配置、npm 全局包管理与常见问题排查

1. 为什么值得花时间搞清楚这套工具的安装与卸载Claude Code 是 Anthropic 推出的命令行 AI 编程助手,它直接跑在终端里,能读写你本地的代码文件、执行命令、理解整个项目结构。和网页版对话不同,它更像一个坐在你旁边、能直接动手改代码的搭…

2026/10/15 8:41:51 阅读更多 →

最新新闻

AI漫剧角色一致性工作流:从参考图、LoRA到算力成本优化的完整实践

AI漫剧角色一致性工作流:从参考图、LoRA到算力成本优化的完整实践

做AI漫剧做了快一年,踩过最大的坑不是模型不会跑,而是同一个角色在不同镜头里长得像两个人。眼睛、发型、服装细节一飘,观众立刻出戏,弹幕直接开喷。这一期聊聊我怎么把“角色一致性”这件事从玄学变成流程,再把“算力…

2026/10/15 9:25:23 阅读更多 →
Codex CLI实测:让AI在终端里真正干活,完成编码任务闭环

Codex CLI实测:让AI在终端里真正干活,完成编码任务闭环

DevDay 结束当晚,我照例把发布会信息刷了两遍。如果只看标题,这会是一场信息量极大的大会:模型、API、新能力、工具链,东一榔头西一棒子地铺开,一眼看去全是亮点。但作为一个每天都在终端里写代码的人,真正…

2026/10/15 9:25:23 阅读更多 →
文献综述简单罗列,缺乏述评与研究缺口提炼问题的学术分析

文献综述简单罗列,缺乏述评与研究缺口提炼问题的学术分析

文献综述是论文的重要组成部分,核心功能是梳理学术脉络、总结前人成果、提炼研究空白,为自身研究提供立论依据。然而大量研究生撰写文献综述时,陷入文献清单式写作误区,单纯按照作者、年份罗列文献观点,只做 “述” 而…

2026/10/15 9:25:23 阅读更多 →
鲲鹏+麒麟V10部署ClickHouse 21.8 ARM64安装包实战与避坑指南

鲲鹏+麒麟V10部署ClickHouse 21.8 ARM64安装包实战与避坑指南

简介:本资源为在华为鲲鹏920处理器(aarch64架构)与麒麟V10操作系统上编译完成的ClickHouse 21.8.14安装包,面向需要在国产化自主可控环境中搭建OLAP大数据分析平台的运维与开发人员。包内共20个文件,以可执行二进制程序…

2026/10/15 9:25:23 阅读更多 →
8周科学减脂计划:精准打击内脏脂肪的6个核心动作

8周科学减脂计划:精准打击内脏脂肪的6个核心动作

1. 项目概述:科学减脂的核心逻辑这个8周减脂计划的核心在于通过特定动作组合精准打击内脏脂肪。内脏脂肪不同于皮下脂肪,它包裹在腹腔器官周围,与代谢综合征、胰岛素抵抗等健康问题密切相关。我设计的这6个动作经过多年实践验证,能…

2026/10/15 9:25:23 阅读更多 →
每日跟踪ArXiv CV论文:筛选、精读与复现的完整方法论

每日跟踪ArXiv CV论文:筛选、精读与复现的完整方法论

1. 从"每日更新"这个动作说起:为什么盯ArXiv CV板块是性价比最高的事做视觉方向的人,几乎都有一个共同的焦虑:模型迭代太快,昨天刚复现完的backbone,今天可能就被新的结构按在地上摩擦。我自己的习惯是每天早…

2026/10/15 9:24:22 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时,网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上,依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

1. 共享推理服务里,扩缩容到底难在哪做过大模型推理服务部署的人,大概都经历过这样的场景:一个团队共用一套推理集群,A 业务跑的是 7B 的小模型,B 业务跑的是 72B 的大模型,C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

1. 引子:一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减,为了把启动时间压进两秒以内,我手贱地把一串自认为“没用”的 systemd 服务给 disable 了,其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 0:14:36 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 7:53:34 阅读更多 →