1. 项目背景与核心价值Epic Games每周免费游戏的福利活动已经持续多年成为PC玩家获取正版游戏的重要渠道。但官方并未提供完整的历史免费游戏清单这给想要回顾或统计数据的玩家带来不便。作为一名游戏爱好者和Python开发者我决定写一个爬虫来自动采集这些珍贵的历史数据。这个项目看似简单实则涉及多个技术难点Epic商店页面采用动态加载需要处理反爬机制还要解决数据存储和去重问题。通过这个实战案例我们可以掌握现代网页爬虫的完整开发流程包括动态页面的数据抓取技巧常见反爬措施的应对方案数据的清洗与持久化存储定时任务的自动化部署2. 技术选型与工具准备2.1 核心工具链经过对比测试我选择了以下工具组合# 主要依赖库 import requests from selenium import webdriver from bs4 import BeautifulSoup import pandas as pd import schedule import time选择理由Selenium应对Epic商店的JavaScript动态渲染BeautifulSoupHTML解析比正则表达式更稳定Pandas方便进行数据清洗和导出Schedule实现定时自动抓取2.2 环境配置要点注意建议使用Python 3.8版本避免库兼容性问题安装关键依赖时常见报错解决方案# 如果遇到SSL错误 pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org package_name # Windows系统可能需要额外安装 pip install pywin323. 爬虫核心实现解析3.1 页面结构分析通过开发者工具(F12)检查Epic商店页面发现关键特征免费游戏信息通过API异步加载数据接口有签名验证历史记录需要模拟滚动加载3.2 完整爬取流程def get_free_games(): # 1. 初始化浏览器驱动 options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式 driver webdriver.Chrome(optionsoptions) try: # 2. 访问目标页面 driver.get(https://store.epicgames.com/zh-CN/free-games) # 3. 等待动态加载完成 time.sleep(5) # 显式等待更佳 # 4. 获取页面源码 html driver.page_source soup BeautifulSoup(html, html.parser) # 5. 解析游戏数据 games [] for item in soup.select([data-componentFreeGamesCard]): title item.select_one(h3).text.strip() date item.select_one(time)[datetime] games.append({title:title, date:date}) return games finally: driver.quit()3.3 反爬应对策略Epic商店采用了多种反爬措施解决方案请求频率限制添加随机延迟time.sleep(random.uniform(1, 3))使用代理IP池轮换User-Agent检测headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 }行为验证模拟人类滚动行为driver.execute_script(window.scrollTo(0, document.body.scrollHeight))4. 数据存储与处理4.1 存储方案对比方案优点缺点适用场景CSV简单易用查询效率低小规模数据SQLite无需服务器并发性能差本地应用MySQL功能完善需要部署大规模数据最终选择SQLite作为存储方案平衡了易用性和功能性。4.2 数据去重实现import sqlite3 def save_to_db(games): conn sqlite3.connect(epic_games.db) c conn.cursor() # 创建表如果不存在 c.execute(CREATE TABLE IF NOT EXISTS free_games (title TEXT, date TEXT, UNIQUE(title, date))) # 批量插入并忽略重复 c.executemany(INSERT OR IGNORE INTO free_games VALUES (?, ?), [(g[title], g[date]) for g in games]) conn.commit() conn.close()5. 部署与自动化5.1 定时任务配置def job(): games get_free_games() save_to_db(games) print(f已获取{len(games)}款免费游戏) # 每周五中午12点执行 schedule.every().friday.at(12:00).do(job) while True: schedule.run_pending() time.sleep(60)5.2 服务器部署建议Linux环境使用screen或tmux保持会话安装必要依赖sudo apt-get install chromium-chromedriver日志记录import logging logging.basicConfig(filenameepic_spider.log, levellogging.INFO)6. 常见问题排查6.1 元素定位失败现象NoSuchElementException错误解决方案增加显式等待from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, h3)) )检查iframe嵌套情况6.2 数据不完整现象只获取到部分游戏原因动态加载未触发解决方法# 模拟滚动到底部 last_height driver.execute_script(return document.body.scrollHeight) while True: driver.execute_script(window.scrollTo(0, document.body.scrollHeight)) time.sleep(2) new_height driver.execute_script(return document.body.scrollHeight) if new_height last_height: break last_height new_height7. 项目优化方向数据可视化使用Matplotlib生成免费游戏时间分布图制作游戏类型词云通知功能集成邮件/Telegram通知import smtplib def send_email(subject, body): server smtplib.SMTP(smtp.gmail.com, 587) server.starttls() server.login(your_emailgmail.com, password) server.sendmail(from, to, fSubject: {subject}\n\n{body}) server.quit()扩展数据源抓取游戏评分(Metacritic)获取Steam价格对比这个项目最让我惊喜的是通过持续运行3个月已经积累了超过200款免费游戏的历史数据。这些数据不仅可以用于个人回顾还能分析Epic的免费策略规律。比如我发现节假日前后通常会推出更高质量的游戏这个规律可以帮助玩家更好地期待免费阵容