一、引言在气象研究、农业规划、建筑能耗分析以及个人出行参考等众多领域，长期的历史气温数据都扮演着不可或缺的角色。近30年的气温记录不仅能反映气候变化趋势，还能为各种预测模型提供扎实的训练基础。然而，获取这些数据并非易事——尽管许多气象网站提供可视化查询界面，但批量下载、结构化存储和二次分析往往受限于手动操作的低效性。本文旨在利用Python编写一套稳定的天气历史数据爬虫，从公开气象数据源采集全国主要城市（含直辖市、省会城市及计划单列市）近30年（1996—2026年）的逐日平均气温、最高气温和最低气温。文章将涵盖：需求分析、数据源选择与法律合规说明、爬虫架构设计、反爬策略应对、数据解析与清洗、异常处理、数据持久化（CSV与SQLite）、增量更新策略、性能优化以及数据可视化验证。全文代码均基于Python 3.11+，并使用最新的第三方库版本（2026年8月），全部代码已在Windows 11与Ubuntu 22.04下测试通过。重要声明：本文仅用于技术研究和个人学习目的。爬虫程序应遵守目标网站的robots.txt协议，控制请求频率，避免对服务器造成负担。实际使用前，请确保获得数据所有方的书面授权。本文演示的数据源为公开的公共数据集镜像（非实时生产接口），且所有请求均添加了合理的延迟与User-Agent轮换。目录一、引言二、数据源选择与评估2.1 可选数据源对比2.2 目标城市列表三、技术选型与环境搭建3.1 核心依赖库3.2 环境初始化四、爬虫架构设计4.1 整体流程图4.2 模块划分五、核心代码实现（分步骤详解）5.1 配置模块（config.py）5.2 数据获取与重试（fetcher.py）5.3 解析器模块（parser.py）5.4 存储模块（storage.py）5.5 主控程序（scheduler.py）六、数据清洗与异常值处理七、增量更新策略八、反爬策略进阶九、数据可视化验证十、性能优化与分布式扩展10.1 异步IO10.2 多进程10.3 数据库写入优化十一、错误处理与监控二、数据源选择与评估2.1 可选数据源对比数据源覆盖年限城市数量接口稳定性反爬强度合规风险中国气象数据网（CMA）1951年至今2400+高高（需注册+Token）中（需申请）Weather Underground近50年全球中中（API限流）中（需API Key）国家气候中心公开镜像