简介面向毕业设计场景的春节电影信息爬取与数据可视化分析项目提供完整 Python 源码与配套 PPT 答辩材料适合计算机相关专业学生参考并快速搭建同类课题。压缩包共 39 个文件约 20.87MB其中 Python 脚本负责爬虫抓取、数据解析与数据库读写前端页面与样式文件构成可视化界面XML、配置及日志文件支撑项目运行与问题排查数据库文件可用于查看存储表结构说明文档与答辩 PPT 则辅助理解设计思路。整体覆盖从电影信息采集、清洗、存储到可视化展示的完整链路。目前已有 91 人学习下载。通过学习这套代码可掌握 requests 请求、数据解析、Flask 渲染等关键实用技能也能借鉴项目模块划分来优化自己的代码结构减少前期调研和调试时间配套答辩 PPT 与项目文档对毕业设计汇报、论文撰写亦有较高参考价值。各目录职责清晰便于二次开发与学习复用。1. 春节档电影数据从爬取到可视化看板的一次完整落地春节档的票房、评分和想看人数每年都是内容平台和数据分析爱好者最关注的一组数据。把这些散落在猫眼、豆瓣页面上的电影信息抓下来清洗成结构化表格再渲染成图表和HTML大屏就是“基于python的春节电影信息爬取与数据可视化分析”这个项目要做的事。它覆盖了Python爬虫、pandas数据清洗、pyecharts可视化这条完整链路也是目前网上流传最多的Python综合练手项目形态之一。适合正在准备毕业设计、想补齐“爬取到展示”全流程的开发者也适合需要快速产出一份数据汇报的运营和产品同学。核心价值在于不依赖任何付费数据接口只凭公开页面和标准库就能跑通一整套分析流程。2. 先用 requests 和 BeautifulSoup 把春节档电影信息抓下来2.1 为什么这个场景用 requests bs4 而不是 Scrapy春节档电影信息爬取这类任务数据量通常在几十条到几百条之间目标站点就一两个字段需求也相对固定。用 Scrapy 当然能写但框架本身的工程结构、中间件、管道对这么小的采集任务来说偏重。requests 负责发请求拿 HTMLBeautifulSoup 负责解析 DOM 提取字段两个库配合足够应付猫眼、豆瓣这类以服务端渲染为主的页面。另一个考虑是调试成本requests 的代码是线性执行的出问题可以直接在报错行打断点看响应内容不需要理解 Scrapy 的异步调度逻辑。需要注意的是这里的“动态页面”问题。电影列表页和详情页大部分字段直接写在 HTML 里属于“半静态”内容bs4 完全能解析。只有实时票房这类走 AJAX 接口的数据才需要另想办法。所以用 requests bs4 不是技术落后而是选择了与目标页面形态匹配的工具。2.2 目标页面的字段提取先看结构再写代码以猫眼电影列表页为例每部电影的信息通常集中在div.movie-item里包含片名、主演、上映日期、想看人数、评分等字段。写爬虫前先打开开发者工具选中一部电影的元素记录下它在 HTML 中的层级关系。建议把字段抽象成一张映射表这样代码逻辑和页面结构分离页面改版时也容易定位。字段页面位置示例处理方式片名p.movie-title a的文本strip 去空格主演p.star的文本去掉“主演”前缀上映日期p.movie-item-title后的div内正则提取 YYYY-MM-DD想看人数div.movie-item-number内的数字去掉“万”后转 float评分span.integer与span.fraction拼接合并为 7.5 格式这个表的用途有两个一是写parse_movies函数时照着字段名取数据二是后续清洗时知道哪些字段是字符串、哪些需要做类型转换。建议把表结构直接写成代码里的注释方便两周后回来看还能记住当时的设计意图。2.3 最小可运行的采集代码抓列表页并解析字段import requests from bs4 import BeautifulSoup import time import csv HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } def fetch_page(url, retry3): 发送 GET 请求失败时重试返回 HTML 文本 for attempt in range(retry): try: resp requests.get(url, headersHEADERS, timeout10) if resp.status_code 200: return resp.text except requests.RequestException as e: print(f第 {attempt 1} 次请求失败: {e}) time.sleep(2) return def parse_movies(html): 从列表页 HTML 中提取电影信息列表 soup BeautifulSoup(html, html.parser) movies [] for item in soup.select(div.movie-item): title_tag item.select_one(p.movie-title a) if not title_tag: continue movies.append({ name: title_tag.get_text(stripTrue), star: item.select_one(p.star).get_text(stripTrue).replace(主演, ), date: item.select_one(div.movie-item-title).get_text(stripTrue), wish: item.select_one(div.movie-item-number).get_text(stripTrue), score: .join(item.select_one(div.score).stripped_strings) if item.select_one(div.score) else 暂无 }) return movies这段代码的逻辑分两层fetch_page负责网络请求把超时、连接异常都在函数内部消化掉返回的要么是正常 HTML要么是空字符串调用方不需要关心重试细节。parse_movies负责解析用select_one定位字段取不到评分的电影用“暂无”占位避免后续处理时 KeyError。参数方面timeout10是给每个请求的硬性超时防止某个连接卡死拖慢整个采集retry3是网络抖动时的兜底。headers 里的 User-Agent 不能省很多站点对裸 requests 请求直接返回 403。2.4 翻页、限速与反爬采集层最容易翻车的三个细节春节档电影列表通常只有一页但如果你想把“正在热映”“即将上映”都抓下来就需要处理分页。猫眼的列表页 URL 里有offset参数每页 12 部跳页就是改这个数字。建议把翻页循环写成for offset in range(0, max_count, 12)并在每轮请求之间time.sleep(random.uniform(1, 3))把请求频率压到每秒 0.3 到 1 次。反爬策略里最基础的三个点第一User-Agent 伪装成浏览器第二请求间隔随机化避免固定节拍触发电商类站点的频控第三控制总请求量抓取公开的静态页面时单次任务几十个请求属于合理范围。如果遇到 403 或验证码页面优先检查是不是 Cookie 过期了而不是盲目堆代理。另外爬虫行为建议遵守目标站点的 robots.txt 和用户协议仅用于学习和个人研究不要对线上服务造成压力。把采集结果写入 CSV 文件时记得指定encodingutf-8-sig否则用 Excel 打开中文会乱码。3. 用 pandas 把原始爬取结果清洗成可分析的数据结构3.1 为什么可视化之前必须做数据清洗从页面解析出来的字段全是字符串“121.9万”“2025-01-29上映”“7.6”混杂在一起。直接把这样的数据丢给 echarts 画图图表能画出来但排序是错的比如“9.8万人想看”会被当成字符串排在“100万”前面。清洗的目标是让每一列都有正确的数据类型和统一的口径这是数据可视化项目里最容易被跳过、又最能体现工程素养的部分。pandas 在这个环节的价值是批量处理读 CSV、类型转换、去重、缺失值填充几行代码就能完成。清洗后的 DataFrame 再交给图表库图表代码会简单很多因为不需要在渲染层做一堆字符串转换。3.2 清洗流程单位换算、数值化、去重import pandas as pd import re def clean_movies(df): 清洗电影数据类型转换 去重 缺失值处理 # 1. 去掉片名完全重复的记录 df df.drop_duplicates(subset[name]) # 2. 上映日期转为 datetime 类型2025-01-29上映 提取日期部分 df[date] df[date].str.extract(r(\d{4}-\d{2}-\d{2})) df[date] pd.to_datetime(df[date], errorscoerce) # 3. 想看人数 121.9万 - 1219000 def parse_wish(val): val str(val).replace(人想看, ).strip() if val.endswith(万): return float(val[:-1]) * 10000 return pd.to_numeric(val, errorscoerce) df[wish] df[wish].map(parse_wish) # 4. 评分列整数部分和小数部分拼接后转 float暂无 保留 NaN df[score] pd.to_numeric(df[score], errorscoerce) return df df pd.read_csv(movies_raw.csv, encodingutf-8-sig) df_clean clean_movies(df) print(df_clean.dtypes)这段清洗代码有四个关键步骤。第一步去重防止翻页过程中同一部电影重复抓取。第二步用正则从“2025-01-29上映”里提取日期配合pd.to_datetime转成时间类型便于后续按日聚合。第三步处理“万”这个中文单位121.9万必须转成1219000才能在图表里正确参与数值比较和排序。第四步把评分转成 floaterrorscoerce会把无法解析的值变成 NaN这些缺失评分在绘图时会被 pyecharts 自动忽略。清洗时最容易忽略的是数据类型检查。不要只print一眼就往下走建议执行df_clean.info()确认每一列的类型是否符合预期。date应该是datetime64[ns]wish和score应该是float64如果wish还是object类型说明有某些行没被正则匹配到需要回头检查原始文本格式。3.3 基于清洗后的数据做聚合票房期望、评分均值、按日趋势清洗只是手段分析才是目的。春节档数据有几个常见的聚合视角。第一个是电影热度排名按wish降序取 Top10直接作为后续图表的输入df_clean.nlargest(10, wish)。第二个是类型与评分的关系如果原始数据里有类型字段可以先split(、)再explode()然后groupby(type)[score].mean().sort_values(ascendingFalse)看哪种类型平均口碑最好。第三个是上映日期分布统计每天有多少部新片上映、累计想看人数是多少可以用df_clean.groupby(df_clean[date].dt.day)[wish].sum()画出整个春节档的热度曲线。# 按上映日期统计每日想看总人次用于趋势图 daily_wish df_clean.groupby(df_clean[date].dt.day)[wish].sum().sort_index() # 按评分分桶观察评分与想看人数的关系 bins [0, 5, 6, 7, 8, 10] labels [5分, 5-6分, 6-7分, 7-8分, 8-10分] df_clean[score_range] pd.cut(df_clean[score], binsbins, labelslabels) range_stats df_clean.groupby(score_range, observedFalse)[wish].mean()这里要留意pd.cut的分桶边界bins[0, 5, 6, 7, 8, 10]意味着 5 分被分到第二档8 分被分到第四档。observedFalse是为了让groupby保留所有分桶即使某个分桶里没有电影也会显示为 NaN这样绘图时坐标轴不会缺类别。聚合结果可以直接存成新的 CSV 或 JSON作为可视化层的输入数据。4. 用 pyecharts 把清洗后的电影数据渲染成可视化大屏4.1 可视化选型为什么这个项目适合 pyecharts 而不是纯 matplotlibmatplotlib 的强项是出版级静态图表但春节档数据分析这类场景要的是能交互、能放在 PPT 里演示的图表鼠标悬停看具体数值、点击图例切换系列、整体配色符合大屏风格。pyecharts 是 echarts 的 Python 封装生成的图表是 HTML 文件浏览器直接打开就能交互不需要额外搭建服务。它和“数据可视化大屏”这个场景天然匹配图表之间可以自由组合成 Grid 布局所有图表的宽度、颜色、字体都能统一配置输出是一个完整的 HTML 文件你可以把多个图表上下排列成一块数据看板。相比挨个截图再贴到 PPT 里直接交互式展示更直观。4.2 三张核心图表的代码实现Top10 条形图、散点图、趋势图from pyecharts.charts import Bar, Scatter, Line, Grid from pyecharts import options as opts # 1. 想看人数 Top10 横向条形图 top10 df_clean.nlargest(10, wish) bar ( Bar() .add_xaxis(top10[name].tolist()) .add_yaxis(想看人数, top10[wish].tolist(), category_gap40%) .reversal_axis() .set_series_opts( label_optsopts.LabelOpts(positionright, formatter{c}), tooltip_optsopts.TooltipOpts(formatter{b}: {c}人次) ) .set_global_opts( title_optsopts.TitleOpts(title2025春节档想看人数TOP10), xaxis_optsopts.AxisOpts(name人次), yaxis_optsopts.AxisOpts(name片名), ) ) # 2. 评分 vs 想看人数 散点图 scatter ( Scatter() .add_xaxis(df_clean[wish].tolist()) .add_yaxis(评分, df_clean[score].tolist(), symbol_size10) .set_series_opts( tooltip_optsopts.TooltipOpts(formatter{c}) ) .set_global_opts( title_optsopts.TitleOpts(title口碑与热度关系), xaxis_optsopts.AxisOpts(name想看人数, type_value), yaxis_optsopts.AxisOpts(name评分, max_10), ) ) # 3. 每日想看人次趋势线图 line ( Line() .add_xaxis(daily_wish.index.tolist()) .add_yaxis(每日想看人次, daily_wish.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title春节档每日想看人次走势), xaxis_optsopts.AxisOpts(name日期(1月)), yaxis_optsopts.AxisOpts(name人次), datazoom_opts[opts.DataZoomOpts(range_start0, range_end100)], ) )三张图分别对应三种数据关系条形图适合展示排名数据标签放在条形右侧formatter{c}显示原始数值比默认的轴刻度更直观散点图用来判断“口碑好的电影是不是一定热度高”wish放 X 轴、score放 Y 轴能明显看出右上角是叫好又叫座的作品折线图展示整个档期的热度变化datazoom_opts加了一个滑动缩放条如果档期跨度长用户可以自己拉取区间查看细节。reversal_axis()是条形图的关键调用它的作用是把图表转成横向布局这样电影名称从左到右排列不会被过长的片名截断。category_gap40%控制柱子的间距数值越小柱子越粗适合片名较多的情况。4.3 用 Grid 组合图表生成一份可交互的 HTML 大屏单张图表单独打开不够“看板”用 Grid 把上面三张图组合到同一个页面顺序是上部放条形图左下放散点图右下放折线图。Grid 的定位可以理解为百分比坐标grid参数接受四个值左边距、上边距、右边距、下边距。grid ( Grid(init_optsopts.InitOpts(width1600px, height900px, bg_color#0f1423)) .add(bar, grid_optsopts.GridOpts(pos_top5%, pos_bottom55%, pos_left15%, pos_right5%)) .add(scatter, grid_optsopts.GridOpts(pos_top55%, pos_bottom5%, pos_left15%, pos_right55%)) .add(line, grid_optsopts.GridOpts(pos_top55%, pos_bottom5%, pos_left55%, pos_right5%)) ) grid.render(spring_festival_dashboard.html)Grid本身只负责定位不负责图表配置每个子图表在传入Grid之前就要完成所有set_global_opts设置。bg_color#0f1423是深色大屏的常见背景色如果你的 PPT 模板是浅色的可以改成#ffffff。pos_top和pos_bottom的比例关系决定上下区域的高度上半部分留了 50% 给条形图下半部分左右各 40% 和 40%中间留一点间距避免图表重叠。生成 HTML 后建议检查几个交互点鼠标悬停是否显示正确的字段提示、缩放条是否能拖动、页面宽度在 1366 和 1920 下是否都不出现横向滚动条。如果发现文字溢出或坐标轴重叠优先调整 Grid 的边距参数不要改图表内部字体大小来硬凑。5. 源码与 PPT 材料的整合把脚本变成可交付的完整项目5.1 源码目录结构每个文件只做一件事拿到“完整源码PPT材料”这类压缩包第一眼看的是目录结构是否清晰。建议按下述方式组织这也是多数 Python 数据类项目的标准布局spring_festival_movie/ ├── main.py # 一键运行入口 ├── crawler.py # 采集模块请求 解析 ├── cleaning.py # 清洗模块pandas 处理 ├── visualize.py # 可视化模块pyecharts 图表 ├── requirements.txt # 依赖清单 ├── data/ │ ├── movies_raw.csv # 爬取原始数据 │ └── movies_clean.csv # 清洗后数据 ├── output/ │ └── spring_festival_dashboard.html └── ppt/ └── 春节档数据分析.pptxmain.py 只需要做三件事调用爬虫写 CSV调用清洗函数生成干净数据调用可视化函数输出 HTML。中间再用print输出当前进度比如“采集完成共 28 部电影”“清洗完成有效记录 25 条”。这样别人打开项目不用读全部代码跑一遍 main.py 看到输出就知道整个流程的工作状态。requirements.txt 内容越精简越好本项目通常只需要requests、beautifulsoup4、pandas、pyecharts四行。版本号不建议锁死直接写最小版本号例如pandas1.5.0避免在 Python 3.12 等新环境下装不上旧版本依赖。5.2 PPT 材料里放什么结论导向而不是代码堆砌PPT 是配套材料不是代码说明书。九页左右的篇幅比较合适选题背景、技术架构、数据来源说明、清洗前后对比、三张核心图表、分析结论、不足与可扩展方向、项目演示截图、参考资料。其中最容易出彩的是“清洗前后对比”这页左边放原始 CSV 截图有“万”“暂无”等脏数据右边放清洗后的表格截图不需要解释就能看出数据工程的价值。图表页建议直接用 4.3 生成的 HTML 截图确保 PPT 里的静态图与演示时的交互图是同一份数据、同一套配色。分析结论要给出具体数字比如“TOP3 电影的想看人数占全部影片的 67%”“评分 8 分以上的电影平均想看人数是 7 分以下的 3.2 倍”这类量化结论才能体现分析深度。5.3 一键运行与换数据场景下的关键改动交付前务必在自己的 Python 环境里完整跑一遍 main.py。常见的失败场景有三个ModuleNotFoundError说明 requirements.txt 没装全FileNotFoundError说明没有先创建 data 和 output 目录编码相关报错基本都出在 CSV 读写上统一用utf-8-sig可以规避。如果拿到项目的人不熟悉 Python 环境可在 README 里写清 Python 3.8 和pip install -r requirements.txt两步操作。想换一个年份或换一批片单时需要改动的代码位置集中在 crawler.py 顶部的 URL 配置换年份就改链接里的日期参数换平台就要在parse_movies里重写字段选择器。建议把 URL 和字段选择器都抽成模块级变量方便替换而不动解析逻辑。运行后先看清洗阶段打印的有效记录数如果数量为 0八成是页面结构变了需要重新打开开发者工具确认选择器是否失效。5.4 验证可视化输出质量的两个技巧HTML 大屏生成后除了肉眼检查还可以做两步自动化验证。第一步是在 Python 里读取清洗后的 CSV计算关键指标并与图表显示值比对比如df_clean[wish].nlargest(1).values[0]应该等于条形图第一根柱子的数值。第二步是在浏览器开发者工具的 Console 里确认没有 JavaScript 报错pyecharts 生成的 HTML 依赖外部 CDN 的 echarts 脚本离线环境下图表会渲染不出来如果演示现场没有网络需要把脚本文件改为本地引用或在有网的环境下生成完整 HTML。本文还有配套的精品资源点击获取