简介本资源是面向高校计算机相关专业毕业设计场景的完整项目包围绕豆瓣电影数据爬取、分析与可视化展开适合正在准备Python方向毕设、需要可运行源码与配套论文参考的本科生及自学者。项目采用Flask搭建后端、ECharts完成图表渲染结合爬虫与pandas完成数据采集与清洗数据库使用MySQL覆盖从环境搭建到数据可视化的完整链路。压缩包共1054个文件约30.07MB以688个py源码文件为核心辅以pyc编译文件、html与js前端页面、jpg与png图表素材、sql建库脚本、docx论文文档及csv数据样例并包含虚拟环境与依赖安装相关文件目录结构清晰便于按模块查阅。目前已有255人学习下载。读者可获得可直接运行的完整源码、数据库脚本与论文文档理解爬虫抓取、pandas处理及ECharts多角度动态视图的实现思路为毕设选题、代码复现与答辩准备提供参考。1. 从一份能跑通的豆瓣电影数据系统说起豆瓣电影 Top250 的数据分析项目网上能搜到一大堆但真正能跑起来的没几个。要么爬虫被封了 IP要么 pandas 读取时字段对不上要么 Flask 启动后 ECharts 图表一片空白。我拿到这份「基于 Python 豆瓣电影数据分析及可视化系统」的完整包时第一反应也是先跑一遍再说。它包含源码、SQL 脚本和论文技术栈是 Flask ECharts 爬虫 pandas属于典型的 Python 毕业设计选题。适合谁正在做数据分析类毕设、需要一套能演示完整流程采集→清洗→存储→可视化的本科生以及想快速搭一个 Web 数据看板的初级开发者。它解决的核心问题是把散落在网页上的电影数据变成一张能交互、能筛选、能写进论文里的可视化报表。下面我按实际拆包顺序把每一步的参数和坑都摊开讲。2. 拆开数据链路爬虫、pandas 清洗与 MySQL 落库2.1 爬虫层requests lxml 抓取豆瓣 Top250 的字段设计豆瓣 Top250 的页面结构相对稳定每页 25 条共 10 页。项目里用的是 requests 发请求、lxml 做 XPath 解析。我一般会先确认目标字段排名、电影名、导演、主演、年份、国家、类型、评分、评价人数、一句话短评。这些字段在页面上的位置并不都在同一个父节点下需要分别定位。import requests from lxml import etree import time import random headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://movie.douban.com/top250 } def fetch_page(start): url fhttps://movie.douban.com/top250?start{start}filter resp requests.get(url, headersheaders, timeout10) if resp.status_code ! 200: print(f请求失败状态码{resp.status_code}) return None return etree.HTML(resp.text) def parse_page(html): items html.xpath(//ol[classgrid_view]/li) movies [] for item in items: rank item.xpath(.//div[classpic]/em/text())[0] title item.xpath(.//span[classtitle][1]/text())[0] info item.xpath(.//div[classbd]/p[1]/text()) info_text .join([t.strip() for t in info if t.strip()]) rating item.xpath(.//span[classrating_num]/text())[0] comment_num item.xpath(.//div[classstar]/span[4]/text())[0] quote item.xpath(.//span[classinq]/text()) quote quote[0] if quote else movies.append({ rank: rank, title: title, info: info_text, rating: rating, comment_num: comment_num, quote: quote }) return movies if __name__ __main__: all_movies [] for start in range(0, 250, 25): html fetch_page(start) if html is not None: all_movies.extend(parse_page(html)) time.sleep(random.uniform(1.5, 3.0)) print(f共抓取 {len(all_movies)} 条)这段代码的关键参数有三个User-Agent必须带否则豆瓣直接返回 418time.sleep的随机区间建议 1.5 到 3 秒太快会触发频率限制start参数从 0 到 225步长 25。XPath 里//ol[classgrid_view]/li是列表项容器每个li里再分别取排名、标题、信息、评分、评价人数和短评。注意info字段拿到的是一整段文本包含导演、主演、年份、国家、类型后续在 pandas 里要拆开。2.2 pandas 清洗从原始文本到结构化字段爬下来的info字段长这样「导演: 弗兰克·德拉邦特 主演: 蒂姆·罗宾斯 1994 美国 犯罪 剧情」。要把它拆成导演、主演、年份、国家、类型五个字段用 pandas 的str.extract配合正则最稳。import pandas as pd df pd.DataFrame(all_movies) # 提取年份匹配 4 位数字 df[year] df[info].str.extract(r(\d{4})) # 提取国家年份后面的第一个词通常是国家或地区 df[country] df[info].str.extract(r\d{4}\s(\S)) # 提取类型国家后面的剩余部分 df[genre] df[info].str.extract(r\d{4}\s\S\s(.)) # 提取导演和主演 df[director] df[info].str.extract(r导演:\s*(\S)) df[actors] df[info].str.extract(r主演:\s*([^\d])) # 评价人数去掉「人评价」后缀并转 int df[comment_num] df[comment_num].str.replace(人评价, ).astype(int) # 评分转 float df[rating] df[rating].astype(float) # 年份转 int缺失值填 0 df[year] pd.to_numeric(df[year], errorscoerce).fillna(0).astype(int) print(df[[title, year, country, genre, rating, comment_num]].head())这里有几个参数要留意。str.extract的正则里(\d{4})只取第一个四位数字如果电影名里带年份会误匹配所以最好先确认info字段的格式。errorscoerce把无法转换的值变成 NaN再用fillna(0)兜底。comment_num如果直接astype(int)遇到空值会报错所以先替换后缀再转。清洗完的数据建议先df.to_csv(douban_clean.csv, indexFalse, encodingutf-8-sig)存一份方便后续调试不用重复爬。2.3 MySQL 落库建表语句与批量插入项目里附带了 SQL 脚本核心表结构如下。我一般会加一个自增主键和唯一索引防止重复插入。CREATE TABLE douban_movie ( id int NOT NULL AUTO_INCREMENT, rank int DEFAULT NULL, title varchar(255) DEFAULT NULL, director varchar(255) DEFAULT NULL, actors varchar(500) DEFAULT NULL, year int DEFAULT NULL, country varchar(100) DEFAULT NULL, genre varchar(100) DEFAULT NULL, rating float DEFAULT NULL, comment_num int DEFAULT NULL, quote varchar(500) DEFAULT NULL, PRIMARY KEY (id), UNIQUE KEY uk_title_year (title, year) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;插入时用 pandas 的to_sql配合 SQLAlchemy 引擎最省事但要注意if_exists参数第一次建表用replace后续增量用append。如果直接append且唯一索引冲突会报 IntegrityError所以要么先清表要么用INSERT IGNORE或ON DUPLICATE KEY UPDATE。我一般会在插入前先df.drop_duplicates(subset[title, year], keepfirst)去重。from sqlalchemy import create_engine engine create_engine(mysqlpymysql://root:passwordlocalhost:3306/douban?charsetutf8mb4) df.to_sql(douban_movie, engine, if_existsappend, indexFalse, methodmulti)methodmulti会把多条插入合并成一条 SQL速度比逐条快很多但要注意 MySQL 的max_allowed_packet限制数据量大时分批插入更稳。3. Flask 后端路由设计与 ECharts 数据接口对接3.1 项目目录结构与 Flask 启动配置拿到源码后先看目录典型结构是app.py作为入口static/放 ECharts 的 js 文件和 csstemplates/放 HTML 模板data/放爬虫脚本和清洗后的 csv。启动前确认 Python 版本建议 3.8 以上依赖装flask、pymysql、sqlalchemy、pandas、requests、lxml。pip install flask pymysql sqlalchemy pandas requests lxml python app.py默认跑在http://127.0.0.1:5000。如果端口被占用改app.run(debugTrue, port5001)。debugTrue方便改代码自动重载但部署到服务器时要关掉否则有安全风险。3.2 数据接口把 pandas 聚合结果转成 ECharts 能吃的 JSONECharts 需要的是 JSON 格式的数据Flask 路由里用 pandas 做聚合再jsonify返回。比如要展示各年份电影数量的柱状图接口这样写from flask import Flask, jsonify, render_template import pandas as pd from sqlalchemy import create_engine app Flask(__name__) engine create_engine(mysqlpymysql://root:passwordlocalhost:3306/douban?charsetutf8mb4) app.route(/) def index(): return render_template(index.html) app.route(/api/year_count) def year_count(): df pd.read_sql(SELECT year, COUNT(*) AS cnt FROM douban_movie GROUP BY year ORDER BY year, engine) return jsonify({ years: df[year].tolist(), counts: df[cnt].tolist() }) app.route(/api/rating_dist) def rating_dist(): df pd.read_sql(SELECT rating, COUNT(*) AS cnt FROM douban_movie GROUP BY rating ORDER BY rating, engine) return jsonify({ ratings: df[rating].tolist(), counts: df[cnt].tolist() }) if __name__ __main__: app.run(debugTrue)pd.read_sql直接执行 SQL 并返回 DataFrame比手动游标取数再拼字典快得多。jsonify会自动设置Content-Type: application/json前端fetch拿到后直接.json()解析。注意年份如果为 0 的记录要过滤掉否则图表 x 轴会出现一个孤立的 0。3.3 前端 ECharts 初始化与异步数据绑定HTML 模板里引入 ECharts 的 CDN 或本地文件然后初始化图表实例用fetch拉接口数据再setOption。!DOCTYPE html html head meta charsetutf-8 title豆瓣电影数据分析/title script srchttps://cdn.jsdelivr.net/npm/echarts5.4.3/dist/echarts.min.js/script /head body div idyearChart stylewidth: 800px; height: 400px;/div script var chart echarts.init(document.getElementById(yearChart)); fetch(/api/year_count) .then(res res.json()) .then(data { chart.setOption({ title: { text: 各年份电影数量分布 }, tooltip: { trigger: axis }, xAxis: { type: category, data: data.years }, yAxis: { type: value }, series: [{ type: bar, data: data.counts, itemStyle: { color: new echarts.graphic.LinearGradient(0, 0, 0, 1, [ { offset: 0, color: #83bff6 }, { offset: 1, color: #188df0 } ]) } }] }); }); /script /body /htmlecharts.init的容器必须有明确的宽高否则图表不显示。fetch是异步的setOption必须放在.then里面否则数据还没回来就渲染了。柱状图渐变色用echarts.graphic.LinearGradient四个参数分别是 x、y、x2、y2控制渐变方向。如果 x 轴年份太密集加axisLabel: { rotate: 45 }旋转标签。4. 避坑排查爬虫 418、pandas 类型转换与 ECharts 空白4.1 爬虫返回 418 或 403现象requests 请求豆瓣返回 418页面提示「检测到有异常请求」。原因豆瓣对无 User-Agent 或高频请求做了拦截。解决必须带完整的User-Agent和Referer请求间隔随机 1.5 到 3 秒不要用多线程并发。如果还是被封换 IP 或等一段时间再跑。4.2 pandas 读取 CSV 后年份变成浮点数现象df[year]显示1994.0而不是1994。原因CSV 里年份列有缺失值pandas 默认用 NaN 填充整列变成 float。解决pd.to_numeric(df[year], errorscoerce).fillna(0).astype(int)先转数值再填 0 再转 int。4.3 ECharts 图表区域一片空白现象页面加载后 div 有宽高但图表不显示。原因echarts.init执行时容器还没渲染完成或者setOption在数据返回前就调用了。解决把echarts.init放在DOMContentLoaded事件里setOption放在fetch的.then里。另外检查容器 id 是否和getElementById一致。4.4 Flask 启动报 ModuleNotFoundError现象python app.py提示找不到flask或pymysql。原因依赖没装或装到了别的 Python 环境。解决确认pip对应的 Python 版本用python -m pip install flask pymysql sqlalchemy pandas requests lxml指定解释器安装。虚拟环境的话先激活再装。4.5 MySQL 插入中文乱码现象数据库里电影名显示问号或乱码。原因连接字符集不是 utf8mb4。解决SQLAlchemy 连接串加?charsetutf8mb4建表时也指定DEFAULT CHARSETutf8mb4。如果已经建表用ALTER TABLE douban_movie CONVERT TO CHARACTER SET utf8mb4;修改。5. 进阶技巧用 pandas 做交叉分析并接入 ECharts 饼图与地图5.1 国家与类型的交叉聚合基础图表跑通后论文里通常需要更有说服力的交叉分析。比如统计不同国家的高分电影数量或者类型与评分的分布关系。用 pandas 的groupby加agg一次搞定。# 按国家和类型分组统计数量和平均评分 cross df.groupby([country, genre]).agg( count(title, count), avg_rating(rating, mean) ).reset_index() # 只看数量大于 3 的组合避免长尾干扰 cross cross[cross[count] 3].sort_values(avg_rating, ascendingFalse) print(cross.head(10))agg里用字典指定不同列的不同聚合方式count统计电影数mean算平均评分。reset_index把分组键还原成列方便后续转 JSON。过滤count 3是为了让图表更干净否则会有大量只出现一次的组合。5.2 ECharts 饼图与中间文字饼图适合展示类型占比。ECharts 饼图中间的文字用title的subtext或者graphic实现但更简单的是用series.label的formatter。option { title: { text: 电影类型分布, subtext: Top250, left: center }, tooltip: { trigger: item }, series: [{ type: pie, radius: [40%, 70%], data: [ { value: 35, name: 剧情 }, { value: 20, name: 犯罪 }, { value: 15, name: 动作 }, { value: 10, name: 爱情 }, { value: 20, name: 其他 } ], label: { show: true, formatter: {b}: {d}% } }] };radius设成数组就是环形图中间空出来可以放文字。formatter里{b}是名称{d}是百分比。如果要在环形中间显示总数加一个graphic元素或者用title的subtext定位到中心。5.3 中国地图的接入与数据绑定ECharts 中国地图需要额外的china.js或china.json地理数据文件。项目里如果没带去 ECharts 社区下载对应版本。初始化时echarts.registerMap(china, geoJson)然后 series 的type设为mapmap设为china。fetch(/api/country_count) .then(res res.json()) .then(data { var mapChart echarts.init(document.getElementById(mapChart)); mapChart.setOption({ title: { text: 电影国家分布, left: center }, tooltip: { trigger: item }, visualMap: { min: 0, max: 50, left: left, top: bottom, text: [高, 低], calculable: true }, series: [{ type: map, map: china, data: data, label: { show: true } }] }); });visualMap控制颜色深浅min和max根据实际数据范围调整。如果地图不显示检查china.js是否加载成功以及registerMap是否在setOption之前调用。5.4 验证数据一致性跑完所有图表后我习惯用一条 SQL 对总数做校验SELECT COUNT(*) FROM douban_movie;应该等于 250。如果少了说明爬虫有漏页或者插入时被唯一索引挡掉了。再抽查几条SELECT * FROM douban_movie WHERE rank 1;确认《肖申克的救赎》的评分是 9.7。前端每个图表的数据总和也要和数据库对得上比如年份分布的 counts 加起来等于 250。这一步做完论文里的数据才站得住。从那以后我每次拿到这类毕设包都强制先跑一遍数据校验再动前端不然图表再好看数据对不上就是白搭。希望帮到你。本文还有配套的精品资源点击获取