简介面向Python数据分析与可视化学习者是一套以影视行业数据为载体的完整项目资源可清晰展示数据分析、深度学习建模与可视化呈现之间的衔接流程。项目将FCN全卷积网络用于非图像影视数据的特征提取将LSTM长短时记忆网络用于影评情感分类和票房预测同时利用漏斗图、饼图、柱状图展示题材结构、上映环节流失和票房差异等业务规律。压缩包共273个文件体积约120.38MB主要包含63个Python源码、38个HTML可视化页面、36个pyc编译产物配以csv/xls数据表、pb/pth/h5/bin模型文件以及jpg/png/svg/gif图片和css/js前端资源模型权重与PCA降维中间文件也一并提供整体目录结构清晰适合二次调试。当前已有566人学习使用。通过学习可掌握影视数据从清洗、特征工程、模型训练到可视化的完整链路并可直接复用代码、模型与数据作为课程设计、毕业设计或简历项目的参考范例。1. 从一部“扑了”的片子说起Python影视数据分析可视化在解决什么问题前几天帮朋友复盘一部片子口碑评分不低票房却远低于预期。数据散在三个页面评分页一个数字评分人数藏在详情里上映日期和类型又在另一个列表。手工复制到 Excel 再做趋势图花了两个小时得出的结论还经不起追问——因为局部数据凑不出来整体判断。这个标题讲的正是这件事用 Python 把影视数据的获取、清洗、指标计算、可视化串成一条能自动跑的流水线最后打开一个 HTML 页面就能看清一部片子从口碑到市场的表现。这套方法适合影视宣发、内容策划、平台运营也适合想用 Python 做数据分析可视化的从业者。目标不是画几张漂亮图而是让决策者能在一个页面里完成判断片子口碑到底是真好还是假好类型趋势有没有变化评分人数和评分之间有没有背离。接下来从数据源头开始把这条流水线拆开讲。2. 影视数据从哪来公开数据集、TMDB API 与网页抓取的选型和清洗2.1 数据源怎么选三套方案的适用场景与代价做影视数据分析第一步不是写代码是确定数据从哪来。数据源决定你能回答什么问题也决定后面要花多少时间清洗。常见做法有三类我按代价从低到高排了一张表。数据源优点代价适合场景公开数据集如 MovieLens字段干净、格式统一、无需联网不含票房评分偏向影迷群体验证分析流程、学习聚合和可视化TMDB API覆盖影视元数据含评分、类型、简介需要申请 API key有请求频率限制需要按类型/年份/地区做交叉分析网页抓取以豆瓣为例字段贴近国内语境评分和短评真实反爬识别敏感需要控制频率小规模定向分析且遵守站点规则MovieLens 这类学术界公开数据集几乎没有门槛适合先把分析流程跑通TMDB API 适合需要影片元数据但没有现成文件的项目网页抓取是最容易翻车的路径识别到高频访问会直接弹验证页做学习项目时我一般不建议从这里开始先拿公开数据把流程走通再决定要不要补抓。抓取本身不是复杂的事复杂的是频率控制和应对页面改版这两条都是持续维护成本。“获取”这一步还有个常见误解拿到 data.csv 就算数据到位了。实际上影视数据的字段质量参差评分列可能是字符串年份列可能有空值类型列可能是“喜剧/爱情”这样的多值结构不处理干净后面画图全是错的。2.2 清洗这一步做扎实类型转换、空值与多值拆分清洗的目标是让每一列的类型可计算、每一行的语义可解释。我习惯先用read_csv读进来再集中处理四件事列名统一、数值转换、空值剔除、多值字段拆分。下面这段是把常见影视数据导出文件处理成可分析结构的代码。import pandas as pd df pd.read_csv(movies.csv, encodingutf-8-sig) df.columns [movie_id, title, genres, rating, votes, year] # 年份统一成整数读入时常见是2023或2023.0甚至混入空字符串 df[year] pd.to_numeric(df[year], errorscoerce) df df.dropna(subset[year]) df[year] df[year].astype(int) # 评分人数参与排序前必须转数值否则会按字符串比较998会排在10000后面 df[votes] pd.to_numeric(df[votes], errorscoerce).fillna(0).astype(int) # genres 可能是喜剧/爱情或Comedy|Romance先把多种分隔符统一成/ df[genres] df[genres].str.replace(|, /, regexFalse) # 多值字段按/拆开后展开成多行一个影片会因此占多行 df df.assign(genredf[genres].str.split(/)).explode(genre) df df.dropna(subset[genre]) # 输出清洗后的行数、列名、前三条数据确认没有明显问题 print(df.shape) print(df.head(3))pd.to_numeric的errorscoerce是把非数字内容转成 NaN再用dropna丢弃这样年份列不会混进字符串。评分人数用fillna(0)补零因为评分人数缺失和确实是 0 在参与排序时不应被特殊对待。.str.replace(|, /, regexFalse)这一步容易漏影视导出的类型字段分隔符很乱统一成同一个分隔符之后split才可靠。explode会把“喜剧/爱情”拆成两行同一部片子出现在两个类型里后续按类型分组时不会互相干扰。清洗完的数据大概率还是会有问题。一个常见坑是年份混入“2023-01-01”这类日期字符串to_numeric会把它转成 NaN 丢掉看似数据少了其实这是正确的丢弃因为日期型年份在年度聚合里会产生十几万个分组。另一个坑是explode之后行数暴增如果你的原始数据有一万部片子、平均每个 2.5 个类型展开后就有两万五千行这不代表数据变多只是粒度从“影片”变成了“影片-类型”。3. 影视分析看什么评分、类型、年份的指标口径与聚合逻辑3.1 指标口径评分、评分人数、年份、类型怎么变成可计算字段数据洗好之后要先定指标口径。口径不一致两张图之间就讲不出同一个故事。影视分析里最常见的三个核心字段是评分、评分人数、年份它们各自都有口径陷阱。评分字段要注意平均分和加权分的差别。直接对评分列求平均等于默认每一部片子的权重相同但一部 9.0 分只有 50 人评的冷门片和一部 8.0 分有两万人评的热门片市场意义完全不同。加权评分的算法是sum(rating * votes) / sum(votes)让评分人数多的片子对结果影响力更大这个口径更贴近观众整体观感。评分人数本身也是个可以单独分析的指标它反映的是声量不是质量。年份字段建议先分桶再聚合。不要直接拿具体年份画折线图那样会得到一条锯齿严重的曲线看不出周期趋势。常用做法是用pd.cut把年份切成“2010之前”“2010-2015”“2016-2020”“2021之后”这样的区间。类型字段则是多值标签分析粒度从“影片”换成“影片-类型”之后同一部片子的评分会同时计入它所属的多个类型这是对的但出结论时要注意样本量评分人数多的类型和只有两三部片子的类型不能放在同一张排序图里对比。下面这张表是我在影视项目里常用的一套最小指标集分析前先明确每个字段的计算口径。指标计算方式业务含义年度平均评分按年份分组求评分均值口碑随时间的整体走势年度活跃度按年份分组求评分人数均值观众讨论热度变化类型平均评分按类型分组求评分均值什么类型更容易出好口碑类型声量按类型分组求评分人数总和什么类型最受关注加权评分sum(rating * votes) / sum(votes)去掉冷门高分干扰后的口碑值3.2 用 pandas 聚合出类型和年份维度的表现指标口径定下来之后用groupby搭配agg一次把多个聚合算出来。我习惯把聚合逻辑写成一个函数输入清洗后的df输出各维度统计表这样后面换数据源时不用改分析代码。下面这段覆盖了年份走势、权重评分、类型过滤三个最常用的分析动作。# 按年份聚合看数量、平均评分、总评分人数 yearly ( df.groupby(year) .agg( title_count(title, nunique), rating_mean(rating, mean), votes_sum(votes, sum), ) .reset_index() ) # 整体加权评分消除冷门高分对判断的干扰 weighted_rating (df[rating] * df[votes]).sum() / df[votes].sum() print(加权评分:, round(weighted_rating, 2)) # 类型维度聚合nunique 统计影片数避免展开后的行数造成重复计数 genre_stat ( df.groupby(genre) .agg( movie_count(title, nunique), rating_mean(rating, mean), votes_sum(votes, sum), ) .reset_index() ) # 样本量过滤低于 20 部的类型不参与排序避免一部影片带偏整体判断 genre_stat genre_stat.query(movie_count 20).sort_values(rating_mean, ascendingFalse) print(genre_stat.head(10))nunique是这里最容易用错的地方。因为explode之后同一部片子会出现在多个类型里如果直接count会把多类型片子的重复行也算进去导致影片总数虚高。nunique按movie_id去重计数得到的才是真正的影片数。.query(movie_count 20)是过滤样本量的小技巧不用再写genre_stat[genre_stat[movie_count] 20]可读性更好。排序取head(10)之前先看看最低的movie_count是多少如果阈值设得太高会把小语种类型全过滤掉设得太低又会让只有三五部片子的类型霸榜。聚合结果不要直接拿来画图先打印出来肉眼检查一遍。检查两个点一是年份列是否连续中间缺年的要补成 NaN 还是直接跳过二是类型排名里有没有明显异常的数值比如某个类型的平均分高得离谱通常是因为样本量太少。4. 可视化怎么做从 matplotlib 静态图到 pyecharts 交互式图表的落地4.1 matplotlib 静态图先把字体问题一次配好影视分析里最常用的是趋势图和排名图matplotlib 完全够用。但第一步不是画图是配字体。Windows 和 macOS 环境下中文显示成方框是几乎每个人都会遇到的翻车现场原因很简单matplotlib 默认字体不包含中文字形需要手动指定中文字体。我在开头统一配置一次后面所有图都不会再为字体问题返工。import matplotlib.pyplot as plt # 放在脚本顶部全局生效 plt.rcParams[font.sans-serif] [Microsoft YaHei, SimHei] plt.rcParams[axes.unicode_minus] False # 用清洗后的年份聚合数据画折线图 fig, ax plt.subplots(figsize(10, 5)) ax.plot(yearly[year], yearly[rating_mean], markero, linewidth2) ax.set_title(年度平均评分走势) ax.set_xlabel(年份) ax.set_ylabel(平均评分) ax.grid(True, linestyle--, alpha0.5) fig.tight_layout() plt.show()plt.rcParams是全局配置放在脚本入口最稳不要在每个画图函数里重复设置。axes.unicode_minus处理的是负号显示问题如果不设成 False坐标轴上的负号会显示成方块。markero和数据点搭配要注意年度波动大的时候折线会显得很乱可以先对评分列做滚动平均再画平滑掉单年异常值。matplotlib 适合快速验证结论但不适合交付给非技术同事。保存成 PNG 发给对方没法交互也没法看具体数值。这时候就需要交互式图表。4.2 pyecharts 交互图参数与落地到可视化大屏的衔接影视数据分析可视化的交付物通常是 HTML 页面pyecharts 是这个场景最顺手的工具。它生成的是独立 HTML 文件浏览器直接打开就能交互还方便后续套进可视化大屏模板。下面这段用类型聚合结果画一个 Top10 排名柱状图。from pyecharts import options as opts from pyecharts.charts import Bar # 取前10个类型确保 x 轴名称与 y 轴数值一一对应 top10 genre_stat.head(10) genre_list top10[genre].tolist() rating_list top10[rating_mean].round(2).tolist() bar ( Bar() .add_xaxis(genre_list) .add_yaxis( 平均评分, rating_list, label_optsopts.LabelOpts(is_showTrue), ) .set_global_opts( title_optsopts.TitleOpts(title影视类型平均评分 Top10), yaxis_optsopts.AxisOpts(name平均评分), xaxis_optsopts.AxisOpts(name类型, axislabel_optsopts.LabelOpts(rotate15)), ) ) # 渲染出独立 HTML可直接分享给同事 bar.render(genre_top10.html)add_yaxis里的label_optsopts.LabelOpts(is_showTrue)控制柱顶是否显示数值影视分析里我一般打开因为读者经常要精确到小数点后两位而不是只看柱子高矮。axislabel_optsopts.LabelOpts(rotate15)是把 x 轴文字旋转 15 度类型名较长时避免重叠。render(genre_top10.html)是 pyecharts 的输出方式生成一个自带 JavaScript 的独立 HTML不需要本地起服务。企业里常把这些 HTML 汇总成可视化大屏。实际上 pyecharts 的Grid和Tab组件可以把多张图放进同一个页面形成从上到下的阅读流顶部是年度评分走势折线图中间是类型排名柱状图底部是评分人数分布饼图。做这一步时注意数据量pyecharts 会把数据序列直接写进 HTML一次灌几万条数据会让文件膨胀到几十 MB浏览器打开卡顿。影视数据量一般不大但如果你分析的是全量短评文本就得先聚合再画。5. 避坑指南影视数据分析可视化的 5 个常见问题与排查5.1 评分列是字符串排序结果完全反了现象评分列按数值排序后9.0 排在 8.5 前面但 10.0 反而排在 9.0 后面排名顺序看起来不成逻辑。原因read_csv把评分列读成了字符串字符串比较是按字符顺序而不是数值大小“9.0”和“10.0”比较时先比第一位字符所以“9”大于“1”排序就错了。解决对评分列做pd.to_numeric并errorscoerce把异常值暴露成 NaN 再处理。我一般会在清洗函数里加一行断言assert df[rating].dtype float64类型不对直接报错而不是带着错误数据往下跑。5.2 年份列混入空字符串和日期格式现象按年份聚合时出现了名为“nan”的分组或者年份轴上有“2023.0”“2023-01-01”这种不该出现的刻度。原因源文件中部分年份为空部分年份是日期字符串astype(int)在遇到非整数时会直接抛错或被读成浮点。解决先pd.to_numeric(errorscoerce)把日期字符串转成 NaNdropna之后再用astype(int)。如果你确实需要保留日期字符串里的年份可以用pd.to_datetime解析后dt.year提取。5.3 pyecharts 版本不同API 写法和网上教程完全对不上现象照着网上教程写from pyecharts import Bar运行直接报ImportError或者.add_yaxis报参数错误。原因pyecharts 0.5.x 和 1.x 的 API 完全不同老教程几乎全是 0.5 的写法新版本里Bar在pyecharts.charts包下options也成了独立子包。解决用新版本时统一按from pyecharts.charts import Bar、from pyecharts import options as opts的写法看官方示例前先确认版本号。也可以用pip freeze | grep pyecharts确认当前环境版本避免混用两代写法。5.4 类型多值字段没拆开一张饼图所有占比都失真现象类型占比饼图里“喜剧/爱情”这种组合类型占了一大块单独看“喜剧”时数值又对不上。原因没有对多值类型做拆分组合类型被当成了一个独立类型参与统计导致实际归属错误。解决用str.replace(|, /)统一分隔符str.split(/)拆分成列表再explode展开成多行。展开后的数据在按类型统计时务必用nunique而不是count否则重复行会把影片数算多。5.5 图表渲染出来是空的但 DataFrame 里明明有数据现象render生成了 HTML打开后图表区域是空白控制台也没有报错。原因常见两种情况一是groupby后没有reset_index()索引类型导致 x 轴数据对不上二是tolist()时数据为 NaNJSON 序列化时变成了 null。解决聚合后统一reset_index()画图前打印dtypes和isna().sum()确认数据列没有 NaN。还有一个隐蔽坑是round(2)之后数据类型变成 object再tolist()后 y 轴数据是字符串图表能渲染但数值无意义用astype(float)再转一次。6. 进阶把图表串成自助筛选的联动报告做到这里你已经能单张出图但离“给决策者用”还差一步。单张图只能回答一个问题实际业务里大家想的是“能不能自己选一个年份区间看口碑和声量的整体变化”。我常用的做法是把整个分析流程包进一个函数输入年份区间和样本量阈值输出一套图表再交给 Jupyter 的控件或者简单表单来驱动。def build_report(df, year_min2000, year_max2025, min_votes0): 生成一份指定年份区间和样本量阈值的影视分析报告 sub df[(df[year] year_min) (df[year] year_max)] sub sub[sub[votes] min_votes] yearly sub.groupby(year).agg( rating_mean(rating, mean), votes_sum(votes, sum), ).reset_index() genre_stat sub.groupby(genre).agg( movie_count(title, nunique), rating_mean(rating, mean), ).reset_index() genre_stat genre_stat.query(movie_count 20).sort_values(rating_mean, ascendingFalse) return yearly, genre_stat # 调用示例只看近十年的数据 yearly_part, genre_part build_report(df, year_min2015, year_max2025)这样每次调整参数后调用同一个函数得到的图结构完全一致只是数据范围不同。你可以在函数里继续叠加返回多张 pyecharts 图然后用Tab组件把它们拼到同一个 HTML 页面里。这个方案比我试过的“动态刷新整个大屏”靠谱得多后者需要前后端配合数据切片和请求响应的调试成本远高于收益。一个具体的检查方法是每年跑这个脚本时先把聚合结果和去年同期对比一遍看评分均值有没有系统性偏移。如果评分均值连续两年持续走高不要急着喊“行业变好了”先检查是不是数据源里高分影片更多了——样本构成变了均值自然变这个坑我踩过一次之后每次出结论都附带样本量。做影视数据分析可视化最稳定的习惯是把“清洗 → 聚合 → 出图”三段代码分开维护清洗坏了不会影响画图聚合逻辑改了不会牵扯字体配置。把每一步都固定成函数后换一个数据源时只需要重新处理清洗层其余部分几乎不用动。希望帮到你。本文还有配套的精品资源点击获取