简介这份资源面向计算机、人工智能、大数据、数学及电子信息等相关专业的学生与数据分析初学者提供一套可直接运行的电影数据集探索案例适合用作课程设计、期末大作业或毕设项目的参考素材。压缩包共3个文件包含1个py脚本、1个ipynb笔记本和1个html网页文件分别对应可执行代码、交互式分析流程与结果展示整体约674KB体积轻量便于快速上手。资源围绕电影数据展开涉及数据清洗、字段统计、可视化呈现等常见分析环节代码经过调试下载后即可运行帮助读者理解从原始数据到结论输出的完整链路。目前已有134人学习下载具备一定参考热度。对于需要快速搭建分析框架、对照实现思路或补充项目案例的学习者而言这份资料能提供可复用的代码结构与排错参考节省前期摸索时间。1. 拿到一个电影数据集压缩包先别急着read_csv很多人拿到「基于python数据分析-探索电影数据集.zip」这类资源第一反应是解压、双击、pd.read_csv三连然后被编码错误、列名错位、字段里塞着 JSON 字符串直接劝退。我见过太多人卡在这一步最后把锅甩给「数据集太脏」。其实电影数据集恰恰是练手数据分析最理想的素材字段类型丰富数值、类别、日期、文本业务问题直观什么类型赚钱、哪个导演高产、评分和票房到底啥关系而且脏得很有代表性——缺失、重复、单位不统一、一列里塞多个值全都能遇到。这篇笔记就围绕这个标题把「拿到压缩包到跑出可信结论」的完整链路拆开讲。适合两类人刚学完 pandas 基础、想找一个真实项目练手的新手以及做过几个数据分析项目、但总觉得自己结论「不够硬」的熟手。我会把每一步为什么这么做、参数怎么调、哪里容易翻车讲清楚你照着复现一遍就能得到一份能拿得出手的电影数据分析结果。数据分析项目实践里选对第一个数据集比多学三个库更重要。2. 解压之后先做数据体检电影数据集的结构摸底2.1 压缩包里通常有什么先列清楚再动手电影数据集压缩包解压后常见的是 1 到 3 个 CSV外加一个 README 或字段说明。别跳过 README它往往写明了字段含义、单位、数据来源年份这些信息直接决定你后面怎么解释结果。我一般会先做三件事看目录结构、看文件大小、看每个文件前几行原始内容。注意是「原始内容」不是read_csv之后的内容——因为 pandas 会自动推断类型有时候会把本该是字符串的 ID 列读成数字把0001变成1这种坑在合并表的时候会要命。# 先看压缩包和解压后的目录结构别急着写 python unzip -l 电影数据集.zip # 不解压先列出压缩包内文件清单 unzip 电影数据集.zip -d movie_data ls -lh movie_data/ # 看文件大小判断数据量级 head -n 3 movie_data/*.csv # 看原始前几行注意分隔符和编码unzip -l让你在解压前就知道里面有几个文件、大概多大避免解压出一堆没用的东西。head看原始行很关键如果第一行是\ufeff开头的乱码说明是 UTF-8 with BOM如果字段之间是分号而不是逗号说明是欧洲格式的 CSV。这些信息决定你read_csv时要不要加encoding和sep参数。2.2 用 pandas 做一次完整的数据体检体检的目标是回答四个问题有多少行多少列、每列什么类型、缺失值分布如何、有没有明显重复。我习惯写一个可复用的体检函数而不是每次手敲一堆.info()。import pandas as pd import numpy as np def inspect_df(df, namedf): print(f {name} ) print(f形状: {df.shape[0]} 行 x {df.shape[1]} 列) print(\n--- 各列类型与缺失 ---) report pd.DataFrame({ dtype: df.dtypes, non_null: df.notna().sum(), null: df.isna().sum(), null_pct: (df.isna().sum() / len(df) * 100).round(2), n_unique: df.nunique() }) print(report) print(f\n完全重复行: {df.duplicated().sum()}) return report movies pd.read_csv(movie_data/movies.csv, encodingutf-8) inspect_df(movies, movies)这个函数一次性输出列类型、非空数量、缺失数量、缺失比例、唯一值个数和重复行数。n_unique特别有用如果某一列唯一值个数等于行数它大概率是 ID如果只有个位数它是类别列适合做分组。缺失比例超过 60% 的列除非业务上极其重要否则我一般直接放弃硬填只会引入噪声。提示read_csv遇到编码报错时先试encodingutf-8-sig处理 BOM再试encodinggbk中文 Windows 导出的常见编码。不要一上来就errorsignore那会静默丢字符。2.3 字段类型修正把「看起来是数字」的列真正变成数字电影数据集里最典型的类型问题有三个预算/票房列带着$和逗号、日期列是字符串、时长列带着min后缀。这些不处理后面所有数值计算都会失败或算错。# 清洗金额列去掉 $ 和逗号转成 float for col in [budget, revenue]: if col in movies.columns: movies[col] ( movies[col].astype(str) .str.replace(r[\$,], , regexTrue) .replace({: np.nan, nan: np.nan}) .astype(float) ) # 日期列转 datetimeerrorscoerce 把无法解析的变成 NaT 而不是报错 if release_date in movies.columns: movies[release_date] pd.to_datetime( movies[release_date], errorscoerce ) movies[release_year] movies[release_date].dt.year # 时长列去掉单位 if runtime in movies.columns: movies[runtime] ( movies[runtime].astype(str) .str.extract(r(\d))[0] .astype(float) )str.replace里的正则[\$,]表示同时去掉美元符号和逗号。.replace({: np.nan})是因为有些空值被astype(str)变成了空字符串不处理会在astype(float)时报错。errorscoerce是日期转换的后悔药把解析不了的脏日期变成NaT让你能统计有多少条日期有问题而不是整个脚本崩掉。做完这一步再跑一次inspect_df确认类型符合预期。3. 清洗与特征构造让电影数据集能回答业务问题3.1 缺失值处理不是所有缺失都该填电影数据集里预算和票房的缺失往往不是随机的——小成本独立电影经常没有公开预算。直接删掉这些行你的分析就只剩大片结论会严重偏倚。我的处理原则是先量化缺失再决定策略并且把策略写进注释方便回溯。# 先看关键数值列的缺失情况 key_cols [budget, revenue, runtime, vote_average] print(movies[key_cols].isna().mean().round(3)) # 策略一票房和预算缺失的行单独存一份不参与回报率分析 movies_with_fin movies.dropna(subset[budget, revenue]).copy() movies_with_fin movies_with_fin[ (movies_with_fin[budget] 0) (movies_with_fin[revenue] 0) ] # 策略二评分缺失用中位数填但要标记出来 movies[vote_average_filled] movies[vote_average].isna() movies[vote_average] movies[vote_average].fillna( movies[vote_average].median() )这里的关键是「分开处理」做财务分析时用movies_with_fin做类型分布分析时用全量movies。用中位数而不是均值填评分是因为评分分布通常左偏均值会被极端高分拉高。加一个vote_average_filled标记列是为了在后续分析里能排除填充值的影响这是很多人忽略的一步。3.2 从一列里拆出多个值类型和演员字段的处理电影数据集里genres列经常长这样Action|Adventure|Sci-Fi。想按类型分组统计就得先拆开。常见做法是拆成多行explode或者做 one-hot 编码。我一般两种都做explode 用于分组聚合one-hot 用于建模。# 拆分 genres 列统计每个类型的电影数量和平均评分 genres_exploded ( movies.assign(genremovies[genres].str.split(|)) .explode(genre) ) genres_exploded[genre] genres_exploded[genre].str.strip() genre_stats ( genres_exploded.groupby(genre) .agg( 电影数(title, count), 平均评分(vote_average, mean), 平均票房(revenue, mean) ) .sort_values(电影数, ascendingFalse) .round(2) ) print(genre_stats.head(10)).str.split(|)把字符串变成列表.explode()把列表展开成多行这是 pandas 处理「一列多值」的标准组合拳。注意str.split里的|在正则里是特殊字符但 pandas 的str.split默认按字面量分割所以不用转义。分组后同时算数量、评分、票房三个指标一张表就能看出「哪些类型又多又赚钱」。如果某个类型电影数很少但平均票房极高要警惕是小样本波动别急着下结论。3.3 构造回报率特征票房除以预算才是硬指标光看票房绝对值会被大制作带偏真正有业务含义的是回报率。构造这个特征时要注意除零和极端值。movies_with_fin[roi] ( movies_with_fin[revenue] / movies_with_fin[budget] ) # 看分布决定要不要截断 print(movies_with_fin[roi].describe( percentiles[0.01, 0.25, 0.5, 0.75, 0.99] )) # 极端值处理ROI 超过 100 的基本是数据错误或极小成本单独看 outliers movies_with_fin[movies_with_fin[roi] 100] print(fROI 100 的记录数: {len(outliers)})describe带自定义百分位能快速看出分布形态。如果 99 分位是 20而最大值是 5000那最大值大概率是预算填错比如少写一个零。我一般会把 ROI 超过某个阈值的记录单独拎出来人工看一眼而不是直接clip掉——因为有些小成本恐怖片确实回报率惊人那是真实业务信号不该被当成噪声。4. 探索性分析电影数据集里真正值得看的四个问题4.1 评分和票房到底有没有关系这是被问得最多的问题也是最能体现分析功力的地方。直接算皮尔逊相关系数往往很低因为关系是非线性的而且被预算这个混杂因素干扰。import matplotlib.pyplot as plt import seaborn as sns # 先看整体相关性 corr movies_with_fin[[budget, revenue, vote_average, runtime, roi]].corr() print(corr[vote_average].sort_values(ascendingFalse)) # 分预算档位看评分与票房的关系 movies_with_fin[budget_tier] pd.qcut( movies_with_fin[budget], q4, labels[低预算, 中低, 中高, 高预算] ) tier_corr ( movies_with_fin.groupby(budget_tier) .apply(lambda g: g[vote_average].corr(g[revenue])) .round(3) ) print(tier_corr)pd.qcut按分位数分箱保证每档电影数量接近。分档后算相关系数你可能会发现高预算档里评分和票房相关性反而更弱——因为大片票房靠营销和 IP不靠口碑。这个结论比「相关系数 0.2」有价值得多。画图时用sns.scatterplot加huebudget_tier能直观看到不同档位的散点分布差异。4.2 哪些类型是「叫好又叫座」把类型统计和 ROI 结合起来才能找到真正值得投资的类型。注意要同时看中位数和均值避免被极端值误导。genre_roi ( genres_exploded.dropna(subset[budget, revenue]) .query(budget 0 and revenue 0) .assign(roilambda d: d[revenue] / d[budget]) .groupby(genre) .agg( 电影数(title, count), ROI中位数(roi, median), ROI均值(roi, mean), 平均评分(vote_average, mean) ) .query(电影数 20) # 过滤小样本 .sort_values(ROI中位数, ascendingFalse) .round(2) ) print(genre_roi).query(电影数 20)这步很重要样本太少的类型统计不可信。ROI 中位数和均值差距大的类型说明有几部爆款拉高了均值实际投资风险高。把评分也放进来就能找到「ROI 中位数高且评分不低」的类型那才是健康的高回报领域。4.3 时间维度电影产量和评分的年代变化电影数据集通常跨几十年按年份聚合能看出行业变迁。但要注意早期数据可能不完整别把「数据缺失」当成「产量下降」。yearly ( movies.dropna(subset[release_year]) .query(release_year 1970) .groupby(release_year) .agg( 产量(title, count), 平均评分(vote_average, mean), 平均时长(runtime, mean) ) .reset_index() ) fig, ax1 plt.subplots(figsize(12, 5)) ax1.bar(yearly[release_year], yearly[产量], alpha0.4, label产量) ax1.set_ylabel(电影产量) ax2 ax1.twinx() ax2.plot(yearly[release_year], yearly[平均评分], colorred, label平均评分) ax2.set_ylabel(平均评分) plt.title(电影产量与平均评分的年代变化) plt.show()双轴图适合展示两个量纲不同的指标。query(release_year 1970)是人为设的截断因为再早的数据样本太少画出来会误导。如果你发现某一年产量突然暴跌先回去查原始数据是不是那几年缺失而不是直接解读成行业事件。4.4 用分组聚合找「高产且高质量」的导演按导演分组时最大的坑是名字不统一有的带中间名有的拼写不同。先做名字规范化再统计。# 简单规范化去空格、转小写、去掉多余标点 movies[director_clean] ( movies[director].astype(str) .str.strip() .str.lower() .str.replace(r[^\w\s], , regexTrue) ) director_stats ( movies.groupby(director_clean) .agg( 作品数(title, count), 平均评分(vote_average, mean), 平均票房(revenue, median) ) .query(作品数 5) .sort_values(平均评分, ascendingFalse) .round(2) ) print(director_stats.head(15))用中位数而不是均值算平均票房是因为导演作品里只要有一部爆款均值就失真。作品数 5保证统计有意义。名字规范化只是最基础的一步真实项目里还需要处理「同一导演不同拼写」的问题那通常要建映射表这里先用简单规则覆盖大部分情况。5. 避坑与排查电影数据集分析里最容易翻车的五件事5.1 现象合并两张表后行数暴涨原因用于合并的键比如电影名或 ID在某一侧有重复值导致笛卡尔积。电影名尤其容易重复因为存在翻拍和同名作品。解决合并前先检查键的唯一性。df[key].duplicated().sum()不为零就要先聚合或去重。合并后用len(df)和预期行数对比暴涨了立刻回头查键。我一般会在 merge 后加一句assert len(merged) len(left) * 1.5作为防线。5.2 现象按类型分组后总数对不上原因一部电影有多个类型explode 后同一部电影出现在多行count统计的是「类型-电影」组合数不是电影数。解决统计电影总数时用nunique()而不是count()。genres_exploded.groupby(genre)[title].nunique()才是每个类型的独立电影数。这个坑在写报告时特别致命数字对不上会被质疑整个分析。5.3 现象票房通胀没调整早期电影看起来「不赚钱」原因不同年份的美元购买力不同1970 年的 1000 万票房和 2020 年的 1000 万完全不是一个概念。解决要么按年份分组分析要么用通胀调整系数换算成可比价格。如果数据集没有提供调整系数至少在结论里注明「未做通胀调整」别直接跨年代比较绝对值。我一般会加一列revenue_adj用公开的年度 CPI 做粗略换算。5.4 现象SettingWithCopyWarning刷屏改了数据没生效原因对 DataFrame 切片后直接赋值pandas 不确定你改的是视图还是副本。解决切片时显式加.copy()比如movies_with_fin movies.dropna(...).copy()。或者在赋值时用.loc。这个警告不是小事它意味着你的清洗可能根本没写回原数据后面分析全建立在脏数据上。5.5 现象中文列名或文件名导致读取报错原因Windows 下默认编码是 GBK而文件可能是 UTF-8或者反过来。解决读取时显式指定encoding。如果列名是中文且出现乱码用encodingutf-8-sig或encodinggbk各试一次。保存结果时统一用encodingutf-8-sig这样 Excel 打开也不会乱码。别用errorsignore它会静默吞掉字符让你以为读成功了。6. 把分析结果变成可复现的脚本我的三个习惯6.1 用函数封装每个分析步骤而不是流水账新手最容易犯的错是把所有代码堆在一个 cell 里跑一次就再也复现不了。我的习惯是每个分析目标写一个函数输入 DataFrame输出结果表或图中间不依赖全局变量。def analyze_genre_roi(df, min_count20): 输入含 genres/budget/revenue 的 DataFrame返回类型 ROI 排名 exploded df.assign(genredf[genres].str.split(|)).explode(genre) exploded[genre] exploded[genre].str.strip() result ( exploded.dropna(subset[budget, revenue]) .query(budget 0 and revenue 0) .assign(roilambda d: d[revenue] / d[budget]) .groupby(genre) .agg(电影数(title, count), ROI中位数(roi, median)) .query(电影数 min_count) .sort_values(ROI中位数, ascendingFalse) ) return result.query(电影数 min_count)里的是 pandas 引用外部变量的语法这样阈值可以当参数传不用改函数体。函数化之后换一个数据集只要改输入分析逻辑不用重写。6.2 固定随机种子和输出目录只要涉及抽样、拆分或任何随机操作就在脚本开头设np.random.seed(42)和random.seed(42)。输出目录用pathlib统一管理避免文件散落。from pathlib import Path import numpy as np, random SEED 42 np.random.seed(SEED) random.seed(SEED) OUT Path(outputs) OUT.mkdir(exist_okTrue) genre_roi.to_csv(OUT / genre_roi.csv, encodingutf-8-sig, indexFalse)encodingutf-8-sig保证 Excel 打开中文不乱码indexFalse避免多出一列无意义的索引。这两个参数我几乎每次都加省去后面手动清理的麻烦。6.3 用断言守住关键结论的边界分析脚本跑通不代表结论可信。我会在关键步骤后加断言把「数据假设」显式写出来。比如类型统计后断言电影总数不超过原始行数ROI 计算后断言没有负值。assert genres_exploded[title].nunique() len(movies), 类型展开后电影数异常 assert (movies_with_fin[roi] 0).all(), 存在非正 ROI检查预算和票房清洗 assert movies_with_fin[budget].notna().all(), 预算列仍有缺失断言失败会直接报错逼你回去查数据而不是带着错误结论往下走。这三个习惯——函数化、固定种子、加断言——是我做过的数据分析项目里回报最高的投入。电影数据集不大但把这套流程跑顺换到白酒销售数据分析、网约车数据分析这些场景方法论完全通用。希望帮到你。本文还有配套的精品资源点击获取