简介这份资源是面向数据分析初学者与进阶学习者的伦敦住房市场分析项目基于超过13000条真实记录涵盖平均房价、房屋销售数量与犯罪率等关键指标帮助读者理解房地产市场的动态与影响因素。压缩包共5个文件约566KB包含2个Jupyter Notebook、1个CSV数据集、1个Markdown说明文档和1个HTML页面分别用于代码演示、数据存储、项目说明与结果展示。已有173人学习下载。项目完整覆盖数据加载与预处理、缺失值与异常值处理、探索性数据分析及可视化、特征相关性热力图、聚类分析以及线性回归、决策树、随机森林等预测模型的构建与评估并涉及交互式仪表板与结果报告撰写。读者可借此掌握pandas、matplotlib、seaborn、scikit-learn等工具的实际应用获得从数据清洗到建模评估的完整分析思路与可复用代码适合作为数据分析课程作业或实战练习参考。1. 伦敦住房数据集分析为什么你的第一张价格分布图大概率是错的伦敦住房数据集London housing data是很多数据从业者练手 Python 数据分析的首选素材之一。它通常包含行政区、时间、平均房价、成交量、房屋类型、区域编码等字段看起来结构清晰、体量适中非常适合做端到端的数据分析项目。但真正上手之后你会发现这份数据远没有想象中“干净”缺失值成片出现、不同行政区的统计口径不一致、价格字段混着字符串和数值、时间粒度从月到年不等。很多人拿到数据第一件事就是df.plot()画一张价格分布直方图然后得出“伦敦房价集中在某个区间”的结论——这张图大概率是错的因为缺失值被静默丢弃、异常值没有被识别、不同年份的币值没有统一。这篇文章面向的是想用 Python 把伦敦住房数据集真正跑通、跑对、跑出可复现结论的从业者从数据加载、清洗、探索、建模到可视化每一步都给出可抄作业的代码和参数说明同时把我在实际项目中踩过的坑摊开讲清楚。2. 数据加载与字段理解先把黑匣子拆开再动手2.1 伦敦住房数据集的典型字段结构与加载方式伦敦住房数据集在不同来源下字段名会有差异但核心字段基本固定。常见做法是用pandas读取 CSV然后立刻做一轮字段审计。我一般不会直接df.head()看一眼就开干而是先输出字段类型、缺失率、唯一值数量三张表把数据的“体检报告”拉出来。import pandas as pd import numpy as np # 读取数据注意 low_memoryFalse 避免混合类型警告 df pd.read_csv(london_housing.csv, low_memoryFalse) # 字段审计类型、缺失率、唯一值数 audit pd.DataFrame({ dtype: df.dtypes, missing_rate: df.isnull().mean().round(4), nunique: df.nunique(), sample: df.iloc[0] }) print(audit.sort_values(missing_rate, ascendingFalse))这段代码的逻辑是low_memoryFalse让 pandas 一次性加载全部数据再推断类型避免分块读取时同一列被推断成不同类型missing_rate用isnull().mean()直接算出每列缺失比例比isnull().sum()更直观nunique帮你快速识别哪些列是分类字段、哪些是连续字段。参数上如果你的数据超过内存的 60%建议改用chunksize分块读取但对伦敦住房数据集这种通常几十万行的规模一次性加载完全够用。加载完之后你需要重点确认几个字段average_price平均房价、area行政区、date时间、house_type房屋类型、sales_volume成交量。其中average_price经常以字符串形式出现带货币符号或千分位逗号直接astype(float)会翻车。2.2 价格字段的清洗从字符串到可计算数值价格字段的清洗是伦敦住房数据分析的第一道硬门槛。我见过太多人在这里翻车pd.to_numeric(df[average_price], errorscoerce)一跑发现一半变成 NaN然后开始怀疑数据质量。其实问题出在原始数据里的格式不统一。def clean_price(series): 清洗价格字段去符号、去逗号、转数值 cleaned ( series.astype(str) .str.replace(r[£$,\s], , regexTrue) # 去掉货币符号、逗号和空格 .str.replace(r[^\d.], , regexTrue) # 只保留数字和小数点 .replace({: np.nan, nan: np.nan}) # 空字符串转 NaN ) return pd.to_numeric(cleaned, errorscoerce) df[price_clean] clean_price(df[average_price]) # 检查清洗效果 print(f原始非空: {df[average_price].notna().sum()}) print(f清洗后非空: {df[price_clean].notna().sum()}) print(f清洗后描述统计:\n{df[price_clean].describe()})逻辑说明第一步用正则去掉所有非数字字符第二步把空字符串和字面量nan统一转成np.nan第三步用pd.to_numeric配合errorscoerce强制转换无法转换的变成 NaN。参数上errorscoerce是关键它保证不会因为个别脏数据导致整列报错。清洗后一定要对比原始非空数量和清洗后非空数量如果差距超过 10%说明你的正则可能误伤了有效数据需要回头检查。2.3 时间字段的解析与粒度对齐伦敦住房数据集的时间字段常见两种格式2020-01这种年月格式或者2020这种年份格式。不同行政区的数据粒度可能不一致有的按月统计有的按季度有的按年。如果你不做粒度对齐就直接做时间序列分析结果一定是错的。# 解析时间字段统一到月度粒度 df[date_parsed] pd.to_datetime(df[date], format%Y-%m, errorscoerce) # 如果原始数据是年份格式用这个 # df[date_parsed] pd.to_datetime(df[date], format%Y, errorscoerce) # 统一重采样到月度取均值 df_monthly ( df.set_index(date_parsed) .groupby(area) .resample(M)[price_clean] .mean() .reset_index() ) print(df_monthly.head(10)) print(f时间范围: {df_monthly[date_parsed].min()} 到 {df_monthly[date_parsed].max()})这里的关键参数是resample(M)表示按月重采样。如果你的数据本身是年度粒度强行按月重采样会产生大量空值这时候应该用resample(Y)或者不做重采样直接在年度粒度上分析。groupby(area)保证每个行政区独立重采样避免不同区域的数据混在一起。重采样后取mean()是常见做法但如果你的分析目标是成交量应该用sum()。3. 探索性分析从描述统计到区域对比的完整链路3.1 描述统计与异常值识别IQR 和 Z-score 怎么选拿到清洗后的数据下一步是描述统计和异常值识别。伦敦住房价格数据几乎必然存在极端值——豪宅区的均价可能是普通区的十倍以上。这些极端值是真实数据还是录入错误需要你用统计方法判断。# 方法一IQR 法识别异常值 Q1 df[price_clean].quantile(0.25) Q3 df[price_clean].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR outliers_iqr df[(df[price_clean] lower_bound) | (df[price_clean] upper_bound)] print(fIQR 法识别异常值数量: {len(outliers_iqr)}) print(f下界: {lower_bound:.0f}, 上界: {upper_bound:.0f}) # 方法二Z-score 法 from scipy import stats z_scores np.abs(stats.zscore(df[price_clean].dropna())) outliers_z (z_scores 3).sum() print(fZ-score 法识别异常值数量: {outliers_z})IQR 法适合偏态分布伦敦房价数据通常是右偏的IQR 更稳健Z-score 法假设近似正态分布对极端值敏感容易把真实的高价区域误判为异常。我一般两个方法都跑一遍对比结果。如果 IQR 识别出的异常值远多于 Z-score说明数据右偏严重应该以 IQR 为准。参数上1.5 是标准倍数如果你想更保守可以调到 3.0只识别极端异常。3.2 按行政区的价格对比groupby 聚合与排序伦敦有 32 个行政区加一个金融城不同区域的价格差异巨大。按行政区做聚合分析是理解数据空间分布的基础。# 按行政区聚合均价、中位数、成交量、标准差 area_stats ( df.groupby(area) .agg( avg_price(price_clean, mean), median_price(price_clean, median), std_price(price_clean, std), sales_count(price_clean, count) ) .round(0) .sort_values(median_price, ascendingFalse) ) print(area_stats.head(10)) print(area_stats.tail(10)) # 计算价格变异系数识别内部差异大的区域 area_stats[cv] (area_stats[std_price] / area_stats[avg_price]).round(3) print(area_stats.sort_values(cv, ascendingFalse).head())逻辑说明agg里同时算均值、中位数、标准差和计数中位数比均值更能反映典型价格水平因为均值容易被极端值拉高。cv变异系数是标准差除以均值用来衡量区域内部价格离散程度。如果某个区域的 cv 特别高说明该区域内部贫富差距大可能既有豪宅又有普通住宅后续分析需要单独处理。参数上round(0)把价格取整避免小数点后一堆数字影响阅读。3.3 时间趋势分析滚动平均与同比计算伦敦住房价格的时间趋势分析核心是消除短期波动、识别长期走向。滚动平均和同比计算是两个最实用的工具。# 按月度聚合全市均价 city_trend ( df.groupby(date_parsed)[price_clean] .mean() .reset_index() .sort_values(date_parsed) ) # 计算 3 个月滚动平均 city_trend[rolling_3m] city_trend[price_clean].rolling(window3, min_periods1).mean() # 计算同比变化需要至少 12 个月数据 city_trend[yoy_change] city_trend[price_clean].pct_change(periods12) print(city_trend.tail(15))rolling(window3)表示 3 期滚动窗口min_periods1保证前两期也有值而不是 NaN。pct_change(periods12)计算的是同比变化率前提是你的数据是按月排列且至少有 13 个月的数据。如果数据是按季度或年度periods要相应调整。这里有个坑pct_change对缺失值敏感如果中间某个月缺失计算结果会偏移所以做同比之前一定要确认时间序列是连续的。4. 可视化与建模让图表说人话让模型有解释力4.1 价格分布可视化直方图、箱线图和热力图的组合用法可视化不是把数据画出来就完事而是要让图表回答具体问题。价格分布用直方图看形态箱线图看区域差异热力图看时间-区域交叉模式。import matplotlib.pyplot as plt import seaborn as sns fig, axes plt.subplots(1, 3, figsize(18, 5)) # 直方图看整体分布形态 axes[0].hist(df[price_clean].dropna(), bins50, edgecolorblack, alpha0.7) axes[0].set_title(Price Distribution) axes[0].set_xlabel(Price) axes[0].set_ylabel(Frequency) # 箱线图看 top 10 区域的价格分布 top10_areas area_stats.head(10).index sns.boxplot(datadf[df[area].isin(top10_areas)], xarea, yprice_clean, axaxes[1]) axes[1].set_title(Price by Top 10 Areas) axes[1].tick_params(axisx, rotation45) # 热力图区域-年份均价矩阵 pivot df.pivot_table(valuesprice_clean, indexarea, columnsdf[date_parsed].dt.year, aggfuncmean) sns.heatmap(pivot, cmapYlOrRd, axaxes[2]) axes[2].set_title(Area-Year Price Heatmap) plt.tight_layout() plt.savefig(london_housing_overview.png, dpi150) plt.show()直方图的bins50是经验值数据量在几万到几十万之间时50 个分箱能较好展示分布形态。箱线图选择 top 10 区域是为了避免图表过于拥挤tick_params(rotation45)防止区域名重叠。热力图的pivot_table把区域作为行、年份作为列aggfuncmean计算均价颜色越深价格越高。注意dpi150保证保存的图片清晰度用于报告或演示足够。4.2 用线性回归量化区域和时间对价格的影响如果你想量化“哪个因素对价格影响更大”线性回归是一个可解释性强的起点。用statsmodels而不是sklearn因为前者直接输出系数和显著性。import statsmodels.api as sm from sklearn.preprocessing import LabelEncoder # 构造特征 model_df df[[price_clean, area, date_parsed]].dropna().copy() model_df[year] model_df[date_parsed].dt.year model_df[month] model_df[date_parsed].dt.month # 对区域做独热编码 area_dummies pd.get_dummies(model_df[area], prefixarea, drop_firstTrue) X pd.concat([model_df[[year, month]], area_dummies], axis1) X sm.add_constant(X) y model_df[price_clean] # 拟合 OLS model sm.OLS(y, X).fit() print(model.summary())drop_firstTrue避免虚拟变量陷阱完全共线性。sm.add_constant添加截距项。model.summary()输出的系数表示在其他条件不变时该区域相对于基准区域的价格差异。year的系数表示每年价格的平均变化量。注意线性回归假设价格和特征之间是线性关系如果数据非线性强可以考虑加多项式项或改用树模型。参数上month作为数值特征可能不太合理更严谨的做法是把月份也做独热编码。4.3 区域聚类用 K-Means 把相似区域归为一类伦敦 33 个区域如果逐个分析太琐碎用 K-Means 聚类可以把价格水平相近的区域归为一组便于制定差异化策略。from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler # 用区域统计特征做聚类 cluster_features area_stats[[avg_price, median_price, std_price, sales_count]].dropna() scaler StandardScaler() X_scaled scaler.fit_transform(cluster_features) # 肘部法确定 K inertias [] for k in range(2, 8): km KMeans(n_clustersk, random_state42, n_init10) km.fit(X_scaled) inertias.append(km.inertia_) # 假设选 K3 km_final KMeans(n_clusters3, random_state42, n_init10) area_stats[cluster] km_final.fit_predict(X_scaled) print(area_stats.groupby(cluster)[[avg_price, median_price]].mean())StandardScaler是必须的因为均价和成交量量纲差异大不标准化会导致聚类被大数值特征主导。n_init10表示用 10 次不同初始化取最优结果避免陷入局部最优。random_state42保证结果可复现。肘部法通过观察inertia_下降速度变缓的拐点来确定 K 值但实际项目中 K 的选择还要结合业务解释性。5. 避坑与排查伦敦住房数据分析中最容易翻车的 5 个点5.1 缺失值处理删还是填不能拍脑袋现象df.dropna()一跑数据少了一半后续分析全部偏移。原因伦敦住房数据集的缺失不是随机的。高价区域可能因为交易少而缺失老旧区域可能因为统计口径变化而缺失。直接删除会引入选择偏差。解决先分析缺失模式。用df.isnull().mean()看每列缺失率用missingno库看缺失相关性。如果某列缺失率超过 40%考虑整列丢弃如果缺失率在 5% 到 20% 之间用中位数或前向填充。关键是填充后要对比填充前后的描述统计确认分布没有发生剧烈变化。5.2 时间粒度不一致月度数据和年度数据混在一起现象做时间序列图时某些区域的数据点密集某些稀疏趋势线断裂。原因不同行政区的数据上报频率不同有的按月有的按季度有的按年。直接合并会导致时间轴错乱。解决统一重采样到最粗粒度。如果大部分数据是月度少数是年度把年度数据展开成月度用年度值填充该年所有月份或者把所有数据聚合到年度。我一般选择后者因为年度粒度更稳健不容易被单月异常值干扰。5.3 价格未做通胀调整跨年比较全是幻觉现象2015 年的均价和 2023 年的均价直接比较得出“房价涨了 50%”的结论。原因未考虑通货膨胀。名义价格上涨不等于实际购买力上涨。解决用消费者价格指数CPI或住房价格指数做平减。如果你没有外部指数数据至少要在分析中明确说明“以下均为名义价格”并在结论中加一句“未做通胀调整”。这是分析严谨性的底线。5.4 行政区边界变化同一个名字不同年份含义不同现象按area分组后发现某个区域的数据在某个年份突然中断或激增。原因行政区划可能发生过调整某个区域被合并或拆分但数据里的名称没有更新。解决做一张区域名称-年份的映射表检查每个区域的数据覆盖年份是否连续。如果发现断裂要么把调整前后的区域合并分析要么在分析中排除该区域。这个坑很隐蔽不做时间覆盖检查根本发现不了。5.5 可视化误导坐标轴截断和颜色映射的陷阱现象柱状图看起来差异巨大实际数值只差 5%。原因Y 轴没有从 0 开始或者颜色映射的区间设置不合理放大了微小差异。解决柱状图 Y 轴必须从 0 开始热力图的vmin和vmax要显式设置避免自动缩放导致颜色失真箱线图的whis参数控制须线范围默认 1.5 倍 IQR如果数据极端偏态可以调到 3.0 让更多数据点落在须线内。图表是给人看的误导性图表比没有图表更糟糕。6. 进阶技巧用 PyArrow 加速和用 Plotly 做交互式探索当数据量超过百万行或者你需要反复做聚合操作时pandas 的单线程性能会成为瓶颈。我一般会在这个阶段引入 PyArrow 后端把 DataFrame 的底层存储换成 Arrow 格式聚合速度通常能提升 2 到 5 倍。import pandas as pd import pyarrow as pa # 用 PyArrow 后端读取 CSV df_arrow pd.read_csv(london_housing.csv, dtype_backendpyarrow) # 对比聚合速度 import time start time.time() result_pandas df_arrow.groupby(area)[price_clean].mean() print(fPyArrow 后端聚合耗时: {time.time() - start:.3f}s) # 转回 numpy 后端对比 df_numpy df_arrow.convert_dtypes(dtype_backendnumpy_nullable) start time.time() result_numpy df_numpy.groupby(area)[price_clean].mean() print(fNumPy 后端聚合耗时: {time.time() - start:.3f}s)dtype_backendpyarrow是 pandas 2.0 引入的参数让底层用 Arrow 格式存储字符串和数值减少内存占用并加速计算。注意PyArrow 后端对某些操作的支持还不完整如果遇到不支持的函数用convert_dtypes转回 numpy 后端即可。这个技巧在数据量超过 500 万行时效果最明显小数据集上差异不大。另一个进阶方向是交互式可视化。静态图表适合报告但探索阶段用 Plotly 可以快速缩放、筛选、悬停查看数值。import plotly.express as px fig px.scatter( df.sample(5000), # 采样避免浏览器卡顿 xdate_parsed, yprice_clean, colorarea, sizesales_volume, hover_data[house_type], titleLondon Housing Price Interactive Explorer, opacity0.6 ) fig.update_layout(xaxis_titleDate, yaxis_titlePrice) fig.write_html(london_housing_interactive.html)sample(5000)是必须的Plotly 渲染超过一万个点浏览器会明显卡顿。sizesales_volume让点的大小反映成交量hover_data添加悬停信息。write_html导出独立 HTML 文件可以直接分享给不装 Python 的同事。这个文件在浏览器里打开后可以拖拽缩放、点击图例筛选区域比静态图表的探索效率高一个量级。最后说一个我自己的习惯每次做完一轮分析我都会把关键结论写成断言assertion放进代码里。比如“2020 年之后的均价应该高于 2015 年”“top 3 区域的均价应该是 bottom 3 区域的 3 倍以上”。如果某次数据更新后断言失败说明数据分布发生了结构性变化需要重新审视整个分析链路。这个习惯帮我省下了无数次“后悔药”也让我对数据的理解从“跑通”变成了“跑对”。希望帮到你。本文还有配套的精品资源点击获取