很多想转行数据分析的朋友都有一个共同的困惑学了一堆Python语法和Pandas函数但面对一个真实的业务数据集依然不知道从哪里下手。网上的教程要么是讲解单个函数的“玩具案例”要么是直接丢给你一个复杂项目中间的鸿沟没人帮你填平。今天这篇文章就是要解决这个核心痛点。我们不讲空泛的理论而是通过一个极其贴近真实工作场景的案例——家庭用电数据分析来完整演绎一个数据分析项目的标准流程。从数据获取、清洗、探索到可视化、建模和报告生成每一步都有源码和文档手把手带你走一遍。我的核心判断是数据分析的核心竞争力不在于记住多少函数而在于形成一套可复用的“问题拆解-数据处理-洞察呈现”的思维框架。这个项目就是这套框架的最佳训练场。完成它你收获的不仅是一段项目经验更是一个能应对多数初级数据分析任务的“肌肉记忆”。1. 项目全景我们要解决一个什么问题假设你是一名数据分析师业务方可能是智能家居产品经理、能源公司运营给到你一份原始的家庭用电数据提出了几个模糊的需求“帮我们看看用户用电有什么规律”“能不能预测一下未来的用电量”“哪些因素对用电量影响最大”这非常真实。需求一开始往往不明确。你的任务就是将这些模糊的需求转化为一系列可执行、可分析的具体问题并用数据给出清晰的答案。本项目的目标通过对一个家庭一段时间内的用电量监测数据进行分析实现以下目标描述性分析揭示用电的周期性规律按日、按周、按季节。诊断性分析识别影响用电量的关键因素如温度、时间、是否为节假日。预测性分析构建一个简单的模型对未来短期用电量进行预测。成果交付生成结构化的分析报告和可视化图表。你将学到的不只是代码更是如何像一名真正的数据分析师一样思考和工作。2. 环境与工具准备打造你的分析工作台工欲善其事必先利其器。一个稳定、统一的环境是高效分析的基础。为了避免“在我的电脑上能跑”的尴尬请严格按照以下步骤配置。2.1 基础环境操作系统Windows 10/11, macOS, 或 Linux (如 Ubuntu) 均可。本文指令以 Windows 为例其他系统命令略有不同。Python 版本Python 3.8 到 3.11之间的版本。不推荐使用最新的 3.12 或过旧的 3.7以避免某些库的兼容性问题。在命令行输入python --version或python3 --version检查。包管理工具使用pip。建议升级到最新版python -m pip install --upgrade pip。2.2 核心分析库安装我们将使用 Python 数据分析的“黄金组合”。打开你的命令行CMD、PowerShell 或 Terminal一次性安装所有必需的库pip install pandas numpy matplotlib seaborn scikit-learn jupyter逐项解释pandas数据操作的基石用于数据读取、清洗、转换和分析。numpy提供高性能的数值计算基础pandas 的底层依赖。matplotlib最基础的绘图库高度自定义。seaborn基于 matplotlib 的统计图形库绘图更美观、更简单。scikit-learn机器学习库本项目用于构建预测模型。jupyter交互式笔记本环境非常适合数据探索和分析强烈推荐。2.3 可选但推荐的工具IDE/编辑器VS Code配合 Python 插件或 PyCharm。对于数据分析Jupyter Notebook/Jupyter Lab 的交互性体验更佳。数据文件本项目将使用模拟生成的“家庭用电数据”。在真实工作中数据可能来自 CSV、Excel、数据库等。我们后续会提供生成模拟数据的代码。验证安装创建一个新的 Python 脚本或 Jupyter Notebook 单元格运行以下代码确保没有报错。import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn import __version__ as sk_version print(fpandas version: {pd.__version__}) print(fnumpy version: {np.__version__}) print(fscikit-learn version: {sk_version}) # 设置绘图风格让图表更好看 sns.set_style(whitegrid) plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 print(所有核心库导入成功环境准备就绪)3. 数据理解与加载你的“原材料”是什么在动手分析前必须理解你的数据。我们模拟一份具有代表性的家庭用电数据集包含以下字段timestamp: 时间戳精确到小时。power_consumption: 用电量千瓦时kWh。temperature: 室外温度摄氏度。is_weekend: 是否为周末0否1是。is_holiday: 是否为节假日0否1是。hour_of_day: 一天中的小时数0-23。day_of_week: 一周中的第几天0周一6周日。3.1 生成模拟数据由于真实用电数据涉及隐私我们编写一个函数来生成一份可信的模拟数据。这段代码本身也体现了如何用 Python 构造时间序列数据。import pandas as pd import numpy as np from datetime import datetime, timedelta def generate_electricity_data(start_date2025-01-01, periods24*365): # 模拟一年每小时数据 生成模拟家庭用电数据。 参数 start_date: 开始日期 periods: 数据点数量每小时一个点 返回 一个包含时间戳、用电量、温度等字段的DataFrame # 生成时间序列 date_rng pd.date_range(startstart_date, periodsperiods, freqH) df pd.DataFrame(date_rng, columns[timestamp]) # 生成基本特征 df[hour_of_day] df[timestamp].dt.hour df[day_of_week] df[timestamp].dt.dayofweek # Monday0, Sunday6 df[month] df[timestamp].dt.month df[is_weekend] df[day_of_week].apply(lambda x: 1 if x 5 else 0) # 简单模拟节假日例如每月1号和15号以及一些固定假期 df[is_holiday] df[timestamp].apply(lambda x: 1 if (x.day in [1, 15]) or (x.month1 and x.day1) or (x.month10 and x.day in [1,2,3]) else 0) # 模拟温度有年周期和日周期 # 年周期使用正弦函数模拟四季 df[temp_yearly] 15 10 * np.sin(2 * np.pi * (df[timestamp].dt.dayofyear / 365.25)) # 日周期白天热晚上冷 df[temp_daily] 5 * np.sin(2 * np.pi * (df[hour_of_day] - 6) / 24) # 加入随机噪声 df[temperature] df[temp_yearly] df[temp_daily] np.random.normal(0, 2, periods) # 模拟用电量基础量 温度影响 时间影响 随机噪声 # 基础用电夜间低白天高傍晚最高 base_load 0.5 0.8 * np.sin(2 * np.pi * (df[hour_of_day] - 14) / 24) # 温度影响太冷或太热都会增加用电开空调/暖气 temp_effect 0.1 * np.abs(df[temperature] - 20) # 20度为最舒适温度 # 周末和节假日效应 day_effect df[is_weekend] * 0.3 df[is_holiday] * 0.5 # 组合并加噪声 df[power_consumption] base_load temp_effect day_effect np.random.normal(0, 0.1, periods) # 确保用电量为正数 df[power_consumption] df[power_consumption].clip(lower0.1) # 删除中间计算列 df.drop([temp_yearly, temp_daily], axis1, inplaceTrue) return df # 生成数据 print(正在生成模拟用电数据...) electricity_df generate_electricity_data(periods24*180) # 先生成半年的数据便于演示 print(f数据生成完成共 {len(electricity_df)} 行 {len(electricity_df.columns)} 列。) print(electricity_df.head())运行后你会看到类似如下的数据预览timestamp hour_of_day ... temperature power_consumption 0 2025-01-01 00:00:00 0 ... 12.34 0.87 1 2025-01-01 01:00:00 1 ... 11.89 0.76 ...这就是我们的“原材料”。请立即将其保存到本地模拟从业务方拿到数据文件的情景。# 保存到CSV文件这是数据分析中最常见的交换格式 file_path ./household_electricity_2025.csv electricity_df.to_csv(file_path, indexFalse) print(f数据已保存至{file_path})3.2 数据加载与初窥现在我们假装刚刚拿到这个 CSV 文件开始正式分析。第一步永远是加载并初步了解数据。# 从CSV文件加载数据 df pd.read_csv(./household_electricity_2025.csv, parse_dates[timestamp]) # parse_dates参数很重要确保时间戳被正确解析为datetime类型 # 1. 查看数据整体信息 print( 数据概览 ) print(f数据形状{df.shape}) # (行数 列数) print(f\n数据类型) print(df.dtypes) print(f\n前5行数据) print(df.head()) print(f\n后5行数据) print(df.tail()) # 2. 检查缺失值 print(f\n 缺失值统计 ) print(df.isnull().sum()) # 3. 查看基本统计描述 print(f\n 数值型字段描述性统计 ) print(df.describe())关键解读df.shape确认数据量防止数据加载不全。df.dtypes确保timestamp是datetime64类型其他数值字段是int或float。类型错误是后续分析的常见坑。df.isnull().sum()必须为零。真实数据常有缺失需处理如填充、删除。df.describe()快速查看数据的分布均值、标准差、最小最大值发现异常值。例如如果power_consumption出现负数或极大值就需要警惕。4. 数据清洗与预处理把“脏数据”变成“干净数据”真实数据很少是完美的。清洗预处理通常占据数据分析 60% 以上的时间。这一步的目标是得到一个一致、完整、适合分析的数据集。4.1 处理缺失值与异常值我们的模拟数据是干净的但你需要掌握处理“脏数据”的方法。# 假设我们发现数据中有缺失值模拟场景 # 创建一个带缺失值和异常值的副本用于演示 df_dirty df.copy() np.random.seed(42) # 固定随机种子确保结果可复现 # 随机插入5%的缺失值 mask np.random.rand(*df_dirty[power_consumption].shape) 0.05 df_dirty.loc[mask, power_consumption] np.nan # 插入一些异常高值可能是抄表错误 df_dirty.loc[100:105, power_consumption] 50 print(处理前用电量字段的统计) print(df_dirty[power_consumption].describe()) # 处理缺失值对于时间序列常用前后时刻的均值或插值法填充 df_dirty[power_consumption].fillna(methodffill, inplaceTrue) # 用前一个有效值填充 df_dirty[power_consumption].fillna(methodbfill, inplaceTrue) # 如果开头就是NaN再用后一个值填充 # 处理异常值使用统计方法识别例如超出3倍标准差的范围 mean_val df_dirty[power_consumption].mean() std_val df_dirty[power_consumption].std() lower_bound mean_val - 3 * std_val upper_bound mean_val 3 * std_val print(f\n异常值判定边界[{lower_bound:.2f}, {upper_bound:.2f}]) # 将超出边界的异常值替换为边界值或删除或用中位数替代根据业务决定 df_dirty[power_consumption] df_dirty[power_consumption].clip(lower_bound, upper_bound) print(\n处理后用电量字段的统计) print(df_dirty[power_consumption].describe())4.2 特征工程创造对分析有用的新特征原始数据字段有时不足以直接揭示规律我们需要创造新的特征。# 从时间戳中提取更多有意义的特征 df[year] df[timestamp].dt.year df[month] df[timestamp].dt.month df[day] df[timestamp].dt.day df[hour] df[timestamp].dt.hour # 已经有的‘day_of_week’我们可以将其转换为更易读的星期名称 df[weekday_name] df[timestamp].dt.day_name() # 创建一个“时间段”标签如凌晨、上午、下午、晚上、深夜 def time_period(hour): if 0 hour 6: return 凌晨 elif 6 hour 12: return 上午 elif 12 hour 18: return 下午 elif 18 hour 22: return 晚上 else: return 深夜 df[time_period] df[hour].apply(time_period) # 查看新增特征 print(df[[timestamp, hour, weekday_name, time_period]].head(10))5. 探索性数据分析EDA用可视化发现故事EDA 是数据分析的“侦探工作”目标是通过图表发现数据中的模式、关系和异常。我们使用matplotlib和seaborn来完成。5.1 单变量分析了解用电量本身的分布# 设置画布 fig, axes plt.subplots(2, 2, figsize(15, 10)) fig.suptitle(家庭用电量单变量分析, fontsize16) # 1. 用电量分布直方图 axes[0, 0].hist(df[power_consumption], bins50, edgecolorblack, alpha0.7) axes[0, 0].set_xlabel(用电量 (kWh)) axes[0, 0].set_ylabel(频次) axes[0, 0].set_title(用电量分布直方图) axes[0, 0].axvline(df[power_consumption].mean(), colorred, linestyle--, labelf均值: {df[power_consumption].mean():.2f}) axes[0, 0].legend() # 2. 用电量随时间变化的趋势取前7天示意 sample_days df.head(24*7) # 取第一周的数据 axes[0, 1].plot(sample_days[timestamp], sample_days[power_consumption]) axes[0, 1].set_xlabel(时间) axes[0, 1].set_ylabel(用电量 (kWh)) axes[0, 1].set_title(用电量时序图第一周) axes[0, 1].tick_params(axisx, rotation45) # 3. 箱线图查看按小时分布的用电量 hourly_data [df[df[hour]h][power_consumption].values for h in range(24)] axes[1, 0].boxplot(hourly_data, labelsrange(24)) axes[1, 0].set_xlabel(一天中的小时) axes[1, 0].set_ylabel(用电量 (kWh)) axes[1, 0].set_title(不同小时的用电量箱线图) # 4. 按星期几聚合的平均用电量 weekday_avg df.groupby(weekday_name)[power_consumption].mean().reindex([Monday, Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday]) weekday_avg.plot(kindbar, axaxes[1, 1], colorskyblue) axes[1, 1].set_xlabel(星期几) axes[1, 1].set_ylabel(平均用电量 (kWh)) axes[1, 1].set_title(一周内每日平均用电量) axes[1, 1].tick_params(axisx, rotation0) plt.tight_layout() plt.show()从图表中我们能读出什么直方图用电量大致呈双峰或偏态分布这是家庭用电的典型特征夜间低负荷傍晚高负荷。时序图清晰的周期性波动白天用电高夜间用电低。小时箱线图可以直观看到哪些小时用电波动大如晚高峰哪些小时用电稳定如后半夜。星期柱状图周末的用电量是否明显高于工作日这验证了我们的is_weekend特征。5.2 多变量分析探索用电量与影响因素的关系# 设置画布 fig, axes plt.subplots(2, 2, figsize(15, 10)) fig.suptitle(用电量影响因素分析, fontsize16) # 1. 用电量 vs 温度散点图 axes[0, 0].scatter(df[temperature], df[power_consumption], alpha0.5, s10) axes[0, 0].set_xlabel(温度 (°C)) axes[0, 0].set_ylabel(用电量 (kWh)) axes[0, 0].set_title(用电量与温度关系散点图) # 尝试添加趋势线 z np.polyfit(df[temperature], df[power_consumption], 1) p np.poly1d(z) axes[0, 0].plot(df[temperature], p(df[temperature]), r--, alpha0.8) # 2. 不同时间段平均用电量柱状图 period_avg df.groupby(time_period)[power_consumption].mean().reindex([凌晨, 上午, 下午, 晚上, 深夜]) period_avg.plot(kindbar, axaxes[0, 1], colorlightgreen) axes[0, 1].set_xlabel(时间段) axes[0, 1].set_ylabel(平均用电量 (kWh)) axes[0, 1].set_title(不同时间段平均用电量) axes[0, 1].tick_params(axisx, rotation0) # 3. 热力图用电量按小时和星期几的聚合透视表 pivot_table df.pivot_table(valuespower_consumption, indexhour, columnsday_of_week, aggfuncmean) sns.heatmap(pivot_table, cmapYlOrRd, axaxes[1, 0]) axes[1, 0].set_xlabel(星期几 (0周一)) axes[1, 0].set_ylabel(小时) axes[1, 0].set_title(用电量热力图小时 vs 星期几) # 4. 节假日 vs 非节假日用电量对比小提琴图 sns.violinplot(xis_holiday, ypower_consumption, datadf, axaxes[1, 1], paletteSet2) axes[1, 1].set_xlabel(是否为节假日 (0否1是)) axes[1, 1].set_ylabel(用电量 (kWh)) axes[1, 1].set_title(节假日与非节假日用电量分布对比) axes[1, 1].set_xticklabels([非节假日, 节假日]) plt.tight_layout() plt.show()关键洞察温度关系散点图可能呈现“U”型或“V”型表明太冷或太热都会导致用电量增加空调/暖气这与我们模拟数据的逻辑一致。时间段“晚上”时段平均用电量最高符合家庭生活规律。热力图这是威力强大的工具。颜色越亮黄/红表示用电量越高。你可以一眼看出工作日白天小时9-17星期0-4用电较低蓝色而工作日晚间小时18-22和整个周末星期5-6用电较高黄色。节假日小提琴图显示节假日的用电量分布中心可能更高且分布更分散活动更不规律。6. 深入分析与洞察提炼从“看到”到“看懂”可视化让我们看到了现象现在需要用数据计算来验证假设提炼出可汇报的洞察。6.1 量化分析相关系数与显著性# 计算用电量与其他数值特征之间的相关系数 numeric_cols [power_consumption, temperature, hour, day_of_week, is_weekend, is_holiday] correlation_matrix df[numeric_cols].corr() print( 用电量与其他特征的相关系数 ) print(correlation_matrix[power_consumption].sort_values(ascendingFalse)) # 可视化相关系数矩阵 plt.figure(figsize(8, 6)) sns.heatmap(correlation_matrix, annotTrue, cmapcoolwarm, center0, squareTrue) plt.title(特征间相关系数矩阵热力图) plt.tight_layout() plt.show()解读hour小时可能与用电量有较强的正/负相关temperature温度可能呈现一定的相关性。is_weekend和is_holiday作为0/1变量其相关系数大小直接反映了它们对用电量影响的程度。6.2 聚合分析与对比# 按月份分析用电趋势 monthly_usage df.groupby(month)[power_consumption].agg([mean, sum, std]) print(\n 分月用电量统计 ) print(monthly_usage) # 对比工作日与周末 weekday_weekend_avg df.groupby(is_weekend)[power_consumption].mean() print(f\n工作日平均用电量{weekday_weekend_avg[0]:.3f} kWh) print(f周末平均用电量{weekday_weekend_avg[1]:.3f} kWh) print(f周末比工作日高{(weekday_weekend_avg[1]/weekday_weekend_avg[0] - 1)*100:.1f}%) # 深入分析高峰时段 # 定义高峰时段例如用电量最高的3个小时 peak_hours df.groupby(hour)[power_consumption].mean().sort_values(ascendingFalse).head(3) print(f\n用电量最高的三个小时及平均用电量) print(peak_hours)7. 预测模型构建用机器学习预测未来用电量这是从描述性分析迈向预测性分析的关键一步。我们将构建一个简单的回归模型用历史数据预测未来一小时的用电量。7.1 准备建模数据机器学习模型需要将数据分为特征(X)和目标(y)。from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 选择特征我们使用温度、时间相关特征、日期属性 feature_cols [temperature, hour, day_of_week, is_weekend, is_holiday, month] X df[feature_cols] # 目标预测用电量 y df[power_consumption] print(f特征矩阵 X 的形状{X.shape}) print(f目标向量 y 的形状{y.shape}) # 划分训练集和测试集按时间顺序划分而不是随机打乱更符合实际预测场景 # 取前80%的数据作为训练后20%作为测试 split_idx int(len(X) * 0.8) X_train, X_test X.iloc[:split_idx], X.iloc[split_idx:] y_train, y_test y.iloc[:split_idx], y.iloc[split_idx:] print(f训练集大小{X_train.shape} 测试集大小{X_test.shape}) # 特征标准化将不同尺度的特征如温度和月份缩放到同一量级提升模型性能 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 注意使用训练集的scaler来转换测试集避免数据泄露7.2 训练与评估模型我们尝试两种经典回归算法线性回归和随机森林回归。from sklearn.linear_model import LinearRegression from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score # 初始化模型 lr_model LinearRegression() rf_model RandomForestRegressor(n_estimators100, random_state42, n_jobs-1) # n_jobs-1使用所有CPU核心 # 训练模型 print(训练线性回归模型中...) lr_model.fit(X_train_scaled, y_train) print(训练随机森林回归模型中...) rf_model.fit(X_train_scaled, y_train) # 在测试集上进行预测 y_pred_lr lr_model.predict(X_test_scaled) y_pred_rf rf_model.predict(X_test_scaled) # 评估模型性能 def evaluate_model(y_true, y_pred, model_name): mae mean_absolute_error(y_true, y_pred) mse mean_squared_error(y_true, y_pred) rmse np.sqrt(mse) r2 r2_score(y_true, y_pred) print(f\n{model_name} 模型评估结果) print(f 平均绝对误差 (MAE): {mae:.4f}) print(f 均方误差 (MSE): {mse:.4f}) print(f 均方根误差 (RMSE): {rmse:.4f}) print(f 决定系数 (R²): {r2:.4f}) return mae, rmse, r2 print(*50) lr_metrics evaluate_model(y_test, y_pred_lr, 线性回归) rf_metrics evaluate_model(y_test, y_pred_rf, 随机森林)结果解读MAE/RMSE误差值越小越好。可以理解为模型预测的平均偏差大约是多少 kWh。R²越接近1越好表示模型能解释目标变量波动的比例。通常随机森林非线性模型会比线性回归表现更好因为它能捕捉更复杂的关系。7.3 可视化预测结果# 绘制真实值与预测值的对比图取测试集前100个点以便观察 plt.figure(figsize(15, 5)) sample_points 100 x_axis range(sample_points) plt.plot(x_axis, y_test.values[:sample_points], label真实值, colorblue, alpha0.7, linewidth2) plt.plot(x_axis, y_pred_lr[:sample_points], label线性回归预测, colorred, alpha0.7, linestyle--) plt.plot(x_axis, y_pred_rf[:sample_points], label随机森林预测, colorgreen, alpha0.7, linestyle:) plt.xlabel(测试集样本点) plt.ylabel(用电量 (kWh)) plt.title(用电量预测结果对比测试集前100个点) plt.legend() plt.grid(True, alpha0.3) plt.tight_layout() plt.show()这张图能直观地告诉你模型的预测曲线是否紧跟真实曲线的波动。随机森林的预测通常会更贴合。7.4 特征重要性分析随机森林随机森林模型可以告诉我们哪些特征对预测用电量最重要。# 获取特征重要性 feature_importance rf_model.feature_importances_ # 创建重要性DataFrame importance_df pd.DataFrame({ feature: feature_cols, importance: feature_importance }).sort_values(importance, ascendingFalse) print(\n 随机森林模型特征重要性 ) print(importance_df) # 可视化 plt.figure(figsize(10, 6)) plt.barh(importance_df[feature], importance_df[importance], colorteal) plt.xlabel(特征重要性) plt.title(影响用电量的特征重要性排序随机森林) plt.gca().invert_yaxis() # 最重要的特征显示在最上面 plt.tight_layout() plt.show()业务洞察如果hour小时和temperature温度是最重要的特征那么你的业务建议就可以聚焦于分时电价策略和基于温度的用电预警。8. 分析报告自动化与成果输出分析的最后一步是将你的发现、图表和结论整合成一份可交付的报告。我们可以用 Python 自动生成一份 HTML 报告。import jinja2 from datetime import datetime # 1. 收集关键结论和数据 key_insights { 数据周期: f{df[timestamp].min().date()} 至 {df[timestamp].max().date()}, 总数据条数: len(df), 日均用电量: f{df[power_consumption].mean():.2f} kWh, 用电最高月份: monthly_usage[mean].idxmax(), 周末用电增幅: f{(weekday_weekend_avg[1]/weekday_weekend_avg[0] - 1)*100:.1f}%, 用电高峰时段: f{list(peak_hours.index)} 时, 最佳预测模型: 随机森林回归, 模型预测R²分数: f{rf_metrics[2]:.4f}, 最重要影响因素: importance_df.iloc[0][feature] } # 2. 保存关键图表 chart_files [] # 假设我们保存了之前的热力图和特征重要性图 # 在实际代码中你需要使用 plt.savefig 将图表保存为图片 # plt.savefig(heatmap.png)然后将路径加入 chart_files # 3. 使用Jinja2模板生成HTML报告简化示例 template_str !DOCTYPE html html head title家庭用电数据分析报告/title style body { font-family: Arial, sans-serif; margin: 40px; } h1 { color: #2c3e50; } .insight { background-color: #f8f9fa; padding: 15px; border-left: 5px solid #3498db; margin: 10px 0; } table { border-collapse: collapse; width: 100%; margin: 20px 0; } th, td { border: 1px solid #ddd; padding: 12px; text-align: left; } th { background-color: #3498db; color: white; } /style /head body h1家庭用电数据分析报告/h1 p生成时间{{ generation_time }}/p h2一、核心洞察摘要/h2 ul {% for key, value in insights.items() %} listrong{{ key }}:/strong {{ value }}/li {% endfor %} /ul h2二、详细分析/h2 h31. 用电量基本统计/h3 table trth统计量/thth值 (kWh)/th/tr trtd平均值/tdtd{{ basic_stats.mean | round(2) }}/td/tr trtd标准差/tdtd{{ basic_stats.std | round(2) }}/td/tr trtd最小值/tdtd{{ basic_stats.min | round(2) }}/td/tr trtd25%分位数/tdtd{{ basic_stats[25%] | round(2) }}/td/tr trtd中位数/tdtd{{ basic_stats[50%] | round(2) }}/td/tr trtd75%分位数/tdtd{{ basic_stats[75%] | round(2) }}/td/tr trtd最大值/tdtd{{ basic_stats.max | round(2) }}/td/tr /table h32. 模型预测性能/h3 p我们使用了随机森林回归模型进行用电量预测在测试集上表现如下/p ul listrongR²分数:/strong {{ model_r2 }}/li listrong平均绝对误差 (MAE):/strong {{ model_mae }} kWh/li listrong均方根误差 (RMSE):/strong {{ model_rmse }} kWh/li /ul p这意味着模型可以解释用电量大约 strong{{ (model_r2 * 100) | round(1) }}%/strong 的波动。/p h33. 业务建议/h3 div classinsight p1. strong分时电价策略/strong用电高峰集中在晚间{{ peak_hours_str }}建议在此时段实行较高电价引导错峰用电。/p p2. strong温度敏感预警/strong温度是影响用电量的关键因素。在极端天气酷热或严寒来临前可向用户发送节能提醒。/p p3. strong节假日用电管理/strong周末和节假日用电量显著提升 {{ weekend_increase }}相关电网调度需提前准备。/p /div h2三、附录分析代码与数据/h2 p本报告由Python自动化脚本生成。主要使用了Pandas进行数据处理Scikit-learn进行建模Matplotlib/Seaborn进行可视化。/p p原始数据行数{{ data_shape[0] }} 列数{{ data_shape[1] }}/p /body /html # 准备模板数据 basic_stats df[power_consumption].describe() template_data { generation_time: datetime.now().strftime(%Y-%m-%d %H:%M:%S), insights: key_insights, basic_stats: basic_stats, model_r2: round(rf_metrics[2], 4), model_mae: round(rf_metrics[0], 4), model_rmse: round(rf_metrics[1], 4), peak_hours_str: , .join(map(str, list(peak_hours.index))), weekend_increase: key_insights[周末用电增幅], data_shape: df.shape } # 渲染并保存报告 template jinja2.Template(template_str) html_report template.render(**template_data) with open(./electricity_analysis_report.html, w, encodingutf-8) as f: f.write(html_report) print(分析报告已生成electricity_analysis_report.html)9. 常见问题与排查思路在实际操作中你几乎一定会遇到下面这些问题。这里提供一份排查清单。问题现象可能原因排查方式解决方案ImportError: No module named pandasPython环境未安装所需库或不在正确的虚拟环境中。在命令行输入python -c import pandas确认。检查VS Code或PyCharm底部状态栏的Python解释器路径。1. 确认已激活正确的虚拟环境。2. 在当前环境下运行pip install pandas numpy ...。读取CSV文件时编码错误数据文件包含非UTF-8编码字符如中文。查看错误信息通常是UnicodeDecodeError。在pd.read_csv()中指定编码如encodinggbk或encodingutf-8-sig。时间序列绘图X轴标签重叠时间数据点过于密集。观察图表X轴标签挤在一起无法辨认。1. 使用plt.xticks(rotation45)旋转标签。2. 减少显示的数据点或采样显示如df.resample(D).mean()。模型预测结果R²分数为负数模型性能极差比直接用均值预测还要糟糕。检查特征与目标是否真的存在关系。检查是否有数据泄露如用未来数据预测过去。1. 重新检查特征工程加入更有意义的特征。2. 确保训练/测试集是按时间顺序划分的不能随机打乱。3. 尝试更复杂的模型或调整参数。图形中文显示为方框matplotlib 默认字体不包含中文。图表中所有中文都显示为小方框。在代码开头添加以下两行plt.rcParams[font.sans-serif] [SimHei]plt.rcParams[axes.unicode_minus] FalseKeyError当访问DataFrame列时列名拼写错误或列不存在。仔细核对错误信息中提到的列名和df.columns的输出。1. 使用df.columns打印所有列名进行核对。2. 检查是否有空格或大小写不一致。内存不足Memory Error数据集过大或操作产生巨大中间变量。任务管理器或htop显示内存使用率激增。1. 使用df.info(memory_usagedeep)查看内存占用。2. 读取数据时指定列pd.read_csv(..., usecols[col1, col2])。3. 使用df.astype()将数值类型从int64转为int32float64转float32。分组聚合结果不符合预期分组键Group Key包含NaN值或数据类型不是预期的类别型。检查groupby操作前的数据使用df[col].unique()查看分组键的唯一值。1. 处理分组键中的缺失值填充或删除。2. 确保分组键是离散的类别型数据。10. 最佳实践与项目进阶建议完成这个项目后你已经走完了一个标准数据分析流程的80%。剩下的20%在于如何将其工程化、专业化并应用到更复杂的场景。10.1 代码组织与工程化使用函数和类将数据加载、清洗、特征工程、建模等步骤封装成函数提高代码复用性。配置文件将文件路径、数据库连接信息、模型参数等写入config.yaml或.env文件与代码分离。日志记录使用logging模块替代print便于记录程序运行状态和错误信息。单元测试为关键的数据处理函数和模型评估函数编写简单的单元测试保证代码可靠性。10.2 数据分析流程深化时序特征深入除了小时、星期还可以考虑创建“距节假日前后的天数”、“是否工作日”等更复杂的特征。滞后特征对于预测问题加入历史用电量作为特征如前1小时、前24小时的用电量能极大提升预测精度。更复杂的模型尝试梯度提升树如 XGBoost, LightGBM、深度学习模型如 LSTM 网络进行时序预测。模型部署使用pickle或joblib保存训练好的模型并构建一个简单的 Flask/FastAPI 服务提供预测接口。10.3 项目扩展方向接入真实数据寻找公开的智能电表数据集如 UCI Machine Learning Repository 上的Individual household electric power consumption数据集用本项目流程重新跑一遍。异常用电检测利用统计方法或孤立森林等算法识别异常高的用电时段可用于窃电预警或设备故障检测。用户分群如果你有多个家庭的数据可以使用聚类算法如 K-Means对用户用电行为进行分群制定个性化节能建议。成本分析与优化结合分时电价数据计算家庭电费并模拟调整用电习惯如将洗衣时间从高峰移至低谷带来的成本节约。这个“家庭用电数据分析”项目就像一副骨架。你已经学会了如何将零散的数据变成有意义的图表和预测。接下来要做的就是在不同的业务场景下为这副骨架填充不同的血肉——可能是销售数据、用户行为数据、设备传感器数据。解决问题的框架是相通的这才是你能够“练完即可就业”的真正底气。建议你将本项目的代码和文档保存好它就是你数据分析能力的一个扎实的起点和证明。