Data-Science-For-Beginners 实战：用 EDA 探索纽约出租车小费数据的季节性规律

Data-Science-For-Beginners 实战用 EDA 探索纽约出租车小费数据的季节性规律【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners导读本文围绕 Data-Science-For-Beginners 仓库「数据科学生命周期」系列第 15 课Analyzing分析阶段的课后作业展开带领读者完成一次完整的探索性数据分析Exploratory Data Analysis, EDA实战基于仓库提供的 200 条纽约黄色出租车行程数据data/taxi.csv回答纽约黄色出租车乘客在冬天还是夏天给司机的小费更多这一业务问题。读完本文你将掌握数据画像profiling、描述性统计、抽样、条件查询、可视化探查与缺失值识别等 EDA 核心技术并学会如何用它们判断数据能否支撑问题结论、哪些特征影响小费、哪些列可以弃用。任务背景数据科学生命周期的「分析」阶段本作业是上一课 Assessing a Dataset 作业 的延续。在上一课中团队处于生命周期 Capturing采集 阶段任务是评估数据集能否回答客户问题而本课进入 Analyzing分析 阶段负责对数据做更深入的探索。客户的问题是纽约黄色出租车乘客在冬天还是夏天给司机的小费更多数据科学中的分析阶段用于确认数据能否回答所提出的问题或解决特定问题也可用于确认模型是否正确回应这些问题。本课聚焦 EDA即定义数据内部特征与关系的技术其产出可为后续建模做准备。作业提供的材料位于 4-Data-Science-Lifecycle/15-analyzing/ 目录assignment.ipynb加载数据的起始 notebook包含空单元格供你补充分析data/taxi.csv包含 2019 年 1 月与 7 月的 200 条出租车交易记录README.md本课 EDA 技术讲解含示例 notebook.ipynb。数据来自纽约市出租车与轿车委员会Taxi Limousine Commission的黄色出租车公开数据集。官方同时提供了数据字典data dictionary与用户指南user guide用于解释各列含义。数据集初探200 行、18 列的字段构成先看 assignment.ipynb 中的数据加载代码它直接给出了读取 CSV 的标准写法import pandas as pd path ../../data/taxi.csv # Load the csv file into a dataframe df pd.read_csv(path) # Print the dataframe print(df)notebook 运行输出显示数据集为 200 行 × 18 列。从当前仓库数据 data/taxi.csv 实际计算可得2019-01 与 2019-07 各有 100 条记录且 18 列均无缺失值、无重复行。18 个字段含义如下对应纽约 TLC 黄色出租车行程记录标准字段列名含义在本次分析中的角色VendorID出租车公司/技术提供商代码可能影响服务体验但与季节无关tpep_pickup_datetime上车时间戳用于划分冬1 月/夏7 月季节tpep_dropoff_datetime下车时间戳可派生行程时长passenger_count乘客数可能影响小费trip_distance行程距离英里与车费相关可能影响小费RatecodeID费率代码标准/机场/协商等影响车费构成store_and_fwd_flag是否由车载设备暂存后转发的标志从数据看全为 N属常量列PULocationID / DOLocationID上下车区域 ID可结合空间数据探索payment_type支付方式1信用卡2现金关键现金支付通常无法记录小费fare_amount基础车费与小费强相关extra / mta_tax附加费、州税固定小额费用tip_amount小费金额本次分析的目标变量响应变量tolls_amount过路费较少出现improvement_surcharge改善附加费固定值total_amount乘客支付总额与各分项合计有关congestion_surcharge拥堵附加费2019 年部分区域征收值为 2.5 或 0对数据做一次快速画像可以印证字段特性从仓库数据计算可得payment_type中信用卡1.0143 笔、现金2.057 笔约 69% 的行程记录到大于 0 的小费VendorID出现 1、2、4 三个值标准取值通常为 1 或 24 值得进一步排查store_and_fwd_flag全部为 N说明该列在当前样本中没有区分度。EDA 核心技术本课的知识工具箱15-analyzing 课程 README 系统介绍了四类 EDA 技术配套示例在 notebook.ipynb使用匿名邮件词频数据集 data/emails.csv 演示。这些技术可直接迁移到出租车数据上。1. 数据画像与描述性统计describe()分析阶段首先要回答我手上的数据够不够解决这个问题。数据画像data profiling通过描述性统计概括数据集整体信息。Pandas 的describe()函数对数值列返回计数count、均值mean、标准差std、最小/最大值与四分位数帮助你评估数据量是否充足、量纲是否合理# 对出租车数据做描述性统计 print(df.describe())课程示例中对邮件数据运行describe()输出展示每个词频列的 count 均为 406均值、标准差与分位数一目了然——这正是判断数据够不够、分布如何的起点。套用到出租车数据上重点关注fare_amount、trip_distance、tip_amount的分布与 1 月/7 月两组的样本量均衡性当前数据恰好每组 100 条天然适合做季节对比。2. 抽样sample()在大数据集上逐一查看每一行既不现实也无必要。抽样sampling能帮助我们在可控成本下了解数据的构成与代表性并结合概率统计得出总体结论。样本量越大泛化结论越精确。Pandas 的sample()可按指定数量随机抽取# 随机抽取 10 条行程观察 print(df.sample(10))示例 notebook 中用email_df.sample(10)随机打印 10 封邮件的词频向量用来快速感知记录形态。对出租车数据做同样操作可以快速浏览各列实际取值发现诸如congestion_surcharge只在部分行程出现等现象。3. 条件查询query()与抽样不同查询querying让你对数据中特定部分进行有目的的控制与聚焦用来验证具体猜想。Pandas 的query()接收字符串表达式返回满足条件的行# 选出 7 月夏季的行程 print(df.query(tpep_pickup_datetime 2019-07-01)) # 选出车费高于 15 美元的行程 print(df.query(fare_amount 15))示例 notebook 中用email_df.query(the to)返回 to 出现次数多于 the 的邮件行演示了条件检索的写法。在出租车任务中query()是分离冬夏两组、筛选信用卡支付记录的最直接工具。4. 可视化探索不必等数据彻底清洗完毕才开始画图——探索阶段的可视化能帮助你快速发现模式、关系与问题也是向非数据人员沟通发现、澄清采集阶段未及问题的桥梁。更系统的可视化方法可参考仓库 3-Data-Visualization 章节数量、分布、占比、关系四类图表。对本任务而言一个实用思路是按月份分组用箱线图boxplot对比 1 月与 7 月的小费分布或绘制fare_amount对tip_amount的散点图观察线性关系从而直观判断是否存在季节性小费行为。5. 缺失值与不一致性排查isna() / isnull()以上技术都能帮助识别缺失或不一致的值而 Pandas 还专门提供isna()/isnull()检查缺失值。关键不只是发现缺失而是探究缺失为何发生这决定了后续 数据准备课程 中的处理策略删除、填充或保留。例如本数据中现金支付行程的tip_amount大量为 0这不是数据缺失而是现金支付无法在小费字段中记录所致——理解成因对正确解读小费规律至关重要。三问三答本作业要求的分析路径作业要求用上述技术自行完成 EDA可在 notebook 中按需添加单元格并回答三个问题。下面给出每个问题的分析思路与可从数据中验证的证据。问题一数据中还有哪些因素可能影响小费金额从字段字典与数据计算两个层面找线索车费相关从当前数据计算trip_distance与tip_amount的相关系数约为 0.43fare_amount与tip_amount的相关系数约为 0.36说明里程与车费是影响小费的重要连续变量——距离越远、车费越高小费通常越高支付方式payment_type直接决定小费是否被记录现金行程tip_amount恒为 0这一列必须纳入建模特征时间与地点上车时刻可派生早/晚高峰、深夜时段、PULocationID/DOLocationID区域差异机场行程常伴随更高车费与小费都可能是影响因子可结合 NYC Open Data 的其他数据集如天气、区域收入做交叉分析行程时长由tpep_pickup_datetime与tpep_dropoff_datetime相减可得时长越长小费绝对值往往越高。问题二哪些列大概率对回答客户问题无用常量列store_and_fwd_flag在当前样本中全为 Nimprovement_surcharge恒为 0.3没有区分度派生冗余列total_amount可由各分项相加得到从数据验证两者差异最多为拥堵附加费的 2.5 美元需留意该列口径tpep_dropoff_datetime的价值体现在派生时长而非原始值与目标弱相关的运营标识VendorID、RatecodeID与季节性小费行为无直接因果可在建模初期剔除或做降基处理后再评估需要强调的是这些列大概率无用的判断必须建立在 EDA 证据之上而不是拍脑袋——例如VendorID若与服务质量关联也可能间接影响小费需用分组统计验证后再决定去留。问题三现有数据是否呈现季节性小费行为的证据这是客户问题的核心。从仓库数据直接分组统计可得2019-01 平均小费约 1.95 美元中位数 1.482019-07 平均小费约 2.08 美元中位数 2.00——夏季略高于冬季。但必须保持审慎样本仅 200 条每月各 100统计波动大中位数与均值的差异不足以构成强证据小费金额受车费、距离、支付方式混淆影响需控制这些变量后再比较季节差异因此诚实的回答是初步数据暗示夏季小费略高但样本量与混杂因素决定了这还不是确定性结论这也正体现了 EDA 的价值——它在探索中不断产生新问题而不是急于下结论。正如课程 README 所强调分析阶段常需回到采集阶段重新确认目标是否需要调整。评分标准如何自我评估完成度作业附带的评分表rubric明确了三个档次的验收标准完整继承如下作为自查清单优秀Exemplary合格Adequate待改进Needs Improvement在 notebook 中运用多种 EDA 技术描述统计、抽样、查询、可视化、缺失检查对三个问题给出有数据支撑的论证并主动探索了支付方式、车费等混杂因素对季节对比的影响完成基础数据加载与描述性统计能回答三个问题但对混杂因素或可视化证据的论证不够充分仅加载数据或仅给出无依据的猜测未使用本课 EDA 技术验证结论对照此表建议至少覆盖describe()数据画像 →query()按季节与支付方式分组 → 箱线图/散点图可视化 → 对缺失与小费为 0 的成因解释四个环节缺一不可。延伸阅读与下一步本课完整技术讲解与更多示例4-Data-Science-Lifecycle/15-analyzing/README.md 与 notebook.ipynb上一课评估数据集是否可用4-Data-Science-Lifecycle/14-Introduction/assignment.md生命周期总览与 Capturing/Processing/Maintaining 三阶段 4-Data-Science-Lifecycle/14-Introduction/README.md发现缺失与不一致数据后的处理技术2-Working-With-Data/08-data-preparation/notebook.ipynb更丰富的可视化探索方式3-Data-Visualization。分析阶段的产出将衔接生命周期的下一个环节——沟通Communication即把 EDA 结论整理成面向客户的可信汇报。掌握本作业所要求的 EDA 全流程你就能在任意新数据集上快速建立它能不能回答问题、该看哪些特征、结论有多可信的判断力这正是从数据到决策的第一步。【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考