Python 数据清洗实战——缺失值、异常值、重复值处理
实际数据很少是干净的缺失值、异常值、重复值都需要处理。这篇用 pandas 把这三种情况说清楚。一、缺失值处理importpandasaspdimportnumpyasnp# 查看缺失值print(df.isnull().sum())# 删除缺失值df.dropna(subset[姓名],inplaceTrue)# 填充缺失值df[年龄].fillna(df[年龄].mean(),inplaceTrue)# 均值填充df[工资].fillna(df[工资].median(),inplaceTrue)# 中位数填充df[部门].fillna(未知,inplaceTrue)# 固定值填充df[评分].fillna(methodffill,inplaceTrue)# 前向填充二、异常值处理# Z-score 法fromscipyimportstats znp.abs(stats.zscore(df[工资]))dfdf[z3]# 去掉 Z-score 3 的# IQR 法Q1df[工资].quantile(0.25)Q3df[工资].quantile(0.75)IQRQ3-Q1 dfdf[(df[工资]Q1-1.5*IQR)(df[工资]Q31.5*IQR)]三、重复值处理# 查看重复print(df.duplicated().sum())print(df.duplicated(subset[姓名]).sum())# 删除重复df.drop_duplicates(inplaceTrue)df.drop_duplicates(subset[姓名],keeplast,inplaceTrue) 觉得有用的话点赞 关注【张老师技术栈】吧

相关新闻

SpringBoot 整合 JWT——Token 认证与自动刷新

SpringBoot 整合 JWT——Token 认证与自动刷新

Session 方式在分布式环境下不好用,JWT(JSON Web Token)是目前主流的无状态认证方案。服务端不需要存 Session,Token 中包含了用户信息。 一、JWT 结构 header.payload.signatureheader: 加密算法 payload: 用户数据&#xff08…

2026/10/18 2:07:18 阅读更多 →
SpringBoot 整合 Nacos 配置中心——配置集中管理

SpringBoot 整合 Nacos 配置中心——配置集中管理

当服务数量增多时,修改一个配置要在每个服务上改一遍,非常麻烦。Nacos 配置中心可以把所有配置集中管理,修改后实时生效,无需重启。 一、部署 Nacos docker run -d \--name nacos \-p 8848:8848 \-e MODEstandalone \nacos/nacos-…

2026/10/2 16:05:38 阅读更多 →
算法面试——二叉树遍历:递归、非递归、重建二叉树

算法面试——二叉树遍历:递归、非递归、重建二叉树

二叉树遍历是算法面试的绝对基础。递归写法要熟练,非递归写法要能手撕。 一、前序遍历 void preorder(TreeNode root) {if (root null) return;System.out.print(root.val " ");preorder(root.left);preorder(root.right); }void preorderIter(TreeNode…

2026/10/17 18:30:55 阅读更多 →

最新新闻

SteamOS 安装到 AMD 新显卡:RX 9060 XT 性能发挥实战指南

SteamOS 安装到 AMD 新显卡:RX 9060 XT 性能发挥实战指南

最近不少朋友在讨论 SteamOS 装到普通 PC 上的玩法,尤其是搭配 AMD 新卡的组合。有位朋友跟我说,他在一台整机配置并不算高的机器上装好 SteamOS,显卡是 RX 9060 XT,进游戏后的流畅度比想象中要好很多。这里说的“低配”&#xff…

2026/10/18 2:06:55 阅读更多 →
Oracle 11.2.0.1 补丁安装四道生死门与三重验证法

Oracle 11.2.0.1 补丁安装四道生死门与三重验证法

简介:本资源是一份面向Oracle数据库运维工程师与DBA的实战型补丁管理指南,聚焦Oracle 11.2.0.1版本的补丁安装全流程,解决企业环境中常见补丁部署不规范、回滚困难、验证缺失等痛点。文档以清晰步骤覆盖安装前环境检查与全量备份、OPatch工具…

2026/10/18 2:06:55 阅读更多 →
CAD2024安装教程源码:静默安装与彻底卸载脚本实践

CAD2024安装教程源码:静默安装与彻底卸载脚本实践

简介:这份资源面向零基础到进阶的机械设计学习者与工程师,提供CAD2024机械版的下载与安装指引,帮助用户在自己的电脑上顺利部署并运行这款专业计算机辅助设计工具。压缩包共3个文件,以inscode项目配置、html页面和gitignore忽略规…

2026/10/18 2:06:55 阅读更多 →
GrADS气象绘图入门:安装、ctl数据描述与脚本批量出图

GrADS气象绘图入门:安装、ctl数据描述与脚本批量出图

简介:这份资源是面向气象、环境及科研数据分析初学者的GrADS绘图软件入门文档,帮助零基础用户完成软件安装并掌握基本绘图命令。GrADS作为自由软件,支持Windows与Unix平台,可处理经纬度、层次、时间构成的4D格点或离散数据&#x…

2026/10/18 2:06:55 阅读更多 →
加速度传感器能测哪些物理量?从原理到工程选型实测指南

加速度传感器能测哪些物理量?从原理到工程选型实测指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 2:06:55 阅读更多 →
FPGA研发工程师核心技能与学习路径全解析

FPGA研发工程师核心技能与学习路径全解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 2:05:55 阅读更多 →

日新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/18 0:00:55 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/18 0:00:55 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/18 0:00:55 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/18 0:00:55 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 0:55:02 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/17 17:22:31 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 14:23:36 阅读更多 →