pandas的数据筛选过滤检索功能是其最基础也是最重要的功能之一。在pandas中最常用的几种数据过滤方式如下行列过滤选取指定的行或者列条件过滤对列的数据设置过滤条件函数过滤通过函数设置更加复杂的过滤条件在开始之前本篇文章使用的测试数据下载地址为https://download.csdn.net/download/qq_42692386/91724806这是一个1000行8列的雇员数据集列分别为员工姓名性别入职日期最近一次登录时间薪水奖金是否为高级管理人员小组部门为了使用方便在导入时我们首先将列名中的空格全部替换为下划线导入并处理数据代码如下importpandasaspd dfpd.read_csv(rC:\employees.csv)df.columns[column.replace( ,_)forcolumnindf.columns]当然也可以使用df.rename对列名进行更改。1. 行列过滤pandas中最常用的按行或者按列选择数据的函数是 loc 和 iloc。1.1 loc 函数loc函数通过标签索引选择行列数据行索引即为对应的索引序号即下图中的红框部分列索引即为列名可以在一个语句中同时指定行和列的条件。选取第二行。注意列索引是从0开始的所以第二行对应的列索引是1.#如下两个方法返回的结果一致都是返回数据第二行df.loc[1]df.loc[1,:]选取连续多行dfdf.loc[1:5,:]输出的结果为First_Name Gender Start_Date ... Bonus Senior_Management Team 1 Thomas Male 1996/3/31 ... 2582.60610 True NaN 2 Maria Female 1993/4/23 ... 15485.36220 False Finance 3 Jerry Male 2005/3/4 ... 12955.04700 True Finance 4 Larry Male 1998/1/24 ... 1402.94556 True Client Services 5 Dennis Male 1987/4/18 ... 11660.25375 False Legal [5 rows x 8 columns]选取指定的行df.loc[[1,5],:]输出的结果为First_Name Gender Start_Date ... Bonus Senior_Management Team 1 Thomas Male 1996/3/31 ... 2582.60610 True NaN 5 Dennis Male 1987/4/18 ... 11660.25375 False Legal [2 rows x 8 columns]对于列也是同样的逻辑。#选取连续多列df.loc[:,Bonus:Team]#选取指定的列df.loc[:,[Bonus,Team]]对于行和列也可以同时设置进行筛选df.loc[1:4,[First_Name,Team]]筛选结果为First_Name Team 1 Thomas NaN 2 Maria Finance 3 Jerry Finance 4 Larry Client Services直接取一列、多列数据也可以直接简写为df[col]# 取Team这一列df[Team]# 取First_NameTeam两列df[[First_Name,Team]]注意注意如下不同写法返回的数据类型的差异容易踩坑df[col]→ Seriesdf[[col]]→ DataFrame双层中括号df.loc[:, [col]]→ DataFramedf.loc[:, col]→ Series1.2 iloc 函数iloc函数通过整数位置索引选择行列数据。这种方法与loc方法类似但是它使用整数位置而不是标签。选取连续多行df.iloc[1:5,:]筛选结果为First_Name Gender Start_Date ... Bonus Senior_Management Team 1 Thomas Male 1996/3/31 ... 2582.60610 True NaN 2 Maria Female 1993/4/23 ... 15485.36220 False Finance 3 Jerry Male 2005/3/4 ... 12955.04700 True Finance 4 Larry Male 1998/1/24 ... 1402.94556 True Client Services [4 rows x 8 columns]注意这里可以看出iloc和loc的区别同样的范围[1:5]iloc不包括index5的数据而loc是包括index5的数据。选择指定的行df.iloc[[1,5],:]和loc的结果是一致的筛选连续多列df.iloc[:,0:3]注意这里是 iloc和loc的另一个区别iloc只能用数字序列来表示列的范围第一列对应数字0回顾之前的loc函数我们可以用列名来表示范围的df.loc[:, “年份”:“指标中文”]。另外iloc表示列的范围0:3表示是0,1,2三列不包括3这一列。同样iloc也可以行和列同时设置df.iloc[1:5,[0,2]]iloc还可以从后往前筛选行和列#筛选最后三行df.iloc[-3:,:]#筛选最后三列df.iloc[:,-3:]同时筛选最后三行三列 df.iloc[-3:,-3:]1.3 iloc和loc函数的区别之前说过loc是通过索引标签来定位的而iloc是通过位置标签定位了可以通过下面的例子来看出两者的区别。首先对于导入的数据进行随机打乱dfdf.sample(frac1.0)之后对于打乱的数据使用loc筛选df.loc[1:5,:]结果为First_Name Gender ... Senior_Management Team 1 Thomas Male ... True NaN 719 John Male ... False Engineering 212 Lisa Female ... False Client Services 527 Helen NaN ... False Product 685 NaN Male ... NaN Finance .. ... ... ... ... ... 361 Margaret Female ... False Sales 581 Ernest Male ... False Marketing 312 Gerald Male ... True Sales 676 Annie Female ... True Marketing 5 Dennis Male ... False Legal [535 rows x 8 columns]可以看到打乱顺序后loc筛选仍然是连续筛选索引为1到5之间所有的行。由于是随机打乱所以每次运行的结果不一样甚至可能会出现结果为空而使用iloc筛选df.iloc[1:5,:]结果为First_Name Gender ... Senior_Management Team 957 Jeffrey Male ... True Sales 82 Steven Male ... True Client Services 249 Betty Female ... True Business Development 980 Kimberly Female ... True Engineering [4 rows x 8 columns]即不论顺序如何变永远选取第二行到第五行的数据。2. 条件过滤行列过滤的方式是基于索引和列名称来过滤的除此之外还可以根据列的值来过滤。2.1 单条件根据列的值来过滤列的值是数值还是字符串都可以。#筛选Bonus列大于100000的df[df[Bonus]100000]#筛选First_Name列为Barbara的dfdf[df[First_Name]Barbara]#筛选First_Name列中包含ice的要先删除空子还可以使用其他的str方法设置不同的条件dfdf.dropna(subset[First_Name])dfdf[df[First_Name].str.contains(ice)]2.2 多条件除了设置单独的条件之外也支持通过逻辑符号和|来设置多个条件。例如筛选Salary大于149000和Gender为Female的df[(df[Salary]149000)(df[Gender]Female)]筛选后有六行数据符合要求。First_Name Gender ... Senior_Management Team 160 Kathy Female ... True Finance 186 NaN Female ... NaN Sales 429 Rose Female ... False Human Resources 644 Katherine Female ... False Finance 793 Andrea Female ... True Distribution 828 Cynthia Female ... False Product [6 rows x 8 columns]而筛选满足Salary大于149000或Gender为Female的任意一个条件的只要将逻辑符号“与”改为“或”|即可df[(df[Salary]149000)|(df[Gender]Female)]逻辑符号可以重复和嵌套使用根据具体的逻辑编写即可。参考文章https://www.cnblogs.com/wang_yb/p/17388485.html