1.pandas数据的写入与输出代码import pandas as pd #读取数据 dfpd.read_csv(data/sales.csv,usecols[订单号,产品类别,产品名称,销售数量,单价]) #数据处理 df[销售金额]df[销售数量]*df[单价] #写入数据---to_csv df.to_csv(data/sales01.csv,indexFalse) df2.数据的查看、选择及过滤代码# 数据查看---head,tail,describe,info,shape,columns df1pd.read_csv(data/sales.csv,usecols[订单号,产品类别,产品名称,销售数量,单价]) df1.head(10)#显示前10行数据 df1.tail(10)#显示后10行数据 df1.describe()#显示数据的统计信息 df1.info() #显示数据信息列名非空计数数据类型等 df1.shape #显示数据形状行数列数 df1.columns #显示列名#数据选择 df2pd.read_csv(data/sales.csv,usecols[订单号,产品类别,产品名称,销售数量,单价]) #1.选择列 #1.1单列 # df2[产品名称,单价] # df2.产品名称 #1.2多列 # df2[[产品名称,单价]] # df2[[产品类别,产品名称,单价]] #2.选择行-- loc,iloc #2.1 iloc---基于行号选择行不包含结束位置语法df2.iloc[start:stop:step] # df2.iloc[0:5:1] # df2.iloc[0:5] #2.2 loc---基于索引选择行包含结束位置语法df2.loc[start:stop:step] df2.loc[0:5:1]过滤df3pd.read_csv(data/sales.csv) #配置项用于展示所有的数据 #pd.set_option(display.max_rows, None)#显示所有行 #数据过滤 #1. 获取 销售数量 10 的订单数据 df3[df3[销售数量]10] #2. 获取产品类别为 食品 或 图书 的订单数据 # df3[df3[产品类别].isin([食品,图书])] df3[(df3[产品类别]食品)|(df3[产品类别]图书)] #3. 获取 单价在 100-200 之间 的订单数据 # df3[df3[单价].between(100,200)]#默认包含边界若是不希望包含则利用 inclusiveright/left/neither的方式来设定 df3[(df3[单价]100)(df3[单价]200)] #4. 获取 销售数量 8 并且 单价 100 的订单数据 df3[(df3[销售数量]8)(df3[单价]100)] #5. 获取 产品类别为 服装 / 食品 支付方式为 支付宝 /信支付 的订单数据 df3[(df3[产品类别].isin([服装,食品]))(df3[支付方式].isin([支付宝,信支付]))]3.数据清洗代码示例import pandas as pd pd.set_option(display.min_rows, 30) #1.读取数据 dfpd.read_csv(data/sales.csv) #2.数据清洗 #2.1缺失值处理 # df.isnull() # df.dropna()#删除包含缺失值的行 # df.dropna(axis1)#删除包含缺失值的列 # df #2.1.2 填充缺失值 #df.fillna(--)#填充缺失值用--代替 #df.ffill()#填充缺失值填充上一行数据 #df.bfill()#填充缺失值填充下一行数据 #2.2重复值的处理 #2.2.1查看重复值 #df.duplicated()#查看重复值所有列的数据都相同 #df.duplicated(subset[订单号])#查看重复值订单号列的数据都相同 #2.2.2删除重复值 #df.drop_duplicates(subset[订单号], keepfirst)# keepfirst默认值保留第一个删除后续重复值.keep为False时表示两个都不保留#2.3异常值的处理 #2.3.1查看异常值 #df[df[单价]0] #2.3.2删除异常值 #df.drop(df[df[单价]0].index) #2.3.3修复异常值 # df[单价]df[单价].abs() # df#2.4数据格式转换 df[订单日期]df[订单日期].str.replace(/,-) df## 1. isnull () /dropna () /fillna () /ffill () /bfill () —— 缺失值处理 - **isnull()**检测缺失值。返回一个与原数据形状相同的布尔值 DataFrame/Series凡是缺失的位置NaN、None、NA标记为 True正常值为 False。常用于定位 哪里有空值配合 sum() 统计每列缺失数量。 - **dropna()**删除缺失值。默认删除**含任何缺失值的行**可加参数 axis1 删列、howall 只删整行全空的、subset 指定只在某些列判断。 - **fillna()**填充缺失值。用指定值或统计值把空位填上如 fillna(0)、fillna(df.mean())、fillna(未知)。 - **ffill()**前向填充forward fill。用**前面最近的一个有效值**向下填充空位适合时间序列里 沿用上一个值 的场景等价于 fillna(methodffill)。 - **bfill()**后向填充backward fill。用**后面最近的一个有效值**向上填充空位等价于 fillna(methodbfill)适合末尾缺失需要后续值回填的情况。 ## 2. duplicated () /drop_duplicates () —— 重复值处理 - **duplicated()**检测重复行。返回布尔序列True 表示该行与前面某行重复。默认保留**第一次出现**的行之后重复的行标记为 True可用 subset 指定按某几列判断重复keepFalse 让所有重复行都标 True。 - **drop_duplicates()**删除重复行。默认保留每个重复组里的第一行其余删除同样支持 subset 指定列、keeplast 保留最后一行。 ## 3. df [xx] df [xx].abs () —— 取绝对值 把 xx 这一列的所有数值取绝对值后写回原列。作用是**清洗异常负值**比如金额、数量、误差值不该为负却出现负数时强制转为非负避免后续统计被负值干扰。返回结果直接覆盖该列。 ## 4. df [xxx].str.replace (/, -) —— 字符串替换 用 .str 访问器对 xxx 这一列的每个字符串做替换把其中所有 / 换成 -。作用是**统一格式**最典型的是日期格式标准化如把 2020/01/01 统一成 2020-01-01方便排序、比较或入库。4.排序代码import pandas as pd #1.读取数据 dfpd.read_csv(data/sales.csv,nrows10) #2.排序 #2.1根据 销售数量排序 #df.sort_values(销售数量, ascendingFalse)#默认是升序ascendingFalse表示降序 #2.2根据单价升序排序 #df.sort_values(单价, ascendingTrue) #df.sort_values(单价) #2.3 根据 价格 升序排序价格一样再根据销售数量 倒序排序 df.sort_values([单价, 销售数量], ascending[True, False]) df.sort_values([单价, 销售数量], ascending[True, True])