什么是文本数据清洗(文件清洗和处理)

湘潭网小编为大家带来以下内容：

这篇文章主要介绍“怎么用python实现文件读写和数据清洗”，在日常操作中，相信很多人在怎么用python实现文件读写和数据清洗问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么用python实现文件读写和数据清洗”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！一、文件操作

pandas内置了10多种数据源读取函数,常见的就是CSV和EXCEL

使用read_csv方法读取，结果为dataframe格式

在读取csv文件时，文件名称尽量是英文

读取csv时，注意编码，常用编码为utf-8、gbk 、gbk2312和gb18030等

使用to_csv方法快速保存

1.1 csv文件读写#读取文件，以下两种方式：#使用pandas读入需要处理的表格及sheet页import pandas as pddf = pd.read_csv("test.csv",sheet_name='sheet1') #默认是utf-8编码#或者使用with关键字with open("test.csv",encoding="utf-8")as df:     #按行遍历    for row in df:        #修正        row = row.replace('阴性','0').replace('00.','0.')        ...        print(row)#将处理后的结果写入新表#建议用utf-8编码或者中文gbk编码,默认是utf-8编码,index=False表示不写出行索引df.to_csv('df_new.csv',encoding='utf-8',index=False)1.2 excel文件读写#读入需要处理的表格及sheet页df = pd.read_excel('测试.xlsx',sheet_name='test')  df = pd.read_excel(r'测试.xlsx') #默认读入第一个sheet#将处理后的结果写入新表df1.to_excel('处理后的数据.xlsx',index=False)二、数据清洗2.1 删除空值# 删除空值行# 使用索引df.dropna(axis=0,how='all')#删除全部值为空的行df_1 = df[df['价格'].notna()] #删除某一列值为空的行df = df.dropna(axis=0,how='all',subset=['1','2','3','4','5'])# 这5列值均为空，删除整行df = df.dropna(axis=0,how='any',subset=['1','2','3','4','5'])#这5列值任何出现一个空，即删除整行2.2 删除不需要的列# 使用del, 一次只能删除一列，不能一次删除多列 del df['sample_1']  #修改源文件，且一次只能删除一个del df[['sample_1', 'sample_2']]  #报错#使用drop，有两种方法：#使用列名df = df.drop(['sample_1', 'sample_2'], axis=1) # axis=1 表示删除列df.drop(['sample_1', 'sample_2'], axis=1, inplace=True) # inplace=True, 直接从内部删除#使用索引df.drop(df.columns[[0, 1, 2]], axis=1, inplace=True) # df.columns[ ] #直接使用索引查找列，删除前3列2.3 删除不需要的行#使用drop，有两种方法：#使用行名df = df.drop(['行名1', '行名2']) # 默认axis=0 表示删除行df.drop(['行名1', '行名2'], inplace=True) # inplace=True, 直接从内部删除#使用索引df.drop(df.index[[1, 3, 5]]) # df.index[ ]直接使用索引查找行，删除1,3，5行df = df[df.index % 2 == 0]#删除偶数行2.4 重置索引#在删除了行列数据后，造成索引混乱，可通过 reset_index重新生成连续索引df.reset_index()#获得新的index，原来的index变成数据列，保留下来df.reset_index(drop=True)#不想保留原来的index，使用参数 drop=True，默认 Falsedf.reset_index(drop=True,inplace=True)#修改源文件#使用某一列作为索引df.set_index('column_name').head()2.5 统计缺失#每列的缺失数量df.isnull().sum()#每列缺失占比df3.isnull().sum()/df.shape[0]#每行的缺失数量df3.isnull().sum(axis=1)#每行缺失占比df3.isnull().sum(axis=1)/df.shape[1]2.6 排序#按每行缺失值进行降序排序df3.isnull().sum(axis=1).sort_values(ascending=False)#按每列缺失率进行降序排序(df.isnull().sum()/df.isnull().count()).sort_values(ascending=False)

到此，关于“怎么用python实现文件读写和数据清洗”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注花开半夏网站，小编会继续努力为大家带来更多实用的文章！

君子莲(www.junzilian.com)湖南省长沙、株洲、湘潭城市宣传信息网，提供房产,人才招聘,家居装饰,教育,论坛,旅游,特产,美食,天气,娱乐,企业等资讯。