携手创作，共同生长！这是我参与「日新方案 8 月更文应战」的第17天，点击查看活动详情

• 作者：韩信子@ShowMeAI
• 数据分析实战系列：www.showmeai.tech/tutorials/4…
• 本文地址：www.showmeai.tech/article-det…
• 声明：版权所有，转载请联系平台与作者并注明出处
• 收藏ShowMeAI查看更多精彩内容

Python具有极端活泼的社区和覆盖全范畴的第三方库东西库，近年来一向位居编程语言热度头部方位，而数据科学范畴最受欢迎的python东西库之一是 Pandas。随着这么多年来的社区高速发展和海量的开源奉献者，使得 pandas 简直能够胜任任何数据处理工作。

Pandas的功用与函数极端丰富，要完全记住和掌握是不实际的（也没有必要），资深数据分析师和数据科学家最常运用的大概有二三十个函数。在本篇内容中，ShowMeAI 把这些功用函数总结为10类。熟练掌握它们，你就能够轻松处理80% 以上的数据处理问题。

也引荐咱们阅读ShowMeAI针对数据分析编写的教程和速查表，快速成为数据洞悉高手！

• 图解数据分析：从入门到通晓系列教程
• 数据科学东西库速查表 | Pandas 速查表

1.读取数据

咱们常常要从外部源读取数据，根据不同的源数据格局，咱们能够运用对应的 read_*功用：

• read_csv：咱们读取CSV格局数据时运用它。这个函数的运用留意点包含 header（是否有表头以及哪一行是表头）， sep（分隔符），和 usecols（要运用的列/字段的子集）。
• read_excel：读取Excel格局文件时运用它。这个函数的运用留意点包含 sheet_name（哪个表）和标题。
• read_pickle：读取pickle格局存储的文件时运用，这个格局的优势是比 CSV 和 Excel快许多。
• read_sas: 我常常运用这个功用，由于我从前运用 SAS 来处理数据。

2.写入数据

处理完数据后，咱们可能会把处理后的DataFrame保存下来，最常用的文件写入函数如下：

• to_csv: 写入 CSV 文件。 留意：它不保存某些数据类型（例如日期）。 许多情况下咱们会将参数索引设置为False，这样就不用额外的列来显现数据文件中的索引。
• to_excel: 写入 Excel 文件。
• to_pickle：写入pickle文件。这是主张的写入格局，读写的速度都非常快。

3.数据概览

将数据成 DataFrame 格局后，咱们最好对数据有一个开始的了解，以下是最常用到的几个数据概览函数，能供给数据的根本信息。

• head：返回前几行，一般用于查看数据是否正确读取，以及了解数据字段和形状等根本信息。
• tail：查看最终几行。在处理大文件时，读取可能不完好，能够通过它查看是否完好读取数据。
• info：数据集的总体摘要：包含列的数据类型和内存运用情况等信息。
• describe：供给数据集的描述性摘要（比方连续值的计算信息、类别型字段的频次信息等）。
• shape: 行数和列数（留意，这是Dataframe的属性，而非函数）。

4.数据排序

咱们常常需求对数据进行排序，Dataframe有一个重要的排序函数。

• sort_values：通过指定列名对数据进行排序，能够调整升序或许降序规则。

5.处理重复

咱们手上的数据集很可能存在重复记录，某些数据意外两次输入到数据源中，清洗数据时删去重复项很重要。 以下函数很常用：

• duplicated: 辨认DataFrame中是否有重复，能够指定运用哪些列来标识重复项。
• drop_duplicates：从 DataFrame 中删去重复项。一般主张咱们先运用 duplicated查看重复项，确认事务上需求删去重复项，再运用这个函数。

6.处理缺失值

实际数据集中根本都会存在缺失值的情况，下面这些函数常被用作查看和处理缺失值。

• isnull：查看您的 DataFrame 是否缺失。
• dropna: 对数据做删去处理。留意它有很重要的参数how（如何确认观察是否被丢掉）和 thred（int类型，保存缺失值的数量）。
• fillna: 用指定的办法填充缺失值，例如向前填充 ( ffill)。

7.数据处理

一个字段可能包含许多信息，咱们能够运用以下函数对字段进行数据处理和信息抽取：

• map：一般运用map对字段进行映射操作（根据一些操作函数），如 df[“sub_id”] = df[“temp_id”].map(lambda x: int(x[-4:])).
• apply：通过多列的数据创建新的字段，在创建新列时常常需求指定 axis=1。

8.数据透视

Dataframe有 2 种常见数据：

• 『宽』格局，指的是每一行代表一条记录（样本），每一列是一个观测维度（特征）。
• 『长』格局，在这种格局中，一个主题有多行，每一行能够代表某个时间点的度量。

咱们会在这两种格局之间转换。

• melt：将宽表转换为长表。 留意：重要参数id_vars（关于标识符）和 value_vars（其值对值列有奉献的列的列表）。
• pivot：将长表转换为宽表。留意：重要参数index（唯一标识符）， columns（列成为值列），和 values（具有值的列）。

9.兼并数据集

咱们对多个数据集Dataframe兼并的时候，可能用到下列的函数（包含表相关和拼接）。

• merge：根据某些字段进行表相关。重要的参数包含 on（衔接字段），how（例如内衔接或左衔接，或外衔接），以及 suffixes（相同字段兼并后的后缀）。
• concat：沿行或列拼接DataFrame目标。当咱们有多个相同形状/存储相同信息的 DataFrame 目标时，它很有用。

10.分组计算

咱们常常会需求对数据集进行分组计算操作，常用的函数包含：

• groupby：创建一个 GroupBy 分组目标，能够根据一列或多列进行分组。
• mean：您能够在 GroupBy 分组目标上调用 mean 来计算均值。其他的常用计算信息包含标准差std。
• size: 分组的频率
• agg：聚合函数。包含常用的计算办法，也能够自己定义。

参考资料

• 图解数据分析：从入门到通晓系列教程：www.showmeai.tech/tutorials/3…
• 数据科学东西库速查表 | Pandas 速查表：www.showmeai.tech/article-det…