文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

pandas数据分析常用函数有哪些

2023-06-01 22:50

关注

小编给大家分享一下pandas数据分析常用函数有哪些,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

导入模块

import pandas as pd      # 这里用到的是pandas和numpy两个模块
import numpy as np

创建数据集并读取

1 创建数据集

我构造了一个超市购物的数据集,该数据集属性包括:订单ID号(id)、订单日期(date)、消费金额(money)、订单商品(product)、商品类别(department)、商品产地(origin)。

# 列表和字典均可传入DataFrame,我这里用的是字典传入:
data=pd.DataFrame({
   "id":np.arange(101,111),                                # np.arange会自动输出范围内的数据,这里会输出101~110的id号。
   "date":pd.date_range(start="20200310",periods=10),      # 输出日期数据,设置周期为10,注意这里的周期数应该与数据条数相等。
   "money":[5,4,65,-10,15,20,35,16,6,20],                  # 设置一个-10的坑,下面会填(好惨,自己给自己挖坑,幸亏不准备跳~)
   "product":['苏打水','可乐','牛肉干','老干妈','菠萝','冰激凌','洗面奶','洋葱','牙膏','薯片'],
   "department":['饮料','饮料','零食','调味品','水果',np.nan,'日用品','蔬菜','日用品','零食'],                # 再设置一个空值的坑
   "origin":['China',' China','America','China','Thailand','China','america','China','China','Japan']     # 再再设置一个america的坑
})
data              # 输出查看数据集

输出结果:

pandas数据分析常用函数有哪些

2 数据写入和读取

data.to_csv("shopping.csv",index=False)       # index=False表示不加索引,否则会多一行索引
data=pd.read_csv("shopping.csv")

数据查看

1 数据集基础信息查询

data.shape            # 行数列数
data.dtypes           # 所有列的数据类型
data['id'].dtype      # 某一列的数据类型
data.ndim             # 数据维度
data.index            # 行索引
data.columns          # 列索引
data.values           # 对象值

2 数据集整体情况查询

data.head()    # 显示头部几行(默认5行)
data.tail()    # 显示末尾几行(默认5行)
data.info()    # 数据集相关信息概览:索引情况、列数据类型、非空值、内存使用情况
data.describe()    # 快速综合统计结果

数据清洗

1 查看异常值

当然,现在这个数据集很小,可以直观地发现异常值,但是在数据集很大的时候,我用下面这种方式查看数据集中是否存在异常值,如果有其他更好的方法,欢迎传授给我。

for i in data:
   print(i+": "+str(data[i].unique()))      # 查看某一列的唯一值

输出结果:我们发现,该数据集中money存在一个负值,department存在一个空值以及origin存在大小写问题。

pandas数据分析常用函数有哪些

2 空值处理

2.1 空值检测

data.isnull()# 查看整个数据集的空值data['department'].isnull()# 查看某一列的空值

data.isnull()                # 查看整个数据集的空值
data['department'].isnull()  # 查看某一列的空值

输出结果:

pandas数据分析常用函数有哪些

将空值判断进行汇总,更加直观,ascending默认为True,升序。

data.isnull().sum().sort_values(ascending=False)

输出结果:

pandas数据分析常用函数有哪些

2.2 空值处理

pandas.DataFrame.fillna(value = None,method = None,inplace = False)
data['department'].fillna(method="ffill")    # 填充上一个值,即填充“水果”

输出结果:

pandas数据分析常用函数有哪些

data['department'].fillna(method="bfill")    # 填充下一个值,即填充“日用品”
data['department'].fillna(value="冷冻食品",inplace=True)    # 替换为具体值,并且在原对象值上进行修改

输出结果:

pandas数据分析常用函数有哪些

3 空格处理

只针对object类型数据

for i in data:                                    # 遍历数据集中的每一列
   if pd.api.types.is_object_dtype(data[i]):     # 如果是object类型的数据,则执行下方代码
       data[i]=data[i].str.strip()               # 去除空格
data['origin'].unique()                           # 验证一下

输出结果:array([‘China’, ‘America’, ‘Thailand’, ‘america’, ‘Japan’], dtype=object)

4 大小写转换

data['origin'].str.title()         # 将首字母大写
data['origin'].str.capitalize()    # 将首字母大写
data['origin'].str.upper()         # 全部大写
data['origin'].str.lower()         # 全部小写

5 数据替换

data['origin'].replace("america","America",inplace=True)    # 将第一个值替换为第二个值,inplace默认为False
data['origin']

输出结果:

pandas数据分析常用函数有哪些

data['money'].replace(-10,np.nan,inplace=True)                    # 将负值替换为空值
data['money'].replace(np.nan,data['money'].mean(),inplace=True)   # 将空值替换为均值
data['money']

输出结果:

pandas数据分析常用函数有哪些

6 数据删除

方法一

data1 = data[data.origin != 'American'] #去掉origin为American的行
data1
data2=data[(data != 'Japan').all(1)]    #去掉所有包含Japan的行    不等于Japan的行为真,则返回
data2

方法二

data['origin'].drop_duplicates()      # 默认删除后面出现的重复值,即保留第一次出现的重复值

输出结果:

pandas数据分析常用函数有哪些

data['origin'].drop_duplicates(keep='last')   # 删除前面出现的重复值,即保留最后一次出现的重复值

输出结果:

pandas数据分析常用函数有哪些

更多关于pandas.DataFrame.drop_duplicates的用法,戳下面官方链接:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html#pandas.DataFrame.drop_duplicates

7 数据格式转换

data['id'].astype('str')    # 将id列的类型转换为字符串类型。

常见的数据类型对照

pandas数据分析常用函数有哪些

8 更改列名称

data.rename(columns={'id':'ID', 'origin':'产地'})     # 将id列改为ID,将origin改为产地。

输出结果:

pandas数据分析常用函数有哪些

以上是“pandas数据分析常用函数有哪些”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网行业资讯频道!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯