文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

「Python|Pandas|场景案例」如何只保留DataFrame数据集的某些列(要保留的列不固定)

2023-10-26 18:08

关注

本文主要介绍在使用pandas进行数据分析过程中的数据预处理时,如果希望仅保留某些列的数据需要如何操作。同时介绍一些特殊情况,比如列是用变量存储;或者列是一个全集,处理的数据集中不一定包括列出的全部列名。

文章目录

场景说明

在数据处理的时候,可能会遇到数据集包含的数据字段并不是全部会用到,甚至有些用不到的字段内容较多,在存储上会占用较多空间,在读取和使用上可能会影响性能,所以需要考虑丢弃用不到的字段,仅保留需要使用的字段。
同时,我们可能遇到一些稍微复杂一点的场景,比如:

这就要求能够使用变量存储要使用的字段,同时数据集中的字段就算没有包含全部指定字段,也不能抛出KeyError之类的处理错误。

解决方案

基本使用

假设我们的数据集有四列,分别是col_1, col_2, col_3, col_4
python数据分析的预处理过程中常用的是pandas库,pandas库中对这种保留指定列/丢弃指定列有对应的写法和函数:

加入变量

用变量把字段集合存储起来就可以改成

fileds_to_use = ['col_1', 'col_2']# 只保留两列 `col_1` 和 `col_2` df = df[ fileds_to_use ]# 丢弃`col_3`这一列fields_to_drop = set(df.columns) - set(fileds_to_use)df = df.drop(fields_to_drop, axis=1)

考虑数据集没有包含全部目标字段的情况

如果我们的数据集字段只有col_1, col_3, col_4三列,我们要使用的还是col_1, col_2两列,那么:

解决这个问题本质上就是加一层检查,只有字段在数据集包含的列名中,才进行保留,可以自己写,也可以调用pandas的函数,如下:

# 自己写一个过滤fileds_to_use  = ['col_1', 'col_2']fileds_set = set(fileds_to_use)column_to_use = [column for column in df.columns if column in fileds_set]df = df[ column_to_use ]# 调用 pandas 的函数column_to_use = df.columns[ df.columns.isin(fileds_to_use) ]df = df[ column_to_use  ]# 因为 pandas 还有取反操作,所以额外说一下drop可以有下面这种写法column_to_drop = df.columns[ ~df.columns.isin(fileds_to_use) ]df = df.drop(column_to_drop, axis=1)

以上就是根据变量值保留数据集某些列的做法,挑选一种自己喜欢的写法即可。

好书推荐:

好课推荐:

写文不易,如果对你有帮助的话,来一波点赞、收藏、关注吧~👇

来源地址:https://blog.csdn.net/qq_41785288/article/details/132309791

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯