文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

pandas删除部分数据后重新生成索引如何实现

2023-07-02 18:23

关注

这篇文章主要介绍“pandas删除部分数据后重新生成索引如何实现”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“pandas删除部分数据后重新生成索引如何实现”文章能帮助大家解决问题。

pandas删除部分数据后重新索引

在使用pandas时,由于隔行读取删除了部分数据,导致删除数据后的索引不连续:

原数据

pandas删除部分数据后重新生成索引如何实现

删除部分数据后

pandas删除部分数据后重新生成索引如何实现

在绑定pyqt的tableview时需进行格式化,结果出现报错:

pandas删除部分数据后重新生成索引如何实现

主要原因是索引值不连续,所以无法格式化,需对删除数据后的数据集进行重新索引,在格式化数据集之前加一句代码:

new_biao = biao.reset_index(drop=True)

顺利通过了编码并显示到tableview,问题解决。

pandas删除部分数据后重新生成索引如何实现

附件:网上查到的格式化用的编码

class PandasModel(QtCore.QAbstractTableModel):    """    Class to populate a table view with a pandas dataframe    """    def __init__(self, data, parent=None):        QtCore.QAbstractTableModel.__init__(self, parent)        self._data = data    def rowCount(self, parent=None):        return len(self._data.values)    def columnCount(self, parent=None):        return self._data.columns.size    def data(self, index, role=QtCore.Qt.DisplayRole):        if index.isValid():            if role == QtCore.Qt.DisplayRole:                return str(self._data.values[index.row()][index.column()])        return None    def headerData(self, col, orientation, role):        if orientation == QtCore.Qt.Horizontal and role == QtCore.Qt.DisplayRole:            return self._data.columns[col]        return None

使用:

model = PandasModel(your_pandas_data_frame)your_tableview.setModel(model)

pandas常用的index索引设置

1.读取时指定索引列

很多情况下,我们的数据源是 CSV 文件。假设有一个名为的文件data.csv,包含以下数据。

date,temperature,humidity07/01/21,95,5007/02/21,94,5507/03/21,94,56

默认情况下,pandas将会创建一个从0开始的索引行,如下:

>>> pd.read_csv("data.csv", parse_dates=["date"])        date  temperature  humidity0 2021-07-01           95        501 2021-07-02           94        552 2021-07-03           94        56

但是,我们可以在导入过程中通过将index_col参数设置为某一列可以直接指定索引列。

>>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date")            temperature  humiditydate                             2021-07-01           95        502021-07-02           94        552021-07-03           94        56

2. 使用现有的 DataFrame 设置索引

当然,如果已经读取数据或做完一些数据处理步骤后,我们可以通过set_index手动设置索引。

>>> df = pd.read_csv("data.csv", parse_dates=["date"])>>> df.set_index("date")            temperature  humiditydate                             2021-07-01           95        502021-07-02           94        552021-07-03           94        56

这里有两点需要注意下。

set_index方法默认将创建一个新的 DataFrame。如果要就地更改df的索引,需要设置inplace=True。

df.set_index(“date”, inplace=True)

如果要保留将要被设置为索引的列,可以设置drop=False。

df.set_index(“date”, drop=False)

3. 一些操作后重置索引

在处理 DataFrame 时,某些操作(例如删除行、索引选择等)将会生成原始索引的子集,这样默认的数字索引排序就乱了。如要重新生成连续索引,可以使用reset_index方法。

>>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))>>> df0          A         B         C0  0.548012  0.288583  0.7342761  0.342895  0.207917  0.9954852  0.378794  0.160913  0.9719513  0.039738  0.008414  0.2265104  0.581093  0.750331  0.133022>>> df1 = df0[df0.index % 2 == 0]>>> df1          A         B         C0  0.548012  0.288583  0.7342762  0.378794  0.160913  0.9719514  0.581093  0.750331  0.133022>>> df1.reset_index(drop=True)          A         B         C0  0.548012  0.288583  0.7342761  0.378794  0.160913  0.9719512  0.581093  0.750331  0.133022

通常,我们是不需要保留旧索引的,因此可将drop参数设置为True。同样,如果要就地重置索引,可设置inplace参数为True,否则将创建一个新的 DataFrame。

4. 将索引从 groupby 操作转换为列

groupby分组方法是经常用的。比如下面通过添加一个分组列team来进行分组。

>>> df0["team"] = ["X", "X", "Y", "Y", "Y"]>>> df0          A         B         C team0  0.548012  0.288583  0.734276    X1  0.342895  0.207917  0.995485    X2  0.378794  0.160913  0.971951    Y3  0.039738  0.008414  0.226510    Y4  0.581093  0.750331  0.133022    Y>>> df0.groupby("team").mean()             A         B         Cteam                              X     0.445453  0.248250  0.864881Y     0.333208  0.306553  0.443828

默认情况下,分组会将分组列编程index索引。但是很多情况下,我们不希望分组列变成索引,因为可能有些计算或者判断逻辑还是需要用到该列的。因此,我们需要设置一下让分组列不成为索引,同时也能完成分组的功能。

有两种方法可以完成所需的操作,第一种是用reset_index,第二种是在groupby方法里设置as_index=False。个人更喜欢第二种方法,它只涉及两个步骤,更简洁。

>>> df0.groupby("team").mean().reset_index()  team         A         B         C0    X  0.445453  0.248250  0.8648811    Y  0.333208  0.306553  0.443828>>> df0.groupby("team", as_index=False).mean()  team         A         B         C0    X  0.445453  0.248250  0.8648811    Y  0.333208  0.306553  0.443828

5.排序后重置索引

当用sort_value排序方法时也会遇到这个问题,因为默认情况下,索引index跟着排序顺序而变动,所以是乱雪。如果我们希望索引不跟着排序变动,同样需要在sort_values方法中设置一下参数ignore_index即可。

>>> df0.sort_values("A")          A         B         C team3  0.039738  0.008414  0.226510    Y1  0.342895  0.207917  0.995485    X2  0.378794  0.160913  0.971951    Y0  0.548012  0.288583  0.734276    X4  0.581093  0.750331  0.133022    Y>>> df0.sort_values("A", ignore_index=True)          A         B         C team0  0.039738  0.008414  0.226510    Y1  0.342895  0.207917  0.995485    X2  0.378794  0.160913  0.971951    Y3  0.548012  0.288583  0.734276    X4  0.581093  0.750331  0.133022    Y

6.删除重复后重置索引

删除重复项和排序一样,默认执行后也会打乱排序顺序。同理,可以在drop_duplicates方法中设置ignore_index参数True即可。

>>> df0          A         B         C team0  0.548012  0.288583  0.734276    X1  0.342895  0.207917  0.995485    X2  0.378794  0.160913  0.971951    Y3  0.039738  0.008414  0.226510    Y4  0.581093  0.750331  0.133022    Y>>> df0.drop_duplicates("team", ignore_index=True)          A         B         C team0  0.548012  0.288583  0.734276    X1  0.378794  0.160913  0.971951    Y

7. 索引的直接赋值

当我们有了一个 DataFrame 时,想要使用不同的数据源或单独的操作来分配索引。在这种情况下,可以直接将索引分配给现有的 df.index。

>>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]>>> df0.index = better_index>>> df0           A         B         C teamX1  0.548012  0.288583  0.734276    XX2  0.342895  0.207917  0.995485    XY1  0.378794  0.160913  0.971951    YY2  0.039738  0.008414  0.226510    YY3  0.581093  0.750331  0.133022    Y

8.写入CSV文件时忽略索引

数据导出到 CSV 文件时,默认 DataFrame 具有从 0 开始的索引。如果我们不想在导出的 CSV 文件中包含它,可以在to_csv方法中设置index参数。

>>> df0.to_csv("exported_file.csv", index=False)

如下所示,导出的 CSV 文件中,索引列未包含在文件中。

pandas删除部分数据后重新生成索引如何实现

其实,很多方法中都有关于索引的设置,只不过大家一般比较关心数据,而经常忽略了索引,才导致继续运行时可能会报错。以上几个高频的操作都是有索引设置的,建议大家平时用的时候养成设置索引的习惯,这样会节省不少时间。

关于“pandas删除部分数据后重新生成索引如何实现”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注编程网行业资讯频道,小编每天都会为大家更新不同的知识点。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯