文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python 列表去重的4种方式及性能对比

2024-12-03 17:43

关注

列表去重的方式有很多,本文将一一讲解他们,并进行性能的对比。

[[350938]]

让我们先制造一些简单的数据,生成0到99的100万个随机数:

  1. from random import randrange 
  2. DUPLICATES = [randrange(100) for _ in range(1000000)] 

接下来尝试这4种去重方式中最简单直观的方法:

1. 新建一个数组,遍历原数组,如果值不在新数组里便加入到新数组中。

  1. # 第一种方式 
  2. def easy_way(): 
  3.     unique = [] 
  4.     for element in DUPLICATES: 
  5.         if element not in unique: 
  6.             unique.append(element) 
  7.     return unique 

进入ipython使用timeit计算其去重耗时:

  1. %timeit easy_way() 
  2. # 1.16 s ± 137 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) 

平均耗时在1.16秒左右,但是在这个例子中我们使用了数组作为存储对象,实际上如果我们改成集合存储去重后的结果,性能会快不少:

  1. def easy_way(): 
  2.     unique = set() 
  3.     for element in DUPLICATES: 
  4.         if element not in unique: 
  5.             unique.add(element) 
  6.     return unique 
  1. %timeit easy_way() 
  2. # 48.4 ms ± 11.6 ms per loop (mean ± std. dev. of 7 runs, 10 loops each) 

平均耗时在48毫秒左右,改善明显,这是因为集合和数组的内在数据结构完全不同,集合使用了哈希表,因此速度会比列表快许多,但缺点在于无序。

接下来看看第2种方式:

2. 直接对数组进行集合转化,然后再转回数组:

  1. # 第二种去重方式 
  2. def fast_way() 
  3.     return list(set(DUPLICATES)) 

耗时:

  1. %timeit fast_way() 
  2. # 14.2 ms ± 1.73 ms per loop (mean ± std. dev. of 7 runs, 100 loops each) 

平均耗时14毫秒,这种去重方式是最快的,但正如前面所说,集合是无序的,将数组转为集合后再转为列表,就失去了原有列表的顺序。

如果现在有保留原数组顺序的需要,那么这个方式是不可取的,怎么办呢?

3. 保留原有数组顺序的去重

使用dict.fromkeys()函数,可以保留原有数组的顺序并去重:

  1. def save_order(): 
  2.     return list(dict.fromkeys(DUPLICATES)) 

当然,它会比单纯用集合进行去重的方式耗时稍微久一点:

  1. %timeit save_order() 
  2. # 39.5 ms ± 8.66 ms per loop (mean ± std. dev. of 7 runs, 10 loops each) 

平均耗时在39.5毫秒,我认为这是可以接受的耗时,毕竟保留了原数组的顺序。

但是,dict.fromkeys()仅在Python3.6及以上才支持。

如果你是Python3.6以下的版本,那么可能要考虑第四种方式了。

4. Python3.6以下的列表保留顺序去重

在Python3.6以下,其实也存在fromkeys函数,只不过它由collections提供:

  1. from collections import OrderedDict 
  2. def save_order_below_py36(): 
  3.     return list(OrderedDict.fromkeys(DUPLICATES)) 

耗时:

  1. %timeit save_order_below_py36() 
  2. # 71.8 ms ± 16.9 ms per loop (mean ± std. dev. of 7 runs, 10 loops each) 

平均耗时在72毫秒左右,比 Python3.6 的内置dict.fromkeys()慢一些,因为OrderedDict是用纯Python实现的。

【责任编辑:赵宁宁 TEL:(010)68476606】

 

来源:Python实用宝典内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯