布隆过滤器的Python实现(标准、计

github:bloompy

布隆过滤器的Python3实现，包括标准、计数、标准扩容、计数扩容。更新自pybloom。

安装

pip install bloompy

使用

通过bloompy你可以使用四种布隆过滤器

• 标准布隆过滤器

标准布隆过滤器只能进行数据的查询和插入，是下面几种过滤器的基类，可以进行过滤器的存储和恢复

>>> import bloompy
>>> bf = bloompy.BloomFilter(error_rate=0.001,element_num=10**3)

# 查询元素是否在过滤器里返回状态标识
# 如果不在里面则插入，返回False表示元素不在过滤器里
>>> bf.add(1) 
False
>>> bf.add(1)
True
>>> 1 in bf
True
>>> bf.exists(1)
True
>>> bf.add([1,2,3])
False
>>> bf.add([1,2,3])
True
>>> [1,2,3] in bf
True
>>> bf.exists([1,2,3])
True

# 将过滤器存储在一个文件里
>>> bf.tofile('filename.suffix')

# 从一个文件里恢复过滤器。自动识别过滤器的种类。
>>> recovered_bf = bloompy.get_filter_fromfile('filename.suffix')

# 或者使用过滤器类的类方法 'fromfile' 来进行过滤器的复原。对应的类只能恢复对应的过滤器
>>> recovered_bf = bloompy.BloomFilter.fromfile('filename.suffix')

# 返回已经插入的元素个数
>>> bf.count
2

# 过滤器的容量
>>> bf.capacity
1000

# 过滤器的位向量
>>> bf.bit_array
bitarray('00....')

# 过滤器位数组长度
>>> bf.bit_num
14400

# 过滤器的哈希种子，默认是素数，可修改
>>> bf.seeds
[2, 3, 5, 7, 11,...]

# 过滤器哈希函数个数
>>> bf.hash_num
10

• 计数布隆过滤器

标准布隆过滤器的子类，但是计数布隆过滤器可以执行删除元素额操作。内置默认使用4位二进制位来表示标准布隆过滤器的1个位，从而实现可以增减。

>>> import  bloompy
>>> cbf  = bloompy.CountingBloomFilter(error_rate=0.001,element_num=10**3)

# 与标准布隆过滤器一样
>>> cbf.add(12)
False
>>> cbf.add(12)
True
>>> 12 in cbf
True
>>> cbf.count
1

# 查询元素状态返回标识，如果元素存在过滤器里则删除
>>> cbf.delete(12)
True
>>> cbf.delete(12)
False
>>> 12 in cbf
False
>>> cbf.count
0

# 从文件中恢复过滤器
>>> recovered_cbf = bloompy.CountingBloomFilter.fromfile('filename.suffix')

计数布隆过滤器其他的功能与标准的差不多。

• 标准扩容布隆过滤器

当插入的元素个数超过当前过滤器的容量时，自动增加过滤器的容量，默认内置一次扩容2倍。支持查询和插入功能。

>>> import bloompy
>>> sbf = bloompy.ScalableBloomFilter(error_rate=0.001,initial_capacity=10**3)

# 默认初次可以设置容量1000
>>> len(sbf)
0
>>> 12 in sbf
False
>>> sbf.add(12)
False
>>> 12 in sbf 
True
>>> len(sbf)
1
>>> sbf.filters
[<bloompy.BloomFilter object at 0x000000000B6F5860>]
>>> sbf.capacity
1000

#当过滤器的元素个数达到容量极限时，过滤器会自动增加内置的标准过滤器，
#每次增加2倍容量，自动实现扩容
>>> for i in range(1000):
        sbf.add(i)
>>> 600 in sbf
True
>>> len(sbf)
2
>>> sbf.filters
[<bloompy.BloomFilter object at 0x000000000B6F5860>, <bloompy.BloomFilter object at 0x000000000B32F748>]
>>> sbf.capacity
3000

# 从文件中恢复过滤器
>>> recovered_sbf = bloompy.ScalableBloomFilter.fromfile('filename.suffix')

其他功能可以参见标准布隆过滤器。

• 计数扩容布隆过滤器

标准扩容布隆过滤器的子类，功能继承自标准扩容布隆过滤器，但支持删除元素的操作。

>>> import bloompy
>>> scbf = bloompy.SCBloomFilter(error_rate=0.001,initial_capacity=10**3)

>>> scbf.add(1)
False
>>> 1 in scbf
True
>>> scbf.delete(1)
True
>>> 1 in scbf
False
>>> len(scbf)
1
>>> scbf.filters
[<bloompy.CountingBloomFilter object at 0x000000000B6F5828>]

# 插入元素使其达到过滤器当前容量极限值
>>> for i in range(1100):
        scbf.add(i)
>>> len(scbf)
2
>>> scbf.filters
[<bloompy.CountingBloomFilter object at 0x000000000B6F5828>, <bloompy.CountingBloomFilter object at 0x000000000B6F5898>]

# 从文件中恢复过滤器
>>> recovered_scbf = bloompy.SCBloomFilter.fromfile('filename.suffix')

存储与恢复

参见标准布隆过滤器，可以通过两种方式来进行过滤器的存储与复原：

• 类方法'fromfile'
• 函数get_filter_fromfile()

如果你很清楚的知道当前文件中的过滤器是一个标准布隆过滤器，那么你可以使类方法类恢复这个过滤器:

bloompy.BloomeFilter.fromfile('filename.suffix)

如果是个计数布隆过滤器，那么就是使用:

bloompy.CountingBloomFilter.fromfile('filename.suffix)

其他也是使用对应的类方法来恢复对应的过滤器。

但如果你不知道文件里存储是哪种过滤器，可以使用函数:

bloompy.get_filter_fromfile('filename.suffix')

它将会加载文件字节数据，自动判断过滤器类型并返回对应实例进行复原。