1、BitMap是什么
通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte，所以bitmap本身会极大的节省储存空间。2^32次方40亿数据只需要500M内存，需要内存少了8倍
2、setbit命令介绍
setbit key offset value
#设置bitmapkey为20220328 uid为100的用户已签到1
setbit 20220320 100 1
setbit 20220320 200 1
setbit 20220321 100 1
setbit 20220321 300 1
getbit 20220320 100 #返回1,说明这个用户已签到了
bitcount 20220320 #获取bitmap数量bitmap的坑
127.0.0.1:6400> setbit bittest 100 1 #设置不存在的offset返回0
(integer) 0
127.0.0.1:6400> setbit bittest 100 1 #设置已存在的offset返回1
(integer) 1setbit maxKey 4000000000 1 #直接弄了你600多M内存
public function bloomAction(){
$t1 = time();
for($i=0;$i<99;$i++){
$bl = new BloomFilter();
//$str = "1https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time();
$str = "https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999);
p($str);
$res1 = $bl->JSHash($str);//两次哈希3s,md5哈希重复的概率是百万分之一
p($res1);
}
//p($res);
$t2 = time();
echo $t2-$t1;
}
public function isExistBloomAction(){
$redis = redisCursor();
$email = input("email","","trim");
$tel = input("tel","");
$result = false;
$msg = "";
if(filter_var($email,FILTER_VALIDATE_EMAIL)){
$key1 = "bloom_user_email";
$offset = BloomFilter::JSHash($email);
$result = $redis->getbit($key1,$offset);
$msg = $email;
}elseif($tel){
$key2 = "bloom_user_telephone";
$offset = BloomFilter::JSHash($tel);
$result = $redis->getbit($key2,$offset);
$msg = $tel;
}
$result?apiSuccess($msg.",已存在"):apiError($msg.",不存在");
}
public function loadDb2bloomAction(){
$time1 = time();
$redis = redisCursor();
$key1 = "bloom_user_email";
$key2 = "bloom_user_telephone";
//setbit() offset 必须是数字,value必须是1或0
//$redis->setbit($key,30,1);
$table = "user";
$pkid = "id";
$field1 = "email";
$field2 = "telephone";
$maxid = Db::name($table)->max($pkid);
$size = 5000;
$page = ceil($maxid/$size);
for($i=0;$i<$page;$i++){
$start = $i*$size;
$where = " $pkid between ".$start." and ".($start+$size);
$res = Db::name($table)->where($where)->field("$field1,$field2")->select();
if($res){//同步到bitmap
foreach($res as $k=>$v){
//布隆过滤器 1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希冲突可能用100W分之一的可能重复)
//所以注册的时候判断不存在的,百分百可以注册，存在的可以查询一下数据库是否真的不存在
$value1 = BloomFilter::JSHash($v["$field1"]);
$value2 = BloomFilter::JSHash($v["$field2"]);
$redis->setbit($key1,$value1,1);//email去重
$redis->setbit($key2,$value2,1);//mobile去重
}
}
$time2 = time();
echo $where." 消耗时间 ".($time2-$time1).PHP_EOL;
}
$time3 = time();
echo " 总消耗时间 ".($time3-$time1).PHP_EOL;
}<?php
class BloomFilter
{
public static function JSHash($string, $limitMemory=true,$len = null)
{
$hash = 1315423911;
$len || $len = strlen($string);
for($i = 0; $i < $len; $i++)
{
$hash ^= (($hash << 5) + ord($string[$i]) + ($hash >> 2));
}
$hashNum = ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
//为了节省内存,超过10亿就对半拆,10亿,这时候大约是130M内存占用,千万级数据可以做到1%误判率,内存足够可以不用判断,直接生成就行了
//如果数据过4000W的话不用限制了,因为生成的数据最大也是2^32次方40多亿,此时内存占用大概在600M封顶了
if($limitMemory){
if($hashNum>4000000000){
$hashNum = intval($hashNum/5);
}elseif($hashNum>3000000000){
$hashNum = intval($hashNum/4);
}elseif($hashNum>2000000000){
$hashNum = intval($hashNum/3);
}
}
return $hashNum;
}
}总结
本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注编程网的更多内容!
