1、什么是布隆过滤器
本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。
相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。
2、实现原理
HashMap 的问题
讲述布隆过滤器的原理之前，我们先思考一下，通常你判断某个元素是否存在用的是什么？应该蛮多人回答 HashMap 吧，确实可以将值映射到 HashMap 的 Key，然后可以在 O(1) 的时间复杂度内返回结果，效率奇高。但是 HashMap 的实现也有缺点，例如存储容量占比高，考虑到负载因子的存在，通常空间是不能被用满的，而一旦你的值很多例如上亿的时候，那 HashMap 占据的内存大小就变得很可观了。
还比如说你的数据集存储在远程服务器上，本地服务接受输入，而数据集非常大不可能一次性读进内存构建 HashMap 的时候，也会存在问题。
布隆过滤器数据结构
布隆过滤器是一个 bit 向量或者说 bit 数组，如图：
如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置 1，例如针对值 “zhansan” 和三个不同的哈希函数分别生成了哈希值 1、4、7，则上图转变为：
我们现在再存一个值 “lisi”，如果哈希函数返回 3、4、8 的话，则图为：
值得注意的是，4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位，因此它被覆盖了。现在我们如果想查询 “wangwu” 这个值是否存在，哈希函数返回了 1、5、8三个值，结果我们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 “wangwu” 这个值不存在。而当我们需要查询 “zhansan” 这个值是否存在的话，那么哈希函数必然会返回 1、4、7，然后我们检查发现这三个 bit 位上的值均为 1，那么我们可以说 “zhansan” 存在了么？答案是不可以，只能是 “zhansan” 这个值可能存在。
这是为什么呢？答案跟简单，因为随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 “taobao” 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ，那么程序还是会判断 “taobao” 这个值存在。
支持删除么
目前我们知道布隆过滤器可以支持 add 和 isExist 操作，那么 delete 操作可以么，答案是不可以，例如上图中的 bit 位 4 被两个值共同覆盖的话，一旦你删除其中一个值例如 “tencent” 而将其置位 0，那么下次判断另一个值例如 “baidu” 是否存在的话，会直接返回 false，而实际上你并没有删除它。
如何解决这个问题，答案是计数删除。但是计数删除需要存储一个数值，而不是原先的 bit 位，会增大占用的内存大小。这样的话，增加一个值就是将对应索引槽上存储的值加一，删除则是减一，判断是否存在则是看值是否大于0。
3、实例
使用布隆过滤器解决Redis缓存穿透问题
pom.xml
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.1.RELEASE</version>
</parent>
<dependencies>
<!-- 集成lombok 框架 -->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<!-- SpringBoot-整合Web组件 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!--mysql数据库驱动-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.1.0</version>
</dependency>
<!-- 布隆过滤器 -->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>20.0</version>
</dependency>
</dependencies>
<!-- 管理依赖 -->
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-dependencies</artifactId>
<version>Finchley.M7</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
application.yml
spring:
redis:
host: 127.0.0.1
port:6379
password: 123456
database:1
datasource:
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf-8&useSSL=false
username: root
password: root
RedisTemplateUtils.java
@Component
public class RedisTemplateUtils {
@Resource
private RedisTemplateredisTemplate;
public void set(K k,V v){
set(k, v,null);
}
public void set(K k,V v, Long timeout){
redisTemplate.opsForValue().set(k, v);
if(timeout !=null){
redisTemplate.expire(k, timeout, TimeUnit.SECONDS);
}
}
public V get(K k){
return redisTemplate.opsForValue().get(k);
}
}
UserEntity.java
@Data
public class UserEntityimplements Serializable {
private int userId;
private StringuserName;
}
UserMapper.java
public interface UserMapper {
@Select("select userId, userName from user_t where userId=#{userId}")
UserEntity getUser(int userId);
@Select("select userId from user_t ")
List getUserIds();
}
BloomFilterInit.java 当Spring启动后初始化布隆过滤器
@Component
public class BloomFilterInit implements ApplicationRunner {
private BloomFilterbloomFilter;
@Autowired
private UserMapperuserMapper;
@Override
public void run(ApplicationArguments args)throws Exception {
List userIds =userMapper.getUserIds();
if (userIds.size() >0) {
// 0.01即错误率为1%
bloomFilter = BloomFilter.create(Funnels.integerFunnel(), userIds.size(),0.01);
for (int i =0; i < userIds.size(); i++) {
bloomFilter.put(userIds.get(i));
}
System.out.println("预热userId到布隆过滤器成功！");
}
}
public BloomFilter getIntegerBloomFilter() {
return bloomFilter;
}
}
UserController.java
@RestController
public class UserController {
@Autowired
private UserMapperuserMapper;
@Autowired
private RedisTemplateUtilsredisTemplateUtils;
@Autowired
private BloomFilterInitbloomFilterInit;
@RequestMapping("/getUser")
public UserEntity getUser(int userId){
if(!bloomFilterInit.getIntegerBloomFilter().mightContain(userId)){
System.out.println("该userId在布隆过滤器中不存在！");
return null;
}
UserEntity userEntity =redisTemplateUtils.get(userId +"");
if(userEntity !=null){
System.out.println("从Redis中返回数据！");
return userEntity;
}
System.out.println("从数据库中查询数据！");
UserEntity user =userMapper.getUser(userId);
if(user !=null){
System.out.println("将数据缓存到Redis中！");
redisTemplateUtils.set(userId+"", user);
}
return user;
}
}
App.java
@SpringBootApplication
@MapperScan("com.ttcv.bloom.mapper")
public class App {
public static void main(String[] args) {
SpringApplication.run(App.class);
}
}
