• 虾仁-热门标签-华商生活 2019-06-16
  • 鹰潭高新区打造非公党建示范带 2019-06-11
  • 紫光阁中共中央国家机关工作委员会 2019-06-06
  • 中华民族一家亲 同心共筑中国梦 2019-06-04
  • “5·15”全国公安机关打击和防范经济犯罪宣传日 2019-06-03
  • 激情世界杯熬夜看球 谨防泌尿疾病“亮红牌” 2019-06-03
  • 肯尼亚蒙内铁路乘务员掠影(高清组图) 2019-05-23
  • 12亿次电话“呼死你”? 83万余个账号被封停! 2019-05-21
  • 新型国际关系擘画人类未来 2019-05-18
  • 习近平同哈萨克斯坦总统纳扎尔巴耶夫举行会谈 2019-05-18
  • 宝鸡市陈仓区党员干部助力夏收帮扶困难群体 2019-04-13
  • 滚滚而来的温暖!山坡上滚下万斤爱心榨菜头 2019-04-08
  • 中国科研团队刷新暗物质探测灵敏度 2019-04-08
  • 定陶战役:示弱于敌重点围歼的范例 2019-03-20
  • 里约奥运变化与机遇并存 充分准备迎接挑战 2019-03-20
  • |
    |
    51CTO旗下网站
    |
    |
    移动端

    详解Redis缓存击穿以及解决方案

    我们正常人在登录首页的时候,都是根据userID来命中数据,然而黑客可以随机生成一堆userID,然后将这些请求怼到你的服务器上,这些请求在缓存中不存在,就会穿过缓存,直接怼到数据库上,从而造成数据库连接异常。

    作者:智能运维小讲堂来源:今日头条|2018-11-12 11:12

    广东11选五精准计划 www.flxp.net 什么是缓存击穿

    在谈论缓存击穿之前,我们先来回忆下从缓存中加载数据的逻辑,如下图所示:

    因此,如果黑客每次故意查询一个在缓存内必然不存在的数据,导致每次请求都要去存储层去查询,这样缓存就失去了意义。如果在大流量下数据库可能挂掉。这就是缓存击穿。

    场景如下图所示:

    我们正常人在登录首页的时候,都是根据userID来命中数据,然而黑客的目的是破坏你的系统,黑客可以随机生成一堆userID,然后将这些请求怼到你的服务器上,这些请求在缓存中不存在,就会穿过缓存,直接怼到数据库上,从而造成数据库连接异常。

    解决方案

    在这里我们给出三套解决方案,大家根据项目中的实际情况,选择使用。

    讲下述三种方案前,我们先回忆下redis的setnx方法。

    SETNX key value

    将 key 的值设为 value ,当且仅当 key 不存在。

    若给定的 key 已经存在,则 SETNX 不做任何动作。

    SETNX 是『SET if Not eXists』(如果不存在,则 SET)的简写。

    • 可用版本:>= 1.0.0
    • 时间复杂度: O(1)
    • 返回值: 设置成功,返回 1。设置失败,返回 0 。

    效果如下:

    1. redis> EXISTS job # job 不存在 
    2. (integer) 0 
    3. redis> SETNX job "programmer" # job 设置成功 
    4. (integer) 1 
    5. redis> SETNX job "code-farmer" # 尝试覆盖 job ,失败 
    6. (integer) 0 
    7. redis> GET job # 没有被覆盖 
    8. "programmer" 

    1. 使用互斥锁

    该方法是比较普遍的做法,即,在根据key获得的value值为空时,先锁上,再从数据库加载,加载完毕,释放锁。若其他线程发现获取锁失败,则睡眠50ms后重试。

    至于锁的类型,单机环境用并发包的Lock类型就行,集群环境则使用分布式锁( redis的setnx)。

    集群环境的redis的代码如下所示:

    1. String get(String key) { 
    2. String value = redis.get(key); 
    3. if (value == null) { 
    4. if (redis.setnx(key_mutex, "1")) { 
    5. // 3 min timeout to avoid mutex holder crash 
    6. redis.expire(key_mutex, 3 * 60) 
    7. value = db.get(key); 
    8. redis.set(key, value); 
    9. redis.delete(key_mutex); 
    10. } else { 
    11. //其他线程休息50毫秒后重试 
    12. Thread.sleep(50); 
    13. get(key); 

    优点

    • 思路简单
    • 保证一致性

    缺点

    • 代码复杂度增大
    • 存在死锁的风险

    2. 异步构建缓存

    在这种方案下,构建缓存采取异步策略,会从线程池中取线程来异步构建缓存,从而不会让所有的请求直接怼到数据库上。该方案redis自己维护一个timeout,当timeout小于System.currentTimeMillis()时,则进行缓存更新,否则直接返回value值。

    集群环境的redis代码如下所示:

    1. String get(final String key) { 
    2. v = redis.get(key); 
    3. String vvalue = v.getValue(); 
    4. long timeout = v.getTimeout(); 
    5. if (v.timeout <= System.currentTimeMillis()) { 
    6. // 异步更新后台异常执行 
    7. threadPool.execute(new Runnable() { 
    8. public void run() { 
    9. String keyMutex = "mutex:" + key; 
    10. if (redis.setnx(keyMutex, "1")) { 
    11. // 3 min timeout to avoid mutex holder crash 
    12. redis.expire(keyMutex, 3 * 60); 
    13. String dbdbValue = db.get(key); 
    14. redis.set(key, dbValue); 
    15. redis.delete(keyMutex); 
    16. }); 
    17. return value; 

    优点

    • 性价最佳,用户无需等待

    缺点

    • 无法保证缓存一致性

    3. 布隆过滤器

    (1) 原理

    布隆过滤器的巨大用处就是,能够迅速判断一个元素是否在一个集合中。因此他有如下三个使用场景:

    • 网页爬虫对URL的去重,避免爬取相同的URL地址
    • 反垃圾邮件,从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱(同理,垃圾短信)
    • 缓存击穿,将已存在的缓存放到布隆过滤器中,当黑客访问不存在的缓存时迅速返回避免缓存及DB挂掉。

    OK,接下来我们来谈谈布隆过滤器的原理。

    其内部维护一个全为0的bit数组,需要说明的是,布隆过滤器有一个误判率的概念,误判率越低,则数组越长,所占空间越大。误判率越高则数组越小,所占的空间越小。

    假设,根据误判率,我们生成一个10位的bit数组,以及2个hash函数((f_1,f_2)),如下图所示(生成的数组的位数和hash函数的数量,我们不用去关心是如何生成的,有数学论文进行过专业的证明)。

    假设输入集合为((N_1,N_2)),经过计算(f_1(N_1))得到的数值得为2,(f_2(N_1))得到的数值为5,则将数组下标为2和下表为5的位置置为1,如下图所示:

    同理,经过计算(f_1(N_2))得到的数值得为3,(f_2(N_2))得到的数值为6,则将数组下标为3和下表为6的位置置为1,如下图所示:

    这个时候,我们有第三个数(N_3),我们判断(N_3)在不在集合((N_1,N_2))中,就进行(f_1(N_3),f_2(N_3))的计算

    • 若值恰巧都位于上图的红色位置中,我们则认为,(N_3)在集合((N_1,N_2))中
    • 若值有一个不位于上图的红色位置中,我们则认为,(N_3)不在集合((N_1,N_2))中

    以上就是布隆过滤器的计算原理,下面我们进行性能测试,

    (2) 性能测试

    代码如下:

    a. 新建一个maven工程,引入guava包

    1. <dependencies> 
    2. <dependency> 
    3. <groupId>com.google.guava</groupId> 
    4. <artifactId>guava</artifactId> 
    5. <version>22.0</version> 
    6. </dependency> 
    7. </dependencies> 

    b. 测试一个元素是否属于一个百万元素集合所需耗时

    1. package bloomfilter; 
    2. import com.google.common.hash.BloomFilter; 
    3. import com.google.common.hash.Funnels; 
    4. import java.nio.charset.Charset; 
    5. public class Test { 
    6. private static int size = 1000000
    7. private static BloomFilter<Integer> bloomFilter =BloomFilter.create(Funnels.integerFunnel(), size); 
    8. public static void main(String[] args) { 
    9. for (int i = 0; i < size; i++) { 
    10. bloomFilter.put(i); 
    11. long startTime = System.nanoTime(); // 获取开始时间 
    12. //判断这一百万个数中是否包含29999这个数 
    13. if (bloomFilter.mightContain(29999)) { 
    14. System.out.println("命中了"); 
    15. long endTime = System.nanoTime(); // 获取结束时间 
    16. System.out.println("程序运行时间: " + (endTime - startTime) + "纳秒"); 

    输出如下所示:

    1. 命中了 
    2. 程序运行时间: 219386纳秒 

    也就是说,判断一个数是否属于一个百万级别的集合,只要0.219ms就可以完成,性能极佳。

    c. 误判率的一些概念

    首先,我们先不对误判率做显示的设置,进行一个测试,代码如下所示:

    1. package bloomfilter; 
    2. import java.util.ArrayList; 
    3. import java.util.List; 
    4. import com.google.common.hash.BloomFilter; 
    5. import com.google.common.hash.Funnels; 
    6. public class Test { 
    7. private static int size = 1000000
    8. private static BloomFilter<Integer> bloomFilter =BloomFilter.create(Funnels.integerFunnel(), size); 
    9. public static void main(String[] args) { 
    10. for (int i = 0; i < size; i++) { 
    11. bloomFilter.put(i); 
    12. List<Integer> list = new ArrayList<Integer>(1000); 
    13. //故意取10000个不在过滤器里的值,看看有多少个会被认为在过滤器里 
    14. for (int i = size + 10000; i < size + 20000; i++) { 
    15. if (bloomFilter.mightContain(i)) { 
    16. list.add(i); 
    17. System.out.println("误判的数量:" + list.size()); 

    输出结果如下:

    1. 误判对数量:330 

    如果上述代码所示,我们故意取10000个不在过滤器里的值,却还有330个被认为在过滤器里,这说明了误判率为0.03.即,在不做任何设置的情况下,默认的误判率为0.03。

    下面上源码来证明:

    接下来我们来看一下,误判率为0.03时,底层维护的bit数组的长度如下图所示:

    将bloomfilter的构造方法改为:

    1. private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size,0.01); 

    即,此时误判率为0.01。在这种情况下,底层维护的bit数组的长度如下图所示

    由此可见,误判率越低,则底层维护的数组越长,占用空间越大。因此,误判率实际取值,根据服务器所能够承受的负载来决定,不是拍脑袋瞎想的。

    (3) 实际使用

    redis伪代码如下所示:

    1. String get(String key) { 
    2. String value = redis.get(key); 
    3. if (value == null) { 
    4. if(!bloomfilter.mightContain(key)){ 
    5. return null; 
    6. }else{ 
    7. value = db.get(key); 
    8. redis.set(key, value); 
    9. return value; 

    优点

    • 思路简单
    • 保证一致性
    • 性能强

    缺点

    • 代码复杂度增大
    • 需要另外维护一个集合来存放缓存的Key
    • 布隆过滤器不支持删值操作

    【编辑推荐】

    【责任编辑:赵宁宁 TEL:(010)68476606】

    点赞 0
    大家都在看
    猜你喜欢

    订阅专栏+更多

    活学活用 Ubuntu Server

    活学活用 Ubuntu Server

    实战直通车
    共35章 | UbuntuServer

    218人订阅学习

    Java EE速成指南

    Java EE速成指南

    掌握Java核心
    共30章 | 51CTO王波

    83人订阅学习

    Mysql DBA修炼之路

    Mysql DBA修炼之路

    MySQL入门到高阶
    共24章 | 武凤涛

    471人订阅学习

    读 书 +更多

    网管第一课——网络组建与管理

    本书针对初级网管朋友所需掌握的网络组建和网络管理技能,以示例方式编写而成,其主要特点就是实用性和可操作性非常强。 全书共分8章,分...

    订阅51CTO邮刊

    点击这里查看样刊

    订阅51CTO邮刊

    51CTO服务号

    51CTO播客

    广东11选五精准计划
  • 虾仁-热门标签-华商生活 2019-06-16
  • 鹰潭高新区打造非公党建示范带 2019-06-11
  • 紫光阁中共中央国家机关工作委员会 2019-06-06
  • 中华民族一家亲 同心共筑中国梦 2019-06-04
  • “5·15”全国公安机关打击和防范经济犯罪宣传日 2019-06-03
  • 激情世界杯熬夜看球 谨防泌尿疾病“亮红牌” 2019-06-03
  • 肯尼亚蒙内铁路乘务员掠影(高清组图) 2019-05-23
  • 12亿次电话“呼死你”? 83万余个账号被封停! 2019-05-21
  • 新型国际关系擘画人类未来 2019-05-18
  • 习近平同哈萨克斯坦总统纳扎尔巴耶夫举行会谈 2019-05-18
  • 宝鸡市陈仓区党员干部助力夏收帮扶困难群体 2019-04-13
  • 滚滚而来的温暖!山坡上滚下万斤爱心榨菜头 2019-04-08
  • 中国科研团队刷新暗物质探测灵敏度 2019-04-08
  • 定陶战役:示弱于敌重点围歼的范例 2019-03-20
  • 里约奥运变化与机遇并存 充分准备迎接挑战 2019-03-20
  • 体彩浙江20选5开奖 湖北福利彩票 疯狂世界盃怎么玩 中国体育彩票第17111期 青海快三中奖结果 浙冮大乐透走势图风彩1 王牌战士什么时候上线具体时间 丛林巨兽最强卡组 6喝彩平码中奖规则 吉林快三走势图电脑板 广东26选5计划群 忠义堂逆水寒 王牌战士最新上线时间 动物狂欢夜影子 彩神pk10计划手机版 新时时彩软件破解版下载