面试前必须要知道的Redis面试题 原创 JAVA少女 2019-01-13 21:11:06 ©著作权 文章标签 Redis 面试题 编程 程序员 架构 文章分类 Redis 数据库 ©著作权归作者所有:来自51CTO博客作者JAVA少女的原创作品,请联系作者获取转载授权,否则将追究法律责任 今天来分享一下Redis几道常见的面试题:如何解决缓存雪崩?如何解决缓存穿透?如何保证缓存与数据库双写时一致的问题?一、缓存雪崩1.1什么是缓存雪崩?回顾一下我们为什么要用缓存(Redis):为什么要缓存现在有个问题,如果我们的缓存挂掉了,这意味着我们的全部请求都跑去数据库了。如果缓存挂掉了,全部请求跑去数据库了在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间,并采用的是惰性删除+定期删除两种策略对过期键删除。Redis对过期键的策略+持久化如果缓存数据设置的过期时间是相同的,并且Redis恰好将这部分数据全部删光了。这就会导致在这段时间内,这些缓存同时失效,全部请求到数据库中。这就是缓存雪崩:Redis挂掉了,请求全部走数据库。对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。缓存雪崩如果发生了,很可能就把我们的数据库搞垮,导致整个服务瘫痪!1.2如何解决缓存雪崩?对于“对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。”这种情况,非常好解决:解决方法:在缓存的时候给过期时间加上一个随机值,这样就会大幅度的减少缓存在同一时间过期。对于“Redis挂掉了,请求全部走数据库”这种情况,我们可以有以下的思路:事发前:实现Redis的高可用(主从架构+Sentinel 或者Redis Cluster),尽量避免Redis挂掉这种情况发生。事发中:万一Redis真的挂了,我们可以设置本地缓存(ehcache)+限流(hystrix),尽量避免我们的数据库被干掉(起码能保证我们的服务还是能正常工作的)事发后:redis持久化,重启后自动从磁盘上加载数据,快速恢复缓存数据。二、缓存穿透2.1什么是缓存穿透比如,我们有一张数据库表,ID都是从1开始的(正数):随便找了一张数据库表但是可能有黑客想把我的数据库搞垮,每次请求的ID都是负数。这会导致我的缓存就没用了,请求全部都找数据库去了,但数据库也没有这个值啊,所以每次都返回空出去。缓存穿透是指查询一个一定不存在的数据。由于缓存不命中,并且出于容错考虑,如果从数据库查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,失去了缓存的意义。缓存穿透这就是缓存穿透:请求的数据在缓存大量不命中,导致请求走数据库。缓存穿透如果发生了,也可能把我们的数据库搞垮,导致整个服务瘫痪!2.1如何解决缓存穿透?解决缓存穿透也有两种方案:由于请求的参数是不合法的(每次都请求不存在的参数),于是我们可以使用布隆过滤器(BloomFilter)或者压缩filter提前拦截,不合法就不让这个请求到数据库层!当我们从数据库找不到的时候,我们也将这个空对象设置到缓存里边去。下次再请求的时候,就可以从缓存里边获取了。这种情况我们一般会将空对象设置一个较短的过期时间。参考资料:缓存系列文章--5.缓存穿透问题https://carlosfu.iteye.com/blog/2248185三、缓存与数据库双写一致3.1对于读操作,流程是这样的上面讲缓存穿透的时候也提到了:如果从数据库查不到数据则不写入缓存。一般我们对读操作的时候有这么一个固定的套路:如果我们的数据在缓存里边有,那么就直接取缓存的。如果缓存里没有我们想要的数据,我们会先去查询数据库,然后将数据库查出来的数据写到缓存中。最后将数据返回给请求3.2什么是缓存与数据库双写一致问题?如果仅仅查询的话,缓存的数据和数据库的数据是没问题的。但是,当我们要更新时候呢?各种情况很可能就造成数据库和缓存的数据不一致了。这里不一致指的是:数据库的数据跟缓存的数据不一致数据库和缓存的数据不一致从理论上说,只要我们设置了键的过期时间,我们就能保证缓存和数据库的数据最终是一致的。因为只要缓存数据过期了,就会被删除。随后读的时候,因为缓存里没有,就可以查数据库的数据,然后将数据库查出来的数据写入到缓存中。除了设置过期时间,我们还需要做更多的措施来尽量避免数据库与缓存处于不一致的情况发生。3.3对于更新操作一般来说,执行更新操作时,我们会有两种选择:先操作数据库,再操作缓存先操作缓存,再操作数据库首先,要明确的是,无论我们选择哪个,我们都希望这两个操作要么同时成功,要么同时失败。所以,这会演变成一个分布式事务的问题。所以,如果原子性被破坏了,可能会有以下的情况:操作数据库成功了,操作缓存失败了。操作缓存成功了,操作数据库失败了。如果第一步已经失败了,我们直接返回Exception出去就好了,第二步根本不会执行。下面我们具体来分析一下吧。3.3.1操作缓存操作缓存也有两种方案:更新缓存删除缓存一般我们都是采取删除缓存缓存策略的,原因如下:高并发环境下,无论是先操作数据库还是后操作数据库而言,如果加上更新缓存,那就更加容易导致数据库与缓存数据不一致问题。(删除缓存直接和简单很多)如果每次更新了数据库,都要更新缓存【这里指的是频繁更新的场景,这会耗费一定的性能】,倒不如直接删除掉。等再次读取时,缓存里没有,那我到数据库找,在数据库找到再写到缓存里边(体现懒加载)基于这两点,对于缓存在更新时而言,都是建议执行删除操作!3.3.2先更新数据库,再删除缓存正常的情况是这样的:先操作数据库,成功;再删除缓存,也成功;如果原子性被破坏了:第一步成功(操作数据库),第二步失败(删除缓存),会导致数据库里是新数据,而缓存里是旧数据。如果第一步(操作数据库)就失败了,我们可以直接返回错误(Exception),不会出现数据不一致。如果在高并发的场景下,出现数据库与缓存数据不一致的概率特别低,也不是没有:缓存刚好失效线程A查询数据库,得一个旧值线程B将新值写入数据库线程B删除缓存线程A将查到的旧值写入缓存要达成上述情况,还是说一句概率特别低:因为这个条件需要发生在读缓存时缓存失效,而且并发着有一个写操作。而实际上数据库的写操作会比读操作慢得多,而且还要锁表,而读操作必需在写操作前进入数据库操作,而又要晚于写操作更新缓存,所有的这些条件都具备的概率基本并不大。对于这种策略,其实是一种设计模式:Cache Aside Pattern先修改数据库,再删除缓存删除缓存失败的解决思路:将需要删除的key发送到消息队列中自己消费消息,获得需要删除的key不断重试删除操作,直到成功3.3.3先删除缓存,再更新数据库正常情况是这样的:先删除缓存,成功;再更新数据库,也成功;如果原子性被破坏了:第一步成功(删除缓存),第二步失败(更新数据库),数据库和缓存的数据还是一致的。如果第一步(删除缓存)就失败了,我们可以直接返回错误(Exception),数据库和缓存的数据还是一致的。看起来是很美好,但是我们在并发场景下分析一下,就知道还是有问题的了:线程A删除了缓存线程B查询,发现缓存已不存在线程B去数据库查询得到旧值线程B将旧值写入缓存线程A将新值写入数据库所以也会导致数据库和缓存不一致的问题。并发下解决数据库与缓存不一致的思路:将删除缓存、修改数据库、读取缓存等的操作积压到队列里边,实现串行化。将操作积压到队列中3.4对比两种策略我们可以发现,两种策略各自有优缺点:先删除缓存,再更新数据库在高并发下表现不如意,在原子性被破坏时表现优异先更新数据库,再删除缓存(Cache Aside Pattern设计模式)在高并发下表现优异,在原子性被破坏时表现不如意3.5其他保障数据一致的方案与资料可以用databus或者阿里的canal监听binlog进行更新。 赞 收藏 评论 分享 举报 上一篇:面试前必须要知道的Redis面试题 下一篇:SpringBoot 快速整合Mybatis(去XML化+注解进阶) 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 Redis常见面试题 一、Redis做什么的,在哪些场景下使用Redis是一个开源的内存数据存储系统,它被广泛用于缓存、消息队列、实时统计分析、任务队列等场景。以下是一些常见的使用场景:缓存:Redis的主要用途之一是作为缓存层。它可以将经常访问的数据存储在内存中,以提高读取速度。常见的应用场景包括页面缓存、对象缓存、查询结果缓存等。消息队列:Redis的发布/订阅功能使其成为一个简单而强大的消息队列系统。它可以用于处 Redis 面试题总结 第1章 Spring相关1.1 什么是控制反转(IOC)?什么是依赖注入? 控制反转是应用于软件工程领域中的,在运行时被装配器对象来绑定耦合对象的一种编程技巧,对象之间耦合关系在编译时通常是未知的。在传统的编程方式中,业务逻辑的流程是由应用程序中的早已被设定好关联关系的对象来决定的。在使用控制反转的情况下,业务逻辑的流程是由对象关系图来决定的,该对象关系图由装配器负责实例化,这种实现方式还可以将对 构造函数 实例化 java 接口常见面试题 本片文章主要分享一下我们进行面试时被遇到的接口测试一些问题,例:如何定位bug属于前端还是后端?平时你是怎么做接口测试的?接口自动化的具体步骤?cookie和session的区别?平时用什么工具测试接口的?如何验库?什么是unittest?什么是pytest?unittest和pytest的使用步骤是什么?测试用例的设计方法?列举一些最常用的HTTP方法?接口组成有哪些?为什么进行接口测试?你在接口测试中使用过哪些工具和框架?什么时候用fiddler抓包?接口测试的基本步骤? 接口测试 SQL API 面试题 面试前必须要知道的Redis面试题 今天来分享一下Redis几道常见的面试题:如何解决缓存雪崩?如何解决缓存穿透?如何保证缓存与数据库双写时一致的问题?一、缓存雪崩1.1什么是缓存雪崩?回顾一下我们为什么要用缓存(Redis):为什么要缓存现在有个问题,如果我们的缓存挂掉了,这意味着我们的全部请求都跑去数据库了。如果缓存挂掉了,全部请求跑去数据库了在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Re Redis 面试题 编程 程序员 架构 面试前必须要知道的21道Redis面试题 1、使用redis有哪些好处?速度快,因为数据存在内存中,类似于HashMap,HashMap的优势就是查找和操作的时间复杂度都是O(1)支持丰富数据类型,支持string,list,set,sorted set,hash支持事务,操作都是原子性,所谓的原子性就是对数据的更改要么全部执行,要么全部不执行丰富的特性:可用于缓存,消息,按key设置过期时间,过期后将会自动删除2、redis相比memc Redis面试题 面试前必须要知道的多线程知识 前言只有光头才能变强高并发(多线程)可谓是我们开发者必要掌握的知识,在无论是校招面试还是社招,都是必考的知识点!我在之前学习/面试前也写过了不少的原创多线程文章,大家可以... 干货 面试必须要知道的SQL语法语句 asc 按升序排列desc 按降序排列下列语句部分是Mssql语句,不可以在access中使用。SQL分类: DDL—数据定义语言(Create,Alter,Drop,DECLARE) DML—数据操纵语言(Select,Delete,Update,Insert) DCL—数据控制语言(GRANT,REVOKE,COMMIT,ROLLBACK)首先,简要介绍基础语句:1、说明:创建数据库Creat 职场 sql 数据库 休闲 面试中你必须要知道的语言陷阱 方。如:“你经历太单纯,而我们需要的是社会经验丰富的人”,“你性格过于内向,这恐怕与我们的职业不合适”,“我们需要名牌院校的毕 专业知识 商业 各种语言 你必须要知道的Javascript数据结构与面试题解答 非常实用的文章内容。 数据结构 数组 数据 【面试题】你需要知道的webpack高频面试题 webpack是一个模块打包工具,可以递归地打包项目中的所有模块,最终生成几个打包后的文件。区别:webpack支持代 webpack Javascript 前端 Powered by 金山文档 构造函数 【MySQL】运维面试必须要知道的InnoDB三大特性 innoDB有三大特性:插入缓冲(change buffer ) ,两次写(double write),自适应哈希索引(adaptive hash index)插入缓冲数据库最主要的性能问题是I/O, 插入缓冲的作用就是把普通索引上的DML操作从随机I/O,变为顺序I/O,从而提高I/O的效率。原理: 先判断插入的普通索引页是否在缓冲池中,如果在就可以直接插入,如果不在就先放在 change bu MySQL 2021高频PHP面试题(必须要看) 详述一次完整的HTTP请求过程 PHP Web开发 你必须要知道的kafka 1.概述ApacheKafka最早是由LinkedIn开源出来的分布式消息系统,现在是Apache旗下的一个子项目,并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始,Kafka的标语已经从“一个高吞吐量,分布式的消息系统”改为"一个分布式流平台"。Kafka和传统的消息系统不同在于:kafka是一个分布式系统,易于向外扩展。它同时为发布和订 JAVA Javascript你必须知道的面试题 Javascript你必须知道的面试题1、使用 typeof bar === "object" 判断 bar 是不是一个对象有神马潜在的弊端?如何避免这种弊端?使用 typeof 的弊端是显而易见的(这种弊端同使用 instanceof):let obj = {};let arr = [];console.log(typeof obj === 'object'); //trueconsole Javascript 操作数 ide [百晓生]-面试中你必须要知道的语言陷阱 [百晓生]-面试中你必须要知道的语言陷阱 如:“你经历太单纯,而我们需要的是社会经验丰富的人”,“你性格过于内向,这恐怕与我们的职业不合适”,“我们需要名牌院校的毕业生,你并非毕业于名牌院校”,“你的专业怎么与所申请的职位不对口?”面对这种咄咄逼 面试 语言 百晓生 贵公司 有必要知道的 25 个 Javascript 面试题 1、使用 typeof bar === "object" 判断 bar 是不是一个对象有神马潜在的弊端?如何避免这种弊端?使用 typeof 的弊端是显而易见的(这种弊端同使用 instanceof):let obj = {};let arr = [];console.log(typeof obj === 'object'); //trueconsole.lo 操作数 ide 2023 Javascript想进 BAT 的必须要面对的面试题 2023 Javascript想进 BAT 的必须要面对的面试题 Vue 脚本语言 编程语言 面试20K的职位必须要熟悉的Java线程池面试题 一、背景引入今天跟大家聊一个互联网大厂的Java面试题:使用无界队列的线程池会导致内存飙升吗?因为在面互联网大厂的时候,一定会问并发,问并发的时候一定会问到线程池,问到线程池一定会问构造线程池的一些参数的含义。然后,有一些面试官会就线程池的具体场景,问一些可能会遇到的问题。所以,在这里就可能有上述那样一个面试中的问题,算是Java面试里相对来说高阶一点的。我相信大家一定起码知道线程池是个什么东西的 线程池 创建线程 java 你必须要知道的架构知识~目录 我也来凑凑热闹 复用 面向对象 nosql 关于Http协议,你必须要知道的 了解http核心要点 http Javascript 前端