首页 » 软件开发 » 记一次线上使用redis时执行lua脚本的惨痛经历(脚本执行缓存多个环境)

记一次线上使用redis时执行lua脚本的惨痛经历(脚本执行缓存多个环境)

落叶飘零 2024-07-24 22:59:04 0

扫一扫用手机浏览

文章目录 [+]

现如今是追求快速的生活,什么都要求快快快,为了赶上公交,迈开脚步拼命奔跑;总觉着公交很慢,恨不得插上翅膀在天空飞行。

我们每天抱着手机,每一刻都在刷新着网页,但凡手机中的内容显示时慢了一秒,内心也觉得相当愤怒:“这都是什么垃圾软件,连个网页都出不来”,

内心中早已吐糟了不知多少次……。
作为程序员,我们当然知道这些事情,我们内心也很无奈,但是我们都是有志向的好青年,我们付出自己的全部,

记一次线上使用redis时执行lua脚本的惨痛经历(脚本执行缓存多个环境) 软件开发
(图片来自网络侵删)

哪怕是将软件的响应时间提高了几毫秒,那么我们的付出就是有价值的。

在软件开发中,为了提高程序的执行效率,我们做了很多努力,其中,有这么一款软件,它凭借执行快速高效稳定的特点,成功引起了我们的注意,

没错,它就是redis,一个很实用的工具软件,给与我们极大的帮助。

二、redis是什么

Redis 是一种开源(BSD 许可)、是一个内存中数据结构存储,可用作数据库、缓存和消息代理等。

redis的性能极高,读写速度可以达到10万次/s。

redis有丰富的数据类型,极大方便我们的使用。

redis的所有操作都是原子性的,这在实际使用中是很重要的一点。

redis还拥有丰富的特性,例如redis还支持 publish/subscribe,key过期等。

redis的优点还有很多,只要多多使用,肯定会发现更多的美的。

三、lua脚本是什么

Lua 是一个小巧的脚本语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。

Redis 2.6 版本已经内嵌了Lua 解释器来支持 Lua 环境,执行lua脚本主要有以下优点:

3.1、减少网络开销,在 Lua 脚本中可以把多个命令放在同一个脚本中运行。

3.2、具有原子性,Redis 会将整个脚本作为一个整体执行,无需担心并发, 也就无需事务;

3.3、具有复用性,客户端发送的脚本可以存储在 Redis 中,这个脚本就可以被其他客户端复用从而完成同样的逻辑。

四、线上环境遇到的问题

有一个需求,为了提高执行效率,使用了lua脚本,代码如下:

String key = app:studentId:111;

// 只有当key存在时,才允许修改

String script = "if redis.call('exists', KEYS[1]) == 1 then return redis.call('hset', KEYS[1],KEYS[2],KEYS[3]) else return -1 end";

DefaultRedisScript redisScript = new DefaultRedisScript(script);

redisScript.setResultType(Long.class);

ArrayList<String> keys = new ArrayList<>();

keys.add(key);

keys.add("name");

keys.add("小张");

Object result = redisTemplate.execute(redisScript,keys);

if(result != null && Integer.parseInt(result.toString()) >= 0){

log.info("修改缓存学生信息成功!");

}else{

log.info("修改缓存学生信息失败,失败原因是:此key在缓存中不存在!");

}

代码编写完成后,经过简单测试,lua脚本可以正常运行,程序没有异常。

然后将项目部署到生产环境,此处代码开始抛出异常:io.lettuce.core.RedisCommandExecutionException: ERR 'EVALSHA' command keys must in same slot

为什么会有异常呢?为什么本地测试是OK的,但是生产环境却抛出异常呢?

五、执行lua脚本时为什么出现异常呢

如上代码在本地测试是OK的,但是在生产环境却抛出异常,经过分析后可知,本地redis是单机模式;生产redis是集群模式。
正是由于redis环境的不同导致了此次异常。

具体描述,如下:

5.1、单机模式下,执行如上lua脚本没有问题

5.2、Redis要求单个Lua脚本操作的key必须在同一个节点上,但是redis Cluster会将数据自动分布到不同的节点(虚拟的16384个slot,具体看官方文档)

5.3、简单描述:Redis cluster对多key操作有限制,要求命令中所有的key都属于一个slot,才可以被执行。

而这段代码在生产环境的redis集群模式中,违反了上述原则(keys中的key没有落到同一个slot中),所以导致抛出了异常。

如果,一个lua脚本中包含多个key,那么怎样才可以保证正确执行呢?请看keySlot算法。

六、正确的使用lua脚本

keySlot算法,如下:

所以有两个建议,如下:

建议1:开发功能,定义key时,key的格式中可以带有{},将多个key的共性标识放进去,保证这些key可以落在同一个节点

建议二:集群执行lua脚本时,提前使用keyslot 命令验证多个key是否都在同一个节点。

经过修复后,代码如下:(keys中只保留一个参数)

String key = app:studentId:111;

// 只有当key存在时,才允许修改

String script = "if redis.call('exists', KEYS[1]) == 1 then return redis.call('hset', KEYS[1],ARGV[1],ARGV[2]) else return -1 end";

DefaultRedisScript redisScript = new DefaultRedisScript(script);

redisScript.setResultType(Long.class);

ArrayList<String> keys = new ArrayList<>();

keys.add(key);

Object result = redisTemplate.execute(redisScript,keys,"name","小张");

if(result != null && Integer.parseInt(result.toString()) >= 0){

log.info("修改缓存学生信息成功!");

}else{

log.info("修改缓存学生信息失败,失败原因是:此key在缓存中不存在!");

}

七、后记

对技术有敬畏之心,对测试有敬畏之心,开发时多思考一步,测试时涵盖所有的case,那么后续将节省很多的时间与精力。

标签:

相关文章

语言中的借用,文化交融的桥梁

自古以来,人类社会的交流与发展离不开语言的传播。在漫长的历史长河中,各民族、各地区之间的文化相互碰撞、交融,产生了许多独特的语言现...

软件开发 2025-01-01 阅读1 评论0

机顶盒协议,守护数字生活的新卫士

随着科技的飞速发展,数字家庭逐渐走进千家万户。在这个时代,机顶盒成为了连接我们与丰富多彩的数字世界的重要桥梁。而机顶盒协议,作为保...

软件开发 2025-01-01 阅读1 评论0

语言基础在现代社会的重要性及方法步骤

语言是人类沟通的桥梁,是社会发展的基础。语言基础作为语言学习的基石,对于个人、社会乃至国家的发展具有重要意义。本文将从语言基础在现...

软件开发 2025-01-01 阅读2 评论0

粤语电影,传承文化,点亮时代之光

粤语电影,作为中国电影产业的一朵奇葩,以其独特的地域特色、丰富的文化内涵和鲜明的艺术风格,赢得了广大观众的喜爱。本文将从粤语电影的...

软件开发 2025-01-01 阅读3 评论0

苹果游戏语言,塑造未来娱乐体验的基石

随着科技的飞速发展,游戏产业逐渐成为全球娱乐市场的重要支柱。在我国,游戏产业更是蓬勃发展,吸引了无数玩家和投资者的目光。而在这其中...

软件开发 2025-01-01 阅读1 评论0