【歪歪多开器源码】【pytest框架源码】【mnn源码分析】redis hash 源码

来源:iapp双击返回源码

1.Redis的渐进式rehash原理
2.万字长文带你解读Redisson分布式锁的源码
3.Redis命令详解:Hashs
4.Redis中的Hash类型12个常用命令(图文例子)
5.redis 用hashmap省内存的误解
6.Redis7.0源码阅读:哈希表扩容、缩容以及rehash

redis hash 源码

Redis的渐进式rehash原理

       Redis的渐进式rehash机制是其dict数据结构实现查找操作时的一种关键策略。dict是基于哈希表的,类似于Java的HashMap,通过key计算哈希值确定存储位置并使用拉链法解决冲突。当装载因子超过预设值时,歪歪多开器源码dict会触发rehash,以优化性能。

       rehash过程采用渐进式,即在执行添加、删除、查询或更新操作时,不会一次性将所有键值对移到新哈希表ht[1],而是分批进行。具体步骤如下:

       分配ht[1]空间,同时维护两个哈希表。

       使用rehashidx索引,从ht[0]的特定桶开始迁移键值对至ht[1],每次操作后更新rehashidx。

       ht[0]的键值对逐渐转移到ht[1],直到rehashidx设为-1,表示rehash完成。

       这种设计避免了大量计算导致的服务器阻塞,确保了Redis的高可用性。在渐进式rehash期间,字典操作会同时在ht[0]和ht[1]上进行,pytest框架源码新添加的键值对会直接存入ht[1],而ht[0]则逐渐变为空。

       《Redis设计与实现》和《Redis实战》等资料详细介绍了这一机制。如有兴趣深入学习,可以加入Linux、C/C++技术交流群获取更多学习资源。

万字长文带你解读Redisson分布式锁的源码

       通过深入解读 Redisson 分布式锁的源码,我们了解到其核心功能在于实现加锁、解锁以及设置锁超时这三个基本操作。而分布式锁的实现,离不开对 Redis 发布订阅(pub/sub)机制的利用。订阅者(sub)通过订阅特定频道(channel)来接收发布者(pub)发送的消息,实现不同客户端间的通信。在使用 Redisson 加锁前,需获取 RLock 实例对象,进而调用 lock 或 tryLock 方法来完成加锁过程。

       Redisson 中的 RLock 实例初始化时,会配置异步执行器、唯一 ID、等待获取锁的时间等参数。加锁逻辑主要涉及尝试获取锁(tryLock)和直接获取锁(lock)两种方式。tryLock 方法中,通过尝试获取锁并监听锁是否被释放来实现锁的获取和等待逻辑。这通过调用底层命令(整合成 Lua 脚本)与 Redis 进行交互来实现。Redis mnn源码分析的 Hash 结构被用于存储锁的持有情况,hincrby 命令用于在持有锁的线程释放锁时调整计数,确保锁的可重入性。

       解锁逻辑相对简单,通过调用 unlock 方法,Redisson 使用特定的 Lua 脚本命令来判断锁是否存在,是否为当前线程持有,并相应地执行删除或调整锁过期时间的操作。

       此外,Redisson 支持 RedLock 算法来提供一种更鲁棒的锁实现,通过多个无关联的 Redis 实例(Node)组成的分布式锁来防止单点故障。尽管 RedLock 算法能一定程度上提高系统可靠性,但并不保证强一致性。因此,在业务场景对锁的安全性有较高要求时,可采取业务层幂等处理作为补充。

       Redisson 的设计遵循了简化实现与高效性能的原则,通过 Lua 脚本与 Redis 的直接交互来实现分布式锁的原子操作。在源码中,通过巧妙利用并发工具和网络通信机制,实现了分布式锁的高效执行。尽管 Redisson 在注释方面可能稍显不足,但其源码中蕴含的并发与网络通信的最佳实践仍然值得深入学习与研究。

Redis命令详解:Hashs

       Hash在Redis中是一种用于存储对象的String类型field、value的映射表,非常适合用于数据存储。源码的重要接下来,我们将详细探讨与Hash相关的命令。

       命令HDEL用于删除指定key的指定一个或多个field。如果指定的field不存在,将被忽略。如果key不存在,则被视为空hash,向客户端返回0。返回值是实际删除的field个数,不包括不存在的field。自2.4.0版本起,该命令支持一次性删除多个field,此前需使用Redis的事务实现。

       HEXISTS命令检查指定key是否包含指定的field,存在返回1,否则返回0。如果key不存在,则按空hash处理。

       HGET命令从key中获取指定field对应的value。如果field不存在或key不存在,返回nil。

       HGETALL命令返回key中所有field及对应value的列表,value紧跟在field后面,列表长度是hash大小的两倍。若key不存在,缺口函数源码返回空列表。

       HINCRBY命令对指定key的指定field进行增量操作,返回计算后的结果。如果不存在则先创建一个value为0的hash,非数字类型报错。操作范围为位有符号整数。

       HINCRBYFLOAT与HINCRBY相似,但处理浮点类型的加法,field不存在时创建value为0的field。浮点数加法存在小数点后的精度损失。

       HKEYS命令返回指定key中包含的所有field列表,不存在则返回空列表。

       HLEN命令返回指定key中field的个数,不存在返回0。

       HMGET命令获取指定key的一个或多个field的值,不存在则返回nil。如果key不存在,返回所有请求的field的nil。

       HMSET命令为指定key设置一个或多个field的值。若field已存在则覆盖,不存在则创建新hash。返回1表示新增,返回0表示更新。

       HSET命令设置指定key中field的value,不存在则创建hash,存在则覆盖。返回1表示新增,0表示更新。

       HSETNX命令与HSET类似,但若field已存在则不进行操作,直接返回0。

       HSTRLEN命令获取指定key中field对应value的字符串长度,不存在则返回0。

       HVALS命令返回指定key的所有value,不存在则返回空列表。

       以上为Redis中Hash相关的命令及其功能,了解这些命令有助于更高效地管理存储在Redis中的数据。

Redis中的Hash类型个常用命令(图文例子)

       Redis中Hash类型的核心命令解析

       一、hset命令

       作用:设置hash类型值;格式:hset key field value

       举例:

       Redis中Hash类型的核心命令解析

       二、hget命令

       作用:获取hash类型某个key下的某个field的值 格式:hget key field

       举例:

       Redis中Hash类型的核心命令解析

       三、hsetnx命令

       作用:如果key对应的field不存在,则赋值,存在时什么都不做。 格式:hsetnx key field value

       举例:

       Redis中Hash类型的核心命令解析

       四、hmset命令

       作用:同时为一个key的设置多个field;值已存在就替换旧值 格式:hmset key field value [field value …]

       举例:

       Redis中Hash类型的核心命令解析

       五、hmget命令

       作用:同时获取一个key的多个field的值;格式:hmget key field [field …]

       举例:

       Redis中Hash类型的核心命令解析

       六、hgetall命令

       作用:获取一个key下所有field和value 格式:hgetall key

       举例:

       Redis中Hash类型的核心命令解析

       七、hkeys命令

       作用:获取key对应的所有的field 格式:hkeys key

       举例:

       Redis中Hash类型的核心命令解析

       八、hvals命令

       作用:获取key对应的所有value;格式:hvals key

       举例:

       Redis中Hash类型的核心命令解析

       九、hincrby命令

       作用:增减数值 格式:hincrby key field increment

       举例:

       Redis中Hash类型的核心命令解析

       十、hdel命令

       作用:删除key对应的filed的值,field可以写多个 格式:hdel key field [field …]

       举例:

       Redis中Hash类型的核心命令解析

       十一、hlen命令

       作用:返回指定key的field数量。 格式:hlen key

       举例:

       Redis中Hash类型的核心命令解析

       十二、hexists

       作用:测试给定key下的field是否存在。 格式:hexists key field

       举例:

       Redis中Hash类型的核心命令解析

       十三、友情链接

       作用:提供进一步学习资源,例如:Redis中的String类型个常用命令

       举例:

redis 用hashmap省内存的误解

       çœ‹è¿‡è®¸å¤šredis优化的案例,通过引入hashmap的方式将key散列到多个hashmap,

        具体可以见:

        Redis 利用Hash存储节约内存 - 刘本龙的专栏 - CSDN博客

        我们得到如下公式:

        原来是:

        key1,key2,key3,key4,key5

        变成

        hash1:

        key1:value1

        key2:value2

        key3:value2

        hash2:

        key4:value4

        key5:value5

        虽然名义上5个key变成了2个hashmap,但是每个filed还是会保存原始的key,所以从key减少的层面是行不通的,这个时候就要从底层储存结构去看。

        redis对hashmap有一个优化,当filed数量比较少的时候(因为ziplist是用顺序遍历的方式查找元素,所以数量多了复杂度是o(N)肯定不合适。

        ),会用一个叫ziplist的结构保存,而不是传统的hash结构,ziplist有几个特点:

        ziplist介绍

       /weixin_/article/details/

        所以hashmap能省内存是依赖ziplist的结构,而不是key的减少。

        使用ziplist可以用以下参数控制

        必须满足以上两个条件,那么该key会被压缩。否则就是按照正常的hash结构来存储hash类型的key。

Redis7.0源码阅读:哈希表扩容、缩容以及rehash

       当哈希值相同发生冲突时,Redis 使用链表法解决,将冲突的键值对通过链表连接,但随着数据量增加,冲突加剧,查找效率降低。负载因子衡量冲突程度,负载因子越大,冲突越严重。为优化性能,Redis 需适时扩容,将新增键值对放入新哈希桶,减少冲突。

       扩容发生在 setCommand 部分,其中 dictKeyIndex 获取键值对索引,判断是否需要扩容。_dictExpandIfNeeded 函数执行扩容逻辑,条件包括:不在 rehash 过程中,哈希表初始大小为0时需扩容,或负载因子大于1且允许扩容或负载因子超过阈值。

       扩容大小依据当前键值对数量计算,如哈希表长度为4,实际有9个键值对,扩容至(最小的2的n次幂大于9)。子进程存在时,dict_can_resize 为0,反之为1。fork 子进程用于写时复制,确保持久化操作的稳定性。

       哈希表缩容由 tryResizeHashTables 判断负载因子是否小于0.1,条件满足则重新调整大小。此操作在数据库定时检查,且无子进程时执行。

       rehash 是为解决链式哈希效率问题,通过增加哈希桶数量分散存储,减少冲突。dictRehash 函数完成这一任务,移动键值对至新哈希表,使用位运算优化哈希计算。渐进式 rehash 通过分步操作,减少响应时间,适应不同负载情况。定时任务检测服务器空闲时,进行大步挪动哈希桶。

       在 rehash 过程中,数据查询首先在原始哈希表进行,若未找到,则在新哈希表中查找。rehash 完成后,哈希表结构调整,原始表指向新表,新表内容返回原始表,实现 rehash 结果的整合。

       综上所述,Redis 通过哈希表的扩容、缩容以及 rehash 动态调整哈希桶大小,优化查找效率,确保数据存储与检索的高效性。这不仅提高了 Redis 的性能,也为复杂数据存储与管理提供了有力支持。

redis里面hash

       Redis是一种高效的数据存储系统,其内部的数据结构以字符串为主。关于标题中的"hash",需要明确的是,Redis并不直接支持hash类型的数据存储,其核心数据结构如键值对是基于字符串的。如果你需要处理的是纯数值的数据,Redis确实提供了一些操作手段,例如通过INCR和DECR命令实现数值的自增和自减,但这并不等同于传统意义上的哈希映射。因此,如果你想在Redis中高效地管理复杂的数据结构,如哈希表,可能需要借助其他数据结构或者序列化/反序列化技术来间接实现。

       尽管Redis不直接支持hash类型,但通过字符串类型的灵活性,可以通过特定的方式处理一些哈希相关的需求。例如,你可以将哈希数据序列化为字符串,然后存储在Redis中,通过字符串操作来间接实现哈希的功能。不过,这样做可能会牺牲一部分查询效率,因此在设计时需要权衡性能和数据结构的选择。

文章所属分类:焦点频道,点击进入>>