Redis读书笔记（一）

Redis数据结构

1 简单动态字符串

Simple dynamic string 的实现

// sds.h/sdshdr

struct sdshdr {

  int len;    //记录buf数组中已使用的字节数, 不包括结尾空字符'\0'

  int free;   //记录buf数组中未使用的字节数

  char buf[];    //字节数组, 保存字符串

};

简单动态字符串SDS与C字符串的区别

获取字符串长度的时间复杂度

C字符串: O(N), 需要遍历字符串
SDS: O(1)
缓存区溢出问题
C字符串修改时需要为目标字符串分配足够的内存，否则会产生缓存区溢出
SDS需要修改时，会检查SDS的 free 空间是否满足要求，如果不满足会自动扩展空间
减少内存重分配次数
C字符串每修改一次都需要重新分配内存
SDS通过空间预分配和惰性空间释放优化内存分配次数

空间预分配

如果SDS修改之后的长度(len)小于1MB，那么程序分配同样大小的未使用空间(free)
如果SDS修改之后的长度(len)大于等于1MB，那么程序会分配1MB的未使用空间(free)

惰性空间释放

当SDS缩短时，程序并不会立即使用内存重分配回收缩短的字节，而是使用 free 属性将这些字节的数量记录
需要时可以使用sdsfree释放未使用空间，所以不会造成内存浪费

2 链表

应用场景：列表键(List)的底层实现之一、发布与订阅、慢查询、监视器等。

链表的实现

// adlist.h/listNode

typedef struct listNode {

  struct listNode *prev;    //前置节点

  struct listNode *next;    //后置节点

  void *value;    //节点的值

} listNode;

// adlist.h/list

typedef struct list {

  listNode *head;    	   //表头节点

  listNode *tail;    	   //表尾节点

  unsigned long len; 	   //节点数量

  void **dup(void *ptr);   //节点值复制函数

  void *free(void *ptr);   //节点值释放函数

  int *match(void *ptr, void *key);    //节点值对比函数

} list;

Redis链表特点

双端链表
无环：头节点的prev和尾节点的next指针都指向NULL
链表节点使用 void* 保存节点值，所以链表可以保存不同类型的值

3 字典

应用场景：哈希键(Hash)的底层实现之一，Redis数据库。

字典的实现

//哈希表

typedef struct dictht {

  dictEntry **table;        //哈希表数组

  unsigned long size;       //哈希表大小

  unsigned long sizemask;   //总等于size-1, 用于计算索引值

  unsigned long used;       //已有节点数量

} dictht;

//哈希表节点

typedef struct dictEntry {

  // 键

  void *key;

  //值

  union{

    void *val;

    uint64_t u64;

    int64_t s64;

  } v;

  struct dictEntry *next;    //指向下一个哈希表节点，形成链表

} dictEntry;

//dictType

typedef struct dictType {

  //计算哈希值

  unsigned int *hashFunction(const void *key);

  //复制键的函数

  void **keyDup(void *privdata, const void *key);

  //...

} dictType;

//Redis字典结构

typedef struct dict {

  dictType *type;    //保存了一簇用于操作特定类型键值对的函数

  void *privdata;    //需要传给特定类型函数的可选参数

  dictht ht[2];      //哈希表

  int rehashidx;     //rehash索引

}

哈希冲突

当有两个或以上数量的键被分配到哈希表数组的同一个索引上面时，则称发生了冲突。

Redis的哈希表使用链地址法解决键冲突，每个哈希表节点都有一个next指针，多个被分配到同一索引的节点形成一个单向链表。出于速度考虑，程序总数将新节点添加到链表表头的位置，时间复杂度O(1)。

Rehash重新散列

为了让哈希表的负载因子维持在一个合理的范围内，当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩(通过rehash操作实现)。

\[load\_factor = \frac{ht[0].used}{ht[0].size}
\]

Rehash操作步骤

为字典ht[1]哈希表分配空间，大小取决于要执行的操作和ht[0].used属性值。

如果是扩展操作，ht[1]的大小为第一个大于等于ht[0].used*2的\(2^n\) (2的n次方幂)
如果是收缩操作，ht[1]的大小为第一个大于等于ht[0].used的\(2^n\)

将保存在ht[0]的所有键值对rehash到ht[1]上面：重新计算key的哈希值和索引值，然后将键值对放到ht[1]对应的位置上(这个过程是渐进式的，不是一步完成)。

当ht[0]包含的所有键值对都迁移到ht[1]后(ht[0]变为空表)，释放ht[0]，将ht[1]设置为ht[0]，并新创建一个空白哈希表，为下一次rehash做准备。

渐进式Rehash期间的哈希表操作

删除(delete)、查找(find)、更新(update)等操作会在两个哈希表上进行。
新增(add)只会在ht[1]哈希表上进行，ht[0]不再进行任何添加操作。

4 跳跃表

应用场景：有序集合键(zset)底层实现之一、集群节点用作内部数据结构。

跳跃表的实现

//跳跃表节点

typedef struct zskiplistNode {

  //层，每个层带有两个属性：前进指针和跨度

  struct zskiplistLevel {

    struct zskiplistNode *forward;

    unsigned int span;

  } level[];

  //后退指针

  struct zskiplistNode *backward;

  //分值，节点按分值从小到达排列

  double score;

  //成员对象

  robj *pbj;

} zskiplistNode;

//跳跃表

typedef struct zskiplist {

  /**

   * header、tail: 头尾节点

   * length: 表中节点的数量(不包括头节点)

   * level: 层数最大节点的层数(不包括头节点)

   */

  struct zskiplistNode *header, *tail;

  unsigned long length;

  int level;

}

特性：跳跃表中的节点按照score大小进行排序，当score相同时，节点按照成员对象的大小进行排序。

5 整数集合

应用场景：集合键的底层实现之一(Set)。

当一个集合只包含整数值元素，且这个集合元素数量不多时，Redis会使用整数集合作为集合键的底层实现。

整数集合的实现

// intset.h/intset结构

typedef struct intset {

  //编码方式

  uint32_t encoding;

  //集合包含的元素数量

  uint32_t length;

  //集合元素数组

  int8_t contents[];

}

整数集合特性

contents数组的真正类型取决于encoding属性值。如果encoding属性的值为INTSET_ENC_INT16，则contents就是一个int16_t类型的数组；如果encoding属性的值为INTSET_ENC_INT32，则contents就是一个int32_t类型的数组等待。
当新元素添加到整数集合时，并且新元素的类型比整数集合现有元素都要长，整数集合需要先升级upgrade。

整数集合升级步骤

6 压缩列表

应用场景：列表键(List)和哈希键(Hash)的底层实现之一。

当一个列表键只包含少量列表项，并且每个列表项要么是小整数值，要么就是短字符串，那么Redis会使用ziplist来做列表键的底层实现。
当一个哈希键只包含少量键值对，并且每个键值对的key和value都是小整数值或短字符串，那么Redis会使用ziplist来做哈希键的底层实现。

压缩列表的构成

属性	类型	长度	用途
zlbytes	uint32_t	4字节	记录整个压缩列表占用的内存字节数。
zltail	uint32_t	4字节	记录压缩列表表尾节点距离起始地址有多少字节。
zllen	uint16_t	2字节	记录整个压缩列表包含的节点数量：当属性值小于65535时，表示的就是整个压缩列表节点的数量；当属性值等于65535时，节点的真实数量需要遍历才能得到。
entry1	列表节点	不定	压缩列表包含的各个节点，节点的长度由保存的内容决定。
entry2
...
entryN
zlend	uint8_t	1字节	特殊值0xFF，用于标记压缩列表的末端。

压缩列表节点Entry的构成

属性	长度	用途
previous_entry_length	1字节或5字节	记录了压缩列表前一个节点的长度。
encoding	1字节、2字节或5字节	记录了当前节点的content属性所保存数据的类型以及长度。
content	由encoding决定	保存节点的值，可以是字节数组或者整数。