浅析Redis①：命令处理核心源码分析(上)

写在前面

Redis作为我们日常工作中最常使用的缓存数据库，其重要性不言而喻，作为普调开发者，我们在日常开发中使用Redis，主要聚焦于Redis的基层数据结构的命令使用，很少会有人对Redis的内部实现机制进行了解，对于我而言，也是如此，但一直以来，我对于Redis的内部实现都很好奇，它为什么会如此高效，本系列文章是旨在对Redis源代码分析拆解，通过阅读Redis源代码，了解Redis基础数据结构的实现机制。

关于Redis的源码分析，已经有非常多的大佬写过相关的内容，最为著名的是《Redis设计与实现》，对于Redis源码的分析已经非常出色，本系列文章对于源码拆解时，并不会那么详细，相信大部分读者应该不是从事Redis的二次开发工作，对于源码细节过于深入，会陷入细节的泥潭，这是我在阅读源码时尽量避免的，我尽量做到对大体的脉络进行梳理，讲清楚主干逻辑，细节部分，如果读者有兴趣，可以自行参阅源码或相关资料。

本系列源代码，基于Redis 3.2.6

前言

毫无疑问，Redis已经成为我们日常开发中最长使用的缓存数据库，Redis如此高效的原因，是因为采用了非阻塞I/O模型来处理命令请求，这是我们耳熟能详的事情了，那么Redis具体是如何实现非阻塞I/O的呢？Redis是如何接收命令请求，并执行命令，再返回给客户端的呢？我们来一起探究。

本篇是Redis源码分析系列的第一篇，我们来一起看一下Redis处理命令的核心实现机制。

Redis处理命令请求实现

我们可以思考一下，如果使用Java实现Redis，应该会怎么样？

我们需要编写main函数，在main中初始化Redis的配置，然后实现一些Servlet的接口，处理命令请求，然后使用一个NIO框架，处理请求命令，最后将结果返回给客户端。事实上，Redis的整体结构上，的确是这样实现的，首先第一步，Redis需要一个main函数，作为Redis的启动入口，在main中，需要做一系列的事情。

那由此为引，我们来看一下Redis的main函数实现。

阅读Redis的源码，一切的起点在server.c中，在该文件中，定义了main函数，作为整个工程的入口：

int main(int argc, char **argv) {struct timeval tv;int j;// 省略，各种初始化操作检查
......// 核心1：初始化Server配置initServerConfig();// 从配置文件中加载配置信息loadServerConfig(configfile, options);// 省略，各种初始化操作检查
......// 核心2：初始化Server// 重点如: 绑定监听端口号，设置 acceptTcpHandler 回调函数initServer();// 省略，各种初始化操作检查
......// 从硬盘恢复数据，RBD/AOFloadDataFromDisk();// 核心3：设置核心函数beforeSleep，用于Redis进入事件驱动库的主循环之前被调用// 后面再讲aeSetBeforeSleepProc(server.el,beforeSleep);// 核心4：核中核，主函数循环，处理命令请求的核心函数aeMain(server.el);// 核心5：关闭服务，收尾工作aeDeleteEventLoop(server.el);return 0;
}

上面就是server.c中的main函数实现，这里我删除了很多非核心的检查方法，可以更清晰的聚焦mian函数的核心步骤，简单归纳一下main函数中都做了哪些事情：

1、Redis 会设置一些回调函数，当前时间，随机数的种子。回调函数实际上什么？举个例子，比如要给 Redis 发送一个关闭的命令，让它去做一些优雅的关闭，做一些扫尾清楚的工作，这个工作如果不设计回调函数，它其实什么都不会干。其实 C 语言的程序跑在操作系统之上，Linux 操作系统本身就是提供给我们事件机制的回调注册功能，所以它会设计这个回调函数，让你注册上，关闭的时候优雅的关闭，然后它在后面可以做一些业务逻辑。

2、不管任何软件，肯定有一份配置文件需要配置。首先在服务器端会把它默认的一份配置做一个初始化。

3、解析启动的参数。其实不管什么软件，它在初始化的过程当中，配置都是由两部分组成的。

第一部分，静态的配置文件；第二部分，动态启动的时候，main，就是参数给它的时候进去配置。

4、把服务端的东西拿过来，装载 Config 配置文件，loadServerConfig。

5、初始化服务器，initServer。

6、从磁盘装载数据。

7、有一个主循环程序开始干活，用来处理客户端的请求，并且把这个请求转到后端的业务逻辑，帮你完成命令执行，然后吐数据。

就这么一个过程。

OK，继续主题，我们希望了解是如何处理命令请求的，如果是Java语言，我们需要定义Servlet接口，并监听特定的端口，比如8080端口，以此来接收来自客户端的请求，但是对于C，是没有Servlet的，如果希望接收网络请求调用，需要通过socket进行网络通信，下面我们看一下Redis如何注册socket：

server.c initServer()

void initServer(void) {
// 省略，各种初始化操作检查
......// 核心1：创建epollserver.el = aeCreateEventLoop(server.maxclients+CONFIG_FDSET_INCR);// 省略，各种初始化操作检查
......// 核心2：创建socket监听if (server.unixsocket != NULL) {unlink(server.unixsocket); /* don't care if this fails */server.sofd = anetUnixServer(server.neterr,server.unixsocket,server.unixsocketperm, server.tcp_backlog);if (server.sofd == ANET_ERR) {serverLog(LL_WARNING, "Opening Unix socket: %s", server.neterr);exit(1);}anetNonBlock(NULL,server.sofd);}// 省略，各种初始化操作检查
......// 核心3：创建定时任务if(aeCreateTimeEvent(server.el, 1, serverCron, NULL, NULL) == AE_ERR) {serverPanic("Can't create the serverCron time event.");exit(1);}// 核心4：重点，核中核，通过aeCreateFileEvent创建epoll监听socket，设置行为为READABLE，// 并注册回调函数，当socket接收到套接字时，会触发执行回调函数for (j = 0; j < server.ipfd_count; j++) {if (aeCreateFileEvent(server.el, server.ipfd[j], AE_READABLE,acceptTcpHandler,NULL) == AE_ERR){serverPanic("Unrecoverable error creating server.ipfd file event.");}}if (server.sofd > 0 && aeCreateFileEvent(server.el,server.sofd,AE_READABLE,acceptUnixHandler,NULL) == AE_ERR) serverPanic("Unrecoverable error creating server.sofd file event.");// 省略，各种初始化操作检查
......}

上面就是initServer()函数的实现，老规矩，我删除了非核心部分的实现，简单归纳一下initServer()函数中都做了哪些事情：

1、创建非阻塞I/O，这里就是我们最常说的Redis的非阻塞I/O，这里Redis具体使用哪一种非阻塞I/O框架，取决于操作系统的具体实现，大部分场景下，我们的服务器使用Linux CentOS，其默认实现即为epoll

由于C中并没有Java语言中的多态，这里作者采用了一种精妙的方式实现了“多态”：

#ifdef HAVE_EVPORT
#include "ae_evport.c"
#else#ifdef HAVE_EPOLL#include "ae_epoll.c"#else#ifdef HAVE_KQUEUE#include "ae_kqueue.c"#else#include "ae_select.c"#endif#endif
#endif

2、创建socket监听

3、创建系统定时任务，后台线程执行，例如过期Key扫描淘汰

4、通过aeCreateFileEvent创建epoll监听socket，设置行为为READABLE，并注册回调函数，当socket接收到套接字时，会触发执行回调函数

networking.c acceptTcpHandler()

void acceptTcpHandler(aeEventLoop *el, int fd, void *privdata, int mask) {// 省略部分代码
......while(max--) {// 获取socket数据cfd = anetTcpAccept(server.neterr, fd, cip, sizeof(cip), &cport);if (cfd == ANET_ERR) {if (errno != EWOULDBLOCK)serverLog(LL_WARNING,"Accepting client connection: %s", server.neterr);return;}serverLog(LL_VERBOSE,"Accepted %s:%d", cip, cport);// 处理命令请求acceptCommonHandler(cfd,0,cip);}
}

acceptTcpHandler函数中，处理socket连接，并进行命令请求处理，进入命令处理函数acceptCommonHandler

static void acceptCommonHandler(int fd, int flags, char *ip) {client *c;// 创建redis连接if ((c = createClient(fd)) == NULL) {serverLog(LL_WARNING,"Error registering fd event for the new client: %s (fd=%d)",strerror(errno),fd);close(fd); /* May be already closed, just ignore errors */return;}// 省略部分代码
......server.stat_numconnections++;c->flags |= flags;
}

networking.c createClient()

client *createClient(int fd) {client *c = zmalloc(sizeof(client));/* passing -1 as fd it is possible to create a non connected client.* This is useful since all the commands needs to be executed* in the context of a client. When commands are executed in other* contexts (for instance a Lua script) we need a non connected client. */if (fd != -1) {anetNonBlock(NULL,fd);anetEnableTcpNoDelay(NULL,fd);if (server.tcpkeepalive)anetKeepAlive(NULL,fd,server.tcpkeepalive);// 核心，注册命令处理事件，设置回调函数readQueryFromClientif (aeCreateFileEvent(server.el,fd,AE_READABLE,readQueryFromClient, c) == AE_ERR){close(fd);zfree(c);return NULL;}}// 省略部分代码
......return c;
}

createClient函数中，注册命令处理事件到epoll，并设置回调函数readQueryFromClient，当socket数据读取完成时，将执行回调函数，真正的进行命令执行，我们继续看回调函数readQueryFromClient的实现

networking.c readQueryFromClient()

void readQueryFromClient(aeEventLoop *el, int fd, void *privdata, int mask) {// 省略部分代码
......// 从socket fd中读取数据nread = read(fd, c->querybuf+qblen, readlen);if (nread == -1) {if (errno == EAGAIN) {return;} else {serverLog(LL_VERBOSE, "Reading from client: %s",strerror(errno));freeClient(c);return;}} else if (nread == 0) {serverLog(LL_VERBOSE, "Client closed connection");freeClient(c);return;}// 省略部分代码
......// 处理命令processInputBuffer(c);
}

void processInputBuffer(client *c) {server.current_client = c;/* Keep processing while there is something in the input buffer */while(sdslen(c->querybuf)) {// 省略部分代码
....../* Multibulk processing could see a <= 0 length. */if (c->argc == 0) {resetClient(c);} else {// 执行命令if (processCommand(c) == C_OK)resetClient(c);/* freeMemoryIfNeeded may flush slave output buffers. This may result* into a slave, that may be the active client, to be freed. */if (server.current_client == NULL) break;}}server.current_client = NULL;
}

server.c processCommand()

int processCommand(client *c) {// 省略部分代码
......    /* Now lookup the command and check ASAP about trivial error conditions* such as wrong arity, bad command name and so forth. */c->cmd = c->lastcmd = lookupCommand(c->argv[0]->ptr);if (!c->cmd) {flagTransaction(c);addReplyErrorFormat(c,"unknown command '%s'",(char*)c->argv[0]->ptr);return C_OK;} else if ((c->cmd->arity > 0 && c->cmd->arity != c->argc) ||(c->argc < -c->cmd->arity)) {flagTransaction(c);addReplyErrorFormat(c,"wrong number of arguments for '%s' command",c->cmd->name);return C_OK;}// 省略部分代码
......    /* Exec the command */if (c->flags & CLIENT_MULTI &&c->cmd->proc != execCommand && c->cmd->proc != discardCommand &&c->cmd->proc != multiCommand && c->cmd->proc != watchCommand){queueMultiCommand(c);addReply(c,shared.queued);} else {// 2528行，真正执行命令call(c,CMD_CALL_FULL);c->woff = server.master_repl_offset;if (listLength(server.ready_keys))handleClientsBlockedOnLists();}return C_OK;
}

server.c call()

void call(client *c, int flags) {// 省略部分代码
......    // 核心，执行命令对应的函数调用c->cmd->proc(c);duration = ustime()-start;dirty = server.dirty-dirty;if (dirty < 0) dirty = 0;// 省略部分代码
......  }

上述是命令处理的几个核心函数，这里我省略了部分非核心逻辑，聚焦命令处理的主流程，在回调函数readQueryFromClient中主要做了几个事情：

1、从socket fd中读取数据

2、解析socket数据，解析命令，查找命令是否存在

3、执行命令对应的函数调用

4、重置Client，已备下一次请求处理

server.c redisCommandTable

struct redisCommand redisCommandTable[] = {{"get",getCommand,2,"rF",0,NULL,1,1,1,0,0},{"set",setCommand,-3,"wm",0,NULL,1,1,1,0,0},{"setnx",setnxCommand,3,"wmF",0,NULL,1,1,1,0,0},{"setex",setexCommand,4,"wm",0,NULL,1,1,1,0,0},{"psetex",psetexCommand,4,"wm",0,NULL,1,1,1,0,0},{"append",appendCommand,3,"wm",0,NULL,1,1,1,0,0},{"strlen",strlenCommand,2,"rF",0,NULL,1,1,1,0,0},{"del",delCommand,-2,"w",0,NULL,1,-1,1,0,0},{"exists",existsCommand,-2,"rF",0,NULL,1,-1,1,0,0},{"setbit",setbitCommand,4,"wm",0,NULL,1,1,1,0,0},{"getbit",getbitCommand,3,"rF",0,NULL,1,1,1,0,0},{"bitfield",bitfieldCommand,-2,"wm",0,NULL,1,1,1,0,0},{"setrange",setrangeCommand,4,"wm",0,NULL,1,1,1,0,0},{"getrange",getrangeCommand,4,"r",0,NULL,1,1,1,0,0},{"substr",getrangeCommand,4,"r",0,NULL,1,1,1,0,0},{"incr",incrCommand,2,"wmF",0,NULL,1,1,1,0,0},{"decr",decrCommand,2,"wmF",0,NULL,1,1,1,0,0},{"mget",mgetCommand,-2,"r",0,NULL,1,-1,1,0,0},{"rpush",rpushCommand,-3,"wmF",0,NULL,1,1,1,0,0},{"lpush",lpushCommand,-3,"wmF",0,NULL,1,1,1,0,0},{"rpushx",rpushxCommand,3,"wmF",0,NULL,1,1,1,0,0},{"lpushx",lpushxCommand,3,"wmF",0,NULL,1,1,1,0,0},{"linsert",linsertCommand,5,"wm",0,NULL,1,1,1,0,0},{"rpop",rpopCommand,2,"wF",0,NULL,1,1,1,0,0},{"lpop",lpopCommand,2,"wF",0,NULL,1,1,1,0,0},// 省略部分代码..........};

上述代码，就是命令请求对应的函数列表，也就是我们最熟悉的Redis命令，就此我们可以串起一条命令请求的执行过程，为了方便理解，我们用一张流程图说明一条命令的执行过程：

redis命令执行

结语

本篇，我们通过Redis源代码，了解了一部分Redis处理命令请求的核心流程，之所以说是一部分，是因为我是按照Redis命令处理的逻辑流程进行的拆解，而并非真正的执行过程，Redis的如此高性能的根本，是基于epoll的非阻塞机制实现，在下一篇中，我们将重点介绍Redis的epoll实现机制，敬请期待。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/413982.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

mac PyCharm 使用conda环境

mac PyCharm 使用conda环境

1 使用conda创建虚拟环境 conda create -n test6 python3.9 -y conda activate test62 选择conda环境 本地 选择已经存在的conda环境 右下角会显示现在的环境。
阅读更多...
推荐算法常见的评估指标

推荐算法常见的评估指标

推荐算法评估指标比较复杂&#xff0c;可以分为离线和在线两部分。召回、粗排、精排和重排由于定位区别&#xff0c;其评估指标也会有一定区别&#xff0c;下面详细讲解。 1 召回评价体系 召回结果并不是最终推荐结果&#xff0c;其本质是为后续排序层服务的&#xff0c;故核…
阅读更多...
高效火情监测，科技助力森林防火【数字地球开放平台】

高效火情监测，科技助力森林防火【数字地球开放平台】

数字地球开放平台-以卫星遥感为核心的空天信息服务开放平台 (geovisearth.com) 2019年3月30日&#xff0c;四川省凉山州木里县爆发了一场森林火灾&#xff0c;火点位于海拔3800米左右&#xff0c;地形险峻、坡度陡峭、谷深难以抵挡火势。在扑救的过程中&#xff0c;27名森林消防…
阅读更多...
弗洛伊德循环查找算法-原理

弗洛伊德循环查找算法-原理

本文灵感来自哔哩哔哩视频 视频链接: 弗洛伊德循环查找算法 算法代码(java) package rain;class ListNode {int value;ListNode next;public ListNode(int value) {this.value value;this.next null;}Overridepublic String toString() {return "ListNode{" &q…
阅读更多...
linux|操作系统|centos7物理机安装网卡驱动8188gu（内核升级，firmware固件，USB设备管理，module管理）

linux|操作系统|centos7物理机安装网卡驱动8188gu（内核升级，firmware固件，USB设备管理，module管理）

前言&#xff1a; 目前服务器领域centos7基本是主流的操作系统&#xff0c;而linux相对于Windows来说&#xff0c;软硬件方面的支持是差很多的&#xff0c;在硬件方面来说&#xff0c;以一个免驱的网卡为例&#xff0c;window xp可能不会自动识别到&#xff0c;但Windows10基本…
阅读更多...
SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用

SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用

SqlAlchemy使用教程(一) 原理与环境搭建SqlAlchemy使用教程(二) 入门示例及编程步骤SqlAlchemy使用教程(三) CoreAPI访问与操作数据库详解SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用SqlAlchemy使用教程(五) ORM API 编程入门 四、Database MetaData 与 S…
阅读更多...
Vue3使用

Vue3使用

1、列表实现 <el-table :data"tableData" border style"width: 100%" selection-change"handleSelectionChange" :header-cell-style"{text-align:center}"><el-table-column type"selection" width"55"…
阅读更多...
Debian系统写Mysql时中文出现乱码无法定入的问题解决方案

Debian系统写Mysql时中文出现乱码无法定入的问题解决方案

原因是操作系统可能精简安装&#xff0c;没有GBK字符集&#xff0c;只有UTF8在转换或使用的时候有问题。 使用locale -a查看系统支持的字符集。正常的比较全的字符集的操作系统如下&#xff1a; 有问题的操作系统字符集如下&#xff1a; 解决方案&#xff1a; 步骤1&#…
阅读更多...
shell编程-3

shell编程-3

文章目录 shell学习第三天while 循环第一天的小游戏练习: 编写抽同学回答问题的脚本要想让这个脚本永久有效如何知道两个文件里的内存一样&#xff1f;如何判断某个人已经抽过了 文本处理相关命令seqxargsuniqsorttrcutawkpastesplitcoljoin小结一下作业 小知识点写脚本的流程怎…
阅读更多...
vue列表飞入效果

vue列表飞入效果

效果 实现代码 <template><div><button click"add">添加</button><TransitionGroup name"list" tag"ul"><div class"list-item" v-for"item in items" :key"item.id">{{ i…
阅读更多...
使用localstorage清除指定的存储字段

使用localstorage清除指定的存储字段

前言&#xff1a;这一操作的来由是关闭页面想清除存储在本地的缓存&#xff0c;但又只想清除指定字段 这里的localStorage 中的数据是持久化存储的&#xff0c;即使浏览器关闭也不会丢失&#xff0c;除非主动删除或者进行清理操作。它跟会话级别还是有差异的。 清除localStora…
阅读更多...
Vue中的日历组件 Calendar 实现 考勤打卡记录

Vue中的日历组件 Calendar 实现 考勤打卡记录

日历组件 Calendar 可以自定义在页面添加内容。 实现效果图 1.由于Calendar没有右上角月份切换的API事件&#xff0c;可以给组件源码添加自定义添加一个事件 2.也可以通过自带的input事件来获取日历 3.vue页面完整代码 注释&#xff1a;this.$m(this.beginTime).format(…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023