What‘s new in PikiwiDB(Pika) v3.5.3(正式版)-编程知识

随着 Redis 宣布采用双协议以维护其商业利益，PikiwiDB(Pika) 社区非常荣幸地宣布之际，我们的最新 v3.5.3 正式生产可用版本现已发布。

v3.5.3 版本不仅修复了长期存在的 Bug，还引入了一系列新特性。这些新特性包括 Pika 对 ACL 的支持、移除了 Sharing 模式的残留 Slot 代码、命令执行的快慢分离、Redis Stream 支持、大 key 分析工具、以及 Pika 分布式集群的全自动化 failover 等。此外，我们在 3.5.3 版本中增加了更多的自动化测试用例，以提高 Pika 服务的稳定性和健壮性，确保用户能够享受到更高效、更稳定的使用体验。本文将详细介绍本次更新的主要功能、Bug 修复和性能提升。

在深入探讨 3.5.3 版本的更新内容之前，请注意以下几点声明：

由于商标问题，Pika 项目已更名为 PikiwiDB。在本文中，我们将使用 PikiwiDB(Pika) 来指代项目，项目地址为：https://github.com/OpenAtomFoundation/pika
我们创建了一个新项目 https://github.com/OpenAtomFoundation/pikiwidb，这是一个基于 Raft 协议实现的兼容 Redis 协议的大容量 KV 数据库，主要面向强一致性数据场景，例如存储约 10TiB 规模的元数据。PikiwiDB 将专门用于指代此项目。
我们为 PikiwiDB 设计了一个新的 logo，作为其商标，并已在相关政府机构注册。

1 主要更新

1.1 支持 ACL

PikiwiDB(Pika) 3.5.3 版本正式全面支持 Redis ACL，为未来在云原生 Pika 集群中支持多租户场景奠定了基础。在此之前，Pika 已经支持了 Redis 的用户认证方式，如 auth/userpass/requirepass，以及通过 pika.conf 中的 userblacklist 配置命令黑名单模式。本次更新保持了向后兼容，并支持这些已有的使用方式。

我们还确保 PikiwiDB(Pika) 的 ACL 实现与 Redis ACL 完全兼容，通过将 Redis 的所有 ACL TCL 测试集纳入 PikiwiDB(Pika) 的测试集中。

关键 PR 链接：

PikiwiDB(Pika) 支持 ACL
修正 ACL 用户认证错误问题
ACL 向前兼容 userblacklist
添加 Redis ACL 测试集

1.2 混合存储模型支持 bitmap

在单体环境下，同时优化 PikiwiDB(Pika) 的读/写/compaction 是一项挑战。在 v3.5.2 版本中，我们引入了由缓存 Redis 和 RocksDB 构成的混合存储模型，并支持了 string/list/set/zset/hashtable 五种数据结构。在 3.5.3 版本中，我们增加了对 bitmap 的支持。

此外，我们在 3.5.3 版本中支持对 Redis 缓存进行动态参数调整。

关键 PR 链接：

PikiwiDB(Pika) 支持 bitmap
支持对 Redis 缓存进行动态调参

1.3 快慢命令分离

为了避免慢命令阻塞快命令的执行，我们在 Codis-Proxy 和 PikiwiDB(Pika) 两个层面实现了快慢命令分离。

关键 PR 链接：

实现快慢命令分离

1.4 Redis Stream 支持

虽然 PikiwiDB(Pika) 之前支持了 Redis pubsub，但它只能进行在线消息传递。在 3.5.3 版本中，我们增加了对 Redis Stream 的有限支持，类似于消息队列（MQ），以便更安全地传递消息。为了确保数据的安全性，我们在底层引擎 BlackWidow 中特别添加了对 Stream 数据类型的支持。

关键 PR 链接：

Pika 支持 Redis Stream

请注意，Pika Stream 目前还不支持消费组消费，这将在后续版本中实现。

1.5 云原生集群

在 PikiwiDB(Pika) 3.5.0 版本中，我们开源了 Pika-Operator，它支持在 K8s 上部署 Pika 主从对。在 3.5.2 版本中，我们基于 Kubeblocks 的 Pika-Operator 支持了在 K8s 上部署类似 Codis 的 Pika Cluster，但当时还不支持动态扩缩容。

在 3.5.3 版本中，最新的 Pika-Operator 已经支持了 Codis Group 级别的节点扩缩容，并且支持数据的 Rebalance。

关键 PR 链接：

Pika-Operator 支持 Pika 集群自动扩容
优化 codis slot 迁移速度，支持动态修改迁移线程和速度
Pika-operator 支持 namespace，可在不同 namespace 下部署不同的集群
Pika-operator 支持监控指标采集，自动拉起 pika-expoter

1.6 Compaction 优化

PikiwiDB(Pika) 的底层磁盘存储引擎 RocksDB 在进行 compaction 时会显著影响 PikiwiDB(Pika) 的读写性能。因此，控制好 compaction 是优化 Pika 读写性能的关键。

关键 PR 链接：

添加 CompactRange 命令，支持对一定范围内的 key 进行 compact
提升 Compaction 速度，减少 Compaction 耗时
执行 shutdown 命令时调用 disable compaction，提升进程退出速度

1.7 自动 Failover

PikiwiDB(Pika) 集群目前是基于 Codis 实现的。为了提高基于 Codis 的 PikiwiDB(Pika) Cluster 的易用性，我们对 Codis 进行了许多扩展。

原始的 Codis 不支持 Group 内的 Failover，需要使用 Redis Sentinel，这会导致运维成本增加。我们在 Codis Dashboard 中加入了 sentinel 的功能，实现了对 Group 内主从的自动 failover。

关键 PR 链接：

PikiwiDB(Pika) 分布式集群支持自动 failover

1.8 可观测性提升

PikiwiDB(Pika) 的可观测性关键组件是 Pika-Exporter。在 3.5.2 版本中，我们虽然添加了 Redis Cache 缓存热数据，但缺少监控指标。在 3.5.3 版本中，我们增加了包括命中率、每秒命中次数、Redis Cache 内存使用量、Redis Cache 个数、Redis Cache DB 个数等指标。

关键 PR 链接：

Pika exporter 暴露 cache 相关的数据采集指标
PikiwiDB(Pika) 分布式集群 Codis proxy 新增可观测指标
修复 dbsize 计算错误问题
修复网络监控指标统计不准确的问题

1.9 数据一致性

3.5.3 版本修复了许多 PikiwiDB(Pika) 主从同步问题，确保数据的一致性。

关键 PR 链接：

修复主从复制过程中，slave 节点收到 master 异常回包后的处理逻辑
修复 Pika cache 部分场景下 cache 和 DB 数据不一致的问题
修复全量复制失败后，未做处理导致数据丢失问题
修复主从复制过程中，主实例执行 bgsave 过程中，没有正确回应从的同步请求
全量复制过程中，添加数据同步状态，明确数据同步进度
修复从库在 Apply binlog 时，没有对操作的 key 加锁，导致数据不一致的问题
修复迁移数据后数据不一致的问题

1.10 测试集增加

PikiwiDB(Pika) 的测试集由 gtest 单测、Redis TCL 测试集和 Go 测试集组成。在 3.5.3 版本中，我们增加了 Codis 集群 e2e 测试。

关键 PR 链接：

Pika TCL 测试集
Pika Gotest 测试集

1.11 工具集更新

PikiwiDB(Pika) 一直重视工具集的建设，所有相关工具都可以在 https://github.com/OpenAtomFoundation/pika/tree/unstable/tools 中找到。在 3.5.3 版本中，我们新增了一个工具：

PikiwiDB(Pika) 支持大 key 分析工具

1.12 文档更新

PikiwiDB(Pika) 的文档主要是 wiki 文档。在 3.5.3 版本中，我们更新了 Pika 支持的 Redis 命令文档。

文档链接：https://github.com/OpenAtomFoundation/pika/wiki/pika-%E6%94%AF%E6%8C%81%E7%9A%84redis%E6%8E%A5%E5%8F%A3%E5%8F%8A%E5%85%BC%E5%AE%B9%E6%83%85%E5%86%B5