- 工程实践 - 《QPS百万级的有状态服务实践》01 - 存储选型实践

           本文属于专栏《构建工业级QPS百万级服务》


        《QPS百万级的无状态服务实践》已经完成。截止目前为止,支持需求“给系统传入两个日期,计算间隔有多少天”的QPS百万级服务架构已经完成。如图1:

  

图1

        可是这个架构不能满足需求“给系统传入两个日期和国家信息,计算中间有多少个节假日”,也不能满足需求“查到最近用户的历史查询记录”。

        首先每个国家,每年的节假日不一样。以中国为例,每年的五一的开始时间和结束时间,由国务院办公厅大约提前一年发布。所以我们的服务需要实时去更新节假日的信息。这时候第一个问题来了,数据如何更新。

        第一步是数据生产,由于国家很多,每个国家每年的节假日发放的网站和数据格式都可能变化,而这种更新频率不高,但又十分重要的数据,一般需要自动化生产+人工检测。先通过API或者爬虫爬取到信息,然后程序检测,程序检测有风险的人工介入。所以我们的架构升级为图2。

      

图2

       这里我们面临着第一个存储选型。那就是我们的节假日数据存在哪里。这里我们从数据量大小、写频率、读频率、数据生产成本、存储成本等几个角度,分析数据特征。

  • 数据量大小:每个国家节假日不超过100个,一共195个国家,不超过20000个节假日,假设每个节假日key为30个字节的,时间信息为两个int32的值,那总的大小不超过5MB
  • 写频率:一年的节假日一般在一年的某一天更新,加上更正,195个国家,365天,写频率大约是1次/天
  • 读频率:这里取决于业务需求,如果我们希望新的节假日数据发布之后,我们可以在一分钟内更新,那我们读取数据数据频率大约是1次/分钟
  • 数据生产成本:这里数据生产是依赖自动化程序+少量人工,整体来说成本偏低。所以即使数据丢失,重新生产也能接受。不过这可能会让服务小时级不能工作,所以数据备份也是需要的
  • 存储成本:目前计算机资源,磁盘相对便宜,成本更高的是CPU和内存。所以存储在磁盘本身便宜,而存储中间件的成本,基本取决于需要读取数据的延迟和频率

        分析完数据特征,下一步要做的就是技术选型。技术选型,本质上做的事情是,找到满足业务需求的最便宜的方案(这里的便宜不止是机器资源,还是开发、维护成本)。从上面的业务特征,可以大概刻画出我们想要的存储中间件特征为,数据量不大(按数据量大小收费比较划算),写少读多(数据读取便宜,写可以贵点),数据生产成本不高,对业务小时级别影响(有备份,但也不要成本太高)

        这里我不会选择Redis,因为数据可以分钟级更新,10秒级的数据延迟服务都可以接受,那内存型的存储太贵了点。同理,我也不会选择Mysql,内存+磁盘型依然有些浪费。所以磁盘存储的对象存储系统更便宜,也能满足我的需求,以阿里云对象存储系统OSS为例,下图是我截取的核心收费价格

    

      

图3

        如图3,我的选择是同城冗余存储标准型。因为数据取回的频率很高,且不想接受小时级别服务停止。

        很明显,这里的架构“似乎”有优化的空间,比如只在数据变化时,服务容器才去获取数据。这样获取数据频率变低,这让我们可能可以考虑低频访问型。但是目前的业务形态,我不会去做这样的事,因为这个方案,需要“数据生产方通知+服务容器轮询”,它增加了服务的复杂度,而成本大概也只是从2分钱变成了1.5分钱。但是着不意味着,所有业务都不需要,比如数据从5MB,变成了5GB、5TB、甚至5PB,量变就引起了质变。现在我们先只考虑5MB,并且我们知道50MB以内,我们的方案都没有变的必要。不要过早的考虑优化,是架构设计的重要哲学之一

        到目前为止,我们只解决了数据生产和存储的问题,数据更新的问题还没有解决。用户查询相关的问题也还没有开始考虑。这些我会在后续的《QPS百万级的有状态服务实践》系列中,分享我的经验。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/471507.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

node+vue3+mysql前后分离开发范式——实现对数据库表的增删改查

文章目录 ⭐前言⭐ 功能设计与实现💖 node后端操作数据库实现增删改查💖 vue3前端实现增删改查⭐ 效果⭐ 总结⭐ 结束⭐结束⭐前言 大家好,我是yma16,本文分享关于 node+vue3+mysql前后分离开发范式——实现对数据库表的增删改查。 技术选型 前端:vite+vue3+antd 后端:…

用HTML和CSS打造跨年烟花秀视觉盛宴

目录 一、程序代码 二、代码原理 三、运行效果 一、程序代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><title>跨年烟花秀</title><meta name"viewport" content"widthdevi…

【Linux】 Linux 小项目—— 进度条

进度条 基础知识1 \r && \n2 行缓冲区3 函数介绍 进度条实现版本 1代码实现运行效果 版本2 Thanks♪(&#xff65;ω&#xff65;)&#xff89;谢谢阅读&#xff01;&#xff01;&#xff01;下一篇文章见&#xff01;&#xff01;&#xff01; 基础知识 1 \r &&a…

你知道.NET的字符串在内存中是如何存储的吗?

一、字符串对象的内存布局 从“值类型”和“引用类型”来划分&#xff0c;字符串自然属于引用类型的范畴&#xff0c;所以一个字符串对象自然采用引用类型的内存布局。引用类型实例的内存布局总的来说整个内存布局分三块&#xff1a;ObjHeader TypeHandle Payload。对于一般…

面试经典150题——有效的数独

​"Strive not to be a success, but rather to be of value." - Albert Einstein 1. 题目描述 2. 题目分析与解析 2.1 暴力求解 没思路&#xff0c;老规矩&#xff0c;先来一次笨办法&#xff0c;先把步子迈出去&#xff0c;因为可能笨办法写着写着就会有更多的…

vue的网络请求以及封装

①先备好springboot的接口 ②安装依赖 在vue中安装网络请求工具的依赖&#xff1a; npm i axios③简单的demo 直接通过axios请求尝试一下&#xff1a; <script> import axios from "axios";export default {name: HomeView,data() {return {users:[]}}, …

如何监控另一台电脑屏幕画面?如何远程监控电脑屏幕?

在数字化时代&#xff0c;随着远程工作和协作的普及&#xff0c;电脑屏幕监控的需求也日益增长。无论是出于安全考虑、提高员工工作效率&#xff0c;还是确保企业机密的保密性&#xff0c;电脑屏幕监控都成为了企业不可或缺的管理工具。那么&#xff0c;如何监控另一台电脑屏幕…

用HTML5 Canvas创造视觉盛宴——动态彩色线条效果

目录 一、程序代码 二、代码原理 三、运行效果 一、程序代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <!-- 声明文档类型为XHTML 1.0 Transitional -…

微信网页版能够使用(会顶掉微信app的登陆)

一、文件结构 新建目录chrome新建icons&#xff0c;其中图片你自己找吧新建文件manifest.json新建文件wx-rules.json 二、文件内容 对应的png你们自己改下 1、manifest.json {"manifest_version": 3,"name": "wechat-need-web","author…

飞天使-k8s知识点17-kubernetes实操2-pod探针的使用

文章目录 探针的使用容器探针启动实验1-启动探针的使用-startupprobeLiveness Probes 和 Readiness Probes演示若存在started.html 则进行 探针的使用 kubectl edit deploy -n kube-system corednslivenessprobe 的使用 livenessProbe:failureThreshold: 5httpGet:path: /heal…

解决platform创建项目失败问题

相关文章 快速入门ESP32——开发环境配置Arduino IDE 快速入门ESP32——开发环境配置PlatformIO IDE 快速入门ESP32—— platformIO添加开源库和自己的开发库 快速入门ESP32—— 解决platformIO添加开源库下载失败的问题 platform创建项目失败&#xff0c;解决办法 1、现象描述…

飞天使-k8s知识点20-kubernetes实操5-pod更新与暂停-statefulset

文章目录 资源调度 Deployment&#xff1a;扩缩容资源调度 Deployment&#xff1a;更新的暂停与恢复资源调度 StatefulSet&#xff1a;定义一个有状态服务headless service 金丝雀发布 资源调度 Deployment&#xff1a;扩缩容 扩容和缩容&#xff0c;常用的功能 scale[rootkub…