设计概览、整体架构设计、网络设计
看下面-这篇文章
【hcie-cloud】【7】华为云Stack_LLD设计【设计概览、整体架构设计、网络设计、部署设计、资源设计、服务设计】【上】
部署设计
云平台整体部署架构
图中在Region下每个灰底都代表一个数据中心,AZ1可以跨数据中心规划,这里AZ1m跨了多个数据中心,AZ1n同样跨了多个数据中心。
全局或区域部署原则
SAP HANA必须部署成单独的一个资源池,不能和其他的云服务器类型共部一个资源池,SAP HANA采用裸金属服务器和KVM虚拟化时必须分成两个不同的资源池。
组件部署方案
- 基础管理节点:安装OpenStack控制节点、ManageOne、公共组件和基础云服务组件。
- 扩展管理节点:安装基础云服务以外的其他高阶云服务。
- 网络计算融合节点:安装软件SDN组件,提供vRouter、ELB、EIP、VPN、NAT网关等功能,同时也作为计算节点,为客户提供计算资源。
节点类型及部署详情 - 管理节点
- 管理节点用于部署资源池层FusionSphere OpenStack控制节点、云服务、公共组件和管理域组件。
- 由于OpenStack计算节点数量增加导致管理节点需要扩展,如将GaussDB、RabbitMQ等组件部署到单独的管理节点。
- 管理节点采用UVP作为HostOS,FusionSphere OpenStack采用物理部署方式,Service OM采用虚拟化部署方式;当华为分布式块存储作为管理存储时,华为分布式块存储采用物理部署方式,华为分布式块存储Manager采用虚拟化部署方式。计算云服务、存储云服务、网络云服务、公共组件和管理域组件均采用虚拟化部署方式。
节点类型及部署详情 - 网络节点
- 网络节点用于部署软件SDN组件。
- 网络节点采用UVP作为HostOS,vRouter、L3NAT、L3_service和VPN组件采用虚拟化部署方式。
节点类型及部署详情 - ECS和EVS相关节点
- KVM计算节点(通用型ECS):此节点类型为必选,用于ECS云服务发放通用型ECS实例(租户虚拟机)。
- KVM计算节点(GPU型ECS):此节点类型为可选,用于ECS云服务发放GPU型ECS实例(租户虚拟机)。
- 分布式存储节点(EVS):此节点类型为可选,当华为分布式块存储作为业务存储且华为分布式块存储分离部署时,用于EVS云服务发放EVS实例(租户云硬盘)。
- 计算存储融合节点(ECS和EVS):此节点类型为可选,当华为分布式块存储作为业务存储且华为分布式块存储- 融合部署时,用于ECS云服务发放ECS实例(租户虚拟机)以及EVS云服务发放EVS实例(租户云硬盘)。
- KVM计算节点(通用型ECS)采用UVP作为HostOS,FusionSphere OpenStack(compute角色)采用物理部署方式。
- KVM计算节点(GPU型ECS)采用UVP作为HostOS,FusionSphere OpenStack(compute角色)采用物理部署方式。
- 分布式存储节点(EVS)采用EulerOS作为HostOS,华为分布式块存储采用物理部署方式。
- 计算存储融合节点(ECS和EVS)采用UVP作为HostOS,FusionSphere OpenStack(compute角色)和华为分布式块存储采用物理部署方式。
节点类型及部署详情 - BMS相关节点
- 裸金属服务器管理节点:此节点类型为可选,仅在Region Type I场景下且选用BMS云服务时选用此节点类型。
- 裸金属服务器网关节点:此节点类型为可选,仅在Region Type I场景下且选用BMS云服务时选用此节点类型。裸金属服务器网关节点是裸金属服务器的网络流量转发节点,实现VLAN到VxLAN的映射,为裸金属服务器提供二三层网络互通,安全访问控制,NAT等网络服务能力。
- 裸金属服务器节点:此节点类型为可选。在性能、安全要求比较高或直接调用硬件接口的场景,需要使用裸金属服务器。类似KVM计算节点,裸金属服务器发放前需要先将裸金属服务器节点扩容到云平台,每一个裸金属服务器节点能发放为一台裸金属服务器实例。
- 裸金属服务器管理节点采用UVP作为HostOS;当华为分布式块存储作为裸金属服务器管理节点的存储时,华为分布式块存储采用物理部署方式。
- 裸金属服务器网关节点采用UVP作为HostOS,FusionSphere OpenStack(baremetal-gateway角色)采用物理部署方式。
节点类型及部署详情 - CSBS、VBS和CSHA相关节点
- eBackup Server&Proxy节点为可选,仅选用CSBS和VBS云服务时选用此节点类型,用于部署CSBS和VBS云服务的eBackup Server&Proxy。
- eBackup Server&Proxy节点采用EulerOS作为HostOS。
- CSHA服务使用的仲裁软件虚拟化部署场景下相关节点类型如下:
- 采用物理服务器先安装FusionCompute,然后通过FusionCompute创建仲裁虚拟机。
- 仲裁虚拟机包括存储仲裁虚拟机、云平台仲裁虚拟机、ManageOne仲裁虚拟机、API Gateway仲裁虚拟机。
平台时间同步设计 - 有外部NTP
- 资源池层FusionSphere OpenStack的NTP服务从外部NTP服务器获取时钟源。
- 资源池层Service OM、华为分布式块存储(包含FSM和FSA)、ManageOne和公共组件层的OM_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
- 公共组件层的DMZ_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
- 云服务、公共组件、管理域ManageOne等组件所在管理虚拟机从公共组件层的OM_NTP获取时钟源。
- 租户虚拟机可以根据实际需要,从公共组件层DMZ_NTP获取时钟源,或者从外部NTP服务器获取时钟源。
平台时间同步设计 - 无外部NTP
- 源池层中的Service OM、华为分布式块存储、ManageOne和公共组件层的OM_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
- 公共组件层的DMZ_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
- 云服务、公共组件、管理域ManageOne等组件所在管理虚拟机从公共组件层的OM_NTP获取时钟源。
- 租户虚拟机可以根据实际需要,从公共组件层的DMZ_NTP获取时钟源。
外部系统对接设计
- xxx运维管理平台是xx数据中心的运维中心,提供CMDB、告警、性能、工单等功能,负责全网设备的监控和管理;在xxx项目中,基础设施云平台需要与xxx运维管理平台对接的功能包括:
- CMDB:对象数据。
- 告警:云平台告警。
- 性能:基础性能数据。
- 审批流程:租户从华为的云平台上发起资源申请,申请订单转到xxx运维管理平台上审批,审批完成之后,申请订单在华为云平台上完成资源发放。
- 对象操作:提供虚拟机的重启操作(用于重启排障)。
资源设计
资源分区设计
- Region:地理区域。Region的服务范围是一个以时延为半径的圈。
- Region内时延:Region内如果覆盖多个物理DC,应规划充足的带宽,尽量小的时延。譬如,小于2 ms。
- 接入时延:Region内的用户得到的前端服务可以小于该时延。譬如,100 ms。
- 地理容灾:各个Region通常在不同的地理位置,具有地理容灾等级;
- AZ:可用区域。它包含有以下意义:
- AZ为Region内的一个故障域。指在同一地域下,电力、网络隔离的物理区域。
- 可用分区中的计算、存储、网络资源是全互通的。
- 不同类型计算资源池也划分为多个AZ(裸金属资源池、VM资源池)。
- 计算服务器集群:也称主机组。
- 管理员在计算资源池中把同一属性的硬件资源对计算服务器进行逻辑划分的一个群组。通常一个主机组的服务器数量不要超过128台。
- 云服务器类型:
- 根据上云应用的需求进行规划,可使用通用型(CPU内存比1:4)、内存优化型(CPU内存比1:8)、计算优化型(CPU内存比1:2)等。
IaaS资源池规划示例
- XX政务项目IaaS资源池规划:
- 物理机房:分为XXY和BH机房(属于2个电信运营商),两个机房,机房间距离小于10公里。
- Region:政务外网业务和互联网业务的安全风险、安全隔离要求不同,两个业务区部署为2个Region。每个Region跨两个机房。
- AZ划分:政务外网区Region划分4个AZ,其中三个业务AZ(两个虚拟机AZ、一个物理机AZ )和一个测试AZ。互联网区Region划分3个业务AZ,两个虚拟机AZ、一个物理机AZ。
- 服务器集群:即主机组,管理员在系统上对相同硬件配置的服务器逻辑分组。
- 云服务器类型:政务办公类应用为主,采用通用型云主机。
计算资源池容量设计
计算资源池主机组设计
存储集群规划原则
一个backend内可以包含来自同一个存储的多个存储池;一个存储池不能加入到多个backend,建议一个volume type只包含同一种存储类型的backend,保证后端存储的能力相同。根据应用场景不同,选取合适的存储类型:
存储资源池容量规划 - 集中式存储
存储资源池容量规划 - 分布式存储
多级VDC划分
- VDC:与企业/部门层级关系相匹配的逻辑组织单元,能够完成用户管理、配额管理、项目管理、产品定义、资源发放、服务保障等功能。支持创建多级VDC,适用于分级运营的场景。例如,集团包含多个子公司,子公司又包含多个下级部门。或者政务云存在多个委办局。
- VDC支持跨Region。
- VDC支持为Region内不同云服务设置配额。
- VDC支持为不同用户,关联不同的项目。
- Project:OpenStack原生概念,计算、存储、网络资源等最小归属单位,适合为项目组或业务系统分配单独Project。
- Project不能跨Region。
VDC设计示例
- 组织VDC规划
- 委办局希望可以由运营管理员代维,适合每个委办局划分一个租户(默认创建一级VDC)。
- 一级VDC管理员根据组织结构的需求,确定是否创建下级VDC,每级VDC可单独设置配额。
- VDC管理员具备查看本级和下级VDC的资源发放以及资源的管理和维护权限。
- Project规划
- Project在每级VDC下创建,同时由VDC管理员管理。
- 一个用户可以关联多个Project。可以关联一级VDC内不同VDC下的Project。
服务设计
华为云Stack云服务一览图
图中所示为华为云Stack8.1.1版本支持的云服务列表,不同版本存在差异。
华为云Stack云服务组件部署场景
- 每个独立站点均需部署一套基础组件.
- Global解耦场景,global站点和Region站点需分别部署一套基础组件。
- Global/Region合并场景,需部署一套基础组件。
- Global区组件均部署在管理区;Region区组件区分管理区及管理下沉区(管理下沉区部署在POD区),管理下沉组件与高阶服务业务资源共主机组部署。
服务规划示例 - OBS 3.0(1)
- 基础IaaS服务可按照前面章节的内容进行设计,对于高阶服务,比如OBS、安全服务、技术中台与AI中台服务都需要单独对服务进行规划。了解服务的架构、组网、流量模型以及部署形态,对服务的规划至关重要,本小节将以OBS 3.0服务规划为例。
- 先了解一下OBS 3.0的架构设计:
- 如上图所示, Huawei Cloud OBS从架构上主要分为三层:Persistence Layer(存储持久层),Index Layer(元数据服务层)和Service Layer(对象语义服务层):
- Persistence Layer(存储持久层)基于通用服务器和介质构建统一的存储持久层,负责数据布局、负载均衡、数据恢复能力,提供EC数据冗余方式,可以灵活解决性能以及成本问题。可以看出,Persistence Layer是Huawei Cloud OBS的基石,存储系统的扩展性、性能、可靠性均基于此。
- Index Layer(元数据服务层)负责具体的元数据分布、索引、故障切换等,对上层的Service Layer提供高速的元数据存取和查询等能力,从上图中可以看到Index Layer的数据最终也是存储在Persistence Layer,所以这些元数据一样共享底层Persistence Layer的数据存储能力,从而保证整个系统的所有数据都是高扩展、高可靠的。
- Service Layer(对象语义服务层),提供S3协议的接口,负责对象业务的接入、全局统一命名空间等,同时具备完善的增值服务,比如重删、跨区域复制、QoS、多租户、配额等特性,业界通用的对象存储协议在Huawei Cloud OBS都可以提供,真正做到了按需分配,用户不用再为存储的选择而犯难。
服务规划示例 - OBS 3.0(2)
- 接着需要了解一下OBS服务在HCS组网的位置:
图例为单核心Type1组网,OBS在HCS网内独立占用接入TOR,上联到核心交换机。
服务规划示例 - OBS 3.0(3)
接着需要了解一下OBS网络平面:
网络名称 | 说明 | 功能 | 网关位置 |
---|---|---|---|
BMC平面 | OBS BMC IP地址 | 用于带外管理,连接设备的板级管理模块 | BMC交换机 |
Internal_Base/OBS_Internal_Base | PXE平面IP | PXE平面,用于自动化安装OS引导,OS安装后该平面失效不需要继续使用。 | 二层组网:核心交换机\三层组网:接入Leaf |
OBS_OM OBS | OM平面IP | OBS管理面地址,该平面地址同时还给管理面提供S3业务接口访问。VIP:虚IP,用于负载均衡及前端业务接入的可见IP | 二层组网:核心交换机\三层组网:接入Leaf |
OBS_Backend_Storage | OBS后端IP地址 | OBS后端管理地址,用于OBS内部存储数据的重构,读写等 | 二层组网:核心交换机\三层组网:接入Leaf |
OBS_Paxos | OBS Paxos平面IP地址 | OBS集群管理地址,用于集群间心跳管理 | 二层组网:核心交换机\三层组网:接入Leaf |
OBS_OM_ECMP | OBS OM平面ECMP地址 | OBS管理面等价路由地址,用于LVS向Service节点进行管理平面的负载均衡转发 | 二层组网:核心交换机\三层组网:接入Leaf |
OBS_Bussiness_Tenant | OBS租户面地址 | OBS租户面地址,用于内大网访问OBS。VIP:虚IP,用于负载均衡及前端业务接入的可见IP | 二层组网:核心交换机\三层组网:接入Leaf |
OBS_Tenant_ECMP | OBS租户面ECMP地址 | OBS租户面等价路由地址,用于LVS向Service节点进行租户平面的负载均衡转发 | 二层组网:核心交换机\三层组网:接入Leaf |
- 自带表格不好看,放到excel里面好理解一些
服务规划示例 - OBS 3.0(4)
- 接着需要了解一下OBS网络架构:
- 在HCS下有二层、三层组网区分,区别在于网关位置,三层的网关在leaf上,二层的网关在Core上。
- OBS根据部署形态组网有区别,融合部署形态接入TOR和存储TOR合并。分离部署TOR分开。
- 接入TOR:连接LVS,Service节点。
- 存储TOR:连接Index,SSD,HDD其他节点。
- 扩容可以按照节点标准步长扩,TOR端口满了后,扩容新的一组TOR,实现横向Scale-out。
服务规划示例 - OBS 3.0(5)
- 接着需要了解一下OBS小型化部署方案:
- 小型化场景OBS单集群最大支持40节点规模,标准化场景OBS单集群最大支持4096节点规模。
- 小型化场景OBS性能弱于标准化场景,同硬件规格下约为1/2~1/3。
- 小型化建议的部署容量区间是0~3PB,超过3PB需要使用标准化部署。
- OBS支持跨AZ访问,暂不支持跨Region访问(主要依赖EP2.0)。
服务规划示例 - OBS 3.0(6)
- 接着需要了解一下OBS小型化组网:
- 小型组网需要1组TOR,类型为接入TOR,端口模式均为bond4+动态LACP。
服务规划示例 - OBS 3.0(7)
- 接着需要了解一下小型化部署下容灾、配置以及机柜摆放:
设备和机柜要求 | 配置说明 | |
---|---|---|
非机柜级容灾 | 机柜>=2,LVS>=2,FusionNode>=3 | 1.最小配置2+3,需要保证设备位于2个机柜。入柜顺序为LVS01,02。2.存储节点(FusionNode),最小3个节点,扩容节点按照顺序依次摆放。3.每2个机柜作为一个机柜组,扩容的时候,先扩容机柜组内部,把设备填满。都填满以后,扩容机柜组。4.每个机柜组最小2+3的基本配置。 |
机柜级容灾 | 机柜>=3,LVS>=2,FusionNode>=9 | 1.最小配置2+9,需要保证设备位于3个机柜。入柜顺序为LVS01,02。2.存储节点(FusionNode),最小9个节点,扩容节点按照顺序依次摆放。3.每3个机柜作为一个机柜组,扩容的时候,先扩容机柜组内部,把设备填满。都填满以后,扩容机柜组。4.每个机柜组最小2+9的基本配置。支持一个机柜故障 |
- 上面放到excel中
服务规划示例 - OBS 3.0(8)
接着需要了解一下OBS 3.0的硬件架构:
服务规划示例 - OBS 3.0(9)
-
示例
-
OBS小型化和标准化由于部署架构不同,无法做平滑演进。需要在初次建设的时候就规划好OBS部署形态。
-
OBS小型化当前建议上限空间3PB,对于预期容量超过6PB的局点或者对性能有较高的要求的局点,需要按照标准化形态部署。
-
如果小型化局点经过多次扩容,达到6PB上限空间,单桶容量上限无法跨集群。
-
当OBS作为大数据存算分离使用时,OBS3.0对象存储需要使用25GE组网。
-
对象存储支持集群内节点扩容,不支持扩容新集群。
-
存储节点以池为粒度进行扩容;同一存储池内只能有同一款典配机型,且要求机型配置规格完全一样。不同存储池可以分别是X86和ARM,每个池的大小可以不一样,
服务规划示例 - OBS 3.0(10)
- 接着需要了解一下OBS 3.0的域名规划:
- 为保证组网可靠性和业务访问安全性,不能对内外部用户暴露提供真实服务的存储节点业务IP地址,而是使用域名方式对内部用户和公网用户提供业务。
- 内部客户端和外部公网客户端访问对象存储服务域名,通过DNS解析后完成业务处理。对象存储域名会同时注册- 在云平台管理侧DNS服务器和租户侧DNS服务器。
- 如需通过公网访问对象存储服务,需要将对象存储域名同时注册至公网DNS服务器。
- 公网注册OBS域名,必须与OBS内网域名保持一致。
服务规划示例 - OBS 3.0(11)
- 接着需要了解一下OBS 3.0的对公网提供API访问规划:
- 由于OBS服务功能涉及到Https请求,所以需要导入并使用包含了OBS域名的安全证书,使用证书后不会被浏览器安全策略拦截。可使用客户购买的商业证书,若无商业证书,会上报告警。
- 公有云访问场景,客户如果需要对外表现OBS可用,需要购买商业证书。一般商业证书的有效期为1~5年。
- 如果不涉及公网访问场景。一般不申请商用证书。如果要导入服务的预置证书则需要客户签署免责申明,认可自定义证书。
服务规划示例 - OBS 3.0(12)
最后就可以根据上述内容进行OBS 3.0 服务规划内容设计,并填写在LLD里。
下图为上图放大后的截图
- 总结一下
本章主要讲解了- 设计概览:设计输入、项目背景、建设目标、建设范围
- 整体架构设计:逻辑架构设计、物理架构设计
- 网络设计:管理区网段划分设计、交换机VRF设计、防火墙安全域划分、设备互联地址设计、核心交换机路由设计、防火墙静态路由设计、运营运维接入设计
- 部署设计:组件部署方案、平台时间同步设计、外部系统对接设计
- 资源设计:资源分区设计、计算资源池设计、存储资源池设计、VDC设计
- 服务设计:部分云服务的规划示例
学习推荐
- 华为云Stack产品文档:
https://support.huawei.com/hedex/hdx.do?docid=DOC1100925285&path=PBI1-253383977/PBI1-23710112/PBI1-21431666/PBI1-253386765/PBI1-23864287
- 华为人才在线官网:
https://e.huawei.com/cn/talent/portal/#/
- 华为认证论坛:
https://forum.huawei.com/enterprise/zh/forum-813.html
缩略语
缩略语 | 英文全称 | 解释 |
---|---|---|
DCS | Distributed Cache Service | 分布式缓存中间件服务,提供轻量级、高性能、高可靠的分布式对象缓存能力,加速数据访问、减少对数据库的依赖、提升业务响应速度,对应用提供数据缓存的位置透明访问的key-value(KV)接口。 |
CCE | Cloud Container Engine | 云容器引擎是为开发者、合作伙伴提供开发、部署、托管的容器应用平台,帮助用户快速、低成本地实现业务创新,缩短应用上市周期。 |
CSBS | Cloud Server Backup Service | 云服务器备份可为弹性云服务器创建备份(备份内容包括云服务器的配置规格,系统盘和数据盘的数据),利用备份数据恢复云服务器业务数据,最大限度保障用户数据的安全性和正确性,确保业务安全。 |
OBS | Object Storage Service | 基于对象的云存储服务,提供易扩展、高安全、高可靠性、低成本的数据存储能力,用户可以通过基于HTTP协议的接口对对象进行管理和使用。对象存储服务一般应用于大规模的数据存储服务。 |
LLD | Low Level Design | LLD是根据网络规划阶段输出的网络拓扑、信令话路路由、业务实现方案,进一步对设计内容进行细化,给出数据配置原则,指导数据规划的活动。 |
VPN | Virtual Private Network | 一种系统配置,在此通过连接到可能包括专用网络容量的不同的网络开关,用户能够建立起一个专用网络。 |
IAM | Identity & Access Management | 身份管理与访问控制主要包括账号信息管理、角色权限管理、访问控制管理和日志管理等功能。 |
AZ | Availability Zone | 可用区,华为云Stack中物理概念。 |