NUAA-云计算-考试

19级期末

问题

答案:  md格式 自己想办法看
 

# 随堂测验#### 一、请简述GFS 的系统架构和特点。**1. 系统架构**- GFS将整个系统节点分为三类角色:- Client(客户端):Client是GFS提供给应用程序的访问接口,以库文件的形式提供。- Master(主服务器):Master是GFS的管理节点,在逻辑上只有一个,负责整个文件系统的管理。- Chunk Server (数据块服务器):Chunk Server负责具体的存储工作,数据以文件的形式储存。
- GFS的实现机制:- 客户端首先访问Master节点,获取交互的Chunk Server信息,然后访问 这些Chunk Server,完成数据存取工作。这种设计方法实现了控制流和 数据流的分离。- Client与Master之间只有控制流,而无数据流,极大地降低了Master的 负载。- Client与Chunk Server之间直接传输数据流,同时由于文件被分成多个 Chunk进行分布式存储,Client可以同时访问多个Chunk Server,从而 使得整个系统的I/O高度并行,系统整体性能得到提高。**2. 特点**- 采用中心服务器模式:- 可以方便的增加Chunk Server- Master掌握系统内所有Chunk Server的情况,方便进行负载均衡- 不存在元数据的一致性问题
- 不缓存数据:- 文件操作大部分是流式读写,不存在大量重复读写,使用Cache 对性能提高不大 - 由于GFS的数据在Chunk Server上以文件的形式存储,如果对某 块数据读取频繁,本地的文件系统自然会将其缓存 - Chunk Server上数据存取使用本地文件系统从可行性看,Cache 与实际数据的一致性维护也极其复杂 - 由于读取的数据量巨大,以当前的内存容量无法完全缓存
- 在用户态下实现- 利用POSIX编程接口存取数据降低了实现难度,提高通用性 - POSIX接口提供功能更丰富 - 用户态下有多种调试工具 - Master和Chunk Server都以进程方式运行,单个进程不影响整个操作系统 - GFS和操作系统运行在不同的空间,两者耦合性降低
- 只提供专用接口- 降低了实现的难度。通常与POSIX兼容的接口需要在OS内核一级 实现,而GFS是在应用层实现的- 可以根据应用的特点对应用提供一些特殊支持- 专用接口直接和Client、Master、Chunk Server交互,减少了 上下文的切换,降低了复杂度,提高了效率#### 二、(1)   请简述 Yarn 的体系架构与组件。(2)   请简述 Yarn 的工作流程。**1. Yarn的体系架构与组件**- Yarn是master/slave架构,主进程Resource是整个集群资源仲裁中心,从进程NodeManager管理本机资源,ResourceManager和从属节点的进程NodeManager组成了Hadoop2.0的分布式数据计算框架。 - 组件:- ResourceManager(RM)主要负责处理客户端请求对各NM上的资源进行统一调度和管理,给ApplicationMaster分配空闲的Container 运行并监控其运行状态。- NodeManager(NM)相当于ResourceManager在每台机器上的代理。定时向RM汇报本节点资源的使用情况和Container 的运行状态,它还会处理来自ApplicationMaster的Container 启动或停止请求。- ApplicationMaster(AM)YARN中每启动一个任务就会启动一个AM,它可以负责向RM申请资源,请求NM启动Container,并告诉Container做什么,,它还可以重启失败的任务。- Containercontainer是YARN中资源的抽象,它封装了某个节点上的一定的资源(cpu、内存、磁盘、网络等),YARN中所有的应用都是在其上运行的,包括AM,Container是由AM向RM申请的,由RM中的scheduler分配给AM。**2. Yarn的工作流程**- (1)作业提交
- (2)任务分配
- (3)任务执行
- (4)进度和状态更新
- (5)任务完成#### 三、请描述用 MapReduce 实现过程**1. 实现过程**- 第一个步骤对原始的数据进行分割,得到10个不同的数据分块。- 第二个步骤对每一个数据分块都启动一个Map进行处理。采用桶排序的方法,每个Map中按照用户id排序分配到100个不同的桶中。- 第三个步骤对于Map之后得到的中间结果,启动100个Reduce。按照用户id将Map中不同桶中的购物记录集合放置到行营的Reduce中进行处理。**2. 相关结果**- Mapper数量:10
- Reducer数量:100
- <key1,value1>:<第几个数据分块,对应块的购物记录>
- <key2,value2>:<用户id,对应购物记录>
- <key3,value3>:<用户id,对应购物记录>#### 四、请写出数据对象在虚拟节点和物理节点上的分布情况**1. 物理节点与虚拟节点对应关系**| 物理节点 |  1   |   2   |    3     |
| :------: | :--: | :---: | :------: |
| 虚拟节点 |  V1  | V2,V4 | V3,V5,V6 |**2.数据对象分布情况**|  数据对象id  |  1   |  2   |  3   |  4   |  5   |  6   |  7   |  8   |  9   |  10  |  11  |  12  |
| :----------: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: |
| **虚拟节点** |  V1  |  V2  |  V2  |  V3  |  V1  |  V3  |  V4  |  V6  |  V5  |  V6  |  V5  |  V3  |
| **物理节点** |  1   |  2   |  2   |  3   |  1   |  3   |  2   |  3   |  3   |  3   |  3   |  3   |#### 五、程序**1. 程序**```java
public static void main(String[] args) throws IOException{Configuration conf = new Configuration();Path inFile = new Path("/user/joe/mufile");FileSystem hdfs = FileSystem.get(conf);//写入内容FSDataOutputStream OutputStream = hdfs.create(inFile);outputStream.writeUTF("cloud computing is useful");outputSteram.flush();outputStream.close();//输出内容FSDataInputStream inputStream = hdfs.open(inFile);System.out.println("myfile:"+inputStream.readUTF());inputStream.close();
}
```**2. 匹配**|   术语    |                  具体描述                  |
| :-------: | :----------------------------------------: |
|    GAE    |       (c) 主要用于 PaaS 应用的公有云       |
|    CRM    |  (g) 在商业社会中最常使用的 SaaS 应用之一  |
|    AWS    |    (d) 用在可伸缩应用程序中的公有计算云    |
|    SLA    |   (a) 云计算中用户和提供商之间签署的协议   |
|   Azure   | (b) 必须从基于 Windows 的主机运行的公有云  |
|    EC2    |         (h) 主要用于 IaaS 的云服务         |
|    S3     |     (i) 用于分布式存储应用程序的存储云     |
| Force.com |      (e) SalesForce.com 构建的云平台       |
| vSphere/4 | (f) 将数据中心转换为云平台的商业云操作系统 |
|    XEN    |     (j) 剑桥大学开发的开源 hypervisor      |#### 六、云计算数据中心空调系统节能技术**1. 节能技术与原理**- 高温回风空调系统根据不同水温度下的制冷和能耗,对应的出水温度(即空调回风温度)提高1°C,空调系统约节能3%。- 低能耗加湿系统将纯净的水直接喷洒在多孔介质或者空气中,形成颗粒极小的水雾,由送风气流送出。整个加湿过程无需电能加热水,仅需水泵和风机能耗。- 自然冷空调系统使用室外自然冷风直接带走机房的IT 设备的散热,减少了机械制冷系统中最大的压缩耗能环节,压缩机制冷系统的 EER 由 2~3.5 提高到 10~15 ,节能空间巨大。**2. DVFS节能技术**- 当CPU 未被完全利用时,通过降低 CPU 的供电电压和时钟频率主动降低 CPU 性能,这样可以带来立方数量级的动态能耗降低,并且不会对性能产生影响。
- DVFS节能方法能够利用因任务交互而导致的松弛时间以一个低电压、频率执行任务。

20级期中随堂测验(线下 带几张白纸):

 下一个题目

下一个题目:

 

然后还有就是  名词连线,,

20级期末: 线下 几张白纸:

凭借回忆:

简述 淘宝那个云的结构特点  就是 行列关键字+时间戳的那个    还有对应的架构.... (TFS的架构和存储机制)

MapReduce模型,简述工作原理

编程题和19级一样 

Spark  Streaming模型的特点

S3的基本概念和操作,是一个大题,给一个表:

第一个队列 a11  a12   占比百分30

第二个队列  a21  a22  a23 占比百分50

第三个队列  a31  a32  a33 占比百分40

第一小问: 是关于S3的知识问答   

第二小问: 给一个执行序列xxxx  xxx   xxxx   xxx   xxxx ,问你xx执行完以后会让谁执行,为什么?

 名词连线题

写在最后:

由于我大四跑去实习了,所以要求及格就行,所以题目不是记得很清楚, 欢迎其他小伙伴补充~

最后,姿持下互联网精神好不好啦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/298996.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot2.x+mybatis plus3.x集成Activit7版本

文/朱季谦 在Activiti6版本当中&#xff0c;若要集成到Springboot里&#xff0c;需要写一些额外的配置类&#xff0c;我曾经在Activiti工作流框架学习笔记&#xff08;二&#xff09;之springboot2.0整合工作流Activiti6.0一文当中总结过相关配置过程&#xff0c;感兴趣的同学…

ssh工具 向指定的ssh服务器配置公钥

此文分享一个python脚本,用于向指定的ssh服务器配置公钥,以达到免密登录ssh服务器的目的。 效果演示 🔥完整演示效果 👇第一步,显然,我们需要选择功能 👇第二步,确认 or 选择ssh服务器 👇第三步,输入ssh登录密码,以完成公钥配置 👇验证,我们通过ssh登录…

AI时代下,如何看待“算法利维坦”?程序员客栈程序员客栈​

ChatGPT的浪潮从2022年袭来后&#xff0c;至今热度不减&#xff0c;呈现出蓬勃发展的趋势。AI家居、医疗、教育、金融、公益、农业、艺术......AI真的已经走进了生活的方方面面&#xff0c;我们仿佛已经进入了AI时代&#xff0c;势不可挡。人工智能水平如此之高&#xff0c;不禁…

学习在UE中通过Omniverse实现对USD文件的Live-Sync(实时同步编辑)

目标 前一篇 学习了Omniverse的一些基础概念。本篇在了解这些概念的基础上&#xff0c;我想体验下Omniverse的一些具体的能力&#xff0c;特别是 Live-Sync (实时同步) 相关的能力。 本篇实践了使用Omniverse的力量在UE中建立USD文件的 Live-Sync 编辑。由于相关的知识我是从…

AI进化太快了!Stability AI开源视频生成大模型Stable Video Diffusion

对于 Stable Diffusion&#xff0c;想必读者朋友们对此都不陌生。 自 Stability AI 公司发布 SD&#xff08;全称&#xff1a;Stable Diffusion) 以来&#xff0c;受到了很多人的喜爱。 SDXL 效果 随后技术升级&#xff0c;又发布了 SDXL&#xff0c;名字很有喜感&#xff0c…

青岛农业大学 百度网盘,青岛农业大学参考书目

大家好&#xff0c;本文将围绕青岛农业大学c语言程序设计展开说明&#xff0c;javase青岛农业大学教材答案是一个很多人都想弄明白的事情&#xff0c;想搞清楚青岛农业大学 百度网盘需要先了解以下几个事情。 文章目录 前言一、需要安装什么软件&#xff1f;二、代码准备 1.fid…

【期末复习】微信小程序复习大纲( 1- 5 章)

前言&#xff1a; 这周开始进入期末复习周&#xff0c;没时间看C/C、linux等知识了&#xff0c;先把期末考试必考的知识捋一遍。 目录 第一章 微信小程序入门 一、填空题 二、判断题 三、选择题 四、简答题 第二章 微信小程序页面制作 一、填空题 二、判…

Java学习时间和日期

1 常用类 1.1 Date 表示日期 具体类 设置时间 1.2 Calendar 表示日历 抽象类 设置日历的设定日期 void set(int year,int month,int date); void set(int year,int month, int date, int hour, int minute,int second); void setTime(Date d); int get(int field)&#…

Parvex驱动器维修帕瓦斯控制器DIGIVEX DSD

Parker驱动器维修&#xff1a;由不同的模拟功率控制信号&#xff0c;由IC级驱动器GND/PGND&#xff08;功率接地&#xff09;的信号控制&#xff0c;应分别接地。使用IC的小信号部分的控制IC&#xff0c;SGND信号与功率地之间的连接点。合理的方法是地信号地返回到功率层的一个…

RPC 实战与原理

文章目录 什么是 RPC&#xff1f;RPC 有什么作用&#xff1f;RPC 步骤为什么需要序列化&#xff1f;零拷贝什么是零拷贝&#xff1f;为什么需要零拷贝&#xff1f;如何实现零拷贝&#xff1f;Netty 的零拷贝有何不同&#xff1f; 动态代理实现HTTP/2 特性为什么需要服务发现&am…

【RocketMQ】Console页面报错:rocketmq remote exception,connect to xxx failed.

现象 console报错&#xff0c;无法连接该节点&#xff0c;把该节点杀掉&#xff0c;还是继续报错&#xff0c;重启之后&#xff0c;报错的端口变成11911。 分析 正常一个broker会启动三个端口&#xff0c;不同版本的规律不太一样&#xff0c;4.X版本是&#xff1a; 配置文件…

如何使用JuiceSSH实现手机端远程连接Linux服务器

文章目录 1. Linux安装cpolar2. 创建公网SSH连接地址3. JuiceSSH公网远程连接4. 固定连接SSH公网地址5. SSH固定地址连接测试 处于内网的虚拟机如何被外网访问呢?如何手机就能访问虚拟机呢? cpolarJuiceSSH 实现手机端远程连接Linux虚拟机(内网穿透,手机端连接Linux虚拟机) …