大数据与云计算、物联网、人工智能-编程知识

云计算

云计算的概念

通过网络、以服务的方式，为千家万户提供非常廉价的IT资源，一种商业模式。
云计算是一种模型，用户可以方便地通过网络按需访问一个可配置计算资源（如网络、服务器、存储、应用和服务）的共享池，这些资源可以被迅速提供并发布，同时实现管理成本或服务供应商干预的最小化。

云计算的特点

超大规模计算、高可靠性和安全性、动态扩展性、虚拟化、通用性、按需服务、降低成本。初期零成本，瞬时可获得后期免运维，使用成本低在供应计算和储存资源方面“予取予求”

云计算关键技术

虚拟化技术

是表示计算机资源的抽象方法，能创造某些真实对象的虚拟化版本，例如，操作系统、计算机系统、存储设备和网络资源等。通过虚拟化可以用与访问抽象前的资源一样的方法访问抽象后的资源，从而隐藏属性和操作之间的差异，并允许通过一种通用的方式来查看和维护资源。虚拟化技术是云计算、云存储服务得以实现的关键技术之一。它将应用程序以及数据，在不同的层次以不同的面貌加以展现，从而使得不同层次的使用者、开发及维护人员，能够方便的使用，开发及维护存储的数据、应用于计算和管理的程序。

分布式存储技术

是一种数据存储技术，通过网络，使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个角落。分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

分布式计算技术

是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。广义：分布式计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。优点：1、稀有资源可以共享；2、通过分布式计算可以在多台计算机上平衡计算负载；3、可以把程序放在最适合运行它的计算机上。总之，分布式计算技术的核心思想是：共享计算资源、平衡计算负载。

多租户技术

是一种探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性的软件架构技术。一个支持多租户技术的系统需要在设计上对它的数据和配置进行虚拟分区，从而使系统的每个租户或称组织都能够使用一个单独的系统实例，并且每个租户都可以根据自己的需求对租用的系统实例进行个性化配置。通过在多个租户之间的资源复用，运营管理维护资源，有效节省开发应用的成本。例如，在租户之间共享应用程序的单个实例，可以实现当应用程序升级时，所有租户可以同时升级。总之，多租户技术的核心思想是：共性资源共享，个性资源隔离。

云计算的部署方式和服务模式

云计算的部署方式

公有云：公有云对公众开放，公有云的核心属性是共享资源，公有云服务可被任意客户使用，但云基础架构由云计算服务商控制运营管理。公有云市场规模效应较明显，持续扩张的数据中心规模及服务器数量能显著降低边际成本，同时相比其他云部署模式也有着更高的可拓展性。
私有云：私有云区别于公有云，是云服务商为单一企业或者单位搭建部署的云计算基础架构，私有云的基础架构在用户内部网络上部署运营，因此用户的数据信息安全性、私密性以及服务质量都能在较大程度上得到保障，用户可以根据自身需求定制专属的云服务，私有云的核心属性是专有资源。注：私有云和公有云的显著差别在于用户对数据的掌控程度！
社区云/行业云：行业云是介于公有、私有之间的一个形式，每个客户自身都不大，但自身又处于敏感行业，因为公有云在政策和管理上都有限制和风险，所以就多家联合做一个云平台。
混合云：混合云是公有云、私有云、社区云几种的任意混合。相比公有云和私有云，混合云的学习成本更高，混合云没有固定的部署方案来满足所有企业的需求。单纯的公有云或私有云难以满足企业对IT系统成本、安全等因素的权衡考虑，混合云在IT基础架构管理上兼有公有云的灵活性和私有云的安全性等优势，使用户可以根据自身需求配置IT资源。

云计算平台服务模式-IaaS

IaaS是一种云服务，提供基本的计算基础结构：例如，服务器，存储和网络资源。换句话说，IaaS是一个虚拟的数据中心。

IaaS服务可用于多种目的，从托管网站到分析大数据。客户可以在所获得的基础架构上安装和使用他们喜欢的任何操作系统和工具。

云计算平台服务模式-PaaS

PaaS（Platform as a Server）平台即服务 PaaS是指为运行时环境提供用于开发，测试和管理应用程序的云平台。

借助PaaS解决方案，软件开发人员可以部署从简单到复杂的应用程序，而无需所有相关基础架构（服务器，数据库，操作系统，开发工具等）。

相对于IaaS来说，PaaS租户的灵活性降低了。

云计算平台服务模式-SaaS

SaaS（Software as a Server）软件即服务。

SaaS允许人们使用基于云的Web应用程序。租户使用软件，需要管理的是这些软件产生的数据信息。

相对于PaaS来说，SaaS租户的灵活性降低了。

云计算数据中心

云计算中心包括：刀片服务器、宽带网络连接、环境控制设配、监控设备以及各种安全装置等。数据中心是云计算的重要载体，是云计算的温床，为云计算提供计算、存储、宽带等各种硬件资源，为各种平台、应用提供支撑环境。

云计算推动数据中心向虚拟化和云架构的转型，不断提高IT基础架构的灵活性，以降低IT、能源和空间成本，从而让客户能够快速地提高业务敏捷性。

物联网

物联网的概念

物联网(Internet of Things，简称IoT)，它利用局域网或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。

物联网的关键技术

物联网中的关键技术包括：识别和感知技术（二维码、RFID、传感器等）、网络与通信技术（远距离无线连接的全球数据网络，近距离的蓝牙技术、红外技术和Zigbee技术）、数据挖掘与融合技术等（云计算、云存储、云服务）

识别和感知技术

二维码（二维条码）：用某种特定的几何图形按一定规律在平面（二维方向上）分布的、黑白相间的、记录数据符号信息的图形；在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理。特点：信息容量大、编码范围广、容错能力强、译码可靠性高、成本低易制作。

射频识别（Radio Frequency IDentification，RFID）：通过无线射频方式进行非接触双向数据通信，利用无线射频方式对记录媒体（电子标签或射频卡）进行读写，从而达到识别目标和数据交换的目的。用于静止或移动物体的无接触自动识别。RFID标签和读写器由天线、耦合元件、芯片组成。RFID标签作用：传输信息，回复信息；RFID读写器作用：读取或写入标签中的信息。特点：全天候、无接触、可同时实现多个物体自动识别。

传感器：能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。物联网借助传感器实现对物理世界的感知，包括：光敏传感器、声敏传感器、气敏传感器、压敏传感器等。传感器是人类感官的延伸。特点：微型化、数字化、智能化、网络化。

网络与通信技术

物联网中的网络与通信技术包括短距离无线通信技术和远程通信技术。短距离无线通信技术包括Zigbee、近场通信（Near Field Communication，NFC）、蓝牙、Wi-Fi、RFID等。远程通信技术包括互联网、2G/3G/4G移动通信网络、卫星通信网络等。

数据挖掘与融合技术

物联网中存在大量数据来源、各种异构网络和不同类型的系统，大量不同类型的数据，如何实现有效整合、处理和挖掘，是物联网处理层需要解决的关键技术问题。云计算和大数据技术的出现，为物联网存储、处理和分析数据提供了强大的技术支撑，海量物联网数据可以借助于庞大的云计算基础设施实现廉价存储，利用大数据技术实现快速处理和分析，满足各种实际应用需求。

物联网、云计算、大数据的关系

人工智能

人工智能的概念

人工智能（Artificial Intelligence，简称AI），是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以与人类智能相似的方式做出反应的智能机器，该领域的研究包括：机器学习、知识图谱、自然语言处理、人机交互、计算机视觉、生物特征识别、AR/VR等7个关键技术。

1956年，在美国达特茅斯学院举办的一次会议上，计算机科学家约翰·麦卡锡提出了“人工智能”一词，标志着人工智能这门学科的诞生。麦卡锡也因此被誉为是“人工智能之父”。

人工智能的关键技术

机器学习

可参考本作者的其他文章。

人工智能、机器学习、深度学习之间的关系

人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法及应用系统的一门新的技术科学。
机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。是人工智能的核心研究领域之一，任何一个没有学习能力的系统都很难被认为是一个真正的智能系统。在从实践的角度来说，机器学习是计算机通过利用数据，训练出模型，然后使用模型进行决策的一种方法。它与人利用经验去预测未来的原理是类似的。
深度学习：源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

人机交互

人机交互是一门研究系统与用户之间的交互关系的学科。系统可以是各种各样的机器，也可以是计算机化的系统和软件。
人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。
人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科。

生物特征

生物特征识别技术涉及的内容十分广泛，包括指纹、掌纹、人脸、虹膜、指静脉、声纹、步态等多种生物特征，其识别过程涉及到图像处理、计算机视觉、语音识别、机器学习等多项技术。

VR/AR

虚拟现实（VR）/增强现实（AR）是以计算机为核心的新型视听技术。结合相关科学技术，在一定范围内生成与真实环境在视觉、听觉、触感等方面高度近似的数字化环境。

计算机视觉

计算机视觉（Computer Vision，简称CV），是分析、研究让计算机智能化的达到类似人类的双眼“看”的一门研究科学，指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量的机器视觉，并进一步做图像处理，成为更适合人眼观察或传送给仪器检测的图像。

自然语言处理

自然语言处理（Natural Language Processing，简称NLP），是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别分析、理解、生成等的操作和加工，实现人机间的信息交流。
自然语言处理的机制涉及两个流程，包括自然语言理解和自然语言生成。自然语言理解是指计算机能够理解自然语言文本的意义，自然语言生成则是指能以自然语言文本来表达给定的意图。
自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等