【Java EE初阶十二】网络初识-编程知识

1. 网络发展史

网络发展的几个主要时期：

单机时代->局域网时代->广域网时代->移动互联网时代

随着时代的发展，越来越需要计算机之间互相通信，共享软件和数据，即以多个计算机协同工作来完成业务，就有了网络互连。

网络互连：将多台计算机连接在一起，完成数据共享。

数据共享的本质是网络数据传输，即计算机之间通过网络来传输数据，也称为网络通信。根据网络互连的规模不同，可以划分为局域网和广域网。

1.1 局域网

局域网（把几个电脑通过路由器连到一起），即 Local Area Network，简称LAN。 Local 即标识了局域网是本地，局部组建的一种私有网络。局域网内的主机之间能方便的进行网络通信，又称为内网；局域网和局域网之间在没有连接的情况下，是无法通信的。

局域网组建网络的方式有很多种：

（1）基于网线直连

直接相连，要求电脑上有很多网口；

（2）基于路由器组建

一般的家用路由器，常见的是五个网口，1WAN+4LAN，想要让这几个电脑能在同一个局域网中上网，就需要把他们连接到LAN口，其中WAN 口是用来连上级的路由器的

（3）基于交换机组建

交换机可以拓展路由器的端口：

1.2 广域网

广域网，即 Wide Area Network，简称WAN。通过路由器，将多个局域网连接起来，在物理上组成很大范围的网络，就形成了广域网。广域网内部的局域网都属于其子网。且要注意局域网和广域网之间都没有明确的界限；

2. 网络通信基础

网络互连的目的是进行网络通信，也即是网络数据传输，更具体一点，是网络主机中的不同进程间，基于网络传输数据。

2.1 IP地址

IP地址主要用于标识网络主机、其他网络设备（如路由器）的网络地址。简单说，IP地址用于定位主机的网络地址。就像我们发送快递一样，需要知道对方的收货地址，快递员才能将包裹送到目的地。

IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”（也就是4个字节），如： 01100100.00000100.00000101.00000110。通常用“点分十进制”的方式来表示，即 a.b.c.d 的形式（a,b,c,d都是0~255之间的十进制整数）。如： 100.4.5.6。

特殊IP：

127.*的IP地址用于本机环回(loop back)测试，通常是127.0.0.1 本机环回主要用于本机到本机的网络通信（系统内部为了性能，不会走网络的方式传输），对于开发网络通信的程序（即网络编程）而言，常见的开发方式都是本机到本机的网络通信。

IP地址解决了网络通信时，定位网络主机的问题；

2.2 端口号

在网络通信中，端口号可以标识主机中发送数据、接收数据的进程。即端口号用于定位主机中的进程。类似发送快递时，不光需要指定收货地址（IP地址），还需要指定收货人（端口号）。

端口号格式是0~65535范围的数字，在网络通信中，进程可以通过绑定一个端口号，来发送及接收网络数据。两个不同的进程，不能绑定同一个端口号，但一个进程可以绑定多个端口号。

一个进程启动后，系统会随机分配一个端口（启动端口）程序代码中，进行网络编程时，需要绑定端口号（收发数据的端口）来发送、接收数据。进程绑定一个端口号后，fork一个子进程，可以实现多个进程绑定一个端口号，但不同的进程不能绑定同一个端口号。

有了IP地址和端口号，可以定位到网络中唯一的一个进程，但还存在一个问题，网络通信是基于二进制 0/1数据来传输，如何告诉对方发送的数据是什么样的呢？网络通信传输的数据类型可能有多种：图片，视频，文本等。同一个类型的数据，格式可能也不同，如发送一个文本字符串“你好！”：如何标识发送的数据是文本类型，及文本的编码格式呢？基于网络数据传输，需要使用协议来规定双方的数据格式。

2.3 协议

2.3.1 认识协议

协议，网络协议的简称，网络协议是网络通信（即网络数据传输）经过的所有网络设备都必须共同遵从的一组约定、规则；网络上，本质上是通过光/电（只能用高低电平，高低频光信号表示1或0，等二进制数据）信号进行信号传输，我们通过协议来约定通信双方都遵循的方式来传输数据；

如怎么样建立连接、怎么样互相识别等。只有遵守这个约定，计算机之间才能相互通信交流。通常由三要素组成：

1. 语法：即数据与控制信息的结构或格式；类似打电话时，双方要使用同样的语言：普通话 2. 语义：即需要发出何种控制信息，完成何种动作以及做出何种响应；语义主要用来说明通信双方应当怎么做。用于协调与差错处理的控制信息。类似打电话时，说话的内容。一方道：你瞅啥？另一方就得有对应的响应：瞅你咋的！

3. 时序，即事件实现顺序的详细说明。时序定义了何时进行通信，先讲什么，后讲什么，讲话的速度等。比如是采用同步传输还是异步传输。女生和男生的通话，总是由男生主动发起通话，而总是在男生恋恋不舍的时候，由女生要求结束通话。

协议（protocol）最终体现为在网络上传输的数据包的格式。

2.3.2 协议的作用

就好比见网友，彼此协商胸口插支玫瑰花见面，这就是一种提前的约定，也可以称之为协议。计算机之间的传输媒介是光信号和电信号。通过 "频率" 和 "强弱" 来表示 0 和 1 这样的信息。要想传递各种不同的信息，就需要约定好双方的数据格式。

计算机生产厂商有很多；计算机操作系统，也有很多；计算机网络硬件设备，还是有很多；如何让这些不同厂商之间生产的计算机能够相互顺畅的通信? 就需要有人站出来，约定一个共同的标准，大家都来遵守，这就是网络协议；

2.3.3 知名协议的默认端口

系统端口号范围为 0 ~ 65535，其中：0 ~ 1023 为知名端口号，这些端口预留给服务端程序绑定广泛使用的应用层协议，如：

22端口：预留给SSH服务器绑定SSH协议

21端口：预留给FTP服务器绑定FTP协议

23端口：预留给Telnet服务器绑定Telnet协议

80端口：预留给HTTP服务器绑定HTTP协议

443端口：预留给HTTPS服务器绑定HTTPS协议

同时：以上只是说明 0 ~ 1023 范围的知名端口号用于绑定知名协议，但某个服务器也可以使用其他 1024 ~ 65535 范围内的端口来绑定知名协议

2.3.4 五元组

在TCP/IP协议中，用五元组来标识一个网络通信：

1. 源IP：标识源主机

2. 源端口号：标识源主机中该次通信发送数据的进程

3. 目的IP：标识目的主机

4. 目的端口号：标识目的主机中该次通信接收数据的进程

5. 协议号：标识发送进程和接收进程双方约定的数据格式

2.3.5 协议分层

网络通信的场景，可能会遇到很多复杂的问题，就需要通过协议来进行解决问题；

如果弄一个大的协议来解决这些所有的问题，此时这个协议就非常大和复杂，不利于我们学习和理解；相比之下，我们就把大的协议拆分成小的协议，让每一个小的协议只专注于做每一件小事，使得每一个小的协议，都不太会复杂；

由于拆分出来的小协议非常多，不便于很好的管理，就需要对协议进行分层（按照协议的定位/作用分类，并且约定了不同层次之间的“调用关系”，“上层协议调用下层协议”“下层协议给上层协议提供支持”，这样的话，这么多协议就不容易混乱）；

        协议分层的好处：

1、协议分层之后，上层和下层之间就进行了封装；使用上层协议，不必过多关注下层协议；使用下层协议，也不必过多关注上层协议；

2、协议分层之后，每一层协议都可以根据需要灵活替换；

综上所述，分层最大的好处，类似于面向接口编程：定义好两层间的接口规范，让双方遵循这个规范来对接。在代码中，类似于定义好一个接口，一方为接口的实现类（提供方，提供服务），一方为接口的使用类（使用方，使用服务）：

        对于使用方来说，并不关心提供方是如何实现的，只需要使用接口即可

        对于提供方来说，利用封装的特性，隐藏了实现的细节，只需要开放接口即可。这样能更好的扩展和维护，如下图：

3. 协议分层

3.1 OSI七层网络协议

        OSI：即Open System Interconnection，开放系统互连

        OSI 七层网络模型是一个逻辑上的定义和规范：把网络从逻辑上分为了7层。

        OSI 七层模型是一种框架性的设计方法，其最主要的功能使就是帮助不同类型的主机实现数据传输；

        它的最大优点是将服务、接口和协议这三个概念明确地区分开来，概念清楚，理论也比较完整。通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯。

OSI七层网络协议实现简介如下：

        OSI七层网络协议结构分层如下：

OSI 七层模型既复杂又不实用：所以 OSI 七层模型没有落地、实现。实际组建网络时，只是以 OSI 七层模型设计中的部分分层，也即是以下 TCP/IP 五层（或四层）模型来实现。

3.2 TCP/IP五层（或四层）模型

3.2.1 认识TCP/IP协议

TCP/IP通讯协议采用了5层的层级结构，每一层都呼叫它的下一层所提供的网络来完成自己的需求。

应用层：（应用程序如何使用该数据）负责应用程序间沟通，如简单电子邮件传输（SMTP）、文件传输协议（FTP）、网络远程访问协议（Telnet）等。我们的网络编程主要就是针对应用层。

传输层：（关注起点和终点）负责两台主机之间的数据传输。如传输控制协议 (TCP)，能够确保数据可靠的从源主机发送到目标主机。

网络层：（进行路径规划）负责地址管理和路由选择。例如在IP协议中，通过IP地址来标识一台主机，并通过路由表的方式规划出两台主机之间的数据传输的线路（路由）。路由器（Router）工作在网路层。

数据链路层：（两个相邻节点之间的数据传输情况）负责设备之间的数据帧的传送和识别。例如网卡设备的驱动、帧同步(就是说从网线检测到什么信号算作新帧的开始)、冲突检测(如果检测到冲突就自动重发)、数据差错校验等工作。有以太网、令牌环网，无线LAN等标准。交换机（Switch）工作在数据链路层。

物理层：描述进行网络通信时所需要的硬件设备，以及负责光/电信号的传递方式。比如现在以太网通用的网线(双绞线)、早期以太网采用的的同轴电缆(现在主要用于有线电视)、光纤，现在的wifi无线网使用电磁波等都属于物理层的概念。物理层的能力决定了最大传输速率、传输距离、抗干扰性等。集线器（Hub）工作在物理层。（光纤，网线的规格和规范）

两种协议比较如下图所示：

3.2.2 网络设备所在分层

        对于一台主机，它的操作系统内核实现了从传输层到物理层的内容，也即是TCP/IP五层模型的下四层；

        对于一台路由器，它实现了从网络层到物理层，也即是TCP/IP五层模型的下三层；

         对于一台交换机，它实现了从数据链路层到物理层，也即是TCP/IP五层模型的下两层；

        对于集线器，它只实现了物理层；我们以下说的网络设备都是传统意义上的交换机和路由器。

3.2.3 网络分层对应

网络数据传输时，经过不同的网络节点（主机、路由器）时，网络分层需要对应。以下为同一个网段内的两台主机进行文件传输：

两台计算机通过TCP/IP协议通讯的过程如下所示：

以下为跨网段的主机的文件传输：数据从一台计算机到另一台计算机传输过程中要经过一个或多个路由器：

4. 封装分用

        不同的协议层对数据包有不同的称谓，在传输层叫做段(segment)，在网络层叫做数据报 (datagram)，在链路层叫做帧(frame)。

        应用层数据通过协议栈发到网络上时，每层协议都要加上一个数据首部(header)，称为封装 (Encapsulation)。首部信息中包含了一些类似于首部有多长，载荷(payload)有多长，上层协议是什么等信息。

        数据封装成帧后发到传输介质上，到达目的主机后每层协议再剥掉相应的首部，根据首部中的 "上层协议字段" 将数据交给对应的上层协议处理。

下面通过一个例子来讲解，eg：考虑A通过QQ 将有一个hello传递给B;

4.1 封装

下面是封装的过程：

发送方：

1、应用层

QQ应用程序，就会把用户输入的“hello”给打包成一个应用层的数据报（该数据报的格式只有qq程序员才能知道），假设数据报的格式是下图所示的；

如上所示，我们就可以把应用层数据报，通过操作系统的api，把数据交给传输层；

2、传输层

就要对刚才的应用层数据在进行打包，变成传输层的数据报，这里所说的打包过程，本质上还是“字符串拼接”，在刚才的应用层数据报的基础上拼接上传输层的报头；

传输层的典型协议是TCP和UDP协议，且一个数据报=报头+载荷；所谓进行封装的过程，也就是给数据添加更多“辅助信息”的过程，即传输层的打包图解如下图所示：

传输层的数据封装好之后，就会进一步交给网络层；

3、网络层

网络层最主要的协议是ip协议；

网络层的数据打包好之后，就继续报数据交给“数据链路层”来进一步打包；

4、数据链路层

在该层的打包信息如下图所示：

最后将打包好的数据交给物理层；

5、物理层

将上述的数据，转换成2进制的0,1序列，通过光信号、电信号进行传输；

从上层协议到下层协议，层层给数据报添加报头的这个过程称为“封装”，数据发送出去之后，就会经过一系列的交换机和路由器的转发，因为A和B一般来说不是直接通过网线连接的，且中间还要经过很多的路由器和见换机设备的转发，当数据到达B这边后，B就要针对上述所传输的数据进行“分用”，即对于所打包的数据进行层层解析；