TCP协议的粘包问题解决方式-编程知识

粘包问题

首先说明一点，TCP有粘包问题，UDP没有粘包问题。

发送端可以是1KB地发送数据，而接收端的应用程序可以2KB地提走数据，当然也有可能一次提走3K或6K数据，或者一次只提走几个字节的数据，也就是说，应用程序所看到的数据是一个整体，或说是一个流（stream），一条消息有多少字节对应用程序是不可见的，因此TCP协议是面向流的协议，这也是容易出现粘包问题的原因。而UDP是面向消息的协议，每个UDP段都是一条消息，应用程序必须以消息为单位提取数据，不能一次提取任意字节的数据，这一点和TCP是很不同的。

TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样，接收端就难于分辨出来了，必须提供科学的拆包机制。即面向流的通信是无消息保护边界的。

UDP是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息）。这样，对于接收端来说，就容易进行区分处理了。即面向消息的通信是有消息保护边界的。

**基于TCP协议的粘包问题主要就是因为接收方不知道消息之间的界限，不知道每次应该提取多少字节的数据造成的。**总结一下，会在两种情况下出现粘包问题：

将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包，造成粘包
客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包

解决粘包问题

问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，如何让发送端在发送数据前，把自己将要发送的字节流总大小让接收端知晓，然后接收端来一个循环接收完所有数据。每个消息接收完，不留残余。

具体做法是：发送端发数据前，先将待发的数据长度告知接收端。将数据长度放在一个固定长度的字节中发给接收端；接收端先接收这个固定长度的数据头，从这个数据头中获悉待接收数据的长度，做好循环接收的准备。

可以借助struct模块，该模块可以将任意数据类型转换成固定长度的bytes，因此借助该模块就可以将发送方发送的数据总大小通过struct模块打包成固定长度的bytes，接收端接收后获取发送方发送的数据总大小之后，使用循环接收即可。

把报头做成字典，字典里包含将要发送的真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节。

发送时：先发报头长度，再编码报头内容然后发送，最后发真实内容；

接收时：先接收报头长度，用struct取出来，根据取出的长度收取报头内容，然后解码反序列化，从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容。

服务端代码：

import subprocess
import struct
import json
import socketserver=socket(AF_INET,SOCK_STREAM)
server.bind(('127.0.0.1',8083))
server.listen(5)#  服务端应该做两件事
# 第一件事：循环地从板连接池中取出链接请求与其建立双向链接，拿到链接对象
while True:conn,client_addr=server.accept()# 第二件事：拿到链接对象，与其进行通信循环while True:try:cmd=conn.recv(1024)if len(cmd) == 0:breakobj=subprocess.Popen(cmd.decode('utf-8'),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)stdout_res=obj.stdout.read()stderr_res=obj.stderr.read()total_size=len(stdout_res)+len(stderr_res)# 1、制作头header_dic={"filename":"a.txt","total_size":total_size,"md5":"1111111111"}json_str = json.dumps(header_dic)json_str_bytes = json_str.encode('utf-8')# 2、先把头的长度发过去x=struct.pack('i',len(json_str_bytes))conn.send(x)# 3、发头信息conn.send(json_str_bytes)# 4、再发真实的数据conn.send(stdout_res)conn.send(stderr_res)except Exception:breakconn.close()

客户端代码：

import struct
import json
from socket import *client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8083))while True:cmd=input('cmd>>：').strip()if len(cmd) == 0: continueclient.send(cmd.encode('utf-8'))# 接收端# 1、先收4个字节，从中提取接下来要收的头的长度x = client.recv(4)header_len=struct.unpack('i',x)[0]# 2、接收头，并解析json_str_bytes=client.recv(header_len)json_str=json_str_bytes.decode('utf-8')header_dic=json.loads(json_str)print(header_dic)total_size=header_dic["total_size"]# 3、接收真实的数据recv_size = 0while recv_size < total_size:recv_data=client.recv(1024)recv_size+=len(recv_data)print(recv_data.decode('utf-8'),end='')else:print()

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：