TCP协议又叫流式协议,在我们利用tcp协议传输数据时,tcp协议有一个优化机制,比如我们在极短的时间内连续输入10次,每次只有一个字节,他会在我们内存中开辟一个缓存区,一次性传输在对方机器的缓存区之中,当对方需要取数据时,再到自己的缓存区取。就是因为这个原因产生粘包问题。
如昨天的学习笔记中,我们一次取1024字节的数据,但在真实传输中不可能只有这么少的数据,超过1024字节的数据会留在缓存区中,等待下次打印时候再取出,但是下次我们可能已经输入了新的命令,但打印的是老命令的内容。
我们的解决思路是一次性取完每次的数据,但是又会有一个新问题,我们如何知道每次传输过来的数据长度?如果不知道数据长度我们肯定无无法一次循环取完。所以我们需要在发送这个正文数据前,先发送一段报头,报头来标记后面正文的长度。
当然这只是一个简单的思路,我们的报头不可能只包含数据长度,可能还需要包括数据的加密方法,数据的标题等,那么我们又产生了一个新问题,报头的长度又不固定了。所以我们可以再在报头前先发一段记录报头长度的数据,依次发送,解决该问题。
须知:只有TCP有粘包现象,UDP永远不会粘包,为何,且听我娓娓道来
首先需要掌握一个socket收发消息的原理
发送端可以是一K一K地发送数据,而接收端的应用程序可以两K两K地提走数据,当然也有可能一次提走3K或6K数据,或者一次只提走几个字节的数据,也就是说,应用程序所看到的数据是一个整体,或说是一个流(stream),一条消息有多少字节对应用程序是不可见的,因此TCP协议是面向流的协议,这也是容易出现粘包问题的原因。而UDP是面向消息的协议,每个UDP段都是一条消息,应用程序必须以消息为单位提取数据,不能一次提取任意字节的数据,这一点和TCP是很不同的。怎样定义消息呢?可以认为对方一次性write/send的数据为一个消息,需要明白的是当对方send一条信息的时候,无论底层怎样分段分片,TCP协议层会把构成整条消息的数据段排序完成后才呈现在内核缓冲区。
例如基于tcp的套接字客户端往服务端上传文件,发送时文件内容是按照一段一段的字节流发送的,在接收方看了,根本不知道该文件的字节流从何处开始,在何处结束
所谓粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。
此外,发送方引起的粘包是由TCP协议本身造成的,TCP为提高传输效率,发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少,通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去,这样接收方就收到了粘包数据。
udp的recvfrom是阻塞的,一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数据就算完成,若是y>x数据就丢失,这意味着udp根本不会粘包,但是会丢数据,不可靠
tcp的协议数据不会丢,没有收完包,下次接收,会继续上次继续接收,己端总是在收到ack时才会清除缓冲区内容。数据是可靠的,但是会粘包。
两种情况下会发生粘包。
发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包)
服务端
import subprocess
import os
import struct
import json
from socket import *
server = socket(AF_INET, SOCK_STREAM)
# print(server)
server.bind((‘127.0.0.1‘, 8082))
server.listen(5)
while True:
conn, client_addr = server.accept()
print(conn)
print(client_addr)
while True:
try:
msg = conn.recv(1024).decode(‘utf-8‘)
cmd,file_path=msg.split()
if cmd == "get":
# 一、制作报头
header_dic={
"total_size":os.path.getsize(file_path),
"filename":os.path.basename(file_path),
"md5":"1231231231232132131232311"
}
header_json=json.dumps(header_dic)
header_json_bytes=header_json.encode(‘utf-8‘)
# 二、发送数据
# 1、先发送报头的长度
header_size=len(header_json_bytes)
conn.send(struct.pack(‘i‘,header_size))
# 2、再发送报头
conn.send(header_json_bytes)
# 3、最后发送真实的数据
with open(r‘%s‘ %file_path,mode=‘rb‘) as f:
for line in f:
conn.send(line)
except Exception:
break
conn.close()
server.close()
客户端
import struct
import json
from socket import *
client = socket(AF_INET, SOCK_STREAM)
# print(client)
client.connect((‘127.0.0.1‘, 8082))
while True:
cmd = input(">>: ").strip() # get 文件路径
if len(cmd) == 0:
continue
client.send(cmd.encode(‘utf-8‘))
# 1、先接收报头的长度
res=client.recv(4)
header_size=struct.unpack(‘i‘,res)[0]
# 2、再接收报头
header_json_bytes=client.recv(header_size)
header_json=header_json_bytes.decode(‘utf-8‘)
header_dic=json.loads(header_json)
print(header_dic)
# 3、最后接收真实的数据
total_size=header_dic[‘total_size‘]
filename=header_dic[‘filename‘]
recv_size = 0
with open(r"D:\python全栈15期\day32\代码\03 定制复杂的报头\版本2\download\%s" %filename, mode=‘wb‘) as f:
while recv_size < total_size:
data = client.recv(1024)
f.write(data)
recv_size += len(data)
client.close()
原文:https://www.cnblogs.com/chiyun/p/14063457.html