Linux 网络发包流程

哈喽大家好，我是咸鱼

之前咸鱼在《Linux 网络收包流程》一文中介绍了 Linux 是如何实现网络接收数据包的

简单回顾一下：

  • 数据到达网卡之后，网卡通过 DMA 将数据放到内存分配好的一块 ring buffer 中，然后触发硬中断
  • CPU 收到硬中断之后简单的处理了一下（分配 skb_buffer），然后触发软中断
  • 软中断进程 ksoftirqd 执行一系列操作（例如把数据帧从 ring ruffer上取下来）然后将数据送到三层协议栈中
  • 在三层协议栈中数据被进一步处理发送到四层协议栈
  • 在四层协议栈中，数据会从内核拷贝到用户空间，供应用程序读取
  • 最后被处在应用层的应用程序去读取

当 Linux 要发送一个数据包的时候，这个包是怎么从应用程序再到 Linux 的内核最后由网卡发送出去的呢？

那么今天咸鱼将会为大家介绍 Linux 是如何实现网络发送数据包

发包流程

假设我们的网卡已经启动好（分配和初始化 RingBuffer） 且 server 和 client 已经建立好 socket

这里需要注意的是，网卡在启动过程中申请分配的 RingBuffer 是有两个：

  • igb_tx_buffer 数组：这个数组是内核使用的，用于存储要发送的数据包描述信息，通过 vzalloc 申请的
  • e1000_adv_tx_desc 数组：这个数组是网卡硬件使用的，用于存储要发送的数据包，网卡硬件可以通过 DMA 直接访问这块内存，通过 dma_alloc_coherent分配

igb_tx_buffer 数组中的每个元素都有一个指针指向 e1000_adv_tx_desc

这样内核就可以把要发送的数据填充到 e1000_adv_tx_desc 数组上

然后网卡硬件会直接从 e1000_adv_tx_desc 数组中读取实际数据，并将数据发送到网络上

在这里插入图片描述

拷贝到内核

  • socket 系统调用将数据拷贝到内核

应用程序首先通过 socket 提供的接口实现系统调用

我们在用户态使用的 send 函数和 sendto 函数其实都是 sendto 系统调用实现的

send/sendto 函数 只是为了用户方便，封装出来的一个更易于调用的方式而已

/* sendto 系统调用 省略了一些代码 */
SYSCALL_DEFINE6(sendto, int, fd, void __user *, buff, size_t, len,unsigned int, flags, struct sockaddr __user *, addr,int, addr_len)
{...sock = sockfd_lookup_light(fd, &err, &fput_needed);...err = sock_sendmsg(sock, &msg, len);...	
}

在 sendto 系统调用内部，首先 sockfd_lookup_light 函数会查找与给定文件描述符（fd）关联的 socket

接着调用 sock_sendmsg 函数（sock_sendmsg ==> __sock_sendmsg ==> __sock_sendmsg_nosec）

其中 sock->ops->sendmsg 函数实际执行的是 inet_sendmsg 协议栈函数

/*
__sock_sendmsg_nosec 函数iocb：指向与 I/O 操作相关的结构体 kiocb
sock: 指向要执行发送操作的套接字结构体
msg: 指向存储要发送数据的消息头结构体 msghdr
size: 要发送的数据大小*/
static inline int __sock_sendmsg_nosec(struct kiocb *iocb, struct socket *sock,struct msghdr *msg, size_t size)
{...return sock->ops->sendmsg(iocb, sock, msg, size);
}

这时候内核会去找 socket 上对应的具体协议发送函数

以 TCP 为例，具体协议发送函数为 tcp_sendmsg

在这里插入图片描述
tcp_sendmsg 会去申请一个内核态内存 skb（sk_buff） ，然后挂到发送队列上（发送队列是由 skb 组成的一个链表）
在这里插入图片描述
接着把用户待发送的数据拷贝到 skb 中，拷贝之后会触发【发送】操作

这里说的发送是指在当前上下文中，待发送数据从 socket 层发送到传输层

需要注意的是，这时候不一定开始真正发送，因为还要进行一些条件判断（比如说发送队列中的数据已经超过了窗口大小的一半）

只有满足了条件才能够发送，如果没有满足条件这次系统调用就可能直接返回了

网络协议栈处理

  • 传输层处理

接着数据来到了传输层

传输层主要看 tcp_write_xmit 函数，这个函数处理了传输层的拥塞控制、滑动窗口相关的工作

该函数会根据发送窗口和最大段大小等因素计算出本次发送的数据大小，然后将数据封装成 TCP 段并发送出去

如果满足窗口要求，设置 TCP 头然后将数据传到更低的网络层进行处理

在传输层中，内核主要做了两件事：

  • 复制一份数据（skb）

为什么要复制一份出来呢？因为网卡发送完成之后，skb 会被释放掉，但 TCP 协议是支持丢失重传的

所以在收到对方的 ACK 之前必须要备份一个 skb 去为重传做准备

实际上一开始发送的是 skb 的拷贝版，收到了对方的 ACK 之后系统才会把真正的 skb 删除掉

  • 封装 TCP 头

系统会根据实际情况添加 TCP 头封装成 TCP 段

这里需要知道的是：每个 skb 内部包含了网络协议中的所有头部信息，例如 MAC 头、IP 头、TCP/UDP 头等

在设置这些头部时，内核会通过调整指针的位置来填充相应的字段，而不是频繁申请和拷贝内存
在这里插入图片描述

比如说在设置 TCP 头的时候，只是把指针指向 skb 的合适位置。后面再设置 IP 头的时候，在把指针挪一挪就行

这种方式利用了 skb 数据结构的链表特性可以避免内存分配和数据拷贝所带来的性能开销，从而提高数据传输的效率

  • 网络层处理

数据离开了传输层之后，就来到了网络层

网络层主要做下面的事情：

  • 路由项查找：

根据目标 IP 地址查找路由表，确定数据包的下一跳（ ip_queue_xmit 函数）

  • IP 头设置：

根据路由表查找的结果，设置 IP 头中的源和目标 IP 地址、TTL（生存时间）、IP 协议等字段

  • netfilter 过滤：

netfilter 是 Linux 内核中的一个框架，用于实现数据包的过滤和修改

在网络层，netfilter 可以用于对数据包进行过滤、NAT（网络地址转换）等操作

  • skb 切分：

如果数据包的大小超过了 MTU（最大传输单元），需要将数据包进行切分成多个片段，以适应网络传输，每个片段会被封装成单独的 skb

  • 数据链路层处理

当数据来到了数据链路层之后，会有两个子系统协同工作，确保数据包在发送和接收过程中能够正确地对数据进行封装、解析和传输

  • 邻居子系统

管理和维护主机或路由器与其它设备之间的邻居关系

邻居子系统里会发送 arp 请求找邻居，然后把邻居信息存在邻居缓存表里，用于存储目标主机的 MAC 地址

当需要发送数据包到某个目标主机时，数据链路层会首先查询邻居缓存表，以获取目标主机的 MAC 地址，从而正确地封装数据包（封装 MAC 头）

  • 网络设备子系统

网络设备子系统负责处理与物理网络接口相关的操作，包括数据包的封装和发送，以及从物理接口接收数据包并进行解析

网络设备子系统不但处理数据包的格式转换，如在以太网中添加帧头和帧尾，以及从帧中提取数据

还负责处理硬件相关的操作，如发送和接收数据包的时钟同步、物理层错误检测等

  • 到达网卡发送队列

接着网络设备子系统会选择一个合适的网卡发送队列并把 skb 添加到队列中（绕过软中断处理程序）

然后，内核会调用网卡驱动的入口函数 dev_hard_start_xmit 来触发数据包的发送

在一些情况下，邻居子系统还会将 skb 数据包添加到软中断队列（softnet_data）上，并触发软中断（NET_TX_SOFTIRQ）

这个过程是为了将 skb 数据包交给软中断处理程序进行进一步处理和发送。软中断处理程序会负责实际的数据包发送

这就是为什么一般服务器上查看 /proc/softirqs，一般 NET_RX 都要比 NET_TX 大的多的原因之一

即对于收包来说，都是要经过 NET_RX 软中断；而对于发包来说，只有某些情况下才触发 NET_TX 软中断

网卡驱动发送

驱动程序从发送队列中读取 skb 的描述信息，将其挂到 RingBuffer 上（前面提到的igb_tx_buffer 数组）

接着将 skb 的描述信息映射到网卡可访问的内存 DMA 区域中（前面提到的e1000_adv_tx_desc 数组）

网卡会直接从 e1000_adv_tx_desc 数组中根据描述信息读取实际数据并将数据发送到网络。这样就完成了数据包的发送过程

收尾工作

当数据发送完成后，网卡设备会触发一个硬件中断（NET_RX_SOFTIRQ），这个硬中断通常称为“发送完成中断”或者“发送队列清理中断”

这个硬中断的主要作用是执行发送完成的清理工作，包括释放之前为数据包分配的内存，即释放 skb 内存和 RingBuffer 内存

最后，当收到这个 TCP 报文的 ACK 应答时，传输层就会释放原始的 skb（前面有讲到发送的其实是 skb 的拷贝版）

可以看到，当数据发送完成以后，通过硬中断的方式来通知驱动发送完毕，而这个中断类型是 NET_RX_SOFTIRQ

前面我们讲到过网卡收到一个网络包的时候，会触发 NET_RX_SOFTIRQ中断去告诉 CPU 有数据要处理

也就是说，无论是网卡接收一个网络包还是发送网络包结束之后，触发的都是 NET_RX_SOFTIRQ

总结

最后总结一下在 Linux 系统中发送网络数据包的流程：

  • 应用程序通过 socket 提供的接口进行系统调用，将数据从用户态拷贝到内核态的 socket 缓冲区中
  • 网络协议栈从 socket 缓冲区中拿取数据，并按照 TCP/IP 协议栈从上到下逐层处理
    • 传输层处理：以 TCP 为例，在传输层中会复制一份数据（为了丢失重传），然后为数据封装 TCP 头
    • 网络层处理：选取路由（确认下一跳的 IP）、填充 IP 头、netfilter 过滤、对超过 MTU 大小的数据包进行分片等操作
    • 邻居子系统和网络设备子系统处理：在这里数据会被进一步处理和封装，然后被添加到网卡的发送队列中
  • 驱动程序从发送队列中读取 skb 的描述信息然后挂在 RingBuffer 上，接着将 skb 的描述信息映射到网卡可访问的内存 DMA 区域中
  • 网卡将数据发送到网络
  • 当数据发送完成后触发硬中断，释放 skb 内存和 RingBuffer 内存

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/73679.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

动态loading中转页

动态loading中转页

动态loading中转页 template <div class"loading"><div class"wavy"><!-- --i是自定义属性&#xff0c;可通过var函数调用 --><span style"--i: 1">登</span><span style"--i: 2">录</span>…
阅读更多...
【代码随想录-Leetcode第六题：209. 长度最小的子数组】

【代码随想录-Leetcode第六题：209. 长度最小的子数组】

209. 长度最小的子数组 题目思路代码实现 题目 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其和 ≥ target 的长度最小的 连续子数组 [numsl, numsl1, …, numsr-1, numsr] &#xff0c;并返回其长度。如果不存在符合条件的子数组&#xff0c;返回…
阅读更多...
ARM 作业1

ARM 作业1

一、思维导图 二、 1. 2. .text 文本段 .globl _start 声明_start:mov r0,#0mov r1,#0fun:cmp r1,#100bhi stopadd r0,r0,r1add r1,r1,#1b fun stop:b stop .end
阅读更多...
【Unity每日一记】进行发射，位置相关的方法总结

【Unity每日一记】进行发射，位置相关的方法总结

&#x1f468;‍&#x1f4bb;个人主页&#xff1a;元宇宙-秩沅 &#x1f468;‍&#x1f4bb; hallo 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍&#x1f4bb; 本文由 秩沅 原创 &#x1f468;‍&#x1f4bb; 收录于专栏&#xff1a;uni…
阅读更多...
C语言好题解析（三）

C语言好题解析（三）

目录 选择题一选择题二选择题三选择题四编程题一编程题二 选择题一 以下程序段的输出结果是&#xff08;&#xff09;#include<stdio.h> int main() { char s[] "\\123456\123456\t"; printf("%d\n", strlen(s)); return 0; }A: 12 B: 13 …
阅读更多...
『C语言』数据在内存中的存储规则

『C语言』数据在内存中的存储规则

前言 小羊近期已经将C语言初阶学习内容与铁汁们分享完成&#xff0c;接下来小羊会继续追更C语言进阶相关知识&#xff0c;小伙伴们坐好板凳&#xff0c;拿起笔开始上课啦~ 一、数据类型的介绍 我们目前已经学了基本的内置类型&#xff1a; char //字符数据类型 short …
阅读更多...
数组详解

数组详解

1. 一维数组的创建和初始化 1.1 数组的创建 数组是一组相同类型元素的集合。 数组的创建方式&#xff1a; type_t arr_name [const_n]; //type_t 是指数组的元素类型 //const_n 是一个常量表达式&#xff0c;用来指定数组的大小 数组创建的实例&#xff1a; //代码1 int a…
阅读更多...
Gradio部署应用到服务器不能正常访问

Gradio部署应用到服务器不能正常访问

用Gradio部署一个基于ChatGLM-6B的应用&#xff0c;发布到团队的服务器上&#xff08;局域网&#xff0c;公网不能访问&#xff09;&#xff0c;我将gradio应用发布到服务器的9001端口 import gradio as gr with gr.Blocks() as demo:......demo.queue().launch(server_port90…
阅读更多...
linux系统服务学习（六）FTP服务学习

linux系统服务学习（六）FTP服务学习

文章目录 FTP、NFS、SAMBA系统服务一、FTP服务概述1、FTP服务介绍2、FTP服务的客户端工具3、FTP的两种运行模式&#xff08;了解&#xff09;☆ 主动模式☆ 被动模式 4、搭建FTP服务&#xff08;重要&#xff09;5、FTP的配置文件详解&#xff08;重要&#xff09; 二、FTP任务…
阅读更多...
【C#学习笔记】C#特性的继承，封装，多态

【C#学习笔记】C#特性的继承，封装，多态

文章目录 封装访问修饰符静态类和静态方法静态构造函数 继承继承原则sealed修饰符里氏替换原则继承中的构造函数 多态接口接口的实例化 抽象类和抽象方法抽象类和接口的异同 虚方法同名方法new覆盖的父类方法继承的同名方法 运行时的多态性编译时的多态性 照理继承封装多态应该…
阅读更多...
【算法挨揍日记】day03——双指针算法_有效三角形的个数、和为s的两个数字

【算法挨揍日记】day03——双指针算法_有效三角形的个数、和为s的两个数字

611. 有效三角形的个数 611. 有效三角形的个数https://leetcode.cn/problems/valid-triangle-number/ 题目描述&#xff1a; 给定一个包含非负整数的数组 nums &#xff0c;返回其中可以组成三角形三条边的三元组个数。 解题思路&#xff1a; 本题是一个关于三角形是否能成立…
阅读更多...
CSS中的字体属性有哪些值,并分别描述它们的作用。

CSS中的字体属性有哪些值,并分别描述它们的作用。

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ font-style⭐ font-weight⭐ font-size⭐ font-family⭐ font-variant⭐ line-height⭐ letter-spacing⭐ word-spacing⭐ font⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023