DMA 和 零拷贝技术 到 网络大文件传输优化

文章目录

  • DMA 控制器的发展
    • 无 DMA 控制器 IO 过程
    • DMA 控制器
  • 传统文件传输性能有多糟糕？
    • 如何优化文件传输性能
    • 零拷贝技术
      • mmap + write
      • sendfile
        • SG-DMA（The Scatter-Gather Direct Memory Access）
      • 零拷贝技术的应用
  • 大文件传输应该用什么方式
    • PageCache（内核缓冲区） 的作用
    • 直接 I/O
      • 直接 I/O 适用场景
    • 综上所述
    • Nginx 中的零拷贝技术和直接 I/O
  • 个人简介

DMA 控制器的发展

无 DMA 控制器 IO 过程

  • 用户进程发起 read 调用，向操作系统发送 I/O 请求，进程进入阻塞状态；
  • 操作系统收到请求后，CPU 发出对应的控制指令给磁盘控制器， CPU 释放执行其它任务。
  • 磁盘控制器收到指令后，开始准备数据并将数据放入磁盘控制器的内部缓冲区，然后产生一个中断。
  • CPU 收到中断信号后，将磁盘控制器缓冲区的数据读入寄存器，再从寄存器写入到内核缓冲区，这个过程 CPU 无法处理其它的事情。
  • 当内核缓冲区中有足够多的数据后，CPU 将内核缓冲区的数据拷贝到用户缓冲区中。

DMA 控制器

  • 如果 CPU 搬运的数据很小，那么问题并不大，但是如果需要拷贝大量数据肯定是不行的，因为 CPU 的资源十分宝贵。为了解决这个问题，于是出现了 DMA（Direct Memory Access，直接内存访问） 技术。
  • 简单来说就是：在进行 I/O 设备和内存的数据传输的时候，数据搬运的工作全部交给 DMA 控制器，而 CPU 不再参与任何与数据搬运相关的事情，这样 CPU 就可以去处理别的事务。
  • 使用 DMA 控制器后，数据传输过程如下：

  • 用户进程发起 read 调用，向操作系统发送 I/O 请求，进程进入阻塞状态；
  • 操作系统收到请求后，CPU 发送一个请求给 DMA , CPU 释放执行其它任务。
  • DMA 进一步将 I/O 请求发送磁盘控制器，磁盘控制器收到指令后，开始准备数据并将数据放入磁盘控制器的内部缓冲区，然后产生一个中断。
  • DMA 收到中断信号后将磁盘控制器缓冲区的数据拷贝到内核缓存区（此时不占用 CPU 资源，CPU 可以执行其它任务）。
  • 当 DMA 读取到足够多的数据到内核缓冲区后，发送中断信号给 CPU ,CPU 将内核缓冲区的数据拷贝到用户缓冲区中。
注：早期 DMA 只存在于主板上，现在 I/O 设备越来越多，数据传输需求也越来越复杂，所以每个 I/O 设备中都有自己的 DMA 控制器。

传统文件传输性能有多糟糕？

  • 现在，大家思考一下，如果我们服务器需要提供文件传输功能，应该怎么做？最简单的方式就是将磁盘上的文件读取出来，然后通过网络协议发送给客户端。通常涉及以下两个系统调用：
read(file, tmp_buf, len);
write(socket, tmp_buf, len);
  • 具体流程图如下：

  • 我们来看看整个过程发生了什么，发生了 2 次系统调用（4 次上下文切换），4 次数据拷贝（2 次 CPU 拷贝，2 次 DMA 拷贝）。
  • 虽然一次上下文切换的时间很短，几十纳秒到几微秒，但在高并发场景下，很容易影响性能。同时我们发现我们虽然只是传输了一份数据，但却拷贝了 4 次，毫无疑问过多的数据拷贝将会占用我们的 CPU 资源。
  • 因此，如果我们想要优化整个文件传输过程，那么主要的优化思路就是减少用户态和内核态的上下文切换以及减少数据拷贝。

如何优化文件传输性能

  • 上面我们说到想要优化整个文件传输过程，主要的优化思路是减少用户态和内核态的上下文切换以及减少数据拷贝。
  • 我们知道上下文切换其实是由于系统调用产生，因此减少系统调用就可以减少上下文切换。同时在文件传输场景中，我们用户进程并不会对数据进行加工，那么我们是不是可以不用将数据拷贝到用户空间呢？答案是可以，因此文件传输下，用户缓冲区没有存在的必要。

零拷贝技术

  • 基于上述两点优化，发展出来了零拷贝技术，零拷贝技术一般有以下两种实现方案，下面我们就具体谈一谈它如何减少上下文切换和数据拷贝次数：
mmap + write
sendfile

mmap + write

  • 在传统的文件 IO 过程中，我们需要使用 read 调用将内核缓冲区的数据读到用户缓存区，为了减少这一步的复制开销，我们使用 mmap() 代替 read():
buf = mmap(file, len);
write(sockfd, buf, len);

  • 用户进程调用 mmap() 方法后，DMA 将数据从磁盘拷贝到内核缓冲区，用户进程和内核共享这个缓冲区。
  • 用户进程调用 read() 方法后，CPU 将数据从内核缓冲区拷贝到 Socket 缓冲区。

sendfile

  • 上面整个过程虽然减少了 2 次数据拷贝，但仍然存在 4 次上下文切换。
  • 在 Linux 内核版本 2.1 中，提供了一个专门发送文件的系统调用函数 sendfile()，函数形式如下，可以进一步减少系统调用：
#include <sys/socket.h>
// 前两个参数分别是目的端和源端的文件描述符，后面两个参数是源端的偏移量和复制数据的长度，返回值是实际复制数据的长度
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

企业微信截图_16924179656803.png

  • 这样，我们一次文件传输，只需要 3 次数据拷贝和 2 次上下文切换。
SG-DMA（The Scatter-Gather Direct Memory Access）
  • 如果网卡支持 SG-DMA（The Scatter-Gather Direct Memory Access）技术（和普通的 DMA 有所不同），sendfile() 调用还会进一步优化，去掉了 CPU 把内核缓冲区里的数据拷贝到 socket 缓冲区的过程，将数据直接从内核缓冲区拷贝到网卡中。

企业微信截图_16924183044145.png

  • 这就是真正的零拷贝技术（zero-copy），因为我们全程没有使用 CPU 拷贝数据，而是通过 DMA 来进行传输。

零拷贝技术的应用

  • 我们比较常用的 kafka 就使用了零拷贝技术，从而大幅提高了 I/O 的吞吐率，这也是 kafka 能处理海量数据的原因之一。
  • kafka 传输部分实现底层调用 Java NIO 库里的 transferTo 方法，如果 Linux 系统支持 sendfile() 系统调用，那么 transferTo() 实际上最后就会使用到 sendfile() 系统调用函数。
@Overridepublic 
long transferFrom(FileChannel fileChannel, long position, long count) throws IOException { return fileChannel.transferTo(position, count, socketChannel);
}
  • 在同样的硬件条件下，传统文件传输和零拷拷贝文件传输的性能差异测试，使用了零拷贝技术接近缩短了 65% 的时间，能够大幅提升我们的吞吐量：
    零拷贝测试数据.png

大文件传输应该用什么方式

  • 在了解这个问题前，我们先了解两个概念 PageCache 和 直接 I/O。

PageCache（内核缓冲区） 的作用

  • Write Buffer：写入数据时内核 I/O 算法会尽可能缓存更多的 I/O 请求在 PageCahe 中，最后合并为一个更大的 I/O 请求给磁盘，减少磁盘的寻址操作。
  • Read Cache：内核会预读相邻的数据内容并缓存一些热点数据在 PageCahe 中，减少对磁盘的访问，提到访问速度。

直接 I/O

企业微信截图_16924185437690.png

直接 I/O 适用场景

  • 应用本身已经实现了磁盘数据缓存，那么就可以不需要 PageCahe ，减少内核缓冲区的复制带来的消耗。比如在 MySQL 数据库中就可以开启直接 I/O，默认不开启。
  • 数据本身过大，难以命中 PageCahe 缓存，同时会占满 PageCahe，导致其它热点数据失效，带来额外的性能开销。

综上所述

  • 从上面两点我们可以看出：
  • 对于小文件传输，我们可以使用零拷贝技术减少上下文的切换和数据拷贝次数提高性能。
疑问：小文件是否可以直接走用户缓存区不使用内核缓存区
答：
1、使用内核缓冲区 当从磁盘缓冲区拷贝数据可以使用 DMA
2、数据到达用户缓存区，理论上比数据到内核缓冲区的代价更大
  • 但对于大文件，已经不适合使用基于 PageCahe 的零拷贝技术，而是应该使用直接 I/O 的方式，同时为了避免大文件直接 I/O 带来的长时间阻塞，我们可以使用 直接 I/O + 异步 I/O 的方式传输大文件。

Nginx 中的零拷贝技术和直接 I/O

  • 在 nginx 中，既支持 零拷贝技术，也支持 直接 I/O 我们可以根据文件大小这样配置：
location /file/ { sendfile on; aio on; directio 1024m; 
}
  • 当文件大小小于 1024M 时使用零拷贝技术，当大于时使用直接 IO 技术。

个人简介

👋 你好，我是 Lorin 洛林，一位 Java 后端技术开发者！座右铭：Technology has the power to make the world a better place.

🚀 我对技术的热情是我不断学习和分享的动力。我的博客是一个关于Java生态系统、后端开发和最新技术趋势的地方。

🧠 作为一个 Java 后端技术爱好者，我不仅热衷于探索语言的新特性和技术的深度，还热衷于分享我的见解和最佳实践。我相信知识的分享和社区合作可以帮助我们共同成长。

💡 在我的博客上，你将找到关于Java核心概念、JVM 底层技术、常用框架如Spring和Mybatis 、MySQL等数据库管理、RabbitMQ、Rocketmq等消息中间件、性能优化等内容的深入文章。我也将分享一些编程技巧和解决问题的方法，以帮助你更好地掌握Java编程。

🌐 我鼓励互动和建立社区，因此请留下你的问题、建议或主题请求，让我知道你感兴趣的内容。此外，我将分享最新的互联网和技术资讯，以确保你与技术世界的最新发展保持联系。我期待与你一起在技术之路上前进，一起探讨技术世界的无限可能性。

📖 保持关注我的博客，让我们共同追求技术卓越。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/438416.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

应急响应-流量分析

应急响应-流量分析

在应急响应中&#xff0c;有时需要用到流量分析工具&#xff0c;。当需要看到内部流量的具体情况时&#xff0c;就需要我们对网络通信进行抓包&#xff0c;并对数据包进行过滤分析&#xff0c;最常用的工具是Wireshark。 Wireshark是一个网络封包分析软件。网络封包分析软件的…
阅读更多...
qtcreator使用qwt库

qtcreator使用qwt库

先配置好.pro文件&#xff0c;再去ui界面拖拽控件 ui界面会更改配置&#xff0c;故顺序错一个&#xff0c;就凉了&#xff0c;重来吧 准备&#xff1a;库&#xff0c;库头文件 库文件&#xff1a;路径如下 头文件&#xff1a;路径如下 鼠标->右键 &#xff08;有些不用勾…
阅读更多...
构建知识图谱：从技术到实战的完整指南

构建知识图谱：从技术到实战的完整指南

目录 一、概述二、知识图谱的基础理论定义与分类核心组成历史与发展 三、知识获取与预处理数据源选择数据清洗实体识别 四、知识表示方法知识表示模型RDFOWL属性图模型 本体构建关系提取与表示 五、知识图谱构建技术图数据库选择Neo4jArangoDB 构建流程数据预处理实体关系识别图…
阅读更多...
go语言基础之泛型

go语言基础之泛型

1.泛型 泛型是一种独立于所使用的特定类型的编写代码的方法。使用泛型可以编写出适用于一组类型中的任何一种的函数和类型。 1.1 为什么需要泛型 func reverse(s []int) []int {l : len(s)r : make([]int, l)for i, e : range s {r[l-i-1] e}return r }fmt.Println(reverse…
阅读更多...
基于YOLOv7算法和FLIR数据集的高精度实时红外行人目标检测系统（PyTorch+Pyside6+YOLOv7）

基于YOLOv7算法和FLIR数据集的高精度实时红外行人目标检测系统（PyTorch+Pyside6+YOLOv7）

摘要&#xff1a;基于YOLOv7算法和FLIR数据集的高精度实时红外行人目标检测系统可用于日常生活中检测与定位自行车、汽车、狗和行人目标&#xff0c;此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别&#xff0c;同时本系统还支持检测结果可视化与导出。本…
阅读更多...
重生之我是学神，小小c语言 题目可笑可笑

重生之我是学神，小小c语言 题目可笑可笑

阅读更多...
智慧文旅：未来旅游业的数字化转型

智慧文旅：未来旅游业的数字化转型

随着科技的快速发展&#xff0c;数字化转型已经成为各行各业的必然趋势。旅游业作为全球经济的重要组成部分&#xff0c;也正经历着前所未有的变革。智慧文旅作为数字化转型的重要领域&#xff0c;正逐渐改变着旅游业的传统模式&#xff0c;为游客带来更加便捷、个性化的旅游体…
阅读更多...
基于vue实现待办清单案例

基于vue实现待办清单案例

一、需求 新增内容&#xff1b; 删除内容&#xff1b; 统计操作&#xff1b; 清空数据。 示例图&#xff1a; 二、代码演示 1、基础准备 index.css代码 html, body {margin: 0;padding: 0; } body {background: #fff ; } button {margin: 0;padding: 0;border: 0;backgr…
阅读更多...
OpenHarmony—ArkTS不支持生成器函数

OpenHarmony—ArkTS不支持生成器函数

规则&#xff1a;arkts-no-generators 级别&#xff1a;错误 目前ArkTS不支持生成器函数&#xff0c;使用async或await机制进行并行任务处理。 TypeScript function* counter(start: number, end: number) {for (let i start; i < end; i) {yield i;} }for (let num of…
阅读更多...
在线制作gif动图怎么做？一个方法轻松制作gif动画

在线制作gif动图怎么做？一个方法轻松制作gif动画

有时候一张普通的图片无法表达出我们的意思&#xff0c;但是视频又比较长看起来太过复杂。这时候&#xff0c;大家就可以使用gif动图了&#xff0c;不需要下载软件使用gif生成器&#xff08;https://www.gif.cn/&#xff09;-GIF中文网&#xff0c;轻松一键就能快速完成gif在线…
阅读更多...
有向图的拓扑序列

有向图的拓扑序列

什么是拓扑序列: 若一个由图中所有点构成的序列 A 满足&#xff1a;对于图中的每条边 (x,y)&#xff0c;x 在 A中都出现在 y 之前&#xff0c;则称 A是该图的一个拓扑序列。 &#xff08;引用blog拓扑序列&#xff08;拓扑排序&#xff09;-CSDN博客&#xff09; 注&#xff…
阅读更多...
MySQL：三大日志（binlog、redolog、undolog）

MySQL：三大日志（binlog、redolog、undolog）

再了解三个日志前我们先了解一下MySQL的两层架构&#xff1a; Server 层负责建立连接、分析和执行 SQL。MySQL 大多数的核心功能模块都在这实现&#xff0c;主要包括连接器&#xff0c;查询缓存、解析器、预处理器、优化器、执行器等。另外&#xff0c;所有的内置函数和所有跨…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023