文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

数据拷贝的基础过程是什么

2024-04-02 19:55

关注

本篇内容主要讲解“数据拷贝的基础过程是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“数据拷贝的基础过程是什么”吧!

数据拷贝基础过程

在 Linux 系统内部缓存和内存容量都是有限的,更多的数据都是存储在磁盘中。

对于 Web 服务器来说,经常需要从磁盘中读取数据到内存,然后再通过网卡传输给用户:

数据拷贝的基础过程是什么

上述数据流转只是大框,接下来看看几种模式:

①仅 CPU 方式

数据拷贝的基础过程是什么

如上图:

②CPU&DMA 方式

数据拷贝的基础过程是什么

CPU 的时间宝贵,让它做杂活就是浪费资源。

直接内存访问(Direct Memory Access),是一种硬件设备绕开 CPU 独立直接访问内存的机制。

所以 DMA 在一定程度上解放了 CPU,把之前 CPU 的杂活让硬件直接自己做了,提高了 CPU 效率。

目前支持 DMA 的硬件包括:网卡、声卡、显卡、磁盘控制器等。

有了 DMA 的参与之后的流程发生了一些变化:

数据拷贝的基础过程是什么

最主要的变化是,CPU 不再和磁盘直接交互,而是 DMA 和磁盘交互并且将数据从磁盘缓冲区拷贝到内核缓冲区,之后的过程类似。

敲黑板:无论从仅 CPU 方式和 DMA&CPU 方式,都存在多次冗余数据拷贝和内核态&用户态的切换。

我们继续思考 Web 服务器读取本地磁盘文件数据再通过网络传输给用户的详细过程。

普通模式数据交互

一次完成的数据交互包括几个部分:系统调用 syscall、CPU、DMA、网卡、磁盘等。

数据拷贝的基础过程是什么

系统调用 syscall 是应用程序和内核交互的桥梁,每次进行调用/返回就会产生两次切换:

数据拷贝的基础过程是什么

来看下完整的数据拷贝过程简图:

数据拷贝的基础过程是什么

读数据过程:

写数据过程:

综上所述:

可见传统模式下,涉及多次空间切换和数据冗余拷贝,效率并不高,接下来就该零拷贝技术出场了。

零拷贝技术

出现原因

我们可以看到,如果应用程序不对数据做修改,从内核缓冲区到用户缓冲区,再从用户缓冲区到内核缓冲区。

两次数据拷贝都需要 CPU 的参与,并且涉及用户态与内核态的多次切换,加重了 CPU 负担。

我们需要降低冗余数据拷贝、解放 CPU,这也就是零拷贝 Zero-Copy 技术。

解决思路

目前来看,零拷贝技术的几个实现手段包括:mmap+write、sendfile、sendfile+DMA 收集、splice 等。

数据拷贝的基础过程是什么

①mmap 方式

mmap 是 Linux  提供的一种内存映射文件的机制,它实现了将内核中读缓冲区地址与用户空间缓冲区地址进行映射,从而实现内核缓冲区与用户缓冲区的共享。

这样就减少了一次用户态和内核态的 CPU 拷贝,但是在内核空间内仍然有一次 CPU 拷贝。

数据拷贝的基础过程是什么

mmap 对大文件传输有一定优势,但是小文件可能出现碎片,并且在多个进程同时操作文件时可能产生引发 coredump 的 signal。

②sendfile 方式

mmap+write 方式有一定改进,但是由系统调用引起的状态切换并没有减少。

sendfile 系统调用是在 Linux 内核 2.1 版本中被引入,它建立了两个文件之间的传输通道。

sendfile 方式只使用一个函数就可以完成之前的 read+write 和 mmap+write 的功能,这样就少了 2  次状态切换,由于数据不经过用户缓冲区,因此该数据无法被修改。

数据拷贝的基础过程是什么

数据拷贝的基础过程是什么

从图中可以看到,应用程序只需要调用 sendfile 函数即可完成,只有 2 次状态切换、1 次 CPU 拷贝、2 次 DMA 拷贝。

但是 sendfile 在内核缓冲区和 socket 缓冲区仍然存在一次 CPU 拷贝,或许这个还可以优化。

③sendfile+DMA 收集

Linux 2.4 内核对 sendfile 系统调用进行优化,但是需要硬件 DMA 控制器的配合。

升级后的 sendfile 将内核空间缓冲区中对应的数据描述信息(文件描述符、地址偏移量等信息)记录到 socket 缓冲区中。

DMA 控制器根据 socket 缓冲区中的地址和偏移量将数据从内核缓冲区拷贝到网卡中,从而省去了内核空间中仅剩 1 次 CPU 拷贝。

数据拷贝的基础过程是什么

这种方式有 2 次状态切换、0 次 CPU 拷贝、2 次 DMA 拷贝,但是仍然无法对数据进行修改,并且需要硬件层面 DMA 的支持,并且  sendfile 只能将文件数据拷贝到 socket 描述符上,有一定的局限性。

④splice 方式

splice 系统调用是 Linux 在 2.6 版本引入的,其不需要硬件支持,并且不再限定于 socket  上,实现两个普通文件之间的数据零拷贝。

数据拷贝的基础过程是什么

splice 系统调用可以在内核缓冲区和 socket 缓冲区之间建立管道来传输数据,避免了两者之间的 CPU 拷贝操作。

数据拷贝的基础过程是什么

splice 也有一些局限,它的两个文件描述符参数中有一个必须是管道设备。

到此,相信大家对“数据拷贝的基础过程是什么”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-前端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯