文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

六张图讲清楚Linux零拷贝技术

2024-11-30 01:34

关注

1.零拷贝技术简介

Linux零拷贝技术是一种优化数据传输的技术,它可以减少数据在内核态和用户态之间的拷贝次数,提高数据传输的效率。

在传统的数据传输过程中,数据需要从内核缓冲区拷贝至应用程序的缓冲区,然后再从应用程序缓冲区拷贝到网络设备的缓冲区,最后才能发送出去。

而零拷贝技术通过直接在应用程序和网络设备之间传输数据,避免了中间的拷贝过程,从而提高了数据传输的效率。

Linux零拷贝技术实现方式:

2.sendfile系统调用

sendfile系统调用直接在内核中操作文件数据,将数据从源文件描述符复制到目标文件描述符的发送缓冲区,然后通过网络协议栈将数据发送出去。

这样就避免了数据在内核和用户空间之间的复制,提高了传输效率。

sendfile系统调用函数原型:

#include 
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

参数说明:
out_fd:目标文件描述符,用于发送数据。
in_fd:源文件描述符,从该文件读取数据。
offset:指定从源文件的哪个位置开始读取数据,可以为NULL表示从当前位置开始。
count:要传输的字节数。

返回值:
成功:返回写入out_fd文件的字节数。
失败:返回-1,并设置errno。

3.sendfile实现原理

3.1 传统方式发送文件

使用传统方式把一个文件通过socket发送出去,我们需要执行一个比较长的路径。

路径:磁盘->文件页缓存->用户缓冲区->套接字缓冲区->网卡。

上下文切换和内存拷贝情况如下:

图片

3.2 sendfile发送文件

使用sendfile发送文件,相对来说整个路径会短一些。

路径:磁盘->文件页缓存->套接字缓冲区->网卡。

上下文切换和内存拷贝情况如下:

上下文切换:2次(sendfile调用,sendfile返回)

DMA拷贝:2次

CPU拷贝:1次(文件页缓存->套接字缓冲区)

图片

3.3 sendfile实现原理

sendfile实现的核心是管道,管道在Linux系统中应用的比较多,比如说通过管道实现进程间通信。

当需要将文件数据拷贝至socket缓冲区时,会临时创建一个管道(环形缓冲区),将文件数据先拷贝至管道,再将管道数据迁移至socket缓冲区,数据迁移并不是数据拷贝,只是将指针指向内存地址。

图片

3.4 小节

通过采用sendfile发送文件,可以减少2次上下文切换和1次CPU拷贝,如果我们的实际应用场景是需要进行大量的文件发送,采用sendfile能够很大程度上提高系统性能。

4.管道

4.1 管道简介

管道在Linux系统中应用很广泛,除了零拷贝技术使用到管道,进程间通信同样使用到管道,那么管道到底是什么?

图片

管道是什么?

管道其实就是一个环形缓冲区,通过管道可以将数据从一个文件拷贝另外一个文件。

管道由struct pipe_inode_info结构体定义,该数据结构有4个重要成员:

管道缓冲区由struct pipe_buffer定义,该结构有3个重要成员:

管道已满或为空判断?

管道已满判断:

head - tail >= ring_size,表示管道已满。

管道为空判断:

head == tail,表示管道为空。

相关结构体定义 

struct pipe_inode_info是Linux内核中用于管道文件的数据结构。它定义在include/linux/pipe_fs_i.h头文件中。

pipe_inode_info结构体的定义如下:

struct pipe_inode_info {
    unsigned int head; //头部序号
    unsigned int tail; //尾部序号
    unsigned int max_usage; //最大使用量
    unsigned int ring_size; //缓冲区数组大小
    unsigned int nr_accounted; //已使用缓冲区数量
    struct pipe_buffer *bufs; //缓冲区数组
    ......
}

struct pipe_buffer是Linux内核中用于管道(pipe)缓冲区的数据结构。它定义在include/linux/pipe_fs_i.h头文件中。

4.2 管道写

通过head & mask获取缓冲区数组下标,将数据写入pipe_buffer对应的内存页,数据起始位置为offset偏移值,写入的数据长度记录在len成员中。

完成数据写操作后,head头部序号增加1,指向下一个可写位置。

图片

4.3 管道读

通过tail & mask获取缓冲区数组下标,将数据从pipe_buffer对应的内存页读取出来,数据起始位置为offset偏移值,读取数据长度不能大于len记录的数据长度。

完成数据读操作后,len设置成0,pipe_buffer被清空,tail尾部序号增加1,指向下一个可读位置。

图片

5.总结

相比于传统的数据传输技术,零拷贝技术能够大大提高系统性能,在实际项目开发中,我们可以选择符合项目特点的零拷贝技术,以最低的成本提高系统性能。

来源:物联网心球内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯