XDP技术对于很多Linux开发人员来说是一个很陌生的技术,如果你是一个Linux开发人员,恰好你从事的网络相关的开发工作,如果你不懂XDP技术,这是一个非常大的损失。
这个是我一个真实的经历,曾经我采用XDP技术优化过一个项目,让一个项目的网络处理性能提高了3-4倍,可能很多小伙伴会怀疑项目原本性能就很差,所以才会有很大的提升空间。
我想说的是,按照原来的软件架构,不管你怎么优化,性能的瓶颈是不可能突破的,唯一的方式是采用更高效的架构,从更高维度去解决问题。
后续我的项目魔法盒子也会用上XDP技术,采用XDP技术后,魔法盒子的网络性能估计能够提高3倍左右。
1.XDP技术简介
1.1 XDP技术背景
随着超高带宽网络技术10G,40G,100G网络的出现,Linux内核协议栈越来越不能适应新的网络技术的发展,Linux内核协议栈似乎成为了网络性能的瓶颈和鸡肋,为了解决这个尴尬的处境,Linux内核引入了一个新的技术内核旁路(Kernel Bypass)技术,内核旁路技术的核心思想是网络数据包跳过内核协议栈,直接由用户程序处理,这样可以避免内核协议栈的开销,大大提高网络性能。
XDP就是属于Linux自己的内核旁路技术,与之对应的还有一种内核旁路技术DPDK技术,DPDK拥有非常不错的性能,但是DPDK技术并不非常适用于Linux系统。
1.2 XDP是什么?
XDP是一种Linux内核技术,通过使用eBPF机制,在内核空间中实现高性能的数据包处理和转发。
它可以显著提高网络性能,并提供了灵活的编程接口,使用户能够实现各种自定义的网络功能,与传统的用户空间数据包处理相比,XDP可以显著降低数据包处理的延迟和CPU占用。
XDP技术工作模式:
原生模式(性能高,需要网卡支持)驱动模式,将XDP程序运行在网卡驱动中,从网卡驱动中将网络数据包重定向,该模式支持的网卡较多且性能也很高,如果网卡支持的话,尽量使用该模式。
卸载模式(性能最高,支持的网卡最少)将XDP程序直接卸载到网卡,该模式支持的网卡少,暂不做讨论。
通用模式(性能良好,Linux内核支持最好)XDP程序运行在Linux内核协议栈入口,无需驱动支持,性能低于XDP其他的两种模式,但是即使XDP通用模式,也会给你的系统性能带来一定的提升。
后续会有专门的专题来讲XDP技术,这里不展开讨论。
2.AF_XDP工作原理
2.1 整体架构
很多同学容易将XDP和AF_XDP技术给弄混淆。
- XDP技术是基于BPF技术的一种新的网络技术。
- AF_XDP是XDP技术的一种应用场景,AF_XDP是一种高性能Linux socket。
AF_XDP需要通过socket函数创建。
socket(AF_XDP, SOCK_RAW, 0);
AF_XDP技术会涉及到一些比较重要的知识点:
图片
- AF_XDP想要XDP程序配合,才能完成网络数据包收发。
- XDP程序主要工作是根据以太网帧的相关信息如:MAC地址,五元组信息等,进行数据包的过滤和重定向。
- AF_XDP处理的是以太网数据帧,所以用户程序发送和接收的是以太网数据帧。
- 用户程序,AF_XDP,XDP会操作一个共享的内存区域,称之为UMEM。
- 网络数据包的接收和发送需要用到4个无锁环形队列。
2.2 UMEM共享内存
UMEM共享内存通过setsockopt函数进行申请。
setsockopt(umem->fd, SOL_XDP, XDP_UMEM_REG, &mr, sizeof(mr));
UMEM共享内存通常以4K为一个单元,每个单元可以存储一个数据包,UMEM共享内存通常为4096个单元。
接收和发送的数据包都是存储在UMEM内存单元。
用户程序和内核都可以直接操作这块内存区域,所以发送和接收数据包时,只是简单的内存拷贝,不需要进行系统调用。
用户程序需要维护一个UMEM内存使用记录,记录每一个UMEM单元是否已被使用,每个记录都会有一个相对地址,用于定位UMEM内存单元地址。
2.2 无锁环形队列
AF_XDP socket总共有4个无锁环形队列,分别为:
- 填充队列(FILL RING)
- 已完成队列(COMPLETION RING)
- 发送队列(TX RING)
- 接收队列(RX RING)
图片
环形队列创建方式:
//创建FILL RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_FILL_RING,&umem->config.fill_size, sizeof(umem->config.fill_size)); //创建COMPLETION RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_COMPLETION_RING,&umem->config.comp_size, sizeof(umem->config.comp_size));//创建RX RING setsockopt(xsk->fd, SOL_XDP, XDP_RX_RING,&xsk->config.rx_size, sizeof(xsk->config.rx_size));//创建TX RING setsockopt(xsk->fd, SOL_XDP, XDP_TX_RING, &xsk->config.tx_size, sizeof(xsk->config.tx_size));
4个环形队列实现方式基本相同,环形队列是对数组进行封装的数据结构,环形队列由5个重要部分组成:
- 生产者序号(producer)
生产者序号用于指示数组当前可生产的元素位置,如果队列已满,将不能再生产。
- 消费者序号(consumer)
消费者序号用于指示当前可消费的元素位置,如果队列已空,将不能再消费。
- 队列长度(len)
队列长度即数组长度。
- 队列掩码(mask)
mask=len-1,生产者和消费者序号不能直接使用,需要配合掩码使用,producer,consumer和mask进行与运算,可以获取到数组的索引值。
- 固定长度数组
数组的每一个元素记录了UMEM单元的相对地址,如果UMEM单元有发送和接收的数据包,还会记录数据包的长度。
环形队列的无锁化通过原子变量来实现,原子变量和原子操作在高性能编程中经常会用到。
2.3 AF_XDP接收数据包
AF_XDP接收数据包需要FILL RING,RX RING两个环形队列配合工作。
第一步:XDP程序获取可用UMEM单元。
FILL RING记录了可以用来接收数据包的UMEM单元数量,用户程序根据UMEM使用记录,定期的往FILL RING生产可用UMEM单元。
第二步:XDP填充新的接收数据包
XDP程序消费FILL RING中UMEM单元用于存放网络数据包,接收完数据包后,将UMEM单元和数据包长度重新打包,填充至RX RING队列,生产一个待接收的数据包。
第三步:用户程序接收网络数据包
用户程序检测到RX RING有待接的收数据包,消费RX RING中数据包,将数据包信息从UMEM单元中拷贝至用户程序缓冲区,同时用户程序需要再次填充FILL RING队列推动XDP继续接收数据。
图片
2.4 AF_XDP发送数据包
AF_XDP发送数据包需要COMP RING,TX RING两个环形队列配合工作。
第一步:用户程序确保有足够的UMEM发送单元
COMP RING记录了已完成发送的数据包(UMEM单元)数量,用户程序需要回收这部分UMEM单元,确保有足够的UMEM发送单元。
第二步:用户程序发送数据包
用户程序申请一个可用的UMEM单元,将数据包拷贝至该UMEM单元,然后生产一个待发送数据包填充值TX RING。
第三步:XDP发送数据包
XDP程序检测到TX RING中有待发送数据包,从TX RING消费一个数据包进行发送,发送完成后,将UMEM单元填充至COMP RING,生产一个已完成发送数据包,用户程序将对该数据包UMEM单元进行回收。
图片
3. AF_XDP高效的秘密
AF_XDP之所以高效,主要有三大原因:
- 内核旁路技术
内核旁路技术在处理网络数据包的时候,可以跳过Linux内核协议栈,相当于走了捷径,这样可以降低链路开销。
- 内存映射
用户程序和内核共享UMEM内存和无锁环形队列,采用mmap技术将内存进行映射,用户操作UMEM内存不需要进行系统调用,减少了系统调用上下文切换成本。
- 无锁环形队列
无锁环形队列采用原子变量实现,可以减少线程切换和上下文切换成本。
基于以上几点,AF_XDP必然是一个高性能的网络技术,由于目前没有一个能够测试XDP极限性能的测试环境,大家如果对AF_XDP技术感兴趣,可以自行上网搜索相关资料。