tcpcopy 是一个分布式在线压力测试工具,可以将线上流量拷贝到测试机器,实时的模拟线上环境,达到在程序不上线的情况下实时承担线上流量的效果,尽早发现 bug,增加上线信心。
tcpcopy 的优势在于其实时性及真实性,除了少量的丢包,完全拷贝线上流量到测试机器,真实的模拟线上流量的变化规律。
TCPCopy 分为三个角色:
Online Server(OS):上面要部署 TCPCopy,从数据链路层(pcap 接口)抓请求数据包,发包是从IP层发出去;
Test Server(TS):最新的架构调整把 intercept 的工作从 TS 中 offload 出来。TS 设置路由信息,把 被测应用 的需要被捕获的响应数据包信息路由到 AS;
Assistant Server(AS):这是一台独立的辅助服务器,原则上一定要用同网段的一台闲置服务器来充当辅助服务器。AS 在数据链路层截获到响应包,从中抽取出有用的信息,再返回给相应的 OS 上的 tcpcopy 进程。
数据传输流程图
简单解释一下工作原理:
TCPcopy 从数据链路层 copy 端口请求,然后更改目的 ip 和目的端口。
将修改过的数据包传送给数据链路层,并且保持 tcp 连接请求。
通过数据链路层从 online server 发送到 test server。
在数据链路层解封装后到达 nginx 响应的服务端口。
等用户请求的数据返回结果后,回包走数据链路层。
通过数据链路层将返回的结果从 test server 发送到 assistant server。注:test server 只有一条默认路由指向 assistant server。
数据到达 assistant server 后被 intercept 进程截获。
过滤相关信息将请求状态发送给 online server 的 tcpcopy,关闭 tcp 连接。
Online Server 上的发包:
OS 默认使用 raw socket output 接口发包,此时发包命令如下:
tcpcopy -x 应用端口-Test Server:Test Server应用端口 -s Assistant Server
例如:
tcpcopy -x 80-192.168.0.246:80 -s 192.168.0.247 -d
此外,新架构还支持通过 pcap_inject(编译时候增加--enable-dlinject)来发包。
Test Server 上的响应包路由:
需要在 Test Server 上添加静态路由,确保被测试应用程序的响应包路由到辅助测试服务器,而不是回包给 Online Server。
route add -net 服务器所在网段 gw Assistant Server
例如:
route add -net 192.168.0.0 netmask 255.255.255.0 gw 192.168.0.247
Assistant Server 上的捕获响应包:
辅助服务器要确保没有开启路由模式 cat /proc/sys/net/ipv4/ip_forward,为0表示没有开启。
辅助服务器上的 intercept 进程通过 pcap 抓取测试机应用程序的响应包,将头部抽取后发送给 Online Server 上的 tcpcopy 进程,从而完成一次请求的复制。
intercept -i 网卡名 -F 'tcp and src port 应用端口' -d
例如:
intercept -i ens160 -F 'tcp and src port 80' -d
-i 参数,还可以为any,表示所有网卡
环境说明
角色 | ip | 端口 |
Assistant Server | 192.168.0.247 | |
Online Server | 192.168.0.245 | 80 |
Test Server | 192.168.0.246 | 80 |
拓扑图
运行流程
tcpcopy运行在线上服务器上,tcpcopy会把线上服务器收到的流量,重放给测试服务器,重放的时候tcpcopy修改了IP数据包的源IP地址(譬如修改源地址为192.168.2.254)。所以,线上服务器和测试服务器应该部署相同的服务。
tcpcopy把源IP伪造成192.168.2.254的包发给了测试服务器,如此,测试服务器在处理完tcpcopy发过来的数据以后,会把这些数据包返回给客户端,即伪造的192.168.2.254。
由于没有192.168.2.254这个地址,我们在测试服务器添加一条专门的路由,把发往192.168.2.0/24的数据包,都全部转交给辅助服务器。
为了保证辅助服务器会接受这些本不属于自己的,部署在辅助服务器上的intercept就发挥作用了。辅助服务器还可以用来把客户端的请求返回给tcpcopy,但是默认只返回响应头部给tcpcopy。辅助服务器应该类似于黑洞。
intercept安装
Assistant Server 上的操作:
下载并安装 intercept 服务端;
# 安装编译环境
apt-get install -y build-essential
# 安装pcap依赖包
apt-get install -y libpcap-dev
# 下载软件包
# github地址: http://github.com/session-replay-tools/intercept
wget https://github.com/session-replay-tools/intercept/archive/1.0.0.tar.gz -o intercept-1.0.0.tar.gz
tar zxvf intercept-1.0.0.tar.gz -C /usr/src
cd /usr/src/intercept-1.0.0
./configure --prefix=/usr/local/intercept-1.0.0
make && make install
# 创建软连接
ln -s /usr/local/intercept-1.0.0/sbin/intercept /usr/bin/intercept
# 启动程序
intercept -i ens160 -F 'tcp and src port 80' -d
注意:必须先安装 intercept,否则会导致 tcpcopy 启动时,找不到 intercept
tcpcopy安装
Online Server 上的操作:
下载并安装 tcpcopy 客户端
# 安装编译环境
apt-get install -y build-essential
# 下载软件包
# github地址: http://github.com/session-replay-tools/tcpcopy
wget https://github.com/session-replay-tools/tcpcopy/archive/v1.1.0.tar.gz -o tcpcopy-1.1.0.tar.gz
tar zxvf tcpcopy-1.1.0.tar.gz -C /usr/src
cd /usr/src/tcpcopy-1.1.0
./configure --sbin-path=/usr/local/sbin
make && make install
# 创建软连接
ln -s /usr/local/tcpcopy-1.1.0/sbin/tcpcopy /usr/bin/tcpcopy
# 启动程序
tcpcopy -x 80-192.168.0.246:80 -s 192.168.0.247 -d
注意:192.168.0.246 是 Test Server IP地址,192.168.0.247 是 Assistant Server IP地址
Test Server 添加路由
Test Server 上的操作:
添加静态路由:
route add -net 192.168.0.0/24 gw 192.168.0.247
注意:192.168.2.0/24 是不存在的网络,是一条专门的路由,用于将数据包转发到Assistant Server 。
192.168.0.247 是 Assistant Server IP地址
测试效果
Online Server 和 Test Server 已经安装了nginx,如果没有,请使用以下命令安装:
apt-get install -y nginx
在客户端浏览器,打开 Online Server 的页面
http://192.168.0.245/
登录到 Online Server ,查看访问日志
tail -f /var/log/nginx/access.log
# 日志输出:
192.168.0.136 - - [27/Apr/2019:12:35:56 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
登录到 Test Server ,查看访问日志
tail -f /var/log/nginx/access.log
# 日志输出:
192.168.2.254 - - [27/Apr/2019:12:35:56 +0800] "GET / HTTP/1.1" 200 396 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
虽然访问的是 Online Server ,但是 Test Server 能收到客户端的访问请求。说明 intercept 转发正常
本文参考链接:
https://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html
https://juejin.im/entry/5ac1922d6fb9a028bc2de3fb