今天,我们主要介绍如下几部分的内容:
- 什么是ftrace
- ftrace的基本用法
- ftrace的实现原理概述
什么是 ftrace
我们可以将ftrace理解为Function tracer的简称,可以看出其基本功能是实现函数调用的跟踪。其实ftrace不仅仅用于进行函数调用的跟踪,其它很多内核信息都可以通过该工具进行跟踪。
除了上面函数调用跟踪外,ftrace 还能帮我们分析内核特定的事件,比如调度,中断等;它还能帮我们去追踪延迟,比如中断被屏蔽,抢占被禁止的时间,以及唤醒一个进程之后多久开始执行的时间等等。
因此可以理解,ftrace其实为我们提供了一个透视内核的工具,这就像医院的CT机或者核磁共振一样,通过该工具我们可以了解内核内部的更多细节。下面我们罗列出该工具的主要功能,大家可以作为参考:
(1) Function tracer 和 Function graph tracer:跟踪函数调用。
(2) Schedule switch tracer:跟踪进程调度情况。
(3) Preemptoff tracer:和前一个 tracer 类似,preemptoff tracer 跟踪并记录禁止内核抢占的函数,并清晰地显示出禁止抢占时间最长的内核函数。
(4) Preemptirqsoff tracer:同上,跟踪和记录禁止中断或者禁止抢占的内核函数,以及禁止时间最长的函数。
(5) Branch tracer:跟踪内核程序中的 likely/unlikely 分支预测命中率情况。 Branch tracer 能够记录这些分支语句有多少次预测成功。从而为优化程序提供线索。
(6) Hardware branch tracer:利用处理器的分支跟踪能力,实现硬件级别的指令跳转记录。在 x86 上,主要利用了 BTS 这个特性。
(7) Sysprof tracer:缺省情况下,sysprof tracer 每隔 1 msec 对内核进行一次采样,记录函数调用和堆栈信息。
(8) Kernel memory tracer:内存 tracer 主要用来跟踪 slab allocator 的分配情况。包括 kfree,kmem_cache_alloc 等 API 的调用情况,用户程序可以根据 tracer 收集到的信息分析内部碎片情况,找出内存分配最频繁的代码片断,等等。
(9) Initcall tracer:记录系统在 boot 阶段所调用的 init call 。
(10) Mmiotrace tracer:记录 memory map IO 的相关信息。
(11) Power tracer:记录系统电源管理相关的信息。
(12) Workqueue statistical tracer:这是一个 statistic tracer,统计系统中所有的 workqueue 的工作情况,比如有多少个 work 被插入 workqueue,多少个已经被执行等。开发人员可以以此来决定具体的 workqueue 实现,比如是使用 single threaded workqueue 还是 per cpu workqueue.
(13) Event tracer:跟踪系统事件,比如 timer,系统调用,中断等。
(14) Wakeup tracer:跟踪进程的调度延迟,即高优先级进程从进入 ready 状态到获得 CPU 的延迟时间。该 tracer 只针对实时进程。
(15) Irqsoff tracer:当中断被禁止时,系统无法相应外部事件,比如键盘和鼠标,时钟也无法产生 tick 中断。这意味着系统响应延迟,irqsoff 这个 tracer 能够跟踪并记录内核中哪些函数禁止了中断,对于其中中断禁止时间最长的,irqsoff 将在 log 文件的第一行标示出来,从而使开发人员可以迅速定位造成响应延迟的罪魁祸首。
ftrace的基本用法
ftrace的基本用法其实是比较简单的。以Ubuntu18.04为例,我们只需要在current_tracer文件中输入function字符串即可。具体操作步骤如下:
- cd /sys/kernel/debug/tracing
- echo function > current_tracer
当执行上述命令后,我们用vim命令打开该目录下面一个名为trace的文件,此时就可以函数调用情况。
如果查看该文件,可能会发现有几万个函数调用,估计看着就头大。其实它的功能要强大的多,比如我们通过function_graph实现调用栈的层级关系,此时可以更加方便的理清函数调用关系。同时,我们还可实现函数名称的过滤,比如只抓取某些,或者不抓取某些函数等等。
有些版本的操作系统可能不能直接使用该功能,这就需要进行一些配置。关于这些配置,本文暂不介绍,后续专门进行相关介绍。
ftrace的实现原理概述
ftrace最早用于跟踪函数调用,后来随着需求的增加,ftrace演变为一个框架。也就是我们前面介绍的对内核各种探测的功能。
整个ftrace的架构如图所示,其整体分为两层,核心部分是内核框架和一些捕获信息的插件,其中函数调用就是其中一个插件;另外一部分则是用户态的一些辅助工具集。
可以看出,在内核中核心的是ftrace框架,具体功能组件是各种插件,也就是tracers。如果需要跟踪具体的内容,则该tracer需要注册到框架当中。tracer捕获的信息会输出到一个环形缓冲区中。整个框架中需要用到另外一个内核模块,也就是debugfs模块。该模块实现了用户态与内核的交互。
内核态的代码在kernel/trace目录下面,该下面是ftrace框架和各个tracer的代码。如下图所示,可以看出tracer还是比较多的。
整个ftrace的代码量也并不是特别多,大概有4万多行的样子。所以,目前ftrace确实是一个非常强大的内核状态监测工具。