在 Linux 系統(tǒng)運(yùn)維過(guò)程中，系統(tǒng)卡頓是一個(gè)令人頭疼的問(wèn)題。當(dāng)系統(tǒng)出現(xiàn)卡頓時(shí)，用戶界面無(wú)響應(yīng)、服務(wù)延遲增加，嚴(yán)重時(shí)甚至?xí)?dǎo)致業(yè)務(wù)中斷。不可中斷進(jìn)程（處于 D 狀態(tài)）往往是系統(tǒng)卡頓的“罪魁禍?zhǔn)住敝?。這些進(jìn)程由于等待某些硬件資源（如磁盤(pán) I/O、網(wǎng)絡(luò) I/O 等）而無(wú)法被信號(hào)中斷，從而阻塞了整個(gè)系統(tǒng)的正常運(yùn)行。本文將介紹如何利用 eBPF 和 ftrace 這兩大強(qiáng)大的工具，追蹤不可中斷進(jìn)程的阻塞鏈，精準(zhǔn)定位系統(tǒng)卡頓的根源。

不可中斷進(jìn)程（D 狀態(tài)）概述

在 Linux 中，進(jìn)程有多種狀態(tài)，其中 D 狀態(tài)（TASK_UNINTERRUPTIBLE）表示進(jìn)程處于不可中斷的睡眠狀態(tài)。處于 D 狀態(tài)的進(jìn)程通常在等待硬件資源，例如磁盤(pán)讀寫(xiě)操作完成。與可中斷狀態(tài)（S 狀態(tài)）不同，D 狀態(tài)的進(jìn)程不會(huì)響應(yīng)任何信號(hào)，包括 SIGKILL 信號(hào)，這使得它們難以被強(qiáng)制終止，也增加了系統(tǒng)卡頓排查的難度。

eBPF 與 ftrace 簡(jiǎn)介

eBPF

eBPF（extended Berkeley Packet Filter）是一種強(qiáng)大的內(nèi)核技術(shù)，它允許用戶在內(nèi)核中運(yùn)行沙箱化的程序，而無(wú)需修改內(nèi)核代碼或加載內(nèi)核模塊。eBPF 程序可以附加到內(nèi)核的各種鉤子點(diǎn)上，如系統(tǒng)調(diào)用入口、網(wǎng)絡(luò)數(shù)據(jù)包處理路徑等，從而實(shí)現(xiàn)對(duì)系統(tǒng)行為的實(shí)時(shí)監(jiān)控和分析。

ftrace

ftrace 是 Linux 內(nèi)核提供的一個(gè)內(nèi)置跟蹤框架，它可以用于跟蹤內(nèi)核函數(shù)的調(diào)用、執(zhí)行時(shí)間等信息。ftrace 提供了多種跟蹤工具和接口，如 function_graph、function 等，可以幫助開(kāi)發(fā)者和運(yùn)維人員深入了解內(nèi)核的運(yùn)行情況。

使用 eBPF 追蹤不可中斷進(jìn)程

編寫(xiě) eBPF 程序

以下是一個(gè)簡(jiǎn)單的 eBPF 程序示例，用于捕獲處于 D 狀態(tài)的進(jìn)程信息：

c

#include <uapi/linux/ptrace.h>

#include <linux/sched.h>

struct data_t {

   u32 pid;

   char comm[TASK_COMM_LEN];

   u64 state;

};

BPF_PERF_OUTPUT(events);

int trace_sched_process_exec(struct pt_regs *ctx) {

   struct task_struct *task;

   struct data_t data = {};

   task = (struct task_struct *)bpf_get_current_task();

   data.pid = task->pid;

   bpf_get_current_comm(&data.comm, sizeof(data.comm));

   data.state = task->state;

   if (data.state == TASK_UNINTERRUPTIBLE) {

       events.perf_submit(ctx, &data, sizeof(data));

   }

   return 0;

}

加載 eBPF 程序

可以使用 BCC（BPF Compiler Collection）工具來(lái)加載上述 eBPF 程序。以下是一個(gè) Python 腳本示例：

python

from bcc import BPF

# 加載 eBPF 程序

b = BPF(src_file="d_state_trace.c")

# 定義回調(diào)函數(shù)處理捕獲的事件

def print_event(cpu, data, size):

   event = b["events"].event(data)

   print(f"PID: {event.pid}, Command: {event.comm.decode()}, State: {event.state}")

# 關(guān)聯(lián)回調(diào)函數(shù)和性能事件

b["events"].open_perf_buffer(print_event)

# 啟動(dòng)跟蹤

while True:

   try:

       b.perf_buffer_poll()

   except KeyboardInterrupt:

       exit()

運(yùn)行上述 Python 腳本后，當(dāng)有進(jìn)程進(jìn)入 D 狀態(tài)時(shí)，會(huì)輸出進(jìn)程的 PID、命令名和狀態(tài)信息。

使用 ftrace 追蹤阻塞鏈

啟用 ftrace 跟蹤

可以使用以下命令啟用 ftrace 的 function_graph 跟蹤，以跟蹤內(nèi)核函數(shù)的調(diào)用關(guān)系：

bash

# 進(jìn)入 ftrace 目錄

cd /sys/kernel/debug/tracing

# 設(shè)置跟蹤選項(xiàng)

echo function_graph > current_tracer

# 設(shè)置要跟蹤的函數(shù)（這里以磁盤(pán) I/O 相關(guān)函數(shù)為例）

echo "submit_bio* blk_mq_start_request* generic_make_request*" > set_ftrace_filter

# 啟用跟蹤

echo 1 > tracing_on

分析跟蹤結(jié)果

當(dāng)系統(tǒng)出現(xiàn)卡頓時(shí)，可以通過(guò)以下命令查看跟蹤結(jié)果：

bash

cat tracing/trace

在跟蹤結(jié)果中，可以查看進(jìn)程在進(jìn)入 D 狀態(tài)前調(diào)用了哪些內(nèi)核函數(shù)，從而分析出阻塞鏈。例如，如果發(fā)現(xiàn)進(jìn)程在調(diào)用 submit_bio 函數(shù)后進(jìn)入 D 狀態(tài)，并且 submit_bio 函數(shù)又調(diào)用了 blk_mq_start_request 等函數(shù)，那么可以推測(cè)是磁盤(pán) I/O 操作導(dǎo)致了進(jìn)程阻塞。

綜合分析與優(yōu)化

通過(guò) eBPF 和 ftrace 追蹤到不可中斷進(jìn)程的阻塞鏈后，就可以針對(duì)性地進(jìn)行優(yōu)化。例如，如果是磁盤(pán) I/O 瓶頸導(dǎo)致的卡頓，可以考慮升級(jí)磁盤(pán)硬件、優(yōu)化磁盤(pán)讀寫(xiě)策略或調(diào)整系統(tǒng)參數(shù)等。

總結(jié)

系統(tǒng)卡頓問(wèn)題往往復(fù)雜多樣，不可中斷進(jìn)程的阻塞是常見(jiàn)原因之一。利用 eBPF 和 ftrace 這兩大工具，可以有效地追蹤不可中斷進(jìn)程的阻塞鏈，精準(zhǔn)定位系統(tǒng)卡頓的根源。通過(guò)編寫(xiě) eBPF 程序捕獲 D 狀態(tài)進(jìn)程信息，再結(jié)合 ftrace 跟蹤內(nèi)核函數(shù)調(diào)用關(guān)系，運(yùn)維人員能夠深入了解系統(tǒng)的運(yùn)行情況，從而采取有效的優(yōu)化措施，提高系統(tǒng)的穩(wěn)定性和性能。