bpftrace 是一种基于 eBPF 技术的高级追踪工具，能够在不修改代码的情况下监控内核和应用行为。它支持快速诊断系统调用、磁盘 I/O 和网络连接等问题，并生成延迟直方图以识别性能瓶颈。bpftrace 安装简单，适合用于生产环境中的一次性调查和快速分析，但使用时需注意性能开销和内核版本要求，以确保系统稳定。

异步编程的主要挑战在于堆栈不连续。通过为每个请求生成唯一的请求 ID 并记录，可以追踪请求来源。慢回调会影响性能，需自动检测。使用 GDB 分析 Core Dump 时，需保留符号并检查事件。动态追踪工具如 bpftrace 可无侵入监测延迟。调试异步程序需转变思维，结合现代工具可有效掌握系统状态。

本文讨论了网络故障排查中的常见问题，介绍了内核的三层可观测基础设施（tracepoint、kprobe/fentry、PMC），以及如何使用bpftrace、perf和ftrace等工具进行网络诊断。重点分析了TCP连接延迟的根因，展示了如何通过这些工具追踪丢包和TCP重传等问题，并提供了实用的命令示例和最佳实践。

参看 https://github.com/iovisor/bpftrace/blob/master/INSTRead More