OpenResty 官方博客
·
CPU 占用率 45% 的“黑洞”：一次 APISIX “黑盒”插件的 C 级别性能诊断
内容提要
本文回顾了金融行业客户的案例，指出APISIX网关因CPU瓶颈导致延迟问题。传统工具无法定位，OpenResty XRay通过动态追踪技术识别出占44.8% CPU的pkey_rsa_decrypt函数，揭示其对系统性能的影响，并提出优化建议。
关键要点
-
本文回顾了金融行业客户的案例，APISIX网关因CPU瓶颈导致延迟问题。
-
传统工具无法定位问题，OpenResty XRay通过动态追踪技术识别出占44.8% CPU的pkey_rsa_decrypt函数。
-
客户的APISIX网关在高峰时段CPU占用率达到100%，导致P99延迟急剧抖动。
-
perf工具无法将C函数调用与Lua代码关联，导致无法确认具体的性能瓶颈。
-
客户的APM系统显示大部分耗时发生在access_by_lua阶段，但仍无法定位具体问题。
-
OpenResty XRay通过动态追踪技术重建完整调用栈，精确定位到pkey_rsa_decrypt函数。
-
pkey_rsa_decrypt函数来自OpenSSL库，用于RSA私钥解密，CPU占用高达44.8%。
-
分析发现，可能是密钥长度过长或架构设计缺陷导致性能瓶颈。
-
建议客户在cb-session-validation.lua中引入缓存机制，减少重复解密操作。
-
OpenResty XRay提供了跨越Lua和C的完整调用栈，帮助客户进行精确优化。
延伸解读
性能瓶颈的识别与定位
在复杂的系统中，性能瓶颈往往难以定位。传统的监控工具如perf在处理Lua与C混合栈时存在局限，无法提供完整的调用上下文。OpenResty XRay通过动态追踪技术，能够重建跨越Lua和C的调用栈，帮助开发者精确识别性能问题，避免盲目猜测。
优化建议的实用性
针对pkey_rsa_decrypt函数的高CPU占用，文章提出了两种优化建议：引入缓存机制以减少重复解密操作，以及评估RSA密钥长度的合理性。这些建议不仅能有效降低CPU负担，还能提升系统的整体性能，具有较强的实用性。
APM工具的局限性
虽然APM工具能够监控应用性能，但在处理复杂的混合语言环境时，往往无法提供深入的洞察。本文强调了APM在Lua与C交互中的不足，指出需要更强大的工具来弥补这一“归因鸿沟”，以便更好地进行性能优化。
延伸问答
APISIX网关的CPU瓶颈是如何被发现的？
通过OpenResty XRay的动态追踪技术，识别出占44.8% CPU的pkey_rsa_decrypt函数，揭示了其对系统性能的影响。
传统性能监控工具在此案例中遇到了什么问题？
传统工具如perf无法将C函数调用与Lua代码关联，导致无法确认具体的性能瓶颈。
pkey_rsa_decrypt函数的高CPU占用可能由哪些原因造成？
可能是密钥长度过长或架构设计缺陷导致性能瓶颈。
OpenResty XRay如何帮助定位性能问题？
OpenResty XRay通过动态追踪重建完整调用栈，提供了跨越Lua和C的完整视图，帮助精确定位问题。
针对发现的性能瓶颈，有哪些优化建议？
建议在cb-session-validation.lua中引入缓存机制，减少重复解密操作，并检查RSA密钥长度是否过长。
在高峰时段，APISIX网关的CPU占用率达到了什么水平？
在高峰时段，APISIX网关的CPU占用率达到了100%。
