APISIX运维优化之解决长尾请求（耗时抖动）问题
内容提要
APISIX网关出现偶发高延迟，排查发现是Prometheus插件在拉取指标时消耗大量CPU，导致请求等待。禁用该插件或停止周期性拉取后问题消失。官方已讨论优化该插件性能，期间只能暂时禁用。
延伸解读
长尾延迟的隐蔽性：日志与真实体验的偏差
文章指出一个关键现象：延迟飙升时，APISIX 日志记录的 latency 却很低。这意味着仅依赖网关自身日志监控可能无法发现此类问题，因为日志记录的是请求处理内部耗时，而实际延迟可能发生在请求排队等待 CPU 资源阶段。运维人员需结合客户端侧或端到端监控来捕捉长尾抖动。
Prometheus 插件拉取机制的资源竞争本质
官方解释表明，exporter.collect 会消耗大量 CPU 时间片计算指标，新请求必须等待计算完成才能被处理。这并非网络或配置错误，而是插件在拉取瞬间与请求处理争抢 CPU 导致的排队。因此，停止周期性拉取或禁用插件即可消除抖动，说明问题具有明确的触发条件。
类似风险点：路由重建等操作也可能引发抖动
文章提到，除 exporter.collect 外，routes 数量很大时新增 route 导致重建 radixtree 等操作也可能造成类似现象。这提示运维者，APISIX 中某些重计算或重建操作可能短暂阻塞请求处理，在路由规模较大或频繁变更的场景下需留意延迟抖动。
临时规避与长期等待的权衡
官方已发起 prometheus 插件性能优化讨论，但优化版本尚未发布。在此期间，文章给出的方案是禁用插件或停止 Prometheus 周期性拉取。这意味着团队需在可观测性指标采集与网关延迟稳定性之间做取舍，或寻找替代监控手段，直到官方修复。
Q&A
APISIX网关偶尔出现高延迟，可能是什么原因导致的？
可能是Prometheus插件在拉取指标数据时消耗大量CPU资源，导致请求处理被阻塞，从而出现延迟抖动。
如何解决APISIX因Prometheus插件导致的延迟抖动问题？
可以禁用APISIX的Prometheus插件，或者停止Prometheus对APISIX数据的周期性拉取。
为什么Prometheus插件会导致APISIX请求延迟？
因为exporter.collect会消耗大量CPU时间片来计算指标数据，新的请求需要等待计算完成才能被处理。
除了Prometheus插件，还有哪些操作可能导致APISIX延迟抖动？
例如在routes数量很大时增加route导致重建radixtree等类似操作也可能引发延迟抖动。
APISIX官方对Prometheus插件的性能问题有什么进展？
官方已经发起了优化讨论（Issue #5755），正在改进Prometheus插件的性能，用户可等待优化版本。
在排查APISIX延迟问题时，有哪些值得注意的现象？
例如延迟飙升但APISIX日志记录的latency却很低；在现网环境部署Nginx代理无问题，容器内本地请求也会出现飙升，说明与网络无关。
