关于「日志采样」的一些思考及实践
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
系统日志对用户操作追踪和问题排查至关重要，但过量日志会影响性能。建议通过请求采样控制日志输出，在高吞吐量时降低采样比例，反之则提高。可通过封装组件实现请求线程与异步线程的日志采样一致性，降低业务系统改造风险。
🎯
关键要点
- 系统日志对用户操作追踪和问题排查至关重要。
- 过量日志会影响系统性能，尤其在高吞吐量时。
- 建议通过请求采样控制日志输出，动态调整采样比例。
- 可以通过封装组件实现请求线程与异步线程的日志采样一致性。
- 当前缺乏统一的日志框架，各团队使用不同的日志封装方式。
- 采样算法可以是随机或基于traceId取模，需考虑场景化采样。
- 扩展API应尽量减少业务系统的改动量。
- 需要保证全局请求traceId的一致性，避免日志混乱。
- 在处理大量错误日志时，需控制打印速率和磁盘IO。
- 促销交易正在进行相关技术改造，以实现请求线程的日志采样。
❓
延伸问答
为什么系统日志对用户操作追踪和问题排查很重要？
系统日志可以帮助追踪用户操作轨迹，并在异常情况下快速排查和定位问题。
过量日志对系统性能有什么影响？
过量日志会显著影响系统性能和磁盘IO，尤其在高吞吐量时问题尤为突出。
如何通过请求采样控制日志输出？
可以通过动态调整采样比例，在高吞吐量时降低采样比例，反之则提高。
如何实现请求线程与异步线程的日志采样一致性？
可以通过封装组件实现请求线程与异步线程的采样一致性，确保采样标识的跨线程透传。
当前各团队在日志框架上存在哪些问题？
缺乏统一的日志框架，各团队使用不同的日志封装方式，导致系统间缺乏协调。
在处理大量错误日志时应注意什么？
需要控制打印速率和磁盘IO，以避免系统性能下降。
➡️
