京东科技开发者

京东科技开发者 -

定时任务优化总结(从半个小时优化到秒级)

通过本次优化让我收获许多,最大的收获是让我深刻明白了,对于编码人员,要时刻考虑资源的消耗。举个不太恰当的栗子,假如每个人在工程里都顺手打印一行无效日志,随着时间的积累整个工程都会到处打印在无效日志。毫不夸张的讲,或许只是因为你多打印了一行log.info日志,在请求量猛增达到一定程度时都会导致机器和应用的不良连锁反应。建议大家在开发的时候在关键点加上关键日志,并且合理利用Debugger,结合ducc进行动态日志调整排查问题。上面只是本次定时任务优化的大概方向,中间也踩了一些其他的坑,在这里就不在赘述。

本文介绍了一个站外广告投放平台在优化定时任务过程中遇到的问题和解决方案,包括按需查询、分批次游标查询、按数据库分片分组更新、精准定位数据等。通过引入定时任务和优化查询方式,减少了数据库交互次数和任务执行时间。同时,通过冗余数据和按时间戳查询的方式,减少了无效数据查询和计算。最后,通过分发任务到不同机器上执行,消除了单台机器CPU不稳定的问题。优化后,CPU利用率和查询次数都有明显改善。

CPU利用率改善 分片分组更新 定时任务优化 总结 查询优化 站外广告投放平台

相关推荐 去reddit讨论

热榜 Top10

观测云
观测云
Dify.AI
Dify.AI
eolink
eolink
LigaAI
LigaAI

推荐或自荐