DEV Community
·
软件工程师如何让他们的软件运行得更快
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
上周，我优化了一个插入脚本。原脚本逐行插入4,000条记录需20分钟，通过批量插入和改进错误处理，我将时间缩短至2-3秒。关键在于理解问题并优化策略。
🎯
关键要点
- 上周，我被分配了一个任务，优化插入脚本以加快速度。
- 原脚本逐行插入4,000条记录需20分钟，效率极低。
- 怀疑的原因包括延迟和磁盘使用，但并未发现数据库性能问题。
- 发现4,000个单独插入会导致瓶颈，事务速度仅为每秒1.78次。
- 研究后发现批量插入更高效，但存在错误风险。
- 原开发者选择单独插入以避免批量插入的风险。
- 单独插入导致性能下降，因为每次插入都需要单独事务和频繁的磁盘I/O。
- 我决定使用批量插入并改进错误处理，实施缓存系统以检查消费者信息。
- 使用INSERT ... ON CONFLICT DO NOTHING ... RETURNING ref来处理错误，确保批量插入不会完全失败。
- 通过这些改进，处理时间从20分钟缩短至2-3秒。
- 理解问题并优化策略是成功的关键。
➡️
