在阅读了unsloth的博客《手动自动求导》后,我尝试解析模型,发现了更多的优化点。torchview是一个很好的类似工具。
性能优化是降低成本的手段之一,通过合理利用资源、发现需要优化的点和改造代码实现优化。常用工具包括Sentinel、Arthas和天巡。优化点包括算法使用、日志打印、包装类型、循环调用、字符串处理、集合类扩容、热点计算压力和外部依赖优化。影响性能的因素包括机型、编排方式和应用链路。数据库和缓存的优化包括合理利用缓存、清理数据、调整索引和利用聚合特性。通过分析系统资源开销和排查问题的方式定位问题。
完成下面两步后,将自动完成登录并继续当前操作。