使用函数计算,数禾如何实现高效的数据处理?

💡 原文中文,约2900字,阅读约需7分钟。
📝

内容提要

数禾科技为金融机构提供智能零售金融解决方案,重构数据处理链路,采用阿里云函数计算实现高可用、易升级、低维护的解决方案。函数计算通过Kafka触发器和定时触发器,提供开发效率、弹性、升级部署、费用成本等优势。数禾运维团队希望进一步优化异步调用和文件锁的处理,扩展函数计算方案。

🎯

关键要点

  • 数禾科技为金融机构提供智能零售金融解决方案,服务多个金融领域。

  • 数禾科技的产品包括还呗、还享花和小店邦,产生大量应用日志。

  • 当前数据处理效率低,需重构任务处理链路以提高效率和降低成本。

  • 自建方案存在任务开发成本高、链路弹性有限、资源利用率低等问题。

  • 阿里云函数计算提供高可用、易升级、低维护的解决方案,适合数禾的需求。

  • 函数计算通过Kafka触发器和定时触发器实现数据处理,提升开发效率和资源利用率。

  • 落地过程中发现函数计算的同步和异步调用存在资源浪费和文件锁问题。

  • 通过Redis处理文件锁问题,优化了数据写入性能,提升了整体可控性。

  • 数禾运维团队在运维投入上几乎达到了0运维,功能迭代快速完成。

  • 未来将更多业务采用函数计算方案,专注于核心业务,减少运维负担。

➡️

继续阅读