新鲜上下文：变更数据捕获，而非批量ETL
内容提要
本文探讨了变更数据捕获（CDC）如何解决AI代理因批量ETL导致的数据陈旧问题。通过实时监控数据库变更，CDC能将更新快速同步至代理上下文，将延迟从数小时降至秒级。文章引用加拿大航空聊天机器人错误案例，强调实时数据对代理准确性的重要性，并介绍Redis的CDC系统RDI，帮助代理基于最新数据行动，减少错误和商业风险。
延伸解读
从批量到流式：延迟的根源
文章指出，批量ETL的延迟是结构性的：作业按计划运行，数据间隔结束后才开始处理，导致数据陈旧。例如，Airflow的作业在数据间隔结束后才启动，即使每小时运行也有最多一小时的延迟。生产环境中，数据湖的滞后可达数小时甚至数天，而改用流式处理后，新鲜度从小时级降至分钟级。这意味着，对于需要实时响应的AI代理，批量管道本身的设计就决定了其无法提供最新数据。
代理的“行动”放大了陈旧数据的风险
与人类阅读报告不同，AI代理会基于上下文采取行动，如退款、报价、更新记录等。因此，陈旧上下文不仅导致错误回答，还会引发实际后果。文章引用加拿大航空案例：聊天机器人因引用过时政策，导致公司被裁定赔偿。这凸显了实时数据对代理的重要性——错误不再停留在屏幕上，而是转化为商业风险。
CDC的代价与权衡
CDC并非免费：基于日志的CDC需要配置复制槽、binlog、权限和保留策略，且通常采用至少一次投递语义，下游需处理重复事件。此外，CDC只解决源到上下文的同步，整体新鲜度仍受处理、向量生成、目标写入等环节影响。文章强调，CDC不能防止模型幻觉或对抗性提示，只是减少一种陈旧来源。
从案例看：新鲜数据并非万能
文章列举了Cursor和汽车经销商的聊天机器人事件，指出这些错误并非由数据陈旧直接导致，而是模型幻觉或对抗性提示的结果。这提醒读者，CDC虽能减少陈旧上下文，但无法解决所有代理错误。构建可靠的代理仍需结合其他措施，如验证机制和提示防护，不能仅依赖数据同步。
Q&A
什么是变更数据捕获（CDC）？
变更数据捕获（CDC）是一种保持系统同步的模式，它监控源数据库中的单个更改（插入、更新、删除），并将每个更改转发给需要它的系统，而不是按计划重新加载所有数据。
为什么批量ETL会导致AI代理使用过时数据？
批量ETL按固定时间表运行，例如每小时或每晚，处理自上次运行以来累积的数据。这导致数据延迟至少一个调度周期，例如每小时批处理增加最多一小时的延迟，而夜间批处理可能延迟数小时甚至数天。这种结构性延迟使得代理在行动时可能引用过时的数据。
加拿大航空聊天机器人案例说明了什么？
加拿大航空的聊天机器人向客户提供了错误的退款政策信息，导致公司被法庭裁定赔偿。该案例说明，代理基于过时或不正确的数据行动会产生法律和商业后果，公司需对其代理的言论负责。
CDC如何将数据延迟从小时级降低到秒级？
CDC通过持续监控数据库事务日志中的更改，并实时将更改事件转发到下游系统，避免了批量调度的等待时间。例如，LinkedIn的Databus实现了毫秒级端到端延迟，而RDI等系统可以在几秒内将更改应用到目标存储。
Redis Data Integration (RDI) 是什么？
RDI是Redis的CDC系统，它跟踪非Redis源数据库（如Oracle、PostgreSQL、MySQL等）中的更改，并将相应更改应用到Redis目标。它由基于Debezium的收集器、Redis Streams缓冲区和流处理器组成，通过YAML配置定义数据映射，无需编码。
使用CDC有哪些工程成本或注意事项？
CDC并非免费，需要源特定的设置，如复制槽、binlog配置、权限和保留策略。此外，基于日志的CDC通常提供至少一次交付语义，意味着更改可能偶尔被多次传递，下游消费者需要处理重复。
CDC能完全防止AI代理产生幻觉吗？
不能。CDC可以减少因数据陈旧导致的错误，但无法防止模型幻觉或对抗性提示。文章指出，新鲜数据本身并不能防止这些现象，但可以减少因过时上下文导致的错误。
如何开始使用RDI来改善代理的实时数据？
可以免费试用Redis，并将RDI指向现有数据库，以测试实时上下文管道。也可以与Redis团队联系，设计针对代理的实时上下文管道。
