数据处理主要有两种方法：批处理和流处理。批处理在数据完整后进行计算，适合处理完整数据集；流处理则实时处理不断到来的数据，优先考虑速度。两者在完整性和延迟之间存在权衡，流处理需要估算数据到达情况。

香港交易及结算所与金融管理局于2026年6月18日启动了衍生品收市后数码港元试点，首次在复杂衍生品场景中应用央行数字货币（CBDC）进行预缴按金支付。

动态批处理通过实时组合多个推理请求，提高GPU利用率并减少延迟。语义缓存在请求到达推理队列前识别并重用相似查询的响应，从而降低成本和延迟。Redis为AI工作负载提供高效的实时数据平台，优化推理性能。

数据管道架构是设计数据从源系统到应用和模型的过程，包括数据的收集、处理、存储和交付。架构分为逻辑设计和物理设计，定义数据流动的步骤和工具。数据管道可分为批处理和流处理，适用于不同用例。现代平台如Databricks通过Lakeflow统一这两种处理方式，简化架构，提高数据的可靠性和可用性。

本文探讨了通过动态调度和不规则批处理提高大语言模型（LLM）推理效率的方法。动态调度允许在每个解码步骤后立即接收新请求，避免了静态批处理中短请求等待长请求的问题，从而减少GPU资源浪费。不规则批处理通过合并多个提示，减少填充令牌的浪费，进一步提升推理速度。最终，连续批处理显著提高了LLM的推理效率。

在编写数据管道代码前，需要选择批处理或流处理。批处理适合处理历史数据，适用于数据新鲜度要求低的场景；流处理则适合实时需求。选择时需考虑数据新鲜度、处理复杂性和操作能力。混合架构（如Lambda和Kappa）结合了两者的优点，适应不同场景。理解这两种模式有助于选择合适的解决方案。

数据管道通过收集、处理和交付数据，解决数据孤岛问题，支持自动化、灵活性和实时分析。批处理适用于不需实时数据的场景，而流处理则用于需要即时反应的应用，如欺诈检测。数据管道架构包括数据收集、摄取、准备和消费，确保数据高效流动。

随着大型语言模型的发展，Kubernetes成为智能系统的重要平台。新功能如Volcano v1.14、Kthena v0.3.0和AgentCube提升了资源调度效率，简化了大模型部署，并支持异构自动扩展，推动AI基础设施进步。

在构建软件系统时，确保高吞吐量至关重要。吞吐量是指系统在特定时间内完成的工作量，与延迟不同。高吞吐量意味着在相同时间内处理更多事务，但可能导致延迟增加。通过批处理可以提高吞吐量，但会增加等待时间。本文探讨了构建高效系统的基本概念和策略。

声明式管道通过意图驱动的方式构建批处理和流处理工作流，减少自定义代码，支持可重复的工程模式。随着数据使用的增长，管道数量增加，元编程通过结构化模板解决维护和一致性问题。DLT-META项目自动化管道创建，简化数据源添加和逻辑更新，提高开发效率和一致性。

Kubernetes v1.35引入了.spec.managedBy字段，支持外部Job控制器管理Job调度，适用于多集群批处理架构。管理集群负责调度，工作集群执行任务，用户可实时查看Job进度，推动Kubernetes批处理生态系统标准化。

Voyage AI通过批处理技术提高嵌入模型的推理效率，采用去填充和基于令牌计数的策略，显著降低GPU推理延迟，提升吞吐量和资源利用率。实验表明，GPU推理延迟减少50%，在资源争用情况下，延迟更为稳定。

批处理是现代工作流编排的核心，支持关键业务和AI工作负载。它与流处理互补，选择处理方式应基于业务需求，而非技术趋势。

批处理是一种持续的工作流编排，旨在优化正确性、完整性和吞吐量。现代批处理可事件驱动，支持复杂的多步骤依赖，并可实现24/7运行。它与流处理互补，适用于需要时间关联和高吞吐量的业务场景。成功实施需关注平台工程与自助服务的平衡，以及人机协作。