如何利用Elastic Cloud与Google Cloud构建全面的客户财务档案
内容提要
本文介绍如何利用Elastic Cloud与Google Cloud构建全面的客户财务档案。通过Mainframe Connector将数据从大型机迁移至BigQuery，进行数据处理与丰富，再借助Dataflow将数据导入Elastic Cloud，实现快速搜索与关联分析。该架构支持客户360度视图、欺诈检测、成本优化等用例，并提供了降低CPU消耗的远程转码方案。
延伸解读
架构核心：从大型机到云端的无缝数据管道
该方案通过Mainframe Connector将大型机数据迁移至BigQuery，再经Dataflow导入Elastic Cloud，形成完整的ELT管道。关键点在于，整个流程可由大型机批处理作业直接触发，无需外部调度器，实现了云编排的自动化。这种设计降低了数据访问成本，同时保留了大型机的现有投资，为金融机构提供了一条渐进式上云路径。
性能优化：远程转码与硬件加速
针对大型机CPU消耗问题，文章提出两种优化方案：一是将ORC转码任务卸载至Compute Engine VM上的gRPC服务，显著减少CPU占用；二是对于日传输量超500GB的场景，建议采用FICON硬件设备与Interconnect直连，消除数据传输的CPU瓶颈。这些措施对于控制大型机工作负载成本至关重要，尤其适合生产级大数据量迁移。
业务价值：从客户360到欺诈检测
该架构支持多种业务用例，如客户360度视图、实时欺诈检测和成本优化。通过关联交易数据与客户档案，银行能快速识别异常交易模式，甚至发现跨机构的欺诈团伙。此外，实时仪表盘可展示1.2亿笔交易的分布，帮助银行洞察客户行为，优化营销和产品创新。这些能力直接提升了客户体验和风险管理水平。
Q&A
如何利用Elastic Cloud和Google Cloud构建客户财务档案？
通过Mainframe Connector将数据从大型机迁移到Google Cloud的BigQuery，在BigQuery中进行数据处理和丰富，然后使用Dataflow将数据导入Elastic Cloud，实现快速搜索和关联分析，从而构建全面的客户财务档案。
Mainframe Connector在数据迁移中扮演什么角色？
Mainframe Connector运行在z/OS批处理作业中，能够读取大型机数据集，将其转码为ORC格式，上传到Cloud Storage，并注册为外部表或加载为本地表，然后通过MERGE或SELECT语句将数据upsert或追加到BigQuery表中，实现初始批量迁移和增量更新。
如何将BigQuery中的数据导入Elastic Cloud？
使用Dataflow服务，配置Elasticsearch Flex模板，创建流式管道，将BigQuery中的数据导入Elastic Cloud。
该架构支持哪些业务用例？
支持客户体验优化、客户360度视图、合作伙伴管理、成本优化和风险降低等用例，例如实时仪表盘、欺诈检测和警报。
如何降低大型机CPU消耗？
通过远程转码方案，将ORC文件转码任务委托给Compute Engine VM上的gRPC服务，减少Mainframe Connector批处理作业的CPU使用。对于超过500GB日传输量的工作负载，可使用FICON和Interconnect硬件设备进行数据传输。
如何从大型机作业触发云端的Dataflow管道？
可以在z/OS批处理作业中直接调用gcloud dataflow flex-template run命令，或者通过gcloud pubsub topics publish发送消息，触发Cloud Build Pipeline或Eventarc，进而启动Dataflow模板。
