How UTS established a modern curriculum data services foundation on AWS

How UTS established a modern curriculum data services foundation on AWS

💡 原文英文,约2100词,阅读约需8分钟。
📝

内容提要

悉尼科技大学在AWS上构建课程数据服务平台,采用领域驱动设计,将课程数据作为受治理资产。架构分为边缘、摄取、持久化、应用和接口五层,使用MSK、Neptune、OpenSearch、Lambda等无服务器服务。2024年11月上线后零事故,变更平均1.6秒可用,一名工程师即可运维,显著降低成本并提升复用性。

🔎

延伸解读

领域驱动设计:从系统集成到数据资产治理

UTS将课程数据视为受治理的资产,而非应用副产品。通过领域驱动设计,数据服务与业务域对齐,每个数据产品有明确的所有权、消费者、质量期望和接口契约。这避免了数据所有权和验证责任从权威系统迁移到非权威服务,确保了数据治理的清晰边界。

五层架构与无服务器服务的协同

架构分为边缘、摄取、持久化、应用和接口五层。边缘层使用API Gateway和Lambda适配器接收变更事件;摄取层用MSK Serverless作为持久事件骨干;持久化层用Neptune存储图关系、OpenSearch支持检索;应用层用Lambda提供可复用服务;接口层通过REST、GraphQL和事件推送暴露能力。各层职责分离,无服务器服务按需扩展。

可量化的运营成效与成本优化

自2024年11月上线以来,平台实现零生产事故,变更平均1.6秒内可用,一名工程师即可运维。11个机构消费者采用服务,替代了定制点对点集成。成本上,整合了原先分散的商业产品、定制集成和数据库,显著降低总拥有成本,同时保持高可用性和弹性。

可复用的模式与未来扩展

课程域验证了生产架构和运营模式后,学生数据域已跟进,学习活动域正在准备中,将基于Neptune构建终身学习者图。每个有界上下文可选择适合的AWS服务,同时保留身份、安全、可观测性等通用控制,形成可重复的机构数据治理模式。

❓

Q&A

悉尼科技大学(UTS)为什么要在AWS上构建课程数据服务平台?

UTS的集成环境变得日益复杂和昂贵,关键教学能力依赖多个供应商平台,数据模型、接口和扩展性各异。UTS ITU希望消除权威数据与依赖它的教学、学习和数字服务之间的障碍,因此利用AWS的托管、弹性和无服务器能力,减少无差别的运维工作,提高容错性,建立可持续的受治理数据服务模式。

UTS的课程数据服务架构分为哪几层?各层的主要职责是什么?

架构分为五层:边缘层、摄取层、持久化层、应用和业务逻辑层、接口层。边缘层是受控入口,接收课程变更事件并封装为CloudEvent;摄取层使用Amazon MSK Serverless作为持久事件主干;持久化层使用Amazon Neptune Serverless存储图关系,Amazon OpenSearch Service存储文档和向量;应用层通过Lambda服务将物化数据转化为可复用能力;接口层提供REST、GraphQL和事件推送。

UTS如何确保课程数据作为受治理资产进行管理?

UTS ITU采用领域驱动设计,按照CAUDIT高等教育参考模型(HERM)定义业务域,将数据服务与业务域对齐而非与应用程序对齐。每个数据产品有明确的归属、消费者、质量期望、接口契约和生命周期管理。课程管理SaaS系统仍是记录系统,数据域不重新解释或验证课程数据,保持源保真度。

UTS课程数据服务上线后取得了哪些可衡量的成果?

自2024年11月生产上线以来,零生产事故;变更平均1.6秒内对下游消费者可用;建模了约800个学习项目、3500个学习单元和2500个学习领域之间的43,794个关系;11个机构消费者采用;一名工程师即可运维;显著降低了课程数据集成和交付的总拥有成本;在上游记录系统不可用时仍能保持下游访问。

UTS如何实现课程数据的语义搜索和多语言检索?

在持久化层,选定的数据处理器(Lambda函数)通过Amazon Bedrock调用嵌入模型,将相关课程文本的向量表示追加到Amazon OpenSearch Service中。OpenSearch提供精确查找、过滤、文档检索以及k近邻向量搜索,使课程可以通过语义相似性而非词汇巧合被发现。UTS还针对英语课程内容验证了多语言检索。

UTS课程数据服务如何保证高可用性和弹性?

架构采用无状态执行、异步通信、专用持久化和可独立恢复的组件,避免紧耦合的故障域。Amazon MSK Serverless按需扩展,持久化层中Neptune和OpenSearch独立且最终一致,一个物化失败不会阻塞另一个。Lambda函数可独立重试和重新调用。平台持续运行,即使上游记录系统不可用,下游仍可访问可信课程信息。

UTS在课程数据域之后计划扩展哪些数据域?

课程数据域验证了生产架构和运营模式后,学生数据域已经跟进,提供学生档案、招生、录取、注册等信息的单一受治理访问点。UTS目前正在准备学习活动域,这是一个围绕终身学习者图谱构建的更大能力,使用Amazon Neptune和Amazon Neptune Analytics,将相同的领域驱动模式扩展到教学和学习领域。

🏷️

标签

➡️

继续阅读