CSIRO如何在AWS上构建可扩展且成本优化的基因组变异查询系统
内容提要
CSIRO在AWS上构建了无服务器基因组变异查询方案sBeacon，实现GA4GH Beacon标准。该方案基于S3、Lambda、DynamoDB和Athena，可直接读取VCF文件，无需数据转换，支持亿级人群规模，查询约5秒返回，千基因组规模月成本约0.4美元。采用零信任安全模型和RBAC分级访问，数据保留在原机构，支持联邦查询，降低参与门槛。
延伸解读
无服务器架构如何实现低成本与高扩展
sBeacon 基于 S3、Lambda、DynamoDB 和 Athena 等无服务器服务构建，无需预置或管理服务器。这种架构使其能够弹性扩展至数亿人群规模，同时成本极低：千基因组规模数据集月成本约 0.4 美元。查询延迟约 5 秒，且查询时间不随返回变异数量增加而显著变化，适合大规模队列研究。
数据不移动：隐私保护与联邦查询的关键
sBeacon 不复制原始 VCF 文件，而是通过索引和元数据实现查询。数据保留在原机构的 S3 存储桶中，查询时仅读取所需区域，原始序列字节不经过 Lambda 内存。这种设计支持联邦查询，各机构独立部署，无中心数据湖，降低了数据共享的隐私和合规风险。
零信任安全与分级访问控制
sBeacon 采用零信任模型，每个 API 请求需通过 Cognito 验证 JWT。授权在 Lambda 层执行，基于 Cognito 组实现 RBAC，分为布尔、计数、记录和管理员四个披露层级。用户只能获取其权限范围内的数据粒度，例如布尔层仅返回存在性，不暴露样本细节。
实际部署的注意事项与限制
部署 sBeacon 需使用 Terraform 和 Docker 环境。需注意：全基因组范围查询会因 API Gateway 超时而失败；突发查询可能耗尽账户并发池，需监控 ConcurrentExecutions 和 Throttles 指标；同步 Lambda 调用在节流时不会自动重试，可能导致结果丢失。冷启动可能增加延迟，可启用预置并发缓解。
Q&A
CSIRO的sBeacon是什么？它基于哪些AWS服务构建？
sBeacon是CSIRO构建的可扩展无服务器基因组变异查询方案，实现了GA4GH Beacon标准。它基于Amazon S3、AWS Lambda、Amazon DynamoDB和Amazon Athena构建。
sBeacon在成本和性能方面有哪些优势？
sBeacon运行成本低，千基因组规模数据集每月约0.4美元；查询响应快，约5秒返回结果；支持亿级人群规模，且无需数据转换，可直接读取VCF文件。
sBeacon如何保障基因组数据的安全和隐私？
sBeacon采用零信任安全模型，包括显式认证、最小权限访问、临时计算隔离和云原生边界控制。通过Cognito组实现RBAC分级访问，数据保留在原机构，支持联邦查询，原始VCF字节不离开源S3桶。
sBeacon的数据查询流程是怎样的？
用户通过API Gateway提交查询，Microservice Lambda查找本体术语，查询Athena元数据表，必要时调用Variant Querying Module。该模块通过Initiator Lambda扇出splitQuery和performQuery，从S3获取VCF文件并返回结果，最终按Beacon协议格式化返回。
sBeacon在1000基因组数据集上的性能表现如何？
在1000基因组项目1号染色体（2504个样本）上，sBeacon可在18秒内完成数据摄取，成本低于1美分；查询1万个碱基对区域约需1.52秒，成本0.00013美元；查询时间基本恒定，不随返回变异数量增加而显著变化。
部署sBeacon需要哪些前提条件？
需要克隆terraform-aws-serverless-beacon仓库，确保开发环境包含Docker并具有相应权限。在VS Code中通过命令面板选择Reopen in Container，然后运行init.sh初始化库和Lambda层，再运行terraform init和terraform apply进行部署。
sBeacon如何处理数据摄取和索引？
数据摄取时，用户提交基因组数据位置，Lambda函数处理索引，元数据以ORC格式写入S3，调用Ontoserver构建本体索引，通过Athena CTAS查询构建元数据表并写回S3。基因组数据不被复制，仅创建索引文件以支持随机访问。
sBeacon的RBAC分级访问控制是如何实现的？
sBeacon通过Cognito组实现RBAC，映射到不同披露层级：boolean-access组仅返回存在性，count-access组返回聚合计数，record-access组返回完整变异详情和样本名称，admin组可管理数据集。JWT携带组声明，查询Lambda根据请求粒度计算并返回相应数据。
