亚马逊AWS官方博客
·
探索 Amazon EMR HBase 托管 WAL workspaces 新功能
💡
原文中文，约6300字，阅读约需15分钟。
📝
内容提要
Amazon EMR是云大数据解决方案，适用于PB级数据处理、交互分析和机器学习。EMR HBase on S3模式推出了托管的WAL workspaces功能，实现数据恢复。测试结果表明，开启WAL功能的EMR HBase on S3集群可以从托管的WAL workspace恢复数据。建议对数据一致性要求高的用户升级到高版本EMR并开启此功能。
🎯
关键要点
- Amazon EMR 是云大数据解决方案，适用于 PB 级数据处理、交互分析和机器学习。
- EMR HBase 有两种模式：EMR HBase on HDFS 和 EMR HBase on S3。
- WAL（Write Ahead Log）提供高并发、持久化的日志保存与回放机制，主要用于灾难恢复。
- EMR HBase on S3 模式在 EMR 6.15 版本之前，WAL 日志存储在 HDFS 上，数据恢复存在风险。
- EMR 6.15 版本后推出托管的 WAL workspaces 功能，支持数据恢复。
- 测试模拟 EMR 集群意外终止情况，比较开启和关闭 WAL 功能的数据一致性。
- 关闭 WAL 功能时，数据恢复不一致，部分数据丢失。
- 开启 WAL 功能时，数据恢复一致，完整保留 WAL 日志。
- 建议对数据一致性要求高的用户升级到高版本 EMR 并开启 WAL 功能。
❓
延伸问答
Amazon EMR HBase 的 WAL 功能是什么？
WAL（Write Ahead Log）是 HBase 的一种日志机制，用于高并发、持久化的日志保存与回放，主要用于灾难恢复。
EMR HBase on S3 模式在 EMR 6.15 版本之前的数据恢复有什么风险？
在 EMR 6.15 版本之前，WAL 日志存储在 HDFS 上，若用户误删除或集群意外终止，未及时 Flush 成 HFile 的数据无法恢复。
开启 WAL 功能后，数据恢复的效果如何？
开启 WAL 功能后，数据恢复一致，完整保留 WAL 日志，确保数据在集群意外终止时可以完全恢复。
为什么建议对数据一致性要求高的用户升级到高版本 EMR？
建议升级到高版本 EMR 并开启 WAL 功能，以确保在集群意外终止时数据可以从托管的 WAL workspace 完全恢复，保持数据一致性。
EMR HBase on S3 模式的优势是什么？
EMR HBase on S3 模式通过将计算与存储分离，利用 Amazon S3 作为数据存储，提供更高的灵活性和可扩展性。
如何测试 EMR HBase 的 WAL 功能？
可以通过创建 EMR 集群，分别开启和关闭 WAL 功能，使用 YCSB 向 HBase 写入数据，然后模拟集群意外终止，比较恢复后的数据一致性。
➡️
