小令童鞋
·
3.3.1-3.4.1兼容性分析
💡
原文中文，约15900字，阅读约需38分钟。
📝
内容提要
Hadoop 3.4.1相较于3.3.1版本，主要改进包括AWS SDK升级、ABFS增强、HDFS新特性及YARN改进，同时更新了安全性和依赖版本，移除了多个功能。升级时需注意依赖兼容性，特别是Protocol Buffers的重大变化。
🎯
关键要点
- Hadoop 3.4.1相较于3.3.1版本，主要改进包括AWS SDK升级、ABFS增强、HDFS新特性及YARN改进。
- AWS SDK版本从V1升级到V2，S3 Select支持已移除，新增fs.s3a.classloader.isolation选项。
- ABFS增强，HTTP客户端支持Apache HttpClient，Manifest Committer默认提交器。
- HDFS新特性包括动态重配置DataNode参数和细粒度锁机制。
- YARN改进包括动态队列ACL处理和调度器优化。
- 安全性和依赖版本更新，修复多个CVE漏洞。
- 移除了hadoop-openstack模块、HTrace追踪和S3 Select等功能。
- Protocol Buffers版本从2.5升级到3.23，存在不兼容问题，需统一升级。
- Log4j版本从1.x迁移到reload4j，需验证配置。
- Jackson 1.x完全移除，统一使用Jackson 2.12.7，需检查第三方依赖。
- Netty版本从3.x/4.0.x升级到4.1.77，需修改包名和API调用。
- Bouncy Castle版本升级至1.77，需检查安全提供者配置。
- snappy-java版本从1.1.7.x升级到1.1.8.2，内置原生库，简化跨平台支持。
- 迁移建议包括检查依赖兼容性、更新Maven依赖和验证功能。
❓
延伸问答
Hadoop 3.4.1相比于3.3.1有哪些主要改进？
Hadoop 3.4.1主要改进包括AWS SDK升级、ABFS增强、HDFS新特性及YARN改进，同时更新了安全性和依赖版本，移除了多个功能。
在升级到Hadoop 3.4.1时需要注意哪些依赖兼容性问题？
需要注意Protocol Buffers的重大变化，确保所有依赖统一升级，特别是Protocol Buffers版本从2.5升级到3.23，存在不兼容问题。
Hadoop 3.4.1中移除了哪些功能？
移除了hadoop-openstack模块、HTrace追踪、S3 Select等功能。
Hadoop 3.4.1对安全性做了哪些更新？
Hadoop 3.4.1更新了安全性，修复了多个CVE漏洞，并更新了依赖版本。
Hadoop 3.4.1中Protocol Buffers的变化对兼容性有什么影响？
Protocol Buffers从2.5升级到3.23，导致Java类不兼容，所有依赖Hadoop RPC通信的组件必须统一升级，不能混合版本运行。
如何验证Hadoop 3.4.1的Log4j配置？
需要测试关键日志输出，并确保更新Maven依赖到reload4j，同时排除旧的log4j依赖。
➡️
