小令童鞋
·
3.3.1-3.4.1兼容性分析
💡
原文中文，约15900字，阅读约需38分钟。
📝
内容提要
Hadoop 3.4.1相较于3.3.1版本，主要改进包括AWS SDK升级、ABFS增强、HDFS新特性及YARN改进，同时更新了安全性和依赖版本，移除了多个功能。升级时需注意依赖兼容性，特别是Protocol Buffers的重大变化。
🎯
关键要点
- Hadoop 3.4.1相较于3.3.1版本，主要改进包括AWS SDK升级、ABFS增强、HDFS新特性及YARN改进。
- AWS SDK版本从V1升级到V2，S3 Select支持已移除，新增fs.s3a.classloader.isolation选项。
- ABFS增强，HTTP客户端支持Apache HttpClient，Manifest Committer默认提交器。
- HDFS新特性包括动态重配置DataNode参数和细粒度锁机制。
- YARN改进包括动态队列ACL处理和调度器优化。
- 安全性和依赖版本更新，修复多个CVE漏洞。
- 移除了hadoop-openstack模块、HTrace追踪和S3 Select等功能。
- Protocol Buffers版本从2.5升级到3.23，存在不兼容问题，需统一升级。
- Log4j版本从1.x迁移到reload4j，需验证配置。
- Jackson 1.x完全移除，统一使用Jackson 2.12.7，需检查第三方依赖。
- Netty版本从3.x/4.0.x升级到4.1.77，需修改包名和API调用。
- Bouncy Castle版本升级至1.77，需检查安全提供者配置。
- snappy-java版本从1.1.7.x升级到1.1.8.2，内置原生库，简化跨平台支持。
- 迁移建议包括检查依赖兼容性、更新Maven依赖和验证功能。
➡️
