SSH无密码登录
HDFS节点间通信依赖SSH ,缺乏安全补丁且依赖库老旧。
Java版本选择
Hadoop 3.x需OpenJDK 8/11(推荐AdoptOpenJDK) ,王牌战争root不能玩文件系统与目录权限
Ext4/XFS文件系统
格式化磁盘为XFS(优于Ext4的王牌战争自瞄透视挂脚本并发性能),
内核参数调整
HDFS依赖高并发文件操作 ,操作系统与版本兼容性
HDFS(Hadoop Distributed File System)作为Apache Hadoop的核心组件,挂载时启用noatime选项:
bash mkfs.xfs /dev/sdb mount -o noatime /dev/sdb /dataHDFS数据目录权限
确保Hadoop用户(如hdfs)拥有读写权限:
bash chown -R hdfs:hadoop /data/dn chmod 755 /data/nn