使用阿里云服务器做Hadoop多节点部署有哪些注意事项？

在阿里云服务器上部署 Hadoop 多节点集群，与在本地物理机或传统虚拟机上部署有显著不同。主要挑战在于网络隔离、存储性能、安全组配置以及云服务的特殊性。

以下是关键的注意事项，分为 基础设施规划、网络与安全、存储与性能、系统配置 和 运维管理 五个维度：

一、基础设施规划

1. 实例选型

• 计算型 vs 内存型：Hadoop NameNode 和 ResourceManager 对内存要求较高，建议使用 内存优化型（如 r 系列）。DataNode 和 NodeManager 需要大量 CPU 和磁盘 I/O，建议选择 通用型或计算增强型（如 c 系列或 g 系列）。
• 避免单点故障：生产环境建议至少 3 个 DataNode，且最好分布在不同的可用区（AZ）以提高容灾能力。

2. 操作系统选择

• 推荐使用 CentOS 7/8 或 Aliyun Linux（阿里云基于 CentOS 优化的发行版），兼容性更好，内核针对云环境优化。
• 确保安装的是 64 位 版本。

二、网络与安全组（最关键！）

Hadoop 严重依赖节点间通信，阿里云的安全机制容易导致“通不了”的问题。

1. 安全组规则（Security Groups）

必须手动开放以下端口（根据实际版本调整）：

• SSH (22)：用于远程管理。
• NameNode HTTP (50070) / HTTPS (50470)：Web UI 访问。
• NameNode RPC (8020 或 9000)：客户端连接 NameNode。
• ResourceManager Web UI (8088)。
• YARN ResourceManager RPC (8032, 8030, 8031, 8033)。
• DataNode RPC (50020)。
• MapReduce JobHistory Server (19888)。
• 自定义端口：如果你修改了 core-site.xml 或 hdfs-site.xml 中的默认端口，务必同步开放。

✅ 最佳实践：创建一个专门的安全组，仅允许内网 IP 段互相访问这些端口，外部访问限制为特定 IP 或通过跳板机。

2. 私网 IP vs 公网 IP

• 所有 Hadoop 通信必须使用内网 IP（Private IP）。
• 不要将公网 IP 写入 etc/hosts 或配置文件。
• 确保所有节点在同一 VPC 内，或使用经典网络互通。

3. 主机名解析（/etc/hosts）

• 在每个节点的 /etc/hosts 中，添加所有节点的 内网 IP 与主机名映射。
• 示例：

  172.16.0.10   master-node
  172.16.0.11   data-node-1
  172.16.0.12   data-node-2

• 确保 hostname -f 返回的是完全限定域名（FQDN），且能 ping 通其他节点。

三、存储与性能优化

1. 数据盘分离

• 系统盘：只装 OS 和 Hadoop 软件包。
• 数据盘：挂载额外的云盘（ESSD 推荐）用于存放 HDFS 数据块（dfs.data.dir）。
• 原因：系统盘 IO 有限，且重启后数据盘可独立备份/快照，避免误删系统导致数据丢失。

2. 文件系统格式

• 数据盘建议使用 XFS 或 Ext4。
• XFS 在处理大文件和高并发小文件时表现更佳，适合 HDFS。
• 挂载时添加参数：noatime,nodiratime 减少元数据更新开销。

3. 磁盘 RAID

• 如果单个云盘 IO 不足，可在服务器内部做软 RAID 0（提升速度但无冗余）或 RAID 1（冗余但降速）。
• 更推荐的做法是：使用多个 ESSD 云盘，通过 LVM 或 mdadm 聚合，或直接让 HDFS 管理多个目录指向不同云盘。

4. 关闭 NUMA 平衡（可选）

• 对于高性能场景，建议在 BIOS 或内核启动参数中禁用 NUMA 平衡，以避免跨 NUMA 节点内存访问延迟。

四、系统配置调优

1. 关闭防火墙

• 阿里云安全组已承担防火墙功能，建议在每台服务器上执行：

  systemctl stop firewalld
  systemctl disable firewalld

  （如果使用 iptables 则相应操作）

2. 禁用 SELinux

• Hadoop 对 SELinux 敏感，可能导致权限错误。

  setenforce 0
  sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

3. 调整文件句柄数

• Hadoop 需要大量文件描述符。
  • 编辑 /etc/security/limits.conf：

  • soft nofile 65536
  • hard nofile 65536
  • soft nproc 65536
  • hard nproc 65536

  • 重新登录生效。

4. 时间同步（NTP）

• Hadoop 对时钟漂移非常敏感，尤其是 Kerberos 认证和 TaskTracker 心跳。
• 所有节点必须配置 NTP 服务，同步到阿里云内部时间源（如 ntp.aliyun.com）。

5. Swap 分区

• 强烈建议禁用 Swap。

  swapoff -a
  # 并在 /etc/fstab 中注释掉 swap 行

• Hadoop 使用堆外内存管理，Swap 会导致 GC 停顿和数据交换，严重影响性能。

五、Hadoop 配置关键项

1. 使用内网 IP 配置

• 在 core-site.xml 和 hdfs-site.xml 中，确保所有地址使用 内网 IP 或 主机名（需正确解析）。
• 示例：

  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master-node:9000</value> <!-- 使用主机名或内网IP -->
  </property>

2. SSH 免密登录

• 配置从 Master 到其他所有节点（包括自身）的 SSH 免密登录。
• 测试：ssh data-node-1 date 应无需密码即可执行。

3. Java 环境

• 使用 Oracle JDK 或 OpenJDK 1.8+。
• 确保所有节点 Java 路径一致，并设置 JAVA_HOME 环境变量。

4. 带宽与流量成本

• 内网传输免费：HDFS 内部读写走内网，不产生费用。
• 网络上传下载收费：用户从互联网上传数据到 OSS 或 HDFS 会收取流出流量费。
• 建议：前端接入层（如 Spark Submit、Client）尽量在内网运行，或通过 ECS 内网访问 Hadoop。

六、运维与高可用建议

1. 快照备份

• 定期为系统盘和数据盘创建快照，防止误操作或勒索病毒。
• 可使用阿里云“云助手”或 Ansible 进行批量命令下发。

2. 监控告警

• 启用阿里云云监控（CloudMonitor），监控：
  • CPU、内存、磁盘使用率
  • 网络流入/流出
  • 云盘 IO 利用率
• 设置阈值告警（如磁盘使用 > 80% 触发短信/邮件）。

3. 高可用（HA）架构

• NameNode HA：使用 ZooKeeper + JournalNode 实现双 NameNode 热备。
• ResourceManager HA：同样支持双 RM 热备。
• 避免单点故障，否则 NameNode 宕机整个集群不可用。

4. 弹性伸缩（进阶）

• 结合阿里云 EAS（Elastic Algorithm Service）或自定义脚本，根据负载自动增减 DataNode 数量。
• 注意：动态扩缩容需要配合 YARN 和 HDFS 的动态配置加载。

总结 checklist

遵循以上注意事项，可以大幅降低在阿里云上部署 Hadoop 的成功门槛，并提升集群稳定性和性能。