Skip to content

DeployCommand.md

Latest commit

 

History

History
277 lines (225 loc) · 4.56 KB

DeployCommand.md

File metadata and controls

277 lines (225 loc) · 4.56 KB
Raw

Hadoop集群搭建命令行汇总

一、系统配置与网络设置

1. 进入root权限

su

2. 编辑网卡配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

3. 重载网络配置

/etc/init.d/network restart

4. 检查网络配置

ifconfig

5. 测试网络连通性

ping wl621.com

6. 编辑本地DNS解析文件

vim /etc/hosts

7. 备份原yum源文件

sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

8. 下载阿里yum源文件

sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-Base.repo

9. 清除yum缓存

yum clean all

10. 重新生成yum缓存

yum makecache

11. 安装epel扩展包

yum install epel-release

12. 卸载自带Java

rpm -qa | grep -i java | xargs -ni rpm -e --nodeps

二、Java安装相关

1. 创建软件和模块目录

mkdir -p /opt/software /opt/module

2. 解压JDK到安装目录

tar -zxf jdk-8u212-linux-x64.tar.gz -C ../module

3. 编辑环境变量配置文件

vim /etc/profile

4. 重载环境变量配置

source /etc/profile

5. 创建Java软链接

ln -s /opt/module/jdk1.8.0_212/bin/java /usr/bin/java

6. 验证Java安装

java -version

三、Hadoop安装相关

1. 下载Hadoop到software文件夹

wget -P /opt/software https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5.tar.gz

2. 进入software目录

cd software

3. 解压Hadoop到安装目录

tar -zxf hadoop-3.3.5.tar.gz -C ../module

4. 编辑环境变量配置文件

vim /etc/profile

5. 重载环境变量配置

source /etc/profile

6. 验证Hadoop安装

hadoop

四、SSH免密配置

1. 进入密钥存放目录

cd /root/.ssh

2. 生成DSA密钥对

ssh-keygen -t dsa

3. 分发公钥到目标节点（示例）

ssh-copy-id -i ./id_dsa.pub root@hadoop129
ssh-copy-id -i ./id_dsa.pub root@hadoop130
ssh-copy-id -i ./id_dsa.pub root@hadoop131
ssh-copy-id -i ./id_dsa.pub root@hadoop132

4. 测试免密登录（示例）

ssh root@hadoop129

5. 退出登录

exit

五、Hadoop配置相关

1. 编辑Hadoop运行环境配置

vim /opt/module/hadoop-3.3.5/etc/hadoop/hadoop-env.sh

2. 编辑核心配置文件

vim /opt/module/hadoop-3.3.5/etc/hadoop/core-site.xml

3. 编辑HDFS配置文件

vim /opt/module/hadoop-3.3.5/etc/hadoop/hdfs-site.xml

4. 编辑YARN配置文件

vim /opt/module/hadoop-3.3.5/etc/hadoop/yarn-site.xml

5. 编辑MapReduce配置文件

vim /opt/module/hadoop-3.3.5/etc/hadoop/mapred-site.xml

6. 编辑workers文件

vim /opt/module/hadoop-3.3.5/etc/hadoop/workers

7. 同步配置文件到其他节点（示例）

scp ./* root@hadoop130:/opt/module/hadoop-3.3.5/etc/hadoop/
scp ./* root@hadoop131:/opt/module/hadoop-3.3.5/etc/hadoop/
scp ./* root@hadoop132:/opt/module/hadoop-3.3.5/etc/hadoop/

六、Hadoop集群启动与管理

1. 格式化NameNode

hdfs namenode -format

2. 启动HDFS集群

./sbin/start-dfs.sh

3. 停止HDFS集群

./sbin/stop-dfs.sh

4. 启动YARN集群

./sbin/start-yarn.sh

5. 停止YARN集群

./sbin/stop-yarn.sh

6. 启动所有服务

./sbin/start-all.sh

7. 停止所有服务

./sbin/stop-all.sh

8. 查看目录结构（示例）

tree -L 2 -C

9. 启动任务历史服务器

mr-jobhistory-daemon.sh start historyserver

10. 停止任务历史服务器

mr-jobhistory-daemon.sh stop historyserver

七、Hadoop常用操作

1. HDFS文件上传

hadoop fs -put 本地文件路径 HDFS目标路径

2. HDFS文件下载

hadoop fs -get HDFS文件路径 本地目标路径

3. 查看HDFS目录内容

hadoop fs -ls HDFS路径

4. 创建HDFS目录

hadoop fs -mkdir -p HDFS目录路径

5. 删除HDFS文件/目录

hadoop fs -rm -r HDFS文件/目录路径

6. 查看HDFS文件内容

hadoop fs -cat HDFS文件路径

7. 运行WordCount示例程序

hadoop jar /opt/module/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount 输入路径 输出路径