Linux下安装Hadoop集群的步骤是什么

Linux下安装Hadoop集群的步骤是什么，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

1.在usr目录下创建Hadoop目录，将安装包导入目录中并解压文件

2.进入vim /etc/profile文件并编辑配置文件

#hadoopexport HADOOP_HOME=/usr/hadoop/hadoop-2.6.0export CLASSPATH=$CLASSPATH:$HADOOP_HOME/libexport PATH=$PATH:$HADOOP_HOME/bin

3.使文件生效

source /etc/profile

4.进入Hadoop目录下

cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5.编辑配置文件

（1）进入vim hadoop-env.sh文件添加（java jdk文件所在位置）

export JAVA_HOME=/usr/java/jdk1.8.0_181

 （2）进入 vim core-site.xml（z1:在主节点的ip或者映射名(改成自己的)）

<configuration><property>        <name>hadoop.tmp.dir</name>        <value>file:/root/hadoop/tmp</value></property><!--端口号9000--><property>        <name>fs.default.name</name>        <value>hdfs://z1:9000</value></property><!--开启垃圾桶机制单位分钟--><property>    <name>fs.trash .insterval</name>    <value>10080</value></property><!--缓冲区大小，实际工作根据服务器性能--><property>    <name>io.file. buffer.sizei</name>    <value>4096</value></property></configuration>                                                                                                                                                                  39,9         底端

（3）Hadoop没有mapred-site.xml这个文件现将文件复制到这然后进入mapred-site.xml

cp mapred-site.xml.template mapred-site.xmlvim mapred-site.xml

 （z1:在主节点的ip或者映射名(改成自己的)）

<configuration><property><!--指定Mapreduce运行在yarn上-->   <name>mapreduce.framework.name</name>   <value>yarn</value> </property><!--开启MapReduce的小任务模式--><property>      <name>mapred.job.ubertask.enable</name>      <value>true</value></property><property>      <name>mapred.job.tracker</name>      <value>z1:9001</value></property> <property><name>mapreduce.jobhistory.address</name><value>CMaster:10020</value></property></configuration>

 （4）进入yarn-site.xml

vim yarn-site.xml

  （z1:在主节点的ip或者映射名(改成自己的)）

<configuration> <!-- Site specific YARN configuration properties --> <!--配置yarn主节点的位置--><property>        <name>yarn.resourcemanager.hostname</name>        <value>z1</value></property><property><!-- mapreduce ,执行shuff1e时获取数据的方式.--><description>The address of the appiications manager interface inthe RM.</description>     <name>yarn.resourcemanager.address</name>     <value>z1:8032</value></property><property>  <name>yarn.resourcemanager.scheduler.address</name>  <value>z1:8030</value></property> <property>  <name>yarn.resourcemanager.webapp.address</name>  <value>z1:8088</value></property> <property>  <name>yarn.resourcemanager.webapp.https.address</name>  <value>z1:8090</value></property><property>  <name>yarn.resourcemanager.resource-tracker.address</name>  <value>z1:8031</value></property><property>  <name>yarn.resourcemanager.admin.address</name>  <value>z1:8033</value></property><property><!--mapreduce执行shuff1e时获取数据的方式，-->  <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value></property><property><!--设置内存，yarn的内存分配-->  <name>yarn.scheduler.maximum-a11ocation-mb</name>  <value>2024</value>  <discription>每个节点可用内存,单位M,默认8182MB</discription></property><property>  <name>yarn.nodemanager.vmem-pmem-ratio</name>  <value>2.1</value></property><property>  <name>yarn.nodemanager.resource.memory-mb</name>  <value>1024</value></property><property>  <name>yarn.nodemanager.vmem-check-enabled</name>  <value>false</value></property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>  </configuration>

(5)进入hdfs-site.xml

vim hdfs-site.xml

<configuration><property>        <name>dfs.namenode.name.dir</name>        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value></property> <property>        <name>dfs.datanode.data.dir</name>        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value>    </property><property><!--副本个数--><name>dfs.replication</name><value>3</value></property><!--设置hdfs的文件权限--><property><name>dfs.permissions</name><value>false</value></property><!--设置一个文件切片的大小：128m--><property><name>dfs.bloksize</name><value>134217728</value></property></configuration>

6.进入slaves添加主节点和从节点

vim slaves

 添加自己的主节点和从节点（我的是z1,z2,z3）

7.将各个文件复制到其他虚拟机上

scp -r /etc/profile root@z2:/etc/profile #将环境变量profile文件分发到z2节点scp -r /etc/profile root@z3:/etc/profile #将环境变量profile文件分发到z3节点scp -r /usr/hadoop root@z2:/usr/   #将hadoop文件分发到z2节点scp -r /usr/hadoop root@z3:/usr/   #将hadoop文件分发到z3节点

生效两个从节点的环境变量

source /etc/profile

8.格式化hadoop (仅在主节点中进行操作)

首先查看jps是否启动hadoop

hadoop namenode -format

当看到Exiting with status 0时说明格式化成功

9.回到Hadoop目录下（仅在主节点操作）

cd /usr/hadoop/hadoop-2.6.0sbin/start-all.sh  启动Hadoop仅在主节点操作

主节点输入jps效果： 

从节点输jps效果：

关于Linux下安装Hadoop集群的步骤是什么问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注编程网行业资讯频道了解更多相关知识。