当不修改HADOOP/HBASE/SPARK的PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时,会发现无法停止相应的进程,因为PID文件已经被删除,所以现在我们需要修改HADOOP/HBASE/SPARK的PID文件地址.修改方法如下:
我们需要把HADOOP/HBASE/SPARK的PID文件生成到/var/hadoop/pids目录中.
在集群的各节点上新建/var/hadoop/pids目录 命令 : sudo mkdir -p /var/hadoop/pids
需要修改各节点上/var/hadoop/pids目录的权限,我使用的是hadoop用户启动HADOOP/HBASE/SPARK集群,所以需要把/var/hadoop/pids的目录权限修改为hadoop,否则在启动HADOOP/HBASE/SPARK集群时无法写入到该目录中. 修改权限命令 : chown -R hadoop:hadoop /var/hadoop
修改hadoop-env.sh 增加：export HADOOP_PID_DIR=/var/hadoop/pids
修改yarn-env.sh 增加：export YARN_PID_DIR=/var/hadoop/pids
修改hbase-env.sh ,增加：export HBASE_PID_DIR=/var/hadoop/pids
修改spark-env.sh, 增加 : export SPARK_PID_DIR=/var/hadoop/pids
把配置文件发送到集群中的各个节点上,重新启动集群, 查看/var/hadoop/pids目录会发现PID文件在该目录生成
