一、 规划
二、 思路清晰
step1: 配置 rac3 操作系统，保持与现有节点一致
step2: 配置 grid 和 oracle 用户互信
step3: 检测集群状态和新节点配置
step4: 执行添加节点脚本
step5: 扩展 DB HOME
step6: 扩展实例
step7: 完成检查
三、 准备工作
1. 关闭防火墙和selinux （ rac3 ）
# systemctl stop firewall
# systemctl disable firewall
关闭selinux
# vi /etc/selinux/config
SELINUX=disabled
2. 修改/etc/hosts 文件（ rac1/rac2/rac3 ）
添加 rac3 的信息
172.16.70.170 rac1
172.16.70.171 rac2
172.16.70.190 rac3
10.0.0.100 rac1-priv
10.0.0.101 rac2-priv
10.0.0.102 rac3-priv
172.16.70.173 rac1-vip
172.16.70.174 rac2-vip
172.16.70.191 rac3-vip
172.16.70.175 cluster-scan-ip
3. 修改内核参数（rac3 ）
# vi /etc/sysctl.conf
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmmax = 8589934591
kernel.shmmni = 4096
kernel.shmall = 2097152
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
使参数生效
# sysctl -p
4. 修改用户限制（rac3 ）
# vi /etc/security/limits.conf
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
5. 添加用户和组（rac3 ）
（ 1 ）创建组
# groupadd -g 501 dba
# groupadd -g 50 2 oinstall
（ 2 ）创建用户
# useradd -u 50 1 -g oinstall -G dba -d /home/oracle oracle
# useradd -u 600 -g oinstall -G dba -d /home/grid grid （ 3 ） 给oracle 和 grid 用户设置密码
# passwd oracle
# passwd grid
（4 ）检查
# id oracle
# id grid
6. 创建目录（rac3 ）
# mkdir -p /u01/app/oracle
# mkdir -p /u01/app/oracle /product/11.2.0/db_1
# mkdir -p /u01/app/grid
# mkdir -p /u01/app/11.2.0/grid
# chown -R oracle:oinstall /u01
# chown -R grid:oinstall /u01 /app/grid
# chown -R grid:oinstall /u01/app/11.2.0 /grid
# chown -R oracle:oinstall /u01/app/oracle
# chmod -R 775 /u01
7. 修改环境变量（rac3 ）
（grid 用户） $ vi .bash_profile
export ORACLE_SID= +ASM 3
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export PATH=$ORACLE_HOME/bin:$PATH
（oracle 用户）
$ vi /home/oracle/.bash_profile
export ORACLE_SID= ORCL3
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export PATH=$PATH:$ORACLE_HOME/bin
8. 配置本地yum 源，安装软件包（ rac3 ）
上传iso 镜像到 /u01/set/os 目录
# mount -o loop /u01/setup/os/ rhel-server-7.2-x86_64-dvd.iso /mnt
# vi /etc/yum.repos.d/mnt.repo
[mnt]
name=Yum Source
baseurl=file:///mnt
enabled=1
gpgcheck=0
# yum makecache
安装 如下包：
# yum install -y binutils compat* elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel gcc gcc-c++ libaio libgcc libstdc++ libstdc++-devel make sysstat unixODBC-devel libaio-devel ksh
9. 配置ASM 磁盘（ rac3 ）
# vi /etc/udev/rules.d/ 99-oracle-asmdevices.rules
KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT==" 14f504e46494c45524932494157712d763771782d30694f30 ", RUN+="/bin/sh -c 'mknod /dev/asm_ocr b $major $minor; chown grid:oinstall /dev/asm_ocr ; chmod 0660 /dev/asm_ocr '"
KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT==" 14f504e46494c45526d70325177442d616f33572d35686452 ", RUN+="/bin/sh -c 'mknod /dev/asm_data1 b $major $minor; chown grid:oinstall /dev/asm_data1 ; chmod 0660 /dev/asm_data1 '"
KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT==" 14f504e46494c455251726b30676d2d337842312d55375278 ", RUN+="/bin/sh -c 'mknod /dev/asm_data2 b $major $minor; chown grid:oinstall /dev/asm_data2 ; chmod 0660 /dev/asm_data2 '"
KERNEL=="sd*[!0-9]", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT==" 14f504e46494c45527650634d78742d4a7664622d3276506e ", RUN+="/bin/sh -c 'mknod /dev/asm_arch b $major $minor; chown grid:oinstall /dev/asm_arch ; chmod 0660 /dev/asm_arch '"
启动udev
# /sbin/udevadm trigger --type=devices --action=change
查看asm 磁盘
# ll /dev/asm*
brw-rw----. 1 grid oinstall 8, 64 Aug 6 10:54 /dev/asm_arch
brw-rw----. 1 grid oinstall 8, 32 Aug 6 10:54 /dev/asm_data1
brw-rw----. 1 grid oinstall 8, 48 Aug 6 10:54 /dev/asm_data2
brw-rw----. 1 grid oinstall 8, 16 Aug 6 10:54 /dev/asm_ocr
注：上面的1-9 步骤需要和 rac1&rac2 配置保持一致
四、 添加节点
1. 配置Oracle 和 grid 用户的互信（ rac1 ）
（oracle 用户）
$ $ ORACLE_HOME/oui/bin/runSSHSetup.sh -user oracle -hosts 'rac1 rac2 rac3' -advanced -exverify
（grid 用户）
$ $ORACLE_HOME/oui/bin/runSSHSetup.sh -user grid -hosts 'rac1 rac2 rac3' -advanced -exverify
2. 检测集群和新加节点（rac1 ）
（grid 用户）
1） 检测rac3 的连通性及共享存储访问
$ cluvfy stage -post hwos -n rac3 -verbose
2） 比较节点2 和节点 3 属性
$ cluvfy comp peer -refnode rac2 -n rac3 -verbose
3） 检测集群和新加节点完整性
$ cluvfy stage -pre nodeadd -n rac3 -fixup -verbose
3. 执行添加节点（rac1 ）
$ export IGNORE_PREADDNODE_CHECKS=Y
$ cd $ORACLE_HOME/oui/bin
$ ./addNode.sh -silent "CLUSTER_NEW_NODES={rac3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={rac3-vip}"
最后需要在节点3 下， root 用户执行以下两个脚本
# /u01/app/oraInventory/orainstRoot.sh
# /u01/app/11.2.0/grid/root.sh
4. 扩展DB HOME （ rac1 执行）
（oracle 用户）
$ export IGNORE_PREADDNODE_CHECKS=Y
$ cd $ORACLE_HOME/oui/bin
$ ./addNode.sh -silent "CLUSTER_NEW_NODES={rac3}"
最后需要root 用户在 rac3 执行以下脚本：
# /u01/app/oracle/product/11.2.0/db_1/root.sh
5. 扩展实例 （rac1 执行）
（oracle 用户）
方式一：静默方式
执行以下命令：
$ dbca -silent -addInstance -nodeList rac3 -gdbName ORCL -instanceName ORCL3 -sysDBAUserName sys -sysDBAPassword oracle
命令参考：
$ dbca -silent -addInstance -nodeList node_name -gdbName gdb_name -instanceName instance_name -sysDBAUserName sysdba -sysDBAPassword password
参数说明:
node_name: 想要添加到的节点名
gdb_name: global database name
instance_name: 指定实例名
sysdba: 有 sysdba 权限的用户
password: 密码
方式二：DBCA 图形界面方式
6. 资源检查
1） 检查集群资源
$ crsctl status res -t
2） 实例检查
SQL > select instance_number,instance_name,host_name from gv$instance;
INSTANCE_NUMBER INSTANCE_NAME HOST_NAME
--------------- ---------------- ----------
3 ORCL3 rac3
2 ORCL2 rac2
1 ORCL1 rac1
3） 日志检查
检查所有节点 asm alert 日志、 db alert 日志 。
---- end ----
