按照oraclesupport网上步骤,对步骤进一步细化,环境是rhel6.2-64 oracle11.2.0.3
1, 首先安装IB网卡及驱动,并使用命令查看安装好的网卡:
[root@nari65 bin]# ifconfig -a
ib0 Link encap:InfiniBand HWaddrA0:00:01:00:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.12.65 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::f652:1403:86:3ae1/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:2044 Metric:1
RX packets:185019 errors:0 dropped:0 overruns:0 frame:0
TX packets:232627 errors:0 dropped:6 overruns:0 carrier:0
collisions:0 txqueuelen:1024
RX bytes:117911220 (112.4 MiB) TXbytes:324758674 (309.7 MiB)
2, 如果使用RDS协议,需要修改所有节点的linux内核参数:
net.core.rmem_default=262144
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=2097152
3,infiniband网卡默认是ipoib协议,如果使用RDS协议,在所有节点进行修改/etc/infiniband/openib.conf文件内容,添加RDS_LOAD=yes,或者已经有此参数为no时,修改为yes,并修改ipoib相关参数为no。
# Load IPoIB
IPOIB_LOAD=no
# Enable IPoIB Connected Mode
SET_IPOIB_CM=no
# Load SRP module
SRP_LOAD=no
RDS_LOAD=yes
# Load ISER module
ISER_LOAD=no
4, 确认IB网卡的ip地址在/etc/hosts文件,并确认此网卡在RAC的私有网络中
[root@nari65 bin]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#node1
#public
192.168.200.62 nari62
192.168.200.65 nari65
#priv
192.168.12.62 nari62-priv
192.168.12.65 nari65-priv
#vip
192.168.200.32 nari62-vip
192.168.200.35 nari65-vip
#scan_ip
192.168.200.33 racscan
[grid@nari65 ~]$ oifcfg getif
eth0 192.168.200.0 global public
ib0 192.168.12.0 global cluster_interconnect
5, 如果原来是使用ipoib协议,需要关闭所有节点oracle服务。
[root@nari62 bin]# ./crsctl stop crs
6, 确认服务关闭后,使用oracle用户在所有节点进行relink。
[oracle@nari65~]$ cd $ORACLE_HOME/rdbms/lib
[oracle@nari65~]$ make -f ins_rdbms.mk ipc_rdsioracle
7, relink后,使用root再次启动所有节点的oracle服务。
[root@nari62 bin]# ./crsctl start crs
查看alert-log文件可以看到已经为rds协议: