一、实施前期准备工作
1.1 服务器安装操作系统
1.2 Oracle安装介质
1.3 共享存储规划
1.4 网络规范分配
二、安装前期准备工作
2.1 各节点系统时间校对
2.2 各节点关闭防火墙和SELinux
2.3 各节点检查系统依赖包安装情况
2.4 各节点配置/etc/hosts
2.5 各节点创建需要的用户和组
2.6 各节点创建安装目录
2.7 各节点系统配置文件修改
2.8 各节点设置用户的环境变量
Linux平台 Oracle 19c RAC安装指导：
Part1：Linux平台 Oracle 19c RAC安装Part1：准备工作
Part2：Linux平台 Oracle 19c RAC安装Part2：GI配置
Part3：Linux平台 Oracle 19c RAC安装Part3：DB配置
本文安装环境：OEL 7.6 + Oracle 19.3 GI & RAC
一、实施前期准备工作
1.1 服务器安装操作系统
配置完全相同的两台服务器，安装相同版本的Linux操作系统。留存系统光盘或者镜像文件。
我这里是OEL7.6，系统目录大小均一致。对应OEL7.6的系统镜像文件放在服务器上，供后面配置本地yum使用。
1.2 Oracle安装介质Oracle 19.3 版本2个zip包(总大小6G+,注意空间)：
LINUX.X64_193000_grid_home.zip MD5:
LINUX.X64_193000_db_home.zip MD5:
这个自己去Oracle官网下载，然后只需要上传到节点1即可。
1.3 共享存储规划从存储中划分出两台主机可以同时看到的共享LUN，3个1G的盘用作OCR和Voting Disk，其余分了3个12G的盘规划做用做数据盘和FRA。
注：19c安装GI时，可以选择是否配置GIMR，且默认不配置，我这里选择不配置，所以无需再给GIMR分配对应空间。
--OEL7使用udev需要给磁盘创建分区，这里我使用fdisk 将对应盘创建一个主分区，分区号为2（这里只是为了区分）:
sdb sdc sdd sde sdf sdg
sdb2 sdc2 sdd2 sde2 sdf2 sdg2
1G 1G 1G 12G 12G 12G
--OEL7中udev需绑定对应磁盘的分区
for i in b c d e f g;
do
echo "KERNEL==\"sd?2\", SUBSYSTEM==\"block\", PROGRAM==\"/usr/lib/udev/scsi_id -g -u -d /dev/\$parent\", RESULT==\"`/usr/lib/udev/scsi_id -g -u -d /dev/sd\$i`\", SYMLINK+=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\""
done
--vi /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sd?2", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VB208b8d32-df9af9d6", SYMLINK+="asm-ocr1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?2", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VBe51f4d0a-1b73c589", SYMLINK+="asm-ocr2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?2", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VBc63b1aa3-1e290288", SYMLINK+="asm-ocr3", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?2", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VB53ee20b6-40c4b9a3", SYMLINK+="asm-data01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?2", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VB3822afbf-62d8a84d", SYMLINK+="asm-data02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?2", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VBfbb7943a-5ec216e5", SYMLINK+="asm-data03", OWNER="grid", GROUP="asmadmin", MODE="0660"
--udevadm配置重载生效：
[root@db193 rules.d]# udevadm control --reload
[root@db193 rules.d]# udevadm trigger
--确认udev已绑定成功:
[root@db193 rules.d]# ls -l /dev/asm*
lrwxrwxrwx. 1 root root 4 Jul 30 23:45 /dev/asm-data01 -> sde2
lrwxrwxrwx. 1 root root 4 Jul 30 23:45 /dev/asm-data02 -> sdf2
lrwxrwxrwx. 1 root root 4 Jul 30 23:45 /dev/asm-data03 -> sdg2
lrwxrwxrwx. 1 root root 4 Jul 30 23:45 /dev/asm-ocr1 -> sdb2
lrwxrwxrwx. 1 root root 4 Jul 30 23:45 /dev/asm-ocr2 -> sdc2
lrwxrwxrwx. 1 root root 4 Jul 30 23:45 /dev/asm-ocr3 -> sdd2
--第二个节点db195最开始直接使用udevadm操作发现不行，此时需先partprobe，再udevadm触发即可成功
--使用partprobe将磁盘分区表变化信息通知内核，请求操作系统重新加载分区表
[root@db195 ~]# partprobe /dev/sdb
[root@db195 ~]# partprobe /dev/sdc
[root@db195 ~]# partprobe /dev/sdd
[root@db195 ~]# partprobe /dev/sde
[root@db195 ~]# partprobe /dev/sdf
[root@db195 ~]# partprobe /dev/sdg
--udevadm配置重载生效：
[root@db195 ~]# udevadm control --reload
[root@db195 ~]# udevadm trigger
--确认udev已绑定成功:
[root@db195 ~]# ls -l /dev/asm*
lrwxrwxrwx. 1 root root 4 Jul 30 23:49 /dev/asm-data01 -> sde2
lrwxrwxrwx. 1 root root 4 Jul 30 23:49 /dev/asm-data02 -> sdf2
lrwxrwxrwx. 1 root root 4 Jul 30 23:49 /dev/asm-data03 -> sdg2
lrwxrwxrwx. 1 root root 4 Jul 30 23:49 /dev/asm-ocr1 -> sdb2
lrwxrwxrwx. 1 root root 4 Jul 30 23:49 /dev/asm-ocr2 -> sdc2
lrwxrwxrwx. 1 root root 4 Jul 30 23:49 /dev/asm-ocr3 -> sdd2
我这次搭建的实验环境为了精简，没有再去模拟多路径的环境，如果想尽可能的模拟生产环境，可以参考之前18c的配置：
Linux平台 Oracle 18c RAC安装Part1：准备工作
1.4 网络规范分配
公有网络 以及 私有网络。
公有网络：这里实验环境是enp0s3是public IP，enp0s8是ASM & Private IP，实际生产需根据实际情况调整规划，一般public是有OS层绑定（bonding），private是使用HAIP。
二、安装前期准备工作
2.1 各节点系统时间校对
各节点系统时间校对:
--检验时间和时区确认正确
date
--关闭chrony服务，移除chrony配置文件（后续使用ctss）
systemctl list-unit-files|grep chronyd
systemctl status chronyd
systemctl disable chronyd
systemctl stop chronyd
mv /etc/chrony.conf /etc/chrony.conf_bak
这里实验环境，选择不使用NTP和chrony，这样Oracle会自动使用自己的ctss服务。
2.2 各节点关闭防火墙和SELinux各节点关闭防火墙:
systemctl list-unit-files|grep firewalld
systemctl status firewalld
systemctl disable firewalld
systemctl stop firewalld
各节点关闭SELinux:
getenforce
cat /etc/selinux/config
手工修改/etc/selinux/config SELINUX=disabled，或使用下面命令：
sed -i '/^SELINUX=.*/ s//SELINUX=disabled/' /etc/selinux/config
setenforce 0
最后核实各节点已经关闭SELinux即可。
2.3 各节点检查系统依赖包安装情况
yum install -y oracle-database-preinstall-18c-1.0-1.el7.x86_64
在OEL7.6中还是oracle-database-preinstall-18c的名字，并没有对应19c的，但实际测试，在依赖包方面基本没区别。
如果选用的是其他Linux，比如常用的RHEL，那就需要yum安装官方文档要求的依赖包了。
2.4 各节点配置/etc/hosts编辑/etc/hosts文件：
#public ip
192.168.1.193 db193
192.168.1.195 db195
#virtual ip
192.168.1.194 db193-vip
192.168.1.196 db195-vip
#scan ip
192.168.1.197 db19c-scan
#private ip
10.10.1.193 db193-priv
10.10.1.195 db195-priv
修改主机名(建议由SA调整)：
--例如：修改主机名为db193:
hostnamectl status
hostnamectl set-hostname db193
hostnamectl status
2.5 各节点创建需要的用户和组
创建group & user，给oracle、grid设置密码：
groupadd -g 54321 oinstall
groupadd -g 54322 dba
groupadd -g 54323 oper
groupadd -g 54324 backupdba
groupadd -g 54325 dgdba
groupadd -g 54326 kmdba
groupadd -g 54327 asmdba
groupadd -g 54328 asmoper
groupadd -g 54329 asmadmin
groupadd -g 54330 racdba
useradd -u 54321 -g oinstall -G dba,asmdba,backupdba,dgdba,kmdba,racdba,oper oracle
useradd -u 54322 -g oinstall -G asmadmin,asmdba,asmoper,dba grid
echo oracle | passwd --stdin oracle
echo oracle | passwd --stdin grid
我这里测试环境设置密码都是oracle，实际生产环境建议设置符合规范的复杂密码。
2.6 各节点创建安装目录各节点创建安装目录(root用户)：
mkdir -p /u01/app/19.3.0/grid
mkdir -p /u01/app/grid
mkdir -p /u01/app/oracle
chown -R grid:oinstall /u01
chown oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/
2.7 各节点系统配置文件修改
内核参数修改：vi /etc/sysctl.conf
实际上OEL在安装依赖包的时候也同时修改了这些值，以下参数主要是核对或是对RHEL版本作为参考：
# vi /etc/sysctl.conf 增加如下内容：
vm.swappiness = 1
vm.dirty_background_ratio = 3
vm.dirty_ratio = 80
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
kernel.shmmni = 4096
kernel.shmall = 1073741824
kernel.shmmax = 4398046511104
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.panic_on_oops = 1
net.ipv4.conf.enp0s8.rp_filter = 2
net.ipv4.conf.enp0s9.rp_filter = 2
net.ipv4.conf.enp0s10.rp_filter = 2
修改生效：
#sysctl -p /etc/sysctl.conf
注：enp0s9和enp0s10是IPSAN专用的网卡，跟私网一样设置loose mode。（我这里因为没有使用IPSAN，所以没有这两张网卡）
#sysctl -p /etc/sysctl.d/98-oracle.conf
net.ipv4.conf.enp0s8.rp_filter = 2
net.ipv4.conf.enp0s9.rp_filter = 2
net.ipv4.conf.enp0s10.rp_filter = 2
用户shell的限制：vi /etc/security/limits.d/99-grid-oracle-limits.conf
oracle soft nproc 16384
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
grid soft nproc 16384
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768
这里需要注意OEL自动配置的 /etc/security/limits.d/oracle-database-server-12cR2-preinstall.conf 并不包含grid用户的，可以手工加上。
vi /etc/profile.d/oracle-grid.sh
#Setting the appropriate ulimits for oracle and grid user
if [ $USER = "oracle" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -u 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
if [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -u 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
这个OEL中也没有自动配置，需要手工配置。
2.8 各节点设置用户的环境变量
第1个节点grid用户：
export ORACLE_SID=+ASM1;
export ORACLE_BASE=/u01/app/grid;
export ORACLE_HOME=/u01/app/19.3.0/grid;
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
第2个节点grid用户：
export ORACLE_SID=+ASM2;
export ORACLE_BASE=/u01/app/grid;
export ORACLE_HOME=/u01/app/19.3.0/grid;
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
第1个节点oracle用户：
export ORACLE_SID=jydb1;
export ORACLE_BASE=/u01/app/oracle;
export ORACLE_HOME=/u01/app/oracle/product/19.3.0/db_1;
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
第2个节点oracle用户：
export ORACLE_SID=jydb2;
export ORACLE_BASE=/u01/app/oracle;
export ORACLE_HOME=/u01/app/oracle/product/19.3.0/db_1;
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;