1、redhatAS5cluster安装文档河南人行20河南人民银行网管项目redhat5.3-cluster安装配置文档北京神州泰岳软件股份有限公司2010年06月目 录1 简介： 32 准备工作 32.1 地址规划 32.2 设备规划图 42.3 服务器配置及软硬件规划 42.4 存储规划 52.5 软件准备 63 安装服务器操作系统 63.1 安装操作系统 63.2 hosts文件 63.3 网卡配置 73.3.1 网管应用服务器配置（11.66.25.41） 73.3.1.1 管理IP配置bond 73.3.1.2 配置心跳IP 83.3.2 网管数据库服务器配置（11.66.25.42）
2、 93.3.2.1 管理IP配置bond 93.3.2.2 配置心跳IP 103.4 配置ILO地址（由于这次现场环境没有使用到ILO，在此只是对IOL的配置作一个介绍） 114 存储配置 144.1 查看存储分区情况 144.2 安装多路径管理工具 144.3 查看卷组路径合并情况 154.4 卷组的划分 164.4.1 创建pv 164.4.2 创建vg 164.4.3 创建lv 164.4.4 创建挂载点 164.4.5 格式化文件系统 164.4.6 挂载文件系统 175 Cluster配置 175.1 图形配置 175.2 启停双机服务 235.3 双机切换 255.4 切换意外处理
3、 266 相关脚本 271 简介：河南人行it运维综合管理系统服务器，安装redhat5操作系统；使用ext3格式的文件系统。网管系统两台核心服务器，服务流程的两台核心服务器分别做双机。以下配置方法均以网管服务器为例。计划双机做好后，1个浮动IP为网管应用程序所用，1个浮动IP为数据库所用。这样同时运行，故障时，会自动切换到另一台物理主机上。2 准备工作2.1 地址规划IP地址MaskGw11.66.25.41255.255.255.22411.66.25.6211.66.25.42255.255.255.22411.66.25.6211.66.25.4311.66.25.4411.66.25
4、.45255.255.255.22411.66.25.6211.66.25.46255.255.255.22411.66.25.6211.66.25.4711.66.25.4811.66.25.49255.255.255.22411.66.25.622.2 设备规划图说明：两台服务器分别是HPdl380，每台服务器共有6块网卡；两台服务器各有二块网卡连接网络两个交换机，服务器网口eth0和eth1分别做了双网卡bond0。服务器网口eth4连接两台服务器之间心跳线。服务器分别共享EVA4400阵列，ILOIP 是hp服务器管理口，相当于unix的MP卡。 ILO口连未设置IP。2.3 服务器配
5、置及软硬件规划网管应用服务器：CPU内存硬盘FC口千兆网卡2颗八核8G4*146G23操作系统：Red Hat Enterprise Linux 53Linux双机软件：Red Hat Cluster Suite 类别主要内容描述备注主机名hnnmsappIP地址11.66.25.43服务IP11.66.25.41管理IP192.168.1.1心跳IP文件系统规划文件系统名称大小(GB)四块146G硬盘采用Raid5/boot200MBOS启动分区/20OSswap16OS/home10OS/tmp15OS/var20OS/oracle10数据库程序文件/bmc90主机监控软件/back175
6、主要用于备份网管数据库服务器：CPU内存硬盘FC口千兆网卡2颗八核8G4*146G23操作系统：Red Hat Enterprise Linux 5.3 Linux双机软件：Red Hat Cluster Suite 类别主要内容描述备注主机名hnnmsdbIP地址11.66.25.44服务IP11.66.25.42 管理IP192.168.1.3心跳IP文件系统规划文件系统名称大小(GB)四块146G硬盘采用Raid5/boot200MBOS启动分区/20OSswap16OS/home10OS/tmp15OS/var20OS/oracle10数据库程序文件/bmc90主机监控软件/back1
7、00主要用于备份2.4 存储规划本次项目存储型号是HPEVA44000。大小为5.4T 做raid5应用卷名称需要的容量说明ultranms50G运行监控应用服务(UltraNMS)oranmsdata800G运行监控数据库服务器（Oracle）nms_lock1G锁盘分区注：其中从ultranms逻辑卷中划了1G的分区用做集群的锁盘分区2.5 软件准备Redhat AS5.3 x86_32Oracle10.2.10 x86_32Nms4.7.2Jdk1.5 for linux3 安装服务器操作系统3.1 安装操作系统两台服务器安装同样的操作系统，redhat5，输入企业版本license。一
8、定要安装的组件包：开发包、cluster包。选择时要点进去小项，所有小项都要选上。最好全安装，空间是有的，这样可以免去缺少包的情况。语言安装时，中文也要选上，这样系统支持看中文，否则中文显示都是乱码。防火墙关上。按硬件规划分区，etx3。主机名安装时填好。3.2 hosts文件两台主机的hosts文件要配置一样如下所示：root# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.192.168.1.1 nmsap
9、p192.168.1.3 nmsdb11.66.25.41 hnnmsapp11.66.25.42 hnnmsdb root# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail192.168.1.1 nmsapp192.168.1.3 nmsdb11.66.25.41 hnnmsapp11.66.25.42 hnnmsdb注：这个文件只需心跳地址，一定不能把浮动IP及对应的主机名写进来。两台核心主机配置相同。hos
10、ts标中192.168.1.*对应的名称为cluster node name. （设置的节点名称）Probe的hosts文件（例主机zznmscj）文件要配置一样如下所示：#vi /etc/hosts11.66.25.49 zznmscj127.0.0.1 zznmscj localhost.localdomain localhost11.66.25.41 hnnmsapp11.66.25.42 hnnmsdb注：一定要把核心主机的管理IP及主机名增加进每台probe的hosts中。因为nms的一些服务会绑定在hnnmsapp的实IP上。3.3 网卡配置3.3.1 网管应用服务器配置（11.6
11、6.25.41）3.3.1.1 管理IP配置bond第1、2网口做应用bond0 (把eth0和eth1 绑定成bond0)在/etc/sysconfig/network-scripts 下新建一个文件bond0内容如下：roothnnmsapp network-scripts# vi ifcfg-bond0DEVICE=bond0BOOTPROTO=noneONBOOT=yesIPADDR=11.66.25.41NETMASK=255.255.255.224GATEWAY=11.66.25.62USERCTL=noTYPE=Ethernet*修改ifcfg-eth0的配置文件：roothnn
12、msapp network-scripts# vi ifcfg-eth0DEVICE=eth0BOOTPROTO=noneONBOOT=yesMASTER=bond0SLAVE=yesUSERCTL=noTYPE=Ethernet*修改ifcfg-eth1的配置文件：roothnnmsapp network-scripts# vi ifcfg-eth1DEVICE=eth1BOOTPROTO=noneONBOOT=yesMASTER=bond0SLAVE=yesUSERCTL=noTYPE=Ethernet*编辑/etc/modprode.conf 文件添加蓝色字体内容：alias eth0
13、bnx2alias eth1 bnx2alias eth2 bnx2alias eth3 bnx2alias eth4 e1000ealias eth5 e1000ealias scsi_hostadapter ccissalias scsi_hostadapter1 ata_piixalias scsi_hostadapter2 qla2xxxalias bond0 bondingoptions bond0 miimon=100 mode=0*加入/etc/rc.d/rc.local启动项ifenslave bond0 eth0 eth1*重新启动服务器 reboot 或者重新启动网络服务：
14、service network restart 3.3.1.2 配置心跳IP将网卡第5网口作为心跳连接网管数据库服务器。可使用图形界面或编辑/etc/sysconfig/network-scripts/ifcfg-eth4文件，添加IP地址和子网掩码：roothnnmsapp etc# vi /etc/sysconfig/network-scripts/ifcfg-eth4# Intel Corporation 82571EB Gigabit Ethernet ControllerDEVICE=eth4BOOTPROTO=noneHWADDR=00:26:55:D7:13:FCONBOOT=y
15、esDHCP_HOSTNAME=hnnmsappTYPE=EthernetUSERCTL=noIPV6INIT=noPEERDNS=yesIPADDR=192.168.1.1NETMASK=255.255.255.0配置完成后重新启动网络服务：service network restart 3.3.2 网管数据库服务器配置（11.66.25.42）3.3.2.1 管理IP配置bond第1、2网口做应用bond0 (把eth0和eth1 绑定成bond0)在/etc/sysconfig/network-scripts 下新建一个文件bond0内容如下：roothnnmsdb network-sc
16、ripts# vi ifcfg-bond0DEVICE=bond0BOOTPROTO=noneONBOOT=yesIPADDR=11.66.25.42NETMASK=255.255.255.224GATEWAY=11.66.25.62USERCTL=noTYPE=Ethernet*修改ifcfg-eth0的配置文件：roothnnmsdb network-scripts# vi ifcfg-eth0DEVICE=eth0BOOTPROTO=noneONBOOT=yesMASTER=bond0SLAVE=yesUSERCTL=noTYPE=Ethernet*修改ifcfg-eth1的配置文件：r
17、oothnnmsdb network-scripts# vi ifcfg-eth1DEVICE=eth1BOOTPROTO=noneONBOOT=yesMASTER=bond0SLAVE=yesUSERCTL=noTYPE=Ethernet*编辑/etc/modprode.conf 文件添加蓝色字体内容：alias eth0 bnx2alias eth1 bnx2alias eth2 bnx2alias eth3 bnx2alias eth4 e1000ealias eth5 e1000ealias scsi_hostadapter ccissalias scsi_hostadapter1 a
18、ta_piixalias scsi_hostadapter2 qla2xxxalias bond0 bondingoptions bond0 miimon=100 mode=0*加入/etc/rc.d/rc.local启动项ifenslave bond0 eth0 eth1*重新启动服务器 reboot 或者重新启动网络服务：service network restart 3.3.2.2 配置心跳IP将网卡第5网口作为心跳连接网管应用服务器。可使用图形界面或编辑/etc/sysconfig/network-scripts/ifcfg-eth4文件，添加IP地址和子网掩码：roothnnmsdb
19、 etc# vi /etc/sysconfig/network-scripts/ifcfg-eth4# Intel Corporation 82571EB Gigabit Ethernet ControllerDEVICE=eth4BOOTPROTO=noneHWADDR= 00:26:55:D7:11:7AONBOOT=yesDHCP_HOSTNAME=hnnmsdbTYPE=EthernetUSERCTL=noIPV6INIT=noPEERDNS=yesIPADDR=192.168.1.3NETMASK=255.255.255.0配置完成后重新启动网络服务：service network
20、restart 3.4 配置ILO地址（由于这次现场环境没有使用到ILO，在此只是对IOL的配置作一个介绍）ILO地址，配置好以后，可以通过远程用http:/172.21.6.177 （ILO地址）方式访问。如同在本机访问一样。配置:开机自检时，按F8键进入 iLO 的设置界面：进入 iLO 的设置： 在 菜单File 下的 “Set Defaults”是将所有的设置恢复为出厂值；在菜单Network选项中配置网络：分别设置 IP 地址和 DNS。IP 应在同一个网段中，注意子网掩码的一致。(只有在 DHCP 被设为 Disable 时，才能设置 IP address/Subnet Mask/
21、Gateway IP address)DNS 的名字在服务器前面带的卡片上，还包括管理员的账号和密码。在菜单User选项中可以添加、删除、更改远程访问 User 的密码，权限等；我在这里新建了自己的用户名及密码: nmsadmin/ultra2009nms这个一定要记住，下面设置cluster时要使用到。4 存储配置前提条件：存储设备通过光纤交换机与网管的两台核心服务器连接；通过存储的配置软件划分好LUN。4.1 查看存储分区情况 执行fdisk -l 可以浏览到所有存储分区4.2 安装多路径管理工具 安装从惠普官方网站下载的HPDMmultipath-4.4.0软件包4.3 查看卷组路径合并
22、情况安装成功后，执行multipath -ll 命令，即可看到卷组路径是否合并如下展现了3条路径，说明是已经合并过了,这几个设备的位置在/dev/mapper下.4.4 卷组的划分4.4.1 创建pvpvcreate /dev/mapper/mpath0 pvcreate /dev/mapper/mpath1pvcreate /dev/mapper/mpath2 pvscan 来查看创建了那些pv4.4.2 创建vg vgcreate vglock /dev/mapper/mpath0 vgcreate vgnms /dev/mapper/mpath1vgcreate vgnmsdb /dev
23、/mapper/mpath2 vgs来进行vg的使用情况vgdisplay vg名称 来查看vg的具体信息4.4.3 创建lvlvcreate -L 49G n lvnms vgnmslvcreate -L 800G n lvnmsdb vgnmsdblvcreate -L 1000M -n lvlock vglocklvscan 来进行查看划分过的lv情况lvmdiskscan 来查看具体的使用了那些磁盘4.4.4 创建挂载点分别在两台网管核心服务器的/下创建两个目录，用于挂载存储mkdir -p /ultranmsmkdir -p /oranmsdata4.4.5 格式化文件系统 mkfs
24、.ext3 /dev/vgnms/lvnmsmkfs.ext3 /dev/vgnmsdb/lvnmsdb 把锁盘分区格式化为：qdisk分区mkqdisk c /dev/vglock/lvlock L nms_lock（本项目中划分的lable为：nms_lock）查看qdisk状态：#mkqdisk L因为qdsik需要在双机服务时自动启动，所以将qdiskd服务加载到系统自启动#chkconfig - - add qdiskd 4.4.6 挂载文件系统mount磁盘 看手动是否可以挂载上磁盘mount /dev/vgnms/lvnms /ultranmsmount /dev/vgnmsdb
25、/lvnmsdb /oranmsdata 5 Cluster配置5.1 图形配置在本项目中，需要将oracle和网管应用服务nms都配置双机。不管是修改配置文件，还是用图形界面，都需要将cluster服务停止。检查工作如下：1、 检查包perl-Crypt-SSLeay-0.51-11.el5.x86_64.rpm，是否已安装2、 检查命令如下：rpm ivh perl-Crypt-SSLeay-0.51-11.el5.x86_64.rpm检查心跳是否通：在一端主机上ping 对端主机的心跳地址：ping 192.168.1.31、 登录到hnnmsapp，SystemAdminitratio
26、nServer SettingsCluster Management2、初次配置时，选择Create New Configuration,3、选择：create new configuration 出现如下界面： 在Choose a name for cluster一栏中输入nms_cluster,并选中DLM，勾选Use a Quorum Disk,修改Votes为1；Minimum Score 1；Lable为nms_lock；Program中输入：/bin/ping -c 1 -i 1 11.66.25.62其中11.66.25.62为主机管理IP网关；score=1； interval
27、=2；确定。 注：以上是锁盘的配置4、添加节点：nmsapp、nmsdb。选择Cluster Nodes-Add a cluster node注意：此处的node name一定要和/etc/hosts表心跳地址对应的主机名称一致。 5、选择Failover DomainsCreate a Failover Domains 将两节点添加进Failover Domains中。选择nmsdb01Edit Failover Domains Propertiesdb也是相同配置，也需要添加两节点。此处，选中节点，勾选Prioritized List选项，可以设置服务运行节点的优先级，即nms服务启动时首先运行在hnnmsapp主机上，oracle服务启动时首先运行在hnnmsdb主机上。注：（这个配置一定要注意两个节点必须在一个域里面如上图上面所示）8、增加resources：增加两个IP，两个File System，两个Script 9、创建Services 配置Services：选择 Service nms-Edit Service Properties。Fai
