ET6601集群服务器维护手册.docx
- 文档编号:4683945
- 上传时间:2022-12-07
- 格式:DOCX
- 页数:15
- 大小:391.02KB
ET6601集群服务器维护手册.docx
《ET6601集群服务器维护手册.docx》由会员分享,可在线阅读,更多相关《ET6601集群服务器维护手册.docx(15页珍藏版)》请在冰豆网上搜索。
ET6601集群服务器维护手册
ET66集群服务器维护手册
集群技术的简要介绍
Cluster集群技术可如下定义:
一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理。
此单一系统为客户工作站提供高可靠性的服务。
大多数模式下,集群中所有的计算机拥有一个共同的名称,集群内任一系统上运行的服务可被所有的网络客户所使用。
集群服务在企业组织部署关键业务、电子商务与商务流程应用起到了日益重要的作用。
集群是在一组计算机上运行相同的软件并虚拟成一台主机系统为客户端与应用提供服务。
计算机通过缆线物理连接并通过集群软件实现程序上的连接,可以使计算机实现单机无法实现的容错和负载均衡。
在集群中的多个服务器(节点)保持不间断的联系。
如果在集群中的某一节点因出错或维护不可用时,另一节点会立刻提供服务,以实现容错。
正在访问服务的用户可以继续访问,而不会察觉到服务已经由另一台服务器(节点)提供。
在实际应用中,最常见的情况是利用集群解决负载平衡问题,比如用于提供WWW服务。
在调度器的实现技术中,IP负载均衡技术是效率最高的。
在已有的IP负载均衡技术中有通过网络地址转换(NetworkAddressTranslation)将一组服务器构成一个高性能的、高可用的虚拟服务器,我们称之为VS/NAT技术(VirtualServerviaNetworkAddressTranslation),大多数商品化的IP负载均衡调度器产品都是使用此方法,如Cisco的LocalDirector、F5的Big/IP和Alteon的ACEDirector。
在分析VS/NAT的缺点和网络服务的非对称性的基础上,提出通过IP隧道实现虚拟服务器的方法VS/TUN(VirtualServerviaIPTunneling),和通过直接路由实现虚拟服务器的方法VS/DR(VirtualServerviaDirectRouting),它们可以极大地提高系统的伸缩性。
它们的大致原理如下:
1.VirtualServerviaNetworkAddressTranslation(VS/NAT)
通过网络地址转换,调度器重写请求报文的目标地址,根据预设的调度算法,将请求分派给后端的真实服务器;真实服务器的响应报文通过调度器时,报文的源地址被重写,再返回给客户,完成整个负载调度过程。
2.VirtualServerviaIPTunneling(VS/TUN)
采用NAT技术时,由于请求和响应报文都必须经过调度器地址重写,当客户请求越来越多时,调度器的处理能力将成为瓶颈。
为了解决这个问题,调度器把请求报文通过IP隧道转发至真实服务器,而真实服务器将响应直接返回给客户,所以调度器只处理请求报文。
由于一般网络服务应答比请求报文大许多,采用VS/TUN技术后,集群系统的最大吞吐量可以提高10倍。
3.VirtualServerviaDirectRouting(VS/DR)
VS/DR通过改写请求报文的MAC地址,将请求发送到真实服务器,而真实服务器将响应直接返回给客户。
同VS/TUN技术一样,VS/DR技术可极大地提高集群系统的伸缩性。
这种方法没有IP隧道的开销,对集群中的真实服务器也没有必须支持IP隧道协议的要求,但是要求调度器与真实服务器都有一块网卡连在同一物理网段上。
ET66的聊天大厅集群服务器(也称大厅负载均衡服务器)示意图:
ET66的集群服务
ET66目前有两个功能模块使用了集群技术。
一个是EPHD集群服务器组,另一个是聊天室大厅集群服务器组。
后台数据库采用了mysql的集群技术(MASTER-SLAVE)。
下面以聊天室大厅集群服务器的安装和配置来说明一个典型集群服务的安装配置过程。
ET66项目中,由于真实服务器(即大厅web服务器)不会太多(<10),集群服务器(也称负载均衡服务器)采用LVSNAT模式。
集群服务占用的系统资源比较少,为了充分利用资源,还可以让集群服务器也承担一部份apache的工作,即集群服务器既提供集群服务,也作为一台真实提供Web服务的机器,实际情况可以根据系统负载来取舍。
集群服务器使用双网卡(eth0和eth1)。
eth0为虚拟服务器的IP地址(公网IP),eth1为内网IP地址。
参看上图,为了表述方便,图中填写了实际的IP地址,配置的时候根据实际情况修改。
每个真实提供服务的机器(websrv1~websrvn)连接到内网中,其缺省网关设为集群服务器的内网地址。
集群服务器的安装和配置
一、服务器硬件要求:
建议配置如下:
Dell2650XEON2.4G×2/1G×2/36G100M/1G自适应双网卡
目前生产机的配置是:
兼容机2.4G*2/1G*2/36G100M/1G自适应双网卡
二、服务器软件要求:
操作系统:
RedHatAS3.0企业版Update2(打过集群LVS补丁)
集群软件:
RedHatClusterSuite光盘或tar包。
三、系统安装要求:
包含的组件:
XWindows、Gnome、KDE等图形界面工具(安装集群软件时需要)
把一些开发工具什么的都选上(好像redhatcluster安装的时候用到了python。
)
webserver工具(Apache)集群服务配置时启动配置页面,需要apache支持。
其他必要的系统工具和组件。
大厅Server的操作系统其实随便,windows也可以;当然,我们还是安装和集群服务器版本一样的系统RedhatASServer3.0update2。
集群服务(均衡负载)工具的安装
Redhatclustersuite集成了LVS的大部分东西,同时提供了一个基于web的配置工具,不用手动修改配置文件,比较方便。
Redhatclustersuite安装包里有autorun,它会启动安装界面。
所以最好在本地安装,如果在远程安装只好一个一个去装rpm。
安装过程中把所有东西都选上。
集群(均衡负载)服务器的配置
1、检查集群服务器的IP转发设置。
查看/etc/sysctl.conf文件,设置
net.ipv4.ip_forward=1
这个选项会在系统重新启动后生效。
可以使用
/sbin/sysctlnet.ipv4.ip_forward
查看当前值,使用
/sbin/sysctl-wnet.ipv4.ip_forward=1
修改当前值。
一般的操作是执行/sbin/sysctl-wnet.ipv4.ip_forward=1命令修改当前会话的值,再修改/etc/sysctl.conf文件设置net.ipv4.ip_forward=1,以使下次重启时设置自动生效。
2、系统安装上Redhatclustersuite集群软件后,使用一个名为Piranha的配置工具配置集群服务器,此配置工具使用apache作webServer来提供基于web页面的配置接口。
此配置接口的web页面站点的配置文件网页文件及其他相关文件存放在/etc/sysconfig/ha/目录中。
编辑/etc/sysconfig/ha/conf/httpd.conf文件,配置接口页面站点的相关参数。
缺省的监听端口是3636,和et66ephd使用的端口一样。
为了保证不影响ephd的使用,同时统一ephd集群服务器和聊天大厅集群服务器的集群管理,统一修改监听端口为36363。
Listen36363
访问Piranha配置接口页面需要有帐号和密码,帐号默认为piranha。
执行
/usr/sbin/piranha-passwd
设置piranha的登录口令。
3、完成以上配置后,执行
/sbin/servicepiranha-guistart
启动Piranha配置接口页面站点。
此时进程列表里应含有一个或多个名为piranha_gui的进程。
4、访问http:
//61.175.226.16:
36363/登录Piranha。
利用此页面配置接口配置集群服务。
在进行配置之前,需要清楚以下几个概念:
虚拟服务器:
参看文档开头的关于集群技术的相关介绍,具体对聊天大厅集群服务器组来说,用户访问聊天大厅(地址为集群服务器的地址),感觉上就是访问一台高效的服务器。
此台“高效的服务器”,我们底下称之为“虚拟服务器”,实际上就是这里的集群服务器。
真实服务器:
即真实提供服务的大厅服务器,此类服务器可以增加多台。
选择GLOBALSETTINGS选项卡。
进行全局设置。
PrimaryserverpublicIP:
61.175.226.16集群服务器的外网ip
PrimaryserverprivateIP:
:
为空
ET66采用LVSNAT模式的集群,有关集群的不同模式区别,请查阅上面的有关说明。
点击NAT按钮,出现NAT网络设置:
NATRouterIP:
192.168.1.2NAT路径名称
NATRouternetmask:
255.255.255.0NAT掩码
NATRouterdevice:
eth1NAT路径装置
选择VIRTUALSERVERS选项卡。
点击ADD按钮,添加虚拟服务器:
点击EDIT按钮,配置该虚拟服务器:
Name:
http此虚拟服务器的名,可以随意,建议以提供的服务命名。
Applicationport:
80应用监听端口。
Web服务为80端口
Protocol:
tcp采用tcp协议通信
VirtualIPAddress:
61.175.226.16此虚拟服务器的有效外网ip地址,供用户访问
VirtualIPNetworkMask:
255.255.255.192此虚拟服务器的子网掩码,请查看网卡设置。
FirewallMask:
(空)
Device:
eth0外网通信网卡
Re-entrytimeout:
15重入时间(S)
Servicetimeoute:
6服务延时(S)
Quiesceserver:
NO
Loadmonitoringtool:
none不加载监控工具
Scheduling:
Weightedleast-connections调度策略(权重最小连接)
Persistence:
1440持续性(S)
PersistenceNetworkMask:
255.255.255.0持续性屏蔽
配置完毕,点击ACCEPT将配置写入配置文档/etc/sysconfig/ha/lvs.cf。
如果想要让同一个IP在一段时间内只访问同一个真实服务器,则要设置Persistence值,在这指定时间内,无论采用何种负载均衡算法,同一个IP都会访问同一个真实服务器。
虚拟服务器配置完后,为此虚拟服务器添加真实服务器。
点击子选项卡REALSERVER:
点击ADD按钮添加真实服务器:
点击EDIT按钮配置此真实服务器:
Weight为该真实服务器的权重。
虚拟服务器按调度策略根据此设置值进行调度。
配置完点击ACCEPT按钮将配置写入配置文档/etc/sysconfig/ha/lvs.cf。
重新点击子选项卡REALSERVER可添加多个真实服务器。
点击(DE)ACTIVATE按钮可使真实服务器生效(UP)。
不过建议在完成所有配置后再启动。
点击子选项卡MONITORINGSCRIPTS:
配置发送和接收字符串,让lvs确定realserver是否存在。
因为当前lvs模式有弊端,确定包文在网络流量大的时候,会丢包,从而造成realserver掉线的假象,所以现在采取脚本send.sh发送和确认,保证每次都能返回确认字符串。
/root/send.sh的内容很简单:
#!
/bin/sh
echo"http"
echo的内容就是期待Expect的内容。
目前的生产机中,ephd集群采用/root/send.sh脚本发包监控。
聊天大厅集群采用默认的发包监控。
至此,已经为虚拟服务器添加完毕真实服务器。
启动虚拟服务器和真实服务器。
进入各个相关界面,点击(DE)ACTIVATE按钮使设备UP起来。
以上所有的配置结果,ACCEPT后,将写入配置文件/etc/sysconfig/ha/lvs.cf中。
如果你熟悉了LVS的配置,可以直接修改此配置文件,而不需要使用piranha配置工具。
配置完毕,执行:
/sbin/servicepulsestart
启动lvs服务。
此时进程列表里应含用pulse和lvs的进程名。
可以执行
ipvsadm
查看当前的路由表,输出结果如下:
IPVirtualServerversion1.0.8(size=65536)
ProtLocalAddress:
PortSchedulerFlags
->RemoteAddress:
PortForwardWeightActiveConnInActConn
TCP61.175.226.16:
httpwlcpersistent1440mask255.255.255.0
->192.168.1.152:
httpMasq10012824929
->192.168.1.151:
httpMasq10013721351
如果上述的192.168.1.152:
http真实服务器显示的是主机名而不是ip地址,为了加快路由转发,把它们的主机名对应的ip解析加在了负载均衡器的/etc/hosts中。
最好把每一个真实服务器的域名解析都放到此文件中。
当然你要把所有机器的apache都起来,如果有一个没有起来,上面的列表中就会少一行。
Lvs每隔一段时间会检测一下真实服务器(即上述的发包监控)。
以上的路由表表明,大厅集群服务器的lvs服务已启动,已完成集群服务器的配置。
如果修改了/etc/sysconfig/ha/lvs.cf(无论是手工编辑还是通过Piranha)只有重新启动pulse服务才会起作用。
注意!
!
!
实践操作中,pulse服务起来之后如果被停止掉,它会把外网和内网的两个网卡全部down掉,只好通过控制台再启动两个网卡和pulse服务。
所以在远程控制lvs集群负载机的时候,如果要重新启动pulse,应该直接reboot机器,以防止网卡down掉,无法访问远程机器。
改动当前的配置,还可以使用ipvsadm直接修改内核路由表,相关操作命令请查阅ipvsadm的命令行帮助。
例如:
假设当前已经有了websvr1(192.168.1.151)和websvr2(192.168.1.152)两个真实服务器,扩容需要新增另外一台websvr3(192.168.1.153)真实服务器。
直接在/etc/sysconfig/ha/lvs.cf中加入了websvr3的信息,但是无法立即生效,这时可以用以下命令:
ipvsadm-a-t61.175.226.16:
http-r192.168.1.153:
http-m-w100
这样就可以加入到内核路由表并立即生效。
以上就是一个典型的集群服务器的安装和配置过程。
配置完后,建议停止piranha配置工具接口页面以减少安全隐患:
/sbin/servicepiranha-guistop
ET66EPHD集群服务器的安装和配置过程和聊天大厅集群服务器安装配置过程类似。
不一样的是,EPHD集群服务器要提供两种虚拟服务器服务。
一个是ephd即时通讯服务器集群;另一个是ephdnat集群,用于用户处理语音视频转接。
集群的配置过程基本一样。
ephd集群的配置相关截图如下:
ephd虚拟服务器的配置:
ephd虚拟服务器的真实服务器如下:
虚拟服务器发包监测设置:
ephdnat虚拟服务器的配置:
ephdnat虚拟服务器的真实服务器如下:
虚拟服务器发包监测设置:
备份与恢复
备份:
1、集群软件RedHatClusterSuite光盘备份或tar包备份。
2、将/etc/sysconfig/ha目录打包备份。
#tarczvflvs20040906.tar.gz/etc/sysconfig/ha
恢复:
1、用光盘RedHatClusterSuite本地安装或者用RedHatClusterSuite压缩包一个一个组件远程安装。
2、将备份压缩包lvs20040906.tar.gz解压覆盖/etc/sysconfig/ha目录。
#cplvs20040906.tar.gz/etc/sysconfig/
#tarxzvflvs20040906.tar.gz
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ET6601 集群 服务器 维护 手册