GlusterFS安装配置手册06.docx
- 文档编号:25218313
- 上传时间:2023-06-06
- 格式:DOCX
- 页数:17
- 大小:332.33KB
GlusterFS安装配置手册06.docx
《GlusterFS安装配置手册06.docx》由会员分享,可在线阅读,更多相关《GlusterFS安装配置手册06.docx(17页珍藏版)》请在冰豆网上搜索。
GlusterFS安装配置手册06
GFS安装配置手册
深圳市连用科技有限公司
2017年6月
1准备环境
在LFS服务器和所有存储节点服务器上安装RedHatLinux6.6或CentOSLinux6.6操作系统,在安装过程中,选安装包时,把开发环境也装上。
2在所有存储节点上安装GFS
2.1安装
解包:
#tarzvxfglusterfs.tar.gz
进入目录:
#cdglusterfs
检查环境:
#./autogen.sh#3.5版本安装。
先执行这个
#./configure
会显示如下信息:
GlusterFSconfiguresummary
===========================
FUSEclient:
yes
Infinibandverbs:
no
epollIOmultiplex:
yes
argp-standalone:
no
fusermount:
no
readline:
yes
georeplication:
yes
Linux-AIO:
no
编绎:
#make
会提示如下信息:
creatinggluster
安装:
#makeinstall
卸载:
#makeuninstall
ldconfig
确认是否安装成功:
#glusterfs--version
如果显示如下类似信息,表示安装成功了
glusterfs3.6.9builtonApr21201717:
37:
51
Repositoryrevision:
git:
//
Copyright(c)2006-2013RedHat,Inc.<
GlusterFScomeswithABSOLUTELYNOWARRANTY.
ItislicensedtoyouunderyourchoiceoftheGNULesser
GeneralPublicLicense,version3oranylaterversion(LGPLv3
orlater),ortheGNUGeneralPublicLicense,version2(GPLv2),
inallcasesaspublishedbytheFreeSoftwareFoundation.
启动所有SERVER的服务:
#serviceglusterdstart
显示如下信息,表示启动成功
Startingglusterd:
[确定]
再查一下进程是否存在,来确认是否启动成功,如果存在,表示确实是在运行了:
#ps-ef|grepglusterd
root34641009:
31?
00:
00:
00/usr/local/sbin/glusterd
root35163394009:
32pts/100:
00:
00grepglusterd
设置开机自动启动服务:
#chkconfigglusterdon
测试环境的话,可以停掉防火墙,如果是生产环境,可以在防火墙中增加要打开的端口(自已查资料),但通常是使用硬盘防火墙:
#iptables–L#显示防火墙情况
#serviceiptablesstop
测试环境中把防火墙的自启动关掉,不然重启机器又会起动防火墙,用ntsysv命令,然后找到iptables,取消选中:
#ntsysv–level35
[]iptables#取消选中
2.2配置
只能在其中一台存储节点服务器上进行配置。
例如,你选了172.20.1.200这台,那么下面的操作都在这台服务器上。
查询并增加其它存储节点进存储集群中(本身操作的这台机器,不用进行probe):
#glusterpeerprobe172.20.1.201
显示如下类型的信息,表示增加成功,如果长时间没显示,或显示出错信息,请确认本机是否能连通其它存储节点,其它存储节点的防火墙是否已关闭等:
Probesuccessful
查看是否正确增加了存储节点:
[root@Server01~]#glusterpeerstatus
显示如下类似的信息,表示增加成功:
NumberofPeers:
1
Hostname:
172.20.1.201
Uuid:
a165bbd9-158f-4ddb-9139-ecb624c14769
State:
PeerinCluster(Connected)
确定本台台机器要使用的存储目录,以及目录是否可以正常读写,这里假设你用/data作为存储目录并建立这个目录:
#mkdir/data
注意,现在要转到其它存储节点服务器上确定要使用的存储目录了,这里假设你用/data作为存储目录并建立这个目录:
进入172.20.1.201服务器,并建立目录
#mkdir/data
回到172.20.1.200这台服务器,继续配置:
开始建卷,产生一个复制类型卷,就是一份数据会同时存放到这二台服务器上,以后如果你有四台存储节点服务器,那么一份数据会按算法放到其中的二台存储节点服务器,生产环境最好是作三份复制:
(glustervolumecreateNEW-VOLNAME[stripeCOUNT][replicaCOUNT][transport[tcp|rdma|tcp,rdma]]NEW-BRICK...)
#glustervolumecreatemyvolumereplica2transporttcp172.20.1.200:
/data172.20.1.201:
/data-force
如果显示如下信息,表示产生成功:
Creationofvolumemyvolumehasbeensuccessful.Pleasestartthevolumetoaccessdata.
可以用命令查一下卷的信息:
#glustervolumeinfo
会显示如下类似信息:
VolumeName:
myvolume
Type:
Replica
Status:
Created
Transport-type:
tcp
Bricks:
Brick1:
172.20.1.200:
/data
Brick2:
172.20.1.201:
/data
启用这个新产生的卷:
#glustervolumestartmyvolume
Startingvolumemyvolumehasbeensuccessful
至此,存储节点服务器配置完成。
接着配置LFS服务器,让它使用这个产生的卷
3在所有LFS上安装GFS
有些环境可能有多台LFS,每台的配置是一样的。
1.1安装
和存储节点服务器的安装一样。
请参考上面所述。
2.2配置
装载fuse模块到内核:
#modprobefuse
并在/etc/rc.d/rc.local中增加这一行。
以便在机器重启时,自动启动。
测试是否成功装载fuse模块:
#dmesg|grep-ifuse
有如下的信息显示,表示成功
fuseinit(APIversion7.14)
确认本机要使用的目录,就是要挂载存储集群的目录。
这里使用/test,并建立这个目录:
#mkdir/test
挂载存储集群:
#mount-tglusterfs172.20.1.200:
/myvolume/test
检查是否持载成功:
#df-h
显示如下的类似信息,表示成功
文件系统容量已用可用已用%挂载点
glusterfs#172.20.1.200:
/myvolume
186G7.7G169G5%/test
可以设成自动开机持载:
在/etc/fstab中增加:
172.20.1.200:
/myvolume/testglusterfsdefaults,_netdev00
说明:
_netdev参数表示设备需要网络,defaults表示其它参数使用缺省值.后面的00表示不用dump,启动时不用检查。
也可以在/etc/rc.d/rc.local中增加,但要注意在其它程序使用前就要启动。
mount-tglusterfs172.20.1.200:
/myvolume/test
至次,LFS机器上的配置完成。
LFS可以使用这个/test目录了。
所有存储到/test目录的文件,实际上是存储到存储节点服务器上。
3高级GFS配置
3.1如何增删存储节点服务器
增加一个结点到集群:
#glusterpeerprobe172.20.1.202
查节点状态:
#glusterpeerstatus
删除集群中一个结点:
#glusterpeerdetach172.20.1.202
增加节点到卷中(对分布式复制卷类型,要按它的培数增加节点):
#glustervolumeadd-brickmyvolume172.20.1.202:
/data
#glustervolumeadd-brickmyvolume172.20.1.201:
/data172.20.1.202:
/data
删除卷中的节点(删除后,此组节点集上的数据就不可用了,对分布式复制卷类型,要按它的培数删除节点,并且是同一个子集)
#glustervolumeremove-brickmyvolume172.20.1.202:
/data
#glustervolumeremove-brickmyvolume172.20.1.201:
/data172.20.1.202:
/data
增加卷容量后,可以平衡卷中的数据:
#glustervolumerebalancemyvolumestart
#glustervolumerebalancemyvolumestatus
#glustervolumerebalancemyvolumestop
要删除卷,就要先停用:
#glustervolumestopmyvolume
#glustervolumedeletemyvolume
3.2如何把数据从一个节点迁移到另一个节点
目标节点必需在集群中
#glustervolumereplace-brickmyvolume192.168.4.23:
/data2192.168.4.42:
/datastart
会提示
replace-brickstartedsuccessfully
可以暂停:
#glustervolumereplace-brickmyvolume192.168.4.23:
/data2192.168.4.42:
/datapause
可以取消:
#glustervolumereplace-brickmyvolume192.168.4.23:
/data2192.168.4.42:
/dataabort
可以查状态:
#glustervolumereplace-brickmyvolume192.168.4.23:
/data2192.168.4.42:
/datastatus
正式提交节点转移命令:
(目标节点会取代源节点)
#glustervolumereplace-brickmyvolume192.168.4.23:
/data2192.168.4.42:
/datacommit
查卷状态:
#glustervolumeinfo
提示:
VolumeName:
myvolume
Type:
Distributed-Replicate
VolumeID:
2984e45d-e1e6-40b5-90f3-68a008e8d63a
Status:
Started
NumberofBricks:
2x2=4
Transport-type:
tcp
Bricks:
Brick1:
192.168.4.20:
/data
Brick2:
192.168.4.21:
/data
Brick3:
192.168.4.41:
/data
Brick4:
192.168.4.42:
/data
如果上面的操作,提示出错,要强行执行(可用于用新节点来代替故障节点):
#glustervolumereplace-brickmyvolume192.168.4.23:
/data2192.168.4.42:
/datacommitforce
3.3如何平衡数据
只平衡目录结构,旧数据不动,新数据分布存放
#glustervolumerebalancemyvolumefix-layoutstart
平衡目录结构和旧数据
#glustervolumerebalancemyvolumestart
强制执行
#glustervolumerebalancemyvolumestartforce
查状态
#glustervolumerebalancemyvolumestatus
停止
#glustervolumerebalancemyvolumestop
3.4节点故障时的常见处理办法
1硬盘故障
因为底层做了raid配置,有硬件故障,直接更换硬盘,会自动同步数据。
2一台节点故障glusterfs2服务器
一台节点故障的情况包括以下情况:
a)物理故障;
b)同时有多块硬盘故障,造成数据丢失;
c)系统损坏不可修复。
解决方法:
找一台和故障机器类似的机器,保证硬盘空间大小一致,安装系统,配置和故障机同样的ip,安装gluster软件,保证配置都一样,在其他健康的节点上执行命令glusterpeerstatus,查看故障服务器的uuid,
#glusterpeerstatus
NumberofPeers:
2
Hostname:
172.20.1.51
Uuid:
64b345d4-6c9c-43d8-82ef-68c228c4b7ed
State:
PeerinCluster(Connected)
Hostname:
172.20.1.52
Uuid:
9133d139-f9c4-484d-acdf-d11f0452878a
State:
PeerinCluster(Disconnected)
修改新加机器的/var/lib/glusterd/glusterd.info和故障机器的一样
cat/var/lib/glusterd/glusterd.info
UUID=9133d139-f9c4-484d-acdf-d11f0452878a
将正常节点的/var/lib/glusterd/peers目录下的文件拷贝至故障节点的对应目录里面
#scp/var/lib/glusterd/peers/root@glusterfs2:
/var/lib/glusterd/peers
安装glusterfs文件系统后如果glusterd启动失败,请删除/var/lib/glusterd/目录下的所有文件
在任意节点上执行
#glustervolumestopmyvolume
#glustervolumestartmyvolumeforce
#glustervolumehealmyvolumefull
LaunchingHealoperationonvolumemyvolumehasbeensuccessful
就会自动开始同步,但是同步的时候会影响整个系统的性能。
可以查看状态
#glustervolumehealmyvolumeinfo
GatheringHealinfoonvolumemyvolumehasbeensuccessful
3.5日志目录
/var/log/glusterfs/
4状态查询
4.1显示卷状态
显示所有卷:
#glustervolumestatusall
Statusofvolume:
myvolume
GlusterprocessPortOnlinePid
------------------------------------------------------------------------------
Brick192.168.4.20:
/data24009Y1872
Brick192.168.4.21:
/data24009Y1781
Brick192.168.4.22:
/data324011Y18988
Brick192.168.4.23:
/data324011Y15643
NFSServeronlocalhost38467Y18605
Self-healDaemononlocalhostN/AY15655
NFSServeron192.168.4.4238467Y11218
Self-healDaemonon192.168.4.42N/AY1826
NFSServeron192.168.4.2038467Y4531
Self-healDaemonon192.168.4.20N/AY1905
NFSServeron192.168.4.2138467Y5482
Self-healDaemonon192.168.4.21N/AY2590
NFSServeron192.168.4.2238467Y21929
Self-healDaemonon192.168.4.22N/AY19044
可以指定卷:
#glustervolumestatusmyvolume
4.2显示卷信息
显示指定卷信息:
#glustervolumeinfomyvolume
会显示如下信息:
VolumeName:
myvolume
Type:
Distributed-Replicate
VolumeID:
2984e45d-e1e6-40b5-90f3-68a008e8d63a
Status:
Started
NumberofBricks:
2x2=4
Transport-type:
tcp
Bricks:
Brick1:
192.168.4.20:
/data
Brick2:
192.168.4.21:
/data
Brick3:
192.168.4.22:
/data3
Brick4:
192.168.4.23:
/data3
显示所有卷信息:
#glustervolumeinfoall
4.2显示存储节点状态
#glusterpeerstatus
会显示如下的信息:
NumberofPeers:
5
Hostname:
192.168.4.20
Uuid:
d25c608f-8f20-4ec7-9772-7caa2ec83ecf
State:
PeerinCluster(Connected)
Hostname:
192.168.4.21
Uuid:
c40394a6-106c-4e65-90a5-17d85625c51b
State:
PeerinCluster(Connected)
Hostname:
192.168.4.22
Uuid:
23d2d574-0aa6-410a-a7b4-ffd3d4364c0e
State:
PeerinCluster(Connected)
Hostname:
192.168.4.41
Uuid:
92897239-4680-4288-bf2a-8d01279f7559
State:
PeerinCluster(Disconnected)
Hostname:
192.168.4.42
Uuid:
f5a7e985-3dfe-469b-815a-ca3c30e7d822
State:
PeerinCluster(Connected)
4.测试
GlusterFS性能测试,测试结果受环境各种因素影响,例如,机器配置、网卡速度、交换机速度等。
#ls-lh/root/*显示文件大小
1.用DD测试命令(在客户端的挂载目录中运行)
公司测试结果:
1.1写测试
[root@localhosttest]#ddif=/dev/zeroof=./sample-file-1bs=1Mcount=128
记录了128+0的读入
记录了128+0的写出
134217728字节(134MB)已复制,1.9435秒,69.1MB/秒
1.2读测试
[root@localhosttest]#ddof=/dev/zeroif=./sample-file-1bs=1Mcount=128
记录了128+0的读入
记录了128+0的写出
134217728字节(134MB)已复制,0.841337秒,160MB/秒
if=输入文件(或设备名称)。
of=输出文件(或设备名称)。
bs=bytes同时设置读/写缓冲区的字节数(等于设置ibs和obs)。
count=blocks只拷贝输入的blocks块。
2.用TIME配合CP命令
#du-m--max-depth=0/usr/查/usr目录的大小
#timecp-rf/usr/test
1.单客户端测试
测试1:
复制大约2.5G容量/usr目录至GlusterFS(大部分都是小文件)
测试结果:
glusterfs1361KB/s
本地硬盘2533KB/s
测试2:
复制一个3.8G的文件至GlusterFS
测试结果:
glusterfs2270KB/s
本地硬盘10198KB/s
测试3:
读取测试2复制的大文件(catxxx.iso>/dev/null)
测试结果:
glusterfs11.2MB/s(基本跑满100M带宽)
本地硬盘45.6MB/s
2.双客户端测试
测试1:
在两个客户端上同时复制大约2.5G容量/usr目录至GlusterFS(大部分都是小文件)
测试结果:
192.168.1.17:
glusterfs1438KB/s
192.168.1.18:
glusterfs1296KB/s
测试2:
在两个客户端上同时复制一个3.8G的文件至GlusterFS
测试结果:
192.168.1.17:
glusterfs2269KB/s
192.168.1.18:
glusterfs2320KB/s
增加性能
#glustervolumesetv3_uploadperformance.cache-size4GB
volumeset:
success
#gluster
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- GlusterFS 安装 配置 手册 06