1、L028老男孩实效教育nfs网络文件系统企业级优化实战12节资料01- 通过实践测试讲解nfs客户端挂载的选项参数优化_rootclient1 # mount -t nfs -o nosuid,noexec,nodev,rw 192.168.177.129:/data /mnt-加上nosuid,noexec的参数，进行客户端优化rootclient1 # df -hFilesystem Size Used Avail Use% Mounted on/dev/sda2 18G 2.5G 15G 15% /tmpfs 491M 72K 491M 1% /dev/shm/dev/sda1 291M
2、 34M 242M 13% /boot192.168.177.129:/data 19G 2.3G 15G 14% /mntrootclient1 # grep mnt /proc/mounts192.168.177.129:/data/ /mnt nfs4 rw,nosuid,nodev,noexec,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.177.130,minorversion=0,lo
3、cal_lock=none,addr=192.168.177.129 0 0查看/proc/mounts的mnt的nfs参数测试：建立一个test.sh的文件：rootclient1 # echo echo pwd /mnt/test.shrootclient1 # ll /mnttotal 8-rw-r-r-. 1 oldgirl oldgirl 0 Jan 8 21:29 ddd-rw-r-r-. 1 oldgirl oldgirl 11 Jan 19 18:26 test.sh-rw-r-r-. 1 root root 170 Jan 19 10:00 www_2016-01-20.ta
4、r.gzrootclient1 # /mnt/test.sh-bash: /mnt/test.sh: Permission deniedrootclient1 # chomod +x /mnt/test.sh -bash: chomod: command not foundrootclient1 # chmod +x /mnt/test.sh rootclient1 # ll /mnt total 8-rw-r-r-. 1 oldgirl oldgirl 0 Jan 8 21:29 ddd-rwxr-xr-x. 1 oldgirl oldgirl 11 Jan 19 18:26 test.sh
5、-rw-r-r-. 1 root root 170 Jan 19 10:00 www_2016-01-20.tar.gzrootclient1 # /mnt/test.sh-bash: /mnt/test.sh: Permission denied-更改多X权限还是无法执行，因为加了noexec参数但是：rootclient1 # sh /mnt/test.sh /root可以使用sh直接执行可以。结论：a. Nosuid,noexec对于shell脚本，Php脚本的执行也生肖。注意：通过sh test.sh，以及/application/php/bin/test.php依然是可以执行程序的，
6、不带解释器的情况如：/mnt/test.sh，即使执行权限也无法执行。b. 对于二进制程序，例如cat，生效例子如下：rootclient1 # cp /bin/cat /optrootclient1 # /opt/cat /mnt/test.sh echo pwdcat还是能够运行的。Nfs客户端优化：rsize和wsizerootbogon # df -hFilesystem Size Used Avail Use% Mounted on/dev/sda2 18G 2.5G 15G 15% /tmpfs 491M 72K 491M 1% /dev/shm/dev/sda1 291M 34M
7、 242M 13% /boot192.168.177.129:/data 19G 2.3G 15G 14% /mntrootbogon # umount /mntrootbogon # mount -t nfs -o nosuid,noexec,rsize=1024,wsize=1024,rw 192.168.177.129:/data /mntrootbogon # grep mnt /proc/mounts 192.168.177.129:/data/ /mnt nfs4 rw,nosuid,noexec,relatime,vers=4,rsize=1024,wsize=1024,naml
8、en=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.177.130,minorversion=0,local_lock=none,addr=192.168.177.129 0 0现在的rsize=1024,wsize=1024：rootbogon # time dd if=/dev/zero of=/mnt/testfile bs=9k count=20000 20000+0 records in20000+0 records out184320000 bytes (184 MB) copied
9、, 22.824 s, 8.1 MB/sreal 0m22.848suser 0m0.009ssys 0m5.344srootbogon # umount -lf /mnt-强制卸载挂载rootbogon # lltotal 76-rw-. 1 root root 3321 Sep 28 06:39 anaconda-ks.cfg-rw-r-r-. 1 root root 4 Oct 12 23:54 a.txt-rw-r-r-. 1 root root 5 Oct 12 23:54 b.txt-rw-r-r-. 1 root root 41364 Sep 28 06:39 install.l
10、og-rw-r-r-. 1 root root 9154 Sep 28 06:37 install.log.syslog-rw-r-r-. 1 root root 14 Oct 12 19:30 tet.txtrootbogon # df -hFilesystem Size Used Avail Use% Mounted on/dev/sda2 18G 2.5G 15G 15% /tmpfs 491M 72K 491M 1% /dev/shm/dev/sda1 291M 34M 242M 13% /bootrootbogon # mount -t nfs -o nosuid,noexec,rw
11、 192.168.177.129:/data /mnt rootlocalhost # grep mnt /proc/mounts 192.168.177.129:/data/ /mnt nfs4 rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.177.130,minorversion=0,local_lock=none,addr=192.168.177.129 0 0测试单个文件写入速度rsi
12、ze=131072,wsize=131072，提高了性能：rootbogon # time dd if=/dev/zero of=/mnt/testfile bs=9k count=2000020000+0 records in20000+0 records out184320000 bytes (184 MB) copied, 2.05343 s, 89.8 MB/sreal 0m2.091suser 0m0.007ssys 0m0.225srsize和wsize的大小决定写入和读写的性能。*测试增加noatime,nodiratime参数：noatime不更改文件的时间撮，如果要更改就是要
13、读写一次磁盘。 nodiratime不更改目录的时间撮，如果要更改就是要读写一次磁盘。rootlocalhost # mount -t nfs -o nosuid,noexec,noatime,nodiratime,rw 192.168.177.129:/data /mntrootlocalhost # time dd if=/dev/zero of=/mnt/testfileh bs=9k count=2000020000+0 records in20000+0 records out184320000 bytes (184 MB) copied, 10.8852 s, 16.9 MB/sr
14、eal 0m10.926s-第一次user 0m0.009ssys 0m6.447srootlocalhost # time dd if=/dev/zero of=/mnt/testfileh bs=9k count=2000020000+0 records in20000+0 records out184320000 bytes (184 MB) copied, 1.56115 s, 118 MB/sreal 0m1.622s-第二次user 0m0.005ssys 0m0.254s*noatime/nodiratime不更改文件/目录的时间撮，如果要更改就是要读写一次磁盘。取消后，提高了性
15、能。新文件第一次没有快，第二次访问才会提高性能NFS网络文件系统优化挂载的参数建议：Centos 5.x服务器端和客户端环境：Mount t nfs o noatime,nodiratime,nosuid,noexec,nodev,rw,bg,soft,rsize=32768,wsize=32768 192.168,177.129:/data /mntCentos 6.x服务器端和客户端环境：Mount t nfs o noatime,nodiratime,nosuid,noexec,nodev,rw,bg,soft,rsize=66536,wsize=65536 192.168,177.12
16、9:/data /mnt挂载：mount t nfs 192.168.177.129:/data /mnt查看：grep 192.168.177.129 /proc/mounts性能优化的参数，非性能参数越多，速度越慢：noatime,nodiratime，rsize=66536,wsize=65536系统默认参数：rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,02- 基于nfs网络文件系统的linux内核优化实战与总结_*NFS
17、官方优化可以修改，官方的建议：rootdiammetal # cat /proc/sys/net/core/rmem_default 124928rootdiammetal # cat /proc/sys/net/core/rmem_max 124928rootdiammetal # cat /etc/sysctl.conf-在sysctl.conf中配置可以在NFS官网上查找centos 6.x的rmem_default，rmem_max值的优化。在centos 5.x中，可以rmem_default=16777216，rmem_max=8388608-rootdiammetal # ech
18、o 16777216 /proc/sys/net/core/rmem_max-rootdiammetal # echo 8388608 /proc/sys/net/core/rmem_defaultrmem_default：该文件指定了接收发送套接字缓冲区大小的缺省值。rmem_max：该文件指定了接收套接字缓冲区大小的最大值1.以上使用命令修改，重启后会失效了。2.以下追加到cat /etc/sysctl.confEOFNet.core.wmem_default=8388608Net.cor.rmem_default=8388608Net.core.rmem_max=16777216Net.
19、core.wmem_max=16777216EOF如果卸载的时候提示：umount:/mnt:device is busy需要退出挂载目录在进行卸载，或者是NFSServer停机了，需要强制卸载mount lf /mnt03-企业级NFS大并发网络存储优化总结_生产环境NFS共享存储优化：1、 硬件：SAS/SSD磁盘，买多块，RAID0/RAID10。网卡好2、 服务器端：/data 192.168.177.0/24(rw,sync,root_squash,anonuid=555,anongid=555)-在/etc/exports3、 客户端挂载：rsize,wsize,noatime,n
20、odirtime,nosuid,noexec,soft(hard,intr)04-企业级故障案例如何强制卸载NFS及原理说明_*可以使用/etc/rc.local查看启动挂载了哪些NFS文件夹。还可以使用umount lf /mnt强制卸载挂载点。05-mfs常用命令shomount-exportfs深度讲解与实战_Exportfs命令说明：05.1 exportfs命令介绍Exportfs rv =/etc/init.d/nfs reload通过exportfs命令，可以管理当前NFS共享的文件系统列表。当我们在启动了NFS服务之后，此时如果修改了/etc/exports，就需要重新启动nf
21、s，使修改的 配置生效。这个时候我们就可以用exportfs命令来完成。下面就看看exportfs。05.2 exportfs命令阐述 /usr/sbin/exportfs -avi -o options,. client:/path . /usr/sbin/exportfs -r -v /usr/sbin/exportfs -av -u client:/path . /usr/sbin/exportfs -v /usr/sbin/exportfs f例子：exportfs -o rw,sync,root_squash,anonuid=555,anongid=555 192.168.177.0
22、/24:/data查看端口：rootdiammetal # rpcinfo -p localhostRpcbind服务重启后，需要把nfs也要重启，不然服务没有启动。只有111端口。rootdiammetal # rpcinfo -p localhost program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper
23、100000 2 udp 111 portmapper06-nfs部署及日常常见故障及排除故障重要思想NFS故障及解决办法：07-nfs服务常用命令及相关维护文件阶段小结_Man exports -nfs 的帮助rootdiammetal # cat /var/lib/nfs/etab/data 192.168.177.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=555,anongid=555,sec=sys,rw,r
24、oot_squash,no_all_squash)小结：1、 Mount(-t文件类型,-o参数,-a挂载所有系统,是挂载),umount(-l,-f),showmount(-e),export(-rv ,-o)s,rcpinfo(-p),ping,telnet,rpcinfo,2、 /etc/fstab,/etc/exports,/var/lib/nfs/etab,客户端的/proc/mounts/etc/fstab的内容：rootdiammetal # cat /etc/fstab# /etc/fstab# Created by anaconda on Mon Sep 28 21:58:4
25、9 2015# Accessible filesystems, by reference, are maintained under /dev/disk# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info#UUID=6a6f93f9-72db-4f4a-a1ca-bf4f43190397 / ext4 defaults 1 1UUID=835e48e8-f2d5-4ba1-8552-fe722b0d708c /boot ext4 defaults 1 2UUID=9eac7838-60b7-4c9
26、0-9be3-da00b39c8a7e swap swap defaults 0 0tmpfs /dev/shm tmpfs defaults 0 0devpts /dev/pts devpts gid=5,mode=620 0 0sysfs /sys sysfs defaults 0 0proc /proc proc defaults 0 0/dev/sdb1 /mnt ext4 defaults 0 0/fdefj/fdf /djjfdj ect4 defaults 0 0 /etc/fstab 17L, 957C writtenrootdiammetal # mount -a -可以进行
27、试挂载，会检查错误，表示启动时也会出错。mount: mount point /djjfdj does not exist-详细挂载的：rootdiammetal # cat /etc/mtab/dev/sda2 / ext4 rw 0 0proc /proc proc rw 0 0sysfs /sys sysfs rw 0 0devpts /dev/pts devpts rw,gid=5,mode=620 0 0tmpfs /dev/shm tmpfs rw 0 0/dev/sda1 /boot ext4 rw 0 0/dev/sdb1 /mnt ext4 rw 0 0none /proc/
28、sys/fs/binfmt_misc binfmt_misc rw 0 0sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw 0 0nfsd /proc/fs/nfsd nfsd rw 0 008-nfs的优缺点及企业级生产应用场景_作用：2千万PV/日的高并发。耦合度太高=解耦09-nfs服务的企业生产应用案例及拓展经验分享_Autofs功能：访问时才挂载，不访问不挂载。生产应用场景：大中小型网站（2000万PV以下）线上应用，都有用武之地。门户站也会其他方面的应用，当然未必是线上存储使用。rootlocalhost mnt# mkdir img1.10
29、rootlocalhost mnt# lltotal 44drwxr-xr-x. 2 root root 4096 Sep 28 06:41 hgfsdrwxr-xr-x. 2 root root 4096 Feb 3 23:49 img1drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img10drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img2drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img3drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img
30、4drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img5drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img6drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img7drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img8drwxr-xr-x. 2 root root 4096 Feb 3 23:49 img9复习：1、/etc/fstab的详细功能和内容2、linux救援模式修复/etc/fstab10-nfs大规模集群架构环境中的实际作用和位置_11-解耦nfs之autofs实现自动挂载nfs及应用场景说明_为什么会需要autofs？AUTOFS可以实现当用户访问的时候在挂载，如果没有用户访问，指定之间之内，就自动卸载。可以解决NFS服务器和客户端紧密耦合的问题。缺点：是用户请求才挂载，所以开始请求的瞬间效率较差。AUTOFS用户测试环境中，或者并发很低的生产环境（家目录漫游LDAP）
