lovejuan007 的BLOG
用户名：lovejuan007
文章数：731
评论数：121
访问量：701034
注册日期：
阅读量：5863
阅读量：12276
阅读量：339057
阅读量：1041743
51CTO推荐博文
一、描述：部署基于ISCSI方案的GFS。
涉及技术：
并发文件系统技术&--GFS2
基于IP协议的SAN技术&--ISCSI
RedHat&集群技术&--RHCS
二、环境：
一台iscsi&target&：
采用centos&5.2&x64&的系统，采用PXE方式安装8G系统硬盘，外加24G硬盘；
作为iscsi的target服务端，把本地硬盘上的分区通过iscsi共享给iscsi的initiator客户端；
两台iscsi&initiator：
entos&5.2&x64&的系统，采用PXE方式安装，各有一块8G系统硬盘；
作为iscsi的initiator客户端，连接iscsi-target服务端的硬盘，并在集群中规划为GFS文件系统模式下的集群存储池；
三、IP配置：
#iscsi&target：
IP：10.0.40.31
DNS：target.
#iscsi&initiator：
IP：10.0.70.51
DNS：rhcs1.
#iscsi&initiator：
IP：10.0.70.61
DNS：rhcs2.
/etc/hosts&文件配置
#&Do¬&remove&the&following&line,&or&various&programs
#&that&require&network&functionality&will&fail.
127.0.0.1&&&&&&&&localhost.localdomain& localhost
::1&&&&&&&&&&&&&localhost6.localdomain6& localhost6
10.0.40.31 target. target
10.0.70.51 rhcs1. rhcs1
10.0.70.61 rhcs2. rhcs2
四、ISCSI&Target(10.0.40.31)配置步骤：
4.1&安装iscsi软件
#下载iSCSI&Enterprise&Target
wget&http://nchc.dl.sourceforge.net/sourceforge/iscsitarget/iscsitarget-0.4.17.tar.gz
tar&-zxvf&iscsitarget-0.4.17.tar.gz
cd&iscsitarget-0.4.17
#编译、安装
make&install
#或者使用yum安装
Yum&install&-y&scsi-target-utils
#安装集群软件包套件
yum&groupinstall&&Clustering&&&Cluster&Storage&
chkconfig&--level&2345&tgtd&on
service&tdtd&start
4.2挂载设备
#配置第一个iSCSI设备
&&&&&&&&&&&&&
&&&&#系统另外挂了一个24G的硬盘，划分出三个分区即：
[root@10_0_40_31&~]#&fdisk&-l
Disk&/dev/sda:&8589&MB,&&bytes
255&heads,&63§ors/track,&1044&cylinders
Units&=&cylinders&of&16065&*&512&=&8225280&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sda1&&&*&&&&&&&&&&&1&&&&&&&&&521&&&&&4184901&&&83&&Linux
/dev/sda2&&&&&&&&&&&&&522&&&&&&&&1043&&&&&4192965&&&82&&Linux&swap&/&Solaris
Disk&/dev/sdb:&25.7&GB,&&bytes
255&heads,&63§ors/track,&3133&cylinders
Units&=&cylinders&of&16065&*&512&=&8225280&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdb1&&&&&&&&&&&&&&&1&&&&&&&&1045&&&&&8393931&&&83&&Linux
/dev/sdb2&&&&&&&&&&&&1046&&&&&&&&2090&&&&&8393962+&&83&&Linux
/dev/sdb3&&&&&&&&&&&&2091&&&&&&&&3133&&&&&8377897+&&83&&Linux
#通过tgt服务器把这三个分区共享出来：
[root@10_0_40_31&~]#&chkconfig&tgtd&on
[root@10_0_40_31&~]#&service&tgtd&restart
Stopping&SCSI&target&daemon:&[&&OK&&]
Starting&SCSI&target&daemon:&[&&OK&&]
#使用tgtadm定义iscsi&target的qualified的名字：
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&new&--mode&target&--tid&1&-T&iqn..haoyuan-inc.disk1
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&new&--mode&target&--tid&2&-T&iqn..haoyuan-inc.disk2
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&new&--mode&target&--tid&3&-T&iqn..haoyuan-inc.disk3
#使用tgtadm为上一步创建的目标增加分区：
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&new&--mode&logicalunit&--tid&1&--lun&1&-b&/dev/sdb1
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&new&--mode&logicalunit&--tid&2&--lun&1&-b&/dev/sdb2
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&new&--mode&logicalunit&--tid&3&--lun&1&-b&/dev/sdb3
#使用tgtadm允许客户端访问这三个目标逻辑卷：
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&bind&--mode&target&--tid&1&-I&ALL
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&bind&--mode&target&--tid&2&-I&ALL
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&bind&--mode&target&--tid&3&-I&ALL
#使用tatadm验证所有的目标逻辑卷定义正确：
[root@10_0_40_31&~]#&tgtadm&--lld&iscsi&--op&show&--mode&target&|grep&Target
Target&1:&iqn..haoyuan-inc.disk1
Target&2:&iqn..haoyuan-inc.disk2
Target&3:&iqn..haoyuan-inc.disk3
#为使配置生效，将上述命令添加到/etc/rc.local,添加命令：
cat&&&&/etc/rc.local&&&&EOF
#&tgtadm&--lld&iscsi&--op&new&--mode&target&--tid&1&-T&iqn..haoyuan-inc.disk1
#&tgtadm&--lld&iscsi&--op&new&--mode&target&--tid&2&-T&iqn..haoyuan-inc.disk2
#&tgtadm&--lld&iscsi&--op&new&--mode&target&--tid&3&-T&iqn..haoyuan-inc.disk3
#&tgtadm&--lld&iscsi&--op&new&--mode&logicalunit&--tid&1&--lun&1&-b&/dev/sdb1
#&tgtadm&--lld&iscsi&--op&new&--mode&logicalunit&--tid&2&--lun&1&-b&/dev/sdb2
#&tgtadm&--lld&iscsi&--op&new&--mode&logicalunit&--tid&3&--lun&1&-b&/dev/sdb3
#&tgtadm&--lld&iscsi&--op&bind&--mode&target&--tid&1&-I&ALL
#&tgtadm&--lld&iscsi&--op&bind&--mode&target&--tid&2&-I&ALL
#&tgtadm&--lld&iscsi&--op&bind&--mode&target&--tid&3&-I&ALL
五、ISCSI&Initiator(10.0.70.51&10.0.70.61)配置步骤：
5.1&rhcs1配置步骤：
#安装iscsi-initiator软件包
Yum&install&-y&iscsi-initiator-utils
#安装集群软件包套件
yum&groupinstall&&Clustering&&&Cluster&Storage&
#启动iscsifuw
[root@10_0_70_51&~]#&chkconfig&iscsi&on
[root@10_0_70_51&~]#&service&iscsi&start
iscsid&is&stopped
Turning&off&network&shutdown.&Starting&iSCSI&daemon:&[&&OK&&]
Setting&up&iSCSI&targets:&iscsiadm:&No&records&found!
#运行下面命令，查看target上的逻辑卷
[root@10_0_70_51&~]#&iscsiadm&-m&discovery&-t&sendtargets&-p&10.0.40.31
10.0.40.31:3260,1&iqn..haoyuan-inc.disk1
10.0.40.31:3260,1&iqn..haoyuan-inc.disk2
10.0.40.31:3260,1&iqn..haoyuan-inc.disk3
#上述表示已经挂载成功
#使用iscsiadmin登陆target：
[root@10_0_70_51&~]#&iscsiadm&-m&node&-T&iqn..haoyuan-inc.disk1&-p&10.0.40.31&-l
Logging&in&to&[iface:&default,&target:&iqn..haoyuan-inc.disk1,&portal:&10.0.40.31,3260]
Login&to&[iface:&default,&target:&iqn..haoyuan-inc.disk1,&portal:&10.0.40.31,3260]:&successful
[root@10_0_70_51&~]#&iscsiadm&-m&node&-T&iqn..haoyuan-inc.disk2&-p&10.0.40.31&-l
Logging&in&to&[iface:&default,&target:&iqn..haoyuan-inc.disk2,&portal:&10.0.40.31,3260]
Login&to&[iface:&default,&target:&iqn..haoyuan-inc.disk2,&portal:&10.0.40.31,3260]:&successful
[root@10_0_70_51&~]#&iscsiadm&-m&node&-T&iqn..haoyuan-inc.disk3&-p&10.0.40.31&-l
Logging&in&to&[iface:&default,&target:&iqn..haoyuan-inc.disk3,&portal:&10.0.40.31,3260]
Login&to&[iface:&default,&target:&iqn..haoyuan-inc.disk3,&portal:&10.0.40.31,3260]:&successfu
#使用fdisk检验被识别的设备名：
[root@10_0_70_51&~]#&fdisk&-l
Disk&/dev/sda:&8589&MB,&&bytes
255&heads,&63§ors/track,&1044&cylinders
Units&=&cylinders&of&16065&*&512&=&8225280&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sda1&&&*&&&&&&&&&&&1&&&&&&&&&521&&&&&4184901&&&83&&Linux
/dev/sda2&&&&&&&&&&&&&522&&&&&&&&1043&&&&&4192965&&&82&&Linux&swap&/&Solaris
Disk&/dev/sdb:&8595&MB,&&bytes
64&heads,&32§ors/track,&8197&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
Disk&/dev/sdb&doesn't&contain&a&valid&partition&table
Disk&/dev/sdc:&8595&MB,&&bytes
64&heads,&32§ors/track,&8197&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
Disk&/dev/sdc&doesn't&contain&a&valid&partition&table
Disk&/dev/sdd:&8578&MB,&&bytes
64&heads,&32§ors/track,&8181&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
Disk&/dev/sdd&doesn't&contain&a&valid&partition&table
#从上面看，iscsitarget上的逻辑卷，已经被识别为&/dev/sdb&&/dev/sdc&&/dev/sdc三个本地硬盘
#在这三个硬盘上分别建立三个分区，下面为结果：
[root@10_0_70_51&~]#&fdisk&-l
Disk&/dev/sda:&8589&MB,&&bytes
255&heads,&63§ors/track,&1044&cylinders
Units&=&cylinders&of&16065&*&512&=&8225280&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sda1&&&*&&&&&&&&&&&1&&&&&&&&&521&&&&&4184901&&&83&&Linux
/dev/sda2&&&&&&&&&&&&&522&&&&&&&&1043&&&&&4192965&&&82&&Linux&swap&/&Solaris
Disk&/dev/sdb:&8595&MB,&&bytes
64&heads,&32§ors/track,&8197&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdb1&&&&&&&&&&&&&&&1&&&&&&&&8197&&&&&8393712&&&83&&Linux
Disk&/dev/sdc:&8595&MB,&&bytes
64&heads,&32§ors/track,&8197&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdc1&&&&&&&&&&&&&&&1&&&&&&&&8197&&&&&8393712&&&83&&Linux
Disk&/dev/sdd:&8578&MB,&&bytes
64&heads,&32§ors/track,&8181&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdd1&&&&&&&&&&&&&&&1&&&&&&&&8181&&&&&8377328&&&83&&Linux
5.2&&rhcs2配置步骤：
#安装iscsi-initiator软件包
Yum&install&-y&iscsi-initiator-utils
#安装集群软件包套件
yum&groupinstall&&Clustering&&&Cluster&Storage&
#启动iscsifuw
[root@10_0_70_61&~]#&chkconfig&iscsi&on
[root@10_0_70_61&~]#&service&iscsi&start
iscsid&is&stopped
Turning&off&network&shutdown.&Starting&iSCSI&daemon:&[&&OK&&]
Setting&up&iSCSI&targets:&iscsiadm:&No&records&found!
#运行下面命令，查看target上的逻辑卷
[root@10_0_70_61&~]#&iscsiadm&-m&discovery&-t&sendtargets&-p&10.0.40.31
10.0.40.31:3260,1&iqn..haoyuan-inc.disk1
10.0.40.31:3260,1&iqn..haoyuan-inc.disk2
10.0.40.31:3260,1&iqn..haoyuan-inc.disk3
#上述表示已经挂载成功
#使用iscsiadmin登陆target：
[root@10_0_70_61&~]#&iscsiadm&-m&node&-T&iqn..haoyuan-inc.disk1&-p&10.0.40.31&-l
Logging&in&to&[iface:&default,&target:&iqn..haoyuan-inc.disk1,&portal:&10.0.40.31,3260]
Login&to&[iface:&default,&target:&iqn..haoyuan-inc.disk1,&portal:&10.0.40.31,3260]:&successful
[root@10_0_70_61&~]#&iscsiadm&-m&node&-T&iqn..haoyuan-inc.disk2&-p&10.0.40.31&-l
Logging&in&to&[iface:&default,&target:&iqn..haoyuan-inc.disk2,&portal:&10.0.40.31,3260]
Login&to&[iface:&default,&target:&iqn..haoyuan-inc.disk2,&portal:&10.0.40.31,3260]:&successful
[root@10_0_70_61&~]#&iscsiadm&-m&node&-T&iqn..haoyuan-inc.disk3&-p&10.0.40.31&-l
Logging&in&to&[iface:&default,&target:&iqn..haoyuan-inc.disk3,&portal:&10.0.40.31,3260]
Login&to&[iface:&default,&target:&iqn..haoyuan-inc.disk3,&portal:&10.0.40.31,3260]:&successful
#扫描本地硬盘:
[root@10_0_70_61&~]#&fdisk&-l
Disk&/dev/sda:&8589&MB,&&bytes
255&heads,&63§ors/track,&1044&cylinders
Units&=&cylinders&of&16065&*&512&=&8225280&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sda1&&&*&&&&&&&&&&&1&&&&&&&&&521&&&&&4184901&&&83&&Linux
/dev/sda2&&&&&&&&&&&&&522&&&&&&&&1043&&&&&4192965&&&82&&Linux&swap&/&Solaris
Disk&/dev/sdb:&8595&MB,&&bytes
64&heads,&32§ors/track,&8197&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdb1&&&&&&&&&&&&&&&1&&&&&&&&8197&&&&&8393712&&&83&&Linux
Disk&/dev/sdc:&8595&MB,&&bytes
64&heads,&32§ors/track,&8197&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdc1&&&&&&&&&&&&&&&1&&&&&&&&8197&&&&&8393712&&&83&&Linux
Disk&/dev/sdd:&8578&MB,&&bytes
64&heads,&32§ors/track,&8181&cylinders
Units&=&cylinders&of&2048&*&512&=&1048576&bytes
&&&Device&Boot&&&&&&Start&&&&&&&&&End&&&&&&Blocks&&&Id&&System
/dev/sdd1&&&&&&&&&&&&&&&1&&&&&&&&8181&&&&&8377328&&&83&&Linux
六、配置rhcs1和rhcs2分别enable基于集群的lvm-clvm：
Lvmconf&--enable-cluster
#添加开机启动
Chkconfig&clvmd&on
启动clvmd服务
Server&clvmd&start
[root@10_0_70_51&~]#&lvmconf&--enable-cluster
[root@10_0_70_51&~]#&chkconfig&clvmd&on
[root@10_0_70_51&~]#&service&clvmd&start
[root@10_0_70_61&~]#&lvmconf&--enable-cluster
[root@10_0_70_61&~]#&chkconfig&clvmd&on
[root@10_0_70_61&~]#&service&clvmd&start
七、配置GFS和CLUSTER
7.1&基本设置
#初始化luci：
Luci_admin&init
#添加开机启动
Chkconfig&clvmd&on
#重启动&luci服务
Service&luci&restart&
[root@10_0_40_31&~]#&luci_admin&init
Initializing&the&luci&server
Creating&the&'admin'&user
Enter&password:&
Confirm&password:&
Please&wait...
The&admin&password&has&been&successfully&set.
Generating&SSL&certificates...&
The&luci&server&has&been&successfully&initialized
You&must&restart&the&luci&server&for&changes&to&take&effect.
Run&&service&luci&restart&&to&do&so
[root@10_0_40_31&~]#&chkconfig&clvmd&on
[root@10_0_40_31&~]#&service&luci&restart
Shutting&down&luci:&[&&OK&&]
Starting&luci:&Generating&https&SSL&certificates...&&done
Point&your&web&browser&to&https://10_0_40_31:8084&to&access&luci
#登陆luci&，如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" alt="" />
#如出现Site&Error&这样可以解决：
IE中的设置,点击IE菜单栏中的&工具&--&Internet&首选项&---&常规&点击语言按钮,添加英语,将将设为最优先.
7.2&创建hy0-cluster基本框架
#添加机器到集群，如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="451" alt="" />
#提交后结果，如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="454" alt="" />
#在经过install-reboot-configure-join四个过程后，hy0-cluster基本形成，如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="452" alt="" />
#查看hy0-cluster的状态：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="457" alt="" />
#绿色表示正常
#查看运行的服务,cman&rgmanager
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="498" alt="" />
7.3&设置共享存储
#点击storage-system-list-rhcs1-,如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="456" alt="" />
#点击Volume&Groups&点击New&Volume&Group&输入名称：HyVol，选择&/dev/sdb&&/dev/sdc&&/dev/sdc&点击create&，如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="458" alt="" />
#点击New&Logical&Volume按钮，创建逻辑卷,如图：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="423" alt="" />
Name：HyVol
Content：gfs2
GFS&name：Hy-lv
Mountpoint：/lv
创建完毕后，结果如下：
650) this.width=650;" onclick='window.open("/viewpic.php?refimg=" + this.src)'
src="http://blog.chinaunix.net/photo/.png" width="555" height="422" alt="" />
&[root@10_0_70_61&mapper]#&df&-lh
Filesystem&&&&&&&&&&&&Size&&Used&Avail&Use%&Mounted&on
/dev/sda1&&&&&&&&&&&&&3.9G&&3.2G&&531M&&86%&/
tmpfs&&&&&&&&&&&&&&&&1006M&&&&&0&1006M&&&0%&/dev/shm
/dev/shm&&&&&&&&&&&&&1006M&&&&&0&1006M&&&0%&/tmp
/dev/mapper/HyVol-hy_lv
&&&&&&&&&&&&&&&&&&&&&&&24G&&&67M&&&24G&&&1%&/lv
#/etc/fstab
..........
/dev/mapper/HyVol-hy_lv /lv gfs2 defaults 0 0
八、补充说明
以上为luci方式配置的集群，这种方法最为方便，其他方式有向导和命令方式，向导方式和luci方式大致相同暂略，下面为命令行方式配置步骤：
#基本环境：
#iscsi&target：
IP：10.0.40.31
DNS：target.
#iscsi&initiator：
IP：10.0.70.51
DNS：rhcs1.
#iscsi&initiator：
IP：10.0.70.61
DNS：rhcs2.
#安装软件包
[rhcs1&and&rhcs2]&yum&install&-y&cman&gfs-utils&kmod-gfs&kmod-dlm&modcluster&ricci&cluster-snmp&iscsi-initiator-utils&lvm2-cluster&openais&oddjob&rgmanager
#配置iscsi-initiator
[rhcs1&and&rhcs2]&echo&-e&&node.startup&=&automatic\nnode.session.auth.username&=&ISCSI_USER\nnode.session.auth.password&=&ISCSI_PASS\ndiscovery.sendtargets.auth.username&=&ISCSI_USER\ndiscovery.sendtargets.auth.password&=&ISCSI_PASS\nnode.session.timeo.replacement_timeout&=&120\nnode.conn[0].timeo.login_timeout&=&15\nnode.conn[0].timeo.logout_timeout&=&15\nnode.conn[0].timeo.noop_out_interval&=&10\nnode.conn[0].timeo.noop_out_timeout&=&15\nnode.session.iscsi.InitialR2T&=&No\nnode.session.iscsi.ImmediateData&=&Yes\nnode.session.iscsi.FirstBurstLength&=&262144\nnode.session.iscsi.MaxBurstLength&=&\nnode.conn[0].iscsi.MaxRecvDataSegmentLength&=&65536&&/etc/iscsi/iscsid.Conf
#ISCSI_USER&更改为你的用户名
#ISCSI_PASS&更改为你的密码
#启动iscsi服务
[rhcs1&and&rhcs2]&service&iscsi&start
#查看iscsi-target端列表
[rhcs1&and&rhcs2]&iscsiadm&-m&discovery&-t&sendtargets&-p&10.0.40.31
#重启iscsi服务
[rhcs1&and&rhcs2]&service&iscsi&restart
#查看结果
[rhcs1&and&rhcs2]&disk&-l
/dev/sdb
#已经成功挂载iscsi&设备
#配置/etc/hosts文件
[rhcs1&and&rhcs2&and&iscsi-server]&vi&/etc/hosts
#&Do¬&remove&the&following&line,&or&various&programs
#&that&require&network&functionality&will&fail.
127.0.0.1&&&&&&&&localhost.localdomain& localhost
::1&&&&&&&&&&&&&localhost6.localdomain6& localhost6
10.0.40.31 target. target
10.0.70.51 rhcs1. rhcs1
10.0.70.61 rhcs2. rhcs2
#配置节点
[rhcs1&and&rhcs2]
ccs_tool&create&MyGFSCluster
ccs_tool&addfence&-C&node1_ipmi&fence_ipmilan&ipaddr=192.168.255.1&login=root&passwd=密码
ccs_tool&addfence&-C&node2_ipmi&fence_ipmilan&ipaddr=192.168.255.2&login=root&passwd=密码
ccs_tool&addnode&-C&rhcs1&-n&1&-v&1&-f&node1_ipmi
ccs_tool&addnode&-C&rhcs2&-n&2&-v&1&-f&node2_ipmi
service&cman&start
cman_tool&nodes
Node&Sts&&&Inc&&&Joined&&&&&&&&&&&&&&&Name
1&&&M&&&&&&4&&&&&&&&&&&&&&&&&&&&&&&&rhcs1
2&&&M&&&&&16&&&&&&&&&&&&&&&&&&&&&&&&rhcs2
#启动GFS服务
service&gfs&start&;
service&gfs2&start&;
#启动clvmd服务
service&clvmd&start
#开启cluster
lvmconf&--enable-cluster
#装机GFS文件系统
[rhcs1]
pvcreate&/dev/sda
vgcreate&vg_test&/dev/sda
lvcreate&-n&GFStest&-L&9G&vg_test
gfs_mkfs&-j&4&-p&lock_dlm&-t&MyGFSCluster:FirstGFSVolume&/dev/vg_test/GFStest
#启动相关服务
[rhcs1&and&rhcs2]
chkconfig&gfs&on
chkconfig&gfs2&on
chkconfig&clvmd&on
chkconfig&cman&on
chkconfig&iscsi&on
chkconfig&acpid&off
#挂载逻辑卷
echo&&/dev/vg_test/GFStest&/mnt&gfs&defaults&0&0&&&&/etc/fstab
mount&/mnt
#验证配置结果
[rhcs1]
Filesystem&&&&Type&&&&Size&Used&Avail&Use%&Mounted&on
/dev/hda1&&&&&ext3&&&&8.8G&695M&7.6G&&&9%&/
tmpfs&&&&&&&&tmpfs&&&&506M&&&&&0&506M&&&0%&/dev/shm
/dev/mapper/gfstest-lvgfstest
gfs&&&&&19G&&&11M&&&19G&&&1%&/mnt
[rhcs2]
Filesystem&&&&Type&&&&Size&Used&Avail&Use%&Mounted&on
/dev/hda1&&&&&ext3&&&&8.8G&695M&7.6G&&&9%&/
tmpfs&&&&&&&&tmpfs&&&&506M&&&&&0&506M&&&0%&/dev/shm
/dev/mapper/gfstest-lvgfstest
gfs&&&&&19G&&&11M&&&19G&&&1%&/mnt
了这篇文章
类别：┆阅读(0)┆评论(0)博客访问： 2777254
博文数量： 1893
博客积分： 16831
博客等级： 上将
技术积分： 11121
注册时间：
认证徽章：
柔中带刚，刚中带柔，淫荡中富含柔和，刚猛中荡漾风骚，无坚不摧，无孔不入！
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： 服务器与存储
linux搭建gfs系统--iscsi+GFS实现网络存储--1&&
16:05:11|&&分类：
虚拟机搭建gfs系统
系统环境：CentOS release 5.5 -&2.6.18-194.el5
gfs节点1：192.168.1.231 gfs1
gfs节点2：192.168.1.232 gfs2
gfs节点3：192.168.1.233 gfs3
iscsi-target存储设备：192.168.1.240 iscsi-storage&&&(IP对应主机名)&&&&&
GFS&简要说明，它有两种：
1. Google文件系统：GFS是GOOGLE实现的是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。欲了解更多，可以访问：
2.&<span style="padding-right:0padding-left:0padding-bottoiSCSI+GFS网络存储方案_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
iSCSI+GFS网络存储方案
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩8页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢虚拟机搭建gfs系统系统环境：CentOS release 5.5 & 2.6.18-194.el5gfs节点1：192.168.1.231 gfs1gfs节点2：192.168.1.232 gfs2gfs节点3：192.168.1.233 gfs3iscsi-target存储设备：192.168.1.240 iscsi-storage (IP对应主机名)GFS 简要说明，它有两种：1. Google文件系统：GFS是GOOGLE实现的是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。欲了解更多，可以访问：http://www.codechina.org/doc/google/gfs-paper/introduction.html2. Redhat 的GFS（Global File System）GFS（Global File System）自己以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备，每一台机器都可以将网络共享磁盘看作是本地磁盘，如果某台机器对 某个文件执行了写操作，则后来访问此文件的机器就会读到写以后的结果。可以根据对性能或是可扩展性，或者以经济性多个原则进行不同方案的部署。GFS 主要组件，集群卷管理，锁管理，集群管理，围栏和恢复，集群配置管理。本文主要介绍Redhat的GFS系统。REDHAT CLUSTER SUITEWITH GFS :RHCS（REDHAT CLUSTER SUITE）是一款能够提供高性能、高可靠性、负载均衡、高可用性的集群工具集,一个集群通常有两个或两个以上的计算机（称为&节点&或&成员&）共同执行一个任务。RHCS主要组件：& 集群架构:提供一个基本功能使节点作为集群工作在一起：配置文件管理，成员关系管理，锁管理和栅设备。& 高可用**管理：提供节点失败转移服务，当一个节点失败后将服务转移到另一个节点上。&集群管理工具：通过配置和管理工具来配置和管理Red Hat集群。& Linux Virtual Server (LVS)LVS提供一个基于IP的负载均衡功能，通过LVS可以将客户请求均匀的分配到集群节点上。其它Red Hat集群组件：& Cluster Logical Volume Manager (CLVM)提供逻辑卷管理集群存储。& 集群管理器：CMAN是一个分布式集群管理器（DLM），它运行在每一个集群节点上，CMAN通过监视集群节点提供一个法定节点数（quorum），当集群 中有多于一半的节点处于活跃状态时,此时符合法定节点数，集群继续可用，当只有有一半或少于一半的节点处于活跃状态是则已达到不到法定节点数，此时整个集 群变得不可用。CMAN通过监控集群中节点来确定各节点的成员关系，当集群中的成员关系发生改变，CMAN会通架构中其它组件来进行相应的调整。& DLM锁管理：分布式锁管理器，它运行在所有的集群节点上，锁管理是一个公共的基础结构，为集群提供一种共享集群资源的管理机制，GFS通过锁管理器使用锁机制来同步访问文件系统元数据，CLVM通过锁管理器来同步更新数据到LVM卷和卷组。& 数据的完整保证：RHCS 通过 Fence设备从共享存储切断失效节点的I/O以保证数据的完整性。当CMAN确定一个节点失败后，它在集群结构中通告这个失败的节点（组播），fenced进程会将失败的节点隔离，以保证失败节点不破坏共享数据。REDHAT集群配置系统：集群配置文件：(/etc/cluster/cluster.conf) 是一个XML文件，用来描述下面的集群特性：集群名称:列出集群名称、集群配置文件版本和一个隔离时间，隔离相应时间当一个新节点加入或从集群中隔离时。集群:列出集群中的每一个节点，指定节点名称，节点ID，法定投票数，和栅模式。fence设备:定义fence设备。管理资源:定义创建集群服务需要的资源。管理资源包括失败转移域，资源和服务。iscsi的initiator与target简要说明：iSCSI(Internet SCSI)是2003年IETF(InternetEngineering Task Force，互联网工程任务组)制订的一项标准，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。 SCSI(Small Computer System Interface)是块数据传输协议，在存储行业广泛应用，是存储设备最基本的标准协议。iSCSI协议是一种利用IP网络来传输潜伏时间短的SCSI 数据块的方法，iSCSI使用以太网协议传送SCSI命令、响应和数据。iSCSI可以用我们已经熟悉和每天都在使用的以太网来构建IP存储局域网。通过 这种方法，iSCSI克服了直接连接存储的局限性，使我们可以跨不同服务器共享存储资源，并可以在不停机状态下扩充存储容量。iSCSI的工作过程：当iSCSI主机应用程序发出数据读写请求后，操作系统会生成一个相应的SCSI命令，该SCSI命令在iSCSI Initiator层被封装成iSCSI消息包并通过TCP/IP传送到设备侧，设备侧的iSCSI Target层会解开iSCSI消息包，得到SCSI命令的内容，然后传送给SCSI设备执行;设备执行SCSI命令后的响应，在经过设备侧iSCSI Target层时被封装成iSCSI响应PDU，通过TCP/IP网络传送给主机的iSCSI Initiator层，iSCS Initiator会从iSCSI响应PDU里解析出SCSI响应并传送给操作系统，操作系统再响应给应用程序。要实现iSCSI读写，除了使用特定硬设 备外，也可透过软件方式，将服务器仿真为iSCSI的发起端（Initiator）或目标端（target），利用既有的处理器与普通的以太网络卡资源实现iSCSI的连接。本文均已软件方式在Centos5.5虚拟机上实现gfs功能！一、在192.168.1.240上安装iscsi的target端：[root@iscsi-storage ~]#yum install scsi-target-utils (注意：scsi前面没有字母i)（使用centos默认的yum源，将会安装软件scsi-target-utils-0.0-6.snap.el5_5.3）[root@iscsi-storage ~]#yum install libibverbs-devel libibverbs librdmacm librdmacm-devel如果没有安装以上软件，则/var/log/messages里将会有以下报错：iscsi-storage tgtd: libibverbs.so: cannot open shared object file: No such file ordirectory & iser transport not usediscsi-storage tgtd:librdmacm.so: cannot open shared object file: No such file or directory & isertransport not used磁盘sda装着系统，磁盘sdb用来存储，对其进行分区。[root@iscsi-storage ~]# fdisk /dev/sdb本人分成/dev/sdb1 3G , /dev/sdb2 7G.分区完成后不用格式化分区，执行命令partprobe让系统重新读取分区表，而不用重启系统。[root@iscsi-storage ~]# partprobescsi-targe-utils装完后的服务名为tgtd，启动它，并设置为开机启动。[root@iscsi-storage ~]# service tgtd startStarting SCSI target daemon: Starting target framework daemon[root@iscsi-storage ~]# chkconfig tgtd on接下来建立target device. 在centos5中使用tgtadm指令来设置而不是4当中的 vi /etc/ietd.conf.tgtadm命令的参数有点难记，但是scsi-target-utils套件中包含了利用tgtadm指令建立target device的步骤，我们可以参照文件来设置：/usr/share/doc/scsi-target-utils-0.0/README.iscsi本人欲新增iqn名为iqn..chinaitv:rhcs-storage的target device.=====================================================================================iqn (iSCSI Qualified Name)格式通常如下：格式意义范例yyyy-mm年份-月份2011-01reversed domain name把域名名称反过来写，通常把公司的域名反过来写com.chinaitvidentifier识别字，通常注明这个存储空间的用途rhcs-storage=====================================================================================新增target device命令如下：# tgtadm --lld iscsi --op new& --mode target& --tid 1 -T iqn..chinaitv:rhcs-storage执行后，利用如下命令来查看target device：#tgtadm --lld iscsi --op show --mode target将起初新建的分区加入target device。# tgtadm& --lld iscsi --op new& --mode logicalunit& --tid 1 -lun 1 -b /dev/sdb1查看加入target device后的输出内容：# tgtadm --lld iscsi --op show --mode target设置可以访问存取此target device的initiator节点。本机允许gfs1 gfs2 gfs3存取，设置如下：#tgtadm& --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.231#tgtadm& --lld iscsi& --op bind& --mode target& --tid 1 -I 192.168.1.232#tgtadm& --lld iscsi& --op bind& --mode target& --tid 1 -I 192.168.1.233 (I为大写的i)(如果允许所有的initiators存取的话，可以将ip换成ALL，如下：#tgtadm --lld iscsi --op bind --mode target& --tid 1 -I ALL如果需要移除则需将bind换成unbind即可，例如#tgtadm& --lld iscsi --op unbind --mode target --tid 1 -I 192.168.1.233)本次操作只使用sdb1来试验存储，因此只加入sdb1，如果需将多个分区用来存储的话可以如下操作：tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn..chinaitv:rhcs-storagetgtadm --lld iscsi --op new --mode target --tid 2 -T iqn..chinaitv:rhcs-storage2tgtadm --lld iscsi --op new --mode logicalunit& --tid 1 -lun 1 -b /dev/sdb1tgtadm --lld iscsi --op new --mode logicalunit --tid 2 -lun 1 -b /dev/sdb2tgtadm --lld iscsi --op bind --mode target --tid 1 -I iptgtadm --lld iscsi --op bind --mode target --tid 2 -I ip注意：如果重启tgtd服务的话，上面配置全部将会消失，因此不要随便重启，否则需要重新按上面步骤配置，为了在下一次开机自动运行，可以把上面的命令添加到/etc/rc.local文件里面。首先在三个节点机hosts文件末尾添加以下内容： 上的#vi /etc/hosts二、安装iscsi-initiator-utils，在节点机上安装#yum install iscsi-initiator-utils安装需要的软件包[root@gfs1 ~]# yum install -y cman gfs-utils kmod-gfs kmod-dlm cluster-snmp lvm2-cluster rgmanager指定initiator alias name#echo& &InitiatorAlias=gfs1& && /etc/iscsi/initiatorname.iscsi创建cluster.conf配置文件，安装完成后并没有此文件，需自己创建：#vi /etc/cluster/cluster.conf&?xml version=&1.0&?&&cluster name=&GFSCluster& config_version=&1&&##这一行定义了cluster的名称，其中config_version是表示该配置文件被配置的次数##（在RedHat Cluster中，各个节点是同配置版本数值也就是配置次数最高的配置文件进行学习同步报）&clusternodes&&clusternode name=&gfs1& votes=&1& nodeid=&1&&##这一行定义了cluster节点的名称，节点id以及投票权，节点名一般就是节点的主机名&fence&&method name=&single&&&device name=&node1& nodename=&gfs1&/&&/method&&/fence&&/clusternode&&clusternode name=&gfs2& votes=&1& nodeid=&2&&&fence&&method name=&single&&&device name=&node2& nodename=&gfs2&/&&/method&&/fence&&/clusternode&&clusternode name=&gfs3& votes=&1& nodeid=&3&&&fence&&method name=&single&&&device name=&node3& nodename=&gfs3&/&&/method&&/fence&&/clusternode&&/clusternodes&&fencedevices&&fencedevice name=&node1& agent=&fence_manual&/&&fencedevice name=&node2& agent=&fence_manual&/&&fencedevice name=&node3& agent=&fence_manual&/&&/fencedevices&&rm&&failoverdomains/&&resources/&&/rm&&/cluster&（fence也是RedHat Cluster的产物，没有它GFS也没法工作，fence的作用就是当一个节点宕掉(和cluster断掉联系)后，其他的正常节点会通过fence设 备来把宕掉的设备fence掉，把宕掉的设备踢出cluster保证整个cluster的正常运行，而fence设备一般是服务器自带硬件设备，如hp的 ilo口，IBM和dell的ipmi等等，由于服务器硬件的不同，导致不同的fence设备的配置方法不同，我这里为虚拟机没有fence设备，因此采 用fence_manual的方法来手工设置，手工fence的功能是：当一个节点宕掉后我们需要在正常的节点上输入命令：&# fence_ack_manual -n 宕掉的节点名 & 来把cluster的主机隔离掉，才能让正常的节点正常工作。现在本人对cluster.conf了解的也并不是非常的熟悉，故不能给出更详细的解答，不 过可以输入命令:man 5 cluster.conf查看帮助文件。在各个节点机上都需创建此cluster.conf文件。）(注：配置文件并不是非常的标准，自己根据需要还可以添加更多的内容与修改，这里只是一个简单的例子)启动iscsi daemon#service iscsi start#chkconfig iscsi on利用iscsiadm命令探测iscsi device：# iscsiadm -m discovery -t sendtargets -p 192.168.1.240:3260192.168.1.240:3260,1 iqn..chinaitv:rhcs-storage登入iscsi target#iscsiadm -m node -T iqn..chinaitv:rhcs-storage -p 192.168.1.240:3260 -lLogging in to [iface: default, target: iqn..chinaitv:rhcs-storage, portal: 192.168.1.240,3260]Login to [iface: default, target: iqn..chinaitv:rhcs-storage, portal: 192.168.1.240,3260]: successful登入成功后，利用fdisk -l可以发现多处两个硬盘分区。(若想退出则使用：iscsiadm -m node -T iqn..chinaitv:rhcs-storage -p 192.168.1.240:3260 -u)在该节点上创建一个名为gfsvg的 LVM 卷组#pvcreate -ff /dev/sdb#vgcreate gfsvg /dev/sdb列出VG大小：#vgdisplay gfsvg |grep &Total PE &Total PE 717创建lv# lvcreate -l 717 -n gfs gfsvgLogical volume &gfs& created# cman_tool status | grep &Cluster Name&cman_tool: Cannot open connection to cman, is it running ?原因是没有启动服务,启动服务:# service cman start在该节点上创建一个GFS卷，格式化GFS 文件系统，通过命令：gfs_mkfs -p lock_dlm -t ClusterName:FSName -j Number BlockDevice格式化gfs文件格式:-p 这个参数后边跟的是gfs锁机制，一般情况下就用lock_dlm-t 后边是ClusterName:FSName其中ClusterName是cluster名，就是cluster.conf配置文件中指定的cluster名，FSName是给新格式化好的gfs分区的名字-j 代表是journal的个数，一般情况是2个除非一些特殊情况否则不用再单作调整BlockDevice 就是要被格式化的设备名称。下面是一个格式化GFS命令的实例：#gfs_mkfs -p lock_dlm -t GFSCluster:gfs -j 3 /dev/gfsvg/gfs载入相应的gfs模块，并查看lv是否成功# modprobe gfs# modprobe gfs2# chkconfig gfs on# chkconfig gfs2 on# chkconfig clvmd on# /etc/init.d/gfs restart# /etc/init.d/gfs2 restart# /etc/init.d/clvmd restart# lvscanACTIVE &/dev/gfsvg/gfs& [2.80 GB] inherit ##表示成功把新建的逻辑磁盘挂载到本地：#mount -t gfs /dev/gfsvg/gfs /opt#df -h进入/opt目录，建立新文件（之后到新节点上挂载，以作验证是否gfs创建并挂载成功）到gfs2节点和gfs3节点上分别执行以下操作# modprobe gfs# modprobe gfs2# /etc/init.d/gfs restart# /etc/init.d/gfs2 restart# /etc/init.d/clvmd restart#chkconfig &add cman#chkconfig &add clvmd#chkconfig &add gfs#chkconfig &level 35 cman on#chkconfig &level 35 clvmd on#chkconfig &level 35 gfs on# lvscan#mount /dev/gfsvg/gfs /opt进入/opt目录查看是否有之前在gfs1上建立的文件file1如图所示成功，可以在/opt目录里进行任何操作，三台机器将会保持一致，这样就达到了在一台机器上操作，其他机器保持同步的目的，用来提高可用性，当gfs1出了问题后，gfs2和gfs3同样可以用来提供服务！可以在各节点机器上执行命令clustat来查看gfs集群各节点的活动状态：同样可以执行以下命令来检查是否连接成功# ccs_test connectConnect successful.Connection descriptor = 9600检查一下是否正常#ccs_tool lsnode#ccs_tool lsfence#cman_tool services注：在gfs2和gfs3节点上必须启动clvmd服务，不然无法挂载/dev/gfsvg/gfs设备。如果要在存储服务器上即本实验的iscsi-storage 上，如果有外部节点连接着此存储，要想停止tgtd（service tgtd stop）服务， 有如下提示：Stopping SCSI target daemon: Stopping target framework daemonSome initiators are still connected & could not stop tgtd表示无法停止，而采取杀掉tgtd的pid的方法来停止时，在此用service tgtd start来启动tgtd服务的时候，有如下的提示：实际上tgtd并没有启动成功，用ps查看是查看不到tgtd服务进程的，要想解决此问题，是因为有个/var/lock/subsys/tgtd文件存在，只需删除掉即可。# rm /var/lock/subsys/tgtd在节点机上，如果想开机自动挂载则修改/etc/fstab文件，加入以下内容：/dev/mapper/gfsvg-gfs /opt gfs defaults 0 0本人在虚拟机上部署此gfs集群存储的时候，碰到很多问题，在查阅各种资料后才得以实现虚拟机上的gfs，也花费了很长的时间，其中就有很多的报错，举个例子：Jan 19 04:04:00 gfs1 ccsd[19610]: Cluster is not quorate. Refusing connection.Jan 19 04:04:00 gfs1 ccsd[19610]: Error while processing connect: Connection refusedJan 19 04:04:01 gfs1 dlm_controld[18685]: connect to ccs error -111, check ccsd or cluster status此报错跟fence的启动有关系，这是因为我 在第一个节点上启动cman的时候fencing无法启动，原因在于要开启fence功能，必须多个机器节点都开启了，单独开启一个的时候他是不生效的， 也就是说必须有一半的fence都开启了才能生效，因此需在多台节点上执行service cman start 这样才能够快速的解决fenc的启动问题。最后疑问：1 查看target的状态总是ready而不能得到running状态2 在输入tgtd命令时总是有以下报错：[root@iscsi-storage ~]# tgtdlibrdmacm: couldn&t read ABI version.librdmacm: assuming: 4CMA: unable to get RDMA device list ##注，是虚拟机故没有rdma设备，下面socket就有点不理解(null): iscsi_rdma_init(1217) cannot initialize RDMA; load kernel modules?(null): iscsi_tcp_init(222) unable to bind server socket, Address already in use(null): iscsi_tcp_init(222) unable to bind server socket, Address already in useNo available low level driver!本文只是写了个大概的框架，并非很完整，还有待完善，如朋友有更好的更改意见欢迎提出指正。这也是本人第一次接触red hat cluster suite的gfs系统，并把操作的经过记录于此，方便大家与自己。完毕！欢迎大家拍砖&本人真诚的希望您能够提出宝贵的意见，最好是能够说出文章中的不足和错误之处，谢谢！！！文章资源转载来自：
