Penyimpanan Ketersediaan Tinggi dengan GlusterFS di CentOS 7 - Mencerminkan di dua server penyimpanan

Tutorial ini menunjukkan cara menyiapkan penyimpanan ketersediaan tinggi dengan dua server penyimpanan (CentOS 7.2) yang menggunakan GlusterFS. Setiap server penyimpanan akan menjadi cermin dari server penyimpanan lainnya, dan file akan direplikasi secara otomatis di kedua server penyimpanan. Sistem klien (CentOS 7.2 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.

1 Catatan Awal

Dalam tutorial ini saya menggunakan tiga sistem, dua server, dan satu klien:

• server1.example.com:alamat IP 192.168.0.100 (server)
• server2.example.com:alamat IP 192.168.0.101 (server)
• klien1.contoh.com:Alamat IP 192.168.0.102 (klien)

Ketiga sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga terlihat seperti berikut pada ketiga sistem:

nano /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   client1.example.com     client1

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

(Dimungkinkan juga untuk menggunakan alamat IP sebagai ganti nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)

2 Aktifkan Repositori tambahan

server1.example.com/server2.example.com/client1.example.com:

Pertama, kami mengimpor kunci GPG untuk paket perangkat lunak:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Kemudian kami mengaktifkan repositori EPEL 7 pada sistem CentOS kami:

yum -y install epel-release

yum -y install yum-priorities

Edit /etc/yum.repos.d/epel.repo...

nano /etc/yum.repos.d/epel.repo

... dan tambahkan baris priority=10 ke bagian [epel]:

[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/7/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[...]

Kemudian kami memperbarui paket kami yang ada di sistem:

yum -y update

3 Menyiapkan Server GlusterFS

server1.example.com/server2.example.com:

GlusterFS tersedia di repositori grup minat khusus penyimpanan CentOS. Instal repositori dengan perintah ini:

yum -y install centos-release-gluster

Kemudian instal server GlusterFS sebagai berikut:

yum -y install glusterfs-server

Buat tautan startup sistem untuk daemon Gluster dan mulai:

systemctl enable glusterd.service
systemctl start glusterd.service

Perintah

glusterfsd --version

seharusnya sekarang menunjukkan versi GlusterFS yang baru saja Anda instal (3.7.12 dalam kasus ini):

[[email protected] ~]# glusterfsd --version
glusterfs 3.7.12 built on Jun 24 2016 14:11:19
Repository revision: git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2013 Red Hat, Inc. <http://www.redhat.com/>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any later version (LGPLv3
or later), or the GNU General Public License, version 2 (GPLv2),
in all cases as published by the Free Software Foundation.

Jika Anda menggunakan firewall, pastikan port TCP 111, 24007, 24008, 24009-(24009 + jumlah brick di semua volume) terbuka di server1.example.com dan server2.example.com.

Selanjutnya, kita harus menambahkan server2.example.com ke kumpulan penyimpanan tepercaya (harap dicatat bahwa saya menjalankan semua perintah konfigurasi GlusterFS dari server1.example.com, tetapi Anda juga dapat menjalankannya dari server2.example.com karena konfigurasi direplikasi di antara node GlusterFS - pastikan Anda menggunakan nama host atau alamat IP yang benar):

server1.example.com:

Di server1.example.com, jalankan

gluster peer probe server2.example.com

[[email protected] ~]# gluster peer probe server2.example.com
peer probe: success.

Status kumpulan penyimpanan tepercaya sekarang harus serupa dengan ini:

gluster peer status

[[email protected] ~]# gluster peer status

Number of Peers: 1

Hostname: server2.example.com
Uuid: 582e10da-aa1b-40b8-908c-213f16f57fe5
State: Peer in Cluster (Connected)

Selanjutnya kita buat share bernama testvol dengan dua replika (harap diperhatikan bahwa jumlah replika sama dengan jumlah server dalam hal ini karena kita ingin mengatur mirroring) pada server1.example.com dan server2.example.com di direktori /data (ini akan dibuat jika tidak ada):

gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data force

[[email protected] ~]# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data force
volume create: testvol: success: please start the volume to access data
[[email protected] ~]#

Mulai volume:

gluster volume start testvol

Hasilnya seharusnya:

[[email protected] ~]# gluster volume start testvol
volume start: testvol: success
[[email protected] ~]#

Ada kemungkinan bahwa perintah di atas memberitahu Anda bahwa tindakan itu tidak berhasil:

[[email protected] ~]# gluster volume start testvol
Starting volume testvol has been unsuccessful
[[email protected] ~]#

Dalam hal ini, Anda harus memeriksa output dari...

server1.example.com/server2.example.com:

netstat -tap | grep glusterfsd

di kedua server.

Jika Anda mendapatkan output seperti ini...

[[email protected] ~]# netstat -tap | grep glusterfsd
tcp 0 0 0.0.0.0:49152 0.0.0.0:* LISTEN 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server2.example.c:49148 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server1.example.c:49148 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49150 server1.example.c:24007 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server2.example.c:49142 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server1.example.c:49149 ESTABLISHED 22880/glusterfsd
[[email protected] ~]#

... semuanya baik-baik saja, tetapi jika Anda tidak mendapatkan hasil apa pun...

[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#

... restart daemon GlusterFS di server yang sesuai (server2.example.com dalam kasus ini):

server2.example.com:

systemctl restart glusterd.service

Kemudian periksa output dari...

netstat -tap | grep glusterfsd

... lagi di server itu - sekarang akan terlihat seperti ini:

[[email protected] ~]# netstat -tap | grep glusterfsd
tcp 0 0 0.0.0.0:49152 0.0.0.0:* LISTEN 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server1.example.c:49140 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:49149 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:49143 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server1.example.c:49142 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49150 server2.example.c:24007 ESTABLISHED 10971/glusterfsd
[[email protected] ~]#

Sekarang kembali ke server1.example.com:

server1.example.com:

Anda dapat memeriksa status volume dengan perintah

gluster volume info

[[email protected] ~]# info volume gluster

Volume Name: testvol
Type: Replicate
Volume ID: e1f825ca-c9d9-4eeb-b6c5-d62c4aa02376
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
performance.readdir-ahead: on
[[email protected] ~]#

Secara default, semua klien dapat terhubung ke volume. Jika Anda hanya ingin memberikan akses ke client1.example.com (=192.168.1.102), jalankan:

gluster volume set testvol auth.allow 192.168.1.102

Harap perhatikan bahwa Anda dapat menggunakan karakter pengganti untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (mis. 192.168.1.102,192.168.1.103).

Info volume sekarang harus menunjukkan status yang diperbarui:

gluster volume info

[[email protected] ~]# gluster volume info

Volume Name: testvol
Type: Replicate
Volume ID: e1f825ca-c9d9-4eeb-b6c5-d62c4aa02376
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
auth.allow: 192.168.1.102
performance.readdir-ahead: on
[[email protected] ~]#

4 Menyiapkan Klien GlusterFS

client1.example.com:

Pada klien, kita dapat menginstal klien GlusterFS sebagai berikut:

yum -y install glusterfs-client

Kemudian kita buat direktori berikut:

mkdir /mnt/glusterfs

Itu dia! Sekarang kita dapat me-mount filesystem GlusterFS ke /mnt/glusterfs dengan perintah berikut:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com dalam perintah di atas!)

Anda sekarang akan melihat bagian baru di output...

mount

[[email protected] ~]# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,seclabel,size=930336k,nr_inodes=232584,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,seclabel)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,seclabel,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,seclabel,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,seclabel,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/mapper/centos-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
selinuxfs on /sys/fs/selinux type selinuxfs (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=34,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime,seclabel)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,seclabel)
/dev/sda1 on /boot type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=188060k,mode=700)
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
[[email protected] ~]#

... dan...

df -h

[[email protected] ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 28G 1.3G 27G 5% /
devtmpfs 909M 0 909M 0% /dev
tmpfs 919M 0 919M 0% /dev/shm
tmpfs 919M 8.6M 910M 1% /run
tmpfs 919M 0 919M 0% /sys/fs/cgroup
/dev/sda1 497M 192M 306M 39% /boot
tmpfs 184M 0 184M 0% /run/user/0
server1.example.com:/testvol 28G 12G 17G 41% /mnt/glusterfs
[[email protected] ~]#

Daripada memasang berbagi GlusterFS secara manual di klien, Anda menambahkan perintah mount ke file /etc/rc.local. Saya tidak akan menambahkannya ke /etc/fstab karena rc.local selalu dijalankan setelah jaringan aktif yang diperlukan untuk sistem file jaringan

Buka /etc/rc.local dan tambahkan baris berikut:

nano /etc/rc.local

[...]
/usr/sbin/mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Sekali lagi, alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com!)

Untuk menguji apakah /etc/rc.local yang Anda modifikasi berfungsi, reboot klien:

reboot

Setelah reboot, Anda akan menemukan share di output...

df -h

... dan...

mount

5 Pengujian

Sekarang mari kita buat beberapa file uji pada share GlusterFS:

client1.example.com:

touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2

Sekarang mari kita periksa direktori /data di server1.example.com dan server2.example.com. File test1 dan test2 harus ada di setiap node:

server1.example.com/server2.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 0
-rw-r--r--. 2 root root 0 Jul 1 2016 test1
-rw-r--r--. 2 root root 0 Jul 1 2016 test2
[[email protected] ~]

Sekarang kita mematikan server1.example.com dan menambahkan/menghapus beberapa file pada share GlusterFS di client1.example.com.

server1.example.com:

shutdown -h now

client1.example.com:

touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Perintah mungkin memerlukan beberapa waktu untuk dieksekusi karena Glusterfs beralih ke server2 setelah dia tidak dapat menjangkau server1 lagi. Kita dapat melihat di sini toleransi kesalahan sistem karena kita masih dapat bekerja pada pembagian penyimpanan data kita ketika server1 sedang offline. Perubahan harus terlihat di direktori /data di server2.example.com:

server2.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4

Mari kita boot server1.example.com lagi dan lihat direktori /data:

server1.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test2
[[email protected] ~]#

Seperti yang Anda lihat, server1.example.com secara otomatis menyinkronkan yang diubah. Jika perubahan belum disinkronkan, maka ini mudah diperbaiki, yang perlu kita lakukan hanyalah menjalankan perintah baca pada share GlusterFS di client1.example.com, mis.:

client1.example.com:

ls -l /mnt/glusterfs/

[[email protected] ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4
[[email protected] ~]#

Sekarang lihat kembali direktori /data di server1.example.com, dan Anda akan melihat bahwa perubahan telah direplikasi ke node tersebut:

server1.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4
[[email protected] ~]#

6 Tautan

• GlusterFS:http://www.gluster.org/
• Dokumentasi GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
• CentOS:http://www.centos.org/