Penyimpanan Ketersediaan Tinggi Dengan GlusterFS 3.2.x Pada CentOS 6.3 - Replikasi File Otomatis (Mirror) Di Dua Server Penyimpanan

Tutorial ini menunjukkan cara menyiapkan penyimpanan ketersediaan tinggi dengan dua server penyimpanan (CentOS 6.3) yang menggunakan GlusterFS. Setiap server penyimpanan akan menjadi cermin dari server penyimpanan lainnya, dan file akan direplikasi secara otomatis di kedua server penyimpanan. Sistem klien (CentOS 6.3 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.

Saya tidak memberikan jaminan apa pun bahwa ini akan berhasil untuk Anda!

1 Catatan Awal

Dalam tutorial ini saya menggunakan tiga sistem, dua server dan satu klien:

• server1.example.com:alamat IP 192.168.0.100 (server)
• server2.example.com:alamat IP 192.168.0.101 (server)
• client1.example.com:alamat IP 192.168.0.102 (klien)

Ketiga sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga terlihat seperti berikut pada ketiga sistem:

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   client1.example.com     client1

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

(Dimungkinkan juga untuk menggunakan alamat IP alih-alih nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)

2 Aktifkan Repositori Tambahan

server1.example.com/server2.example.com/client1.example.com:

Pertama kita mengimpor kunci GPG untuk paket perangkat lunak:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Kemudian kami mengaktifkan repositori EPEL6 pada sistem CentOS kami:

rpm --import https://fedoraproject.org/static/0608B895.txt

cd /tmp
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
rpm -ivh epel-release-6- 7.noarch.rpm

yum install yum-priorities

Edit /etc/yum.repos.d/epel.repo...

vi /etc/yum.repos.d/epel.repo

... dan tambahkan baris priority=10 ke bagian [epel]:

[epel]
name=Extra Packages for Enterprise Linux 6 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
[...]

3 Menyiapkan Server GlusterFS

server1.example.com/server2.example.com:

GlusterFS tersedia sebagai paket untuk EPEL, oleh karena itu kita dapat menginstalnya sebagai berikut:

yum install glusterfs-server

Buat tautan startup sistem untuk daemon Gluster dan mulai:

chkconfig --levels 235 berkilau pada
/etc/init.d/glusterd mulai

Perintah

glusterfsd --version

sekarang harus menunjukkan versi GlusterFS yang baru saja Anda instal (3.2.7 dalam hal ini):

[[email protected] ~]# glusterfsd --version
glusterfs 3.2.7 dibuat pada 11 Jun 2012 13:22:28
Revisi repositori:git://git.gluster.com/glusterfs.git
Hak Cipta (c) 2006-2011 Gluster Inc.
GlusterFS datang dengan BENAR-BENAR TANPA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS di bawah persyaratan Lisensi Publik Umum GNU.
[[email protected] ~]#

Jika Anda menggunakan firewall, pastikan port TCP 111, 24007, 24008, 24009-(24009 + jumlah brick di semua volume) terbuka di server1.example.com dan server2.example.com.

Selanjutnya kita harus menambahkan server2.example.com ke kumpulan penyimpanan tepercaya (harap dicatat bahwa saya menjalankan semua perintah konfigurasi GlusterFS dari server1.example.com, tetapi Anda juga dapat menjalankannya dari server2.example.com karena konfigurasinya adalah direplikasi antara node GlusterFS - pastikan Anda menggunakan nama host atau alamat IP yang benar):

server1.example.com:

Di server1.example.com, jalankan

gluster peer probe server2.example.com

[[email protected] ~]# gluster peer probe server2.example.com
Probe berhasil
[[email protected] ~]#

Status kumpulan penyimpanan tepercaya sekarang harus serupa dengan ini:

gluster peer status

[[email protected] ~]# status peer gluster
Jumlah Peer:1

Hostname:server2.example.com
Uuid:7cd93007-fccb-4fcb-8063-133e6ba81cd9
State:Peer in Cluster (Connected)
[[email protected] ~]#

Selanjutnya kita buat share bernama testvol dengan dua replika (harap diperhatikan bahwa jumlah replika sama dengan jumlah server dalam hal ini karena kita ingin mengatur mirroring) pada server1.example.com dan server2.example.com di /data direktori (ini akan dibuat jika tidak ada):

gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data

[[email protected] ~]# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
Pembuatan volume testvol telah berhasil. Harap mulai volume untuk mengakses data.
[[email protected] ~]#

Mulai volume:

gluster volume start testvol

Ada kemungkinan bahwa perintah di atas memberitahu Anda bahwa tindakan itu tidak berhasil:

[[email protected] ~]# gluster volume start testvol
Memulai volume testvol tidak berhasil
[[email protected] ~]#

Dalam hal ini Anda harus memeriksa output dari...

server1.example.com/server2.example.com:

netstat -tap | grep glusterfsd

di kedua server.

Jika Anda mendapatkan output seperti ini...

[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1365 /GLUSTERFSD
TCP 0 0 LOCALHOST:1023 LOCALHOST:24007 Didirikan 1365 /GLUSTERFSD
TCP 0 0 Server1.example.com:24009 server1.example.com:1023    DIDIRIKAN 1365/glusterfsd
[[email protected] ~]#

... semuanya baik-baik saja, tetapi jika Anda tidak mendapatkan hasil apa pun...

[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#

... restart daemon GlusterFS di server yang sesuai (server2.example.com dalam kasus ini):

server2.example.com:

/etc/init.d/glusterfsd restart 

Kemudian periksa output dari...

netstat -tap | grep glusterfsd

... lagi di server itu - sekarang akan terlihat seperti ini:

[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24010*:*Dengarkan 1458 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1021 LOCALHOST.LOCALDO:24007 Didirikan 1458 /GLUSTERFSD
[Email Dilindungi] ~ ]#

Sekarang kembali ke server1.example.com:

server1.example.com:

Anda dapat memeriksa status volume dengan perintah

gluster volume info

[[email protected] ~]# gluster volume info

Nama Volume:testvol
Jenis:Replika
Status:Dimulai
Jumlah Batu Bata:2
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
[[email protected] ~]#

Secara default, semua klien dapat terhubung ke volume. Jika Anda hanya ingin memberikan akses ke client1.example.com (=192.168.0.102), jalankan:

gluster volume set testvol auth.allow 192.168.0.102

Harap dicatat bahwa dimungkinkan untuk menggunakan wildcard untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (misalnya 192.168.0.102,192.168.0.103).

Info volume sekarang harus menunjukkan status yang diperbarui:

gluster volume info

[[email protected] ~]# gluster volume info

Nama Volume:testvol
Jenis:Replika
Status:Dimulai
Jumlah Batu Bata:2
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Opsi Dikonfigurasi Ulang:
auth.allow:192.168.0.102
[[dilindungi email] ~]#

4 Menyiapkan Klien GlusterFS

client1.example.com:

Pada klien, kita dapat menginstal klien GlusterFS sebagai berikut:

yum install glusterfs-client

Kemudian kita buat direktori berikut:

mkdir /mnt/glusterfs

Itu dia! Sekarang kita dapat me-mount filesystem GlusterFS ke /mnt/glusterfs dengan perintah berikut:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com dalam perintah di atas!)

Anda sekarang akan melihat bagian baru di output...

mount

[[email protected] ~]# mount
/dev/mapper/vg_client1-LogVol00 on / ketik ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts pada /dev/pts ketik devpts (rw,gid=5,mode=620)
tmpfs pada /dev/shm ketik tmpfs (rw)
/dev/sda1 pada /boot ketik ext4 (rw)
none pada /proc/sys/fs/binfmt_misc ketik binfmt_misc (rw)
sunrpc pada /var/lib/nfs/rpc_pipefs ketik rpc_pipefs (rw)
server1.example.com:/testvol pada /mnt/glusterfs ketik fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... dan...

df -h

[[email protected] ~]# df -h
Filesystem          Size  Used Avail Use% Dipasang di
/dev/mapper/vg_client1-LogVol00
                   />tmpfs               499M     0  499M   0% /dev/shm
/dev/sda1           504M   39M  440M   9% //boot  mnt/glusterfs
[[email protected] ~]#

Alih-alih memasang bagian GlusterFS secara manual pada klien, Anda dapat memodifikasi /etc/fstab sehingga bagian tersebut dipasang secara otomatis saat klien melakukan booting.

Buka /etc/fstab dan tambahkan baris berikut:

vi /etc/fstab  

[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Sekali lagi, alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com!)

Untuk menguji apakah /etc/fstab Anda yang dimodifikasi berfungsi, reboot klien:

reboot 

Setelah reboot, Anda akan menemukan share di output...

df -h 

... dan...

mount

5 Pengujian

Sekarang mari kita buat beberapa file uji pada share GlusterFS:

client1.example.com:

sentuh /mnt/glusterfs/test1
sentuh /mnt/glusterfs/test2

Sekarang mari kita periksa direktori /data di server1.example.com dan server2.example.com. File test1 dan test2 harus ada di setiap node:

server1.example.com/server2.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 8
-rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
- rw-r--r-- 1 root root 0 2012-12-17 11:17 test2
[[email protected] ~]#

Sekarang kita mematikan server1.example.com dan menambahkan/menghapus beberapa file pada share GlusterFS di client1.example.com.

server1.example.com:

shutdown -h now

client1.example.com:

sentuh /mnt/glusterfs/test3
sentuh /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Perubahan harus terlihat di direktori /data di server2.example.com:

server2.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 8
-rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
- rw-r--r-- 1 root root 0 2012-12-17 11:38 test3
-rw-r--r-- 1 root root 0 2012-12-17 11:38 test4
[[dilindungi email] ~]#

Mari kita boot server1.example.com lagi dan lihat direktori /data:

server1.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 8
-rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
- rw-r--r-- 1 root root 0 2012-12-17 11:17 test2
[[email protected] ~]#

Seperti yang Anda lihat, server1.example.com tidak melihat perubahan yang terjadi saat down. Ini mudah diperbaiki, yang perlu kita lakukan hanyalah menjalankan perintah baca pada bagian GlusterFS di client1.example.com, mis.:

client1.example.com:

ls -l /mnt/glusterfs/

[[email protected] ~]# ls -l /mnt/glusterfs/
total 8
-rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
-rw-r--r-- 1 root root 0 2012-12-17 11:38 test3
-rw-r--r-- 1 root root 0 2012-12-17 11:38 test4
[[email protected] ~]#

Sekarang lihat kembali direktori /data di server1.example.com, dan Anda akan melihat bahwa perubahan telah direplikasi ke node tersebut:

server1.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 4
-rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
- rw-r--r-- 1 root root 0 2012-12-17 11:38 test3
-rw-r--r-- 1 root root 0 2012-12-17 11:38 test4
[[dilindungi email] ~]#

6 Tautan

• GlusterFS:http://www.gluster.org/
• Dokumentasi GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
• CentOS:http://www.centos.org/