Penyimpanan Ketersediaan Tinggi Dengan GlusterFS Pada CentOS 5.4 - Replikasi File Otomatis (Mirror) Di Dua Server Penyimpanan

Tutorial ini menunjukkan cara menyiapkan penyimpanan ketersediaan tinggi dengan dua server penyimpanan (CentOS 5.4) yang menggunakan GlusterFS. Setiap server penyimpanan akan menjadi cermin dari server penyimpanan lainnya, dan file akan direplikasi secara otomatis di kedua server penyimpanan. Sistem klien (CentOS 5.4 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.

Saya tidak memberikan jaminan apa pun bahwa ini akan berhasil untuk Anda!

1 Catatan Awal

Dalam tutorial ini saya menggunakan tiga sistem, dua server dan satu klien:

• server1.example.com:alamat IP 192.168.0.100 (server)
• server2.example.com:alamat IP 192.168.0.101 (server)
• client1.example.com:alamat IP 192.168.0.102 (klien)

Ketiga sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga berisi baris berikut pada ketiga sistem:

vi /etc/hosts

[...]
192.168.0.100           server1.example.com server1
192.168.0.101           server2.example.com server2
192.168.0.102           client1.example.com client1
[...]

(Dimungkinkan juga untuk menggunakan alamat IP alih-alih nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)

2 Menyiapkan Server GlusterFS

server1.example.com/server2.example.com:

GlusterFS tidak tersedia sebagai paket untuk CentOS 5.4, oleh karena itu kita harus membangunnya sendiri. Pertama kita install prasyaratnya:

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Kemudian kami mengunduh rilis GlusterFS terbaru dari http://www.gluster.org/download.php dan membangunnya sebagai berikut:

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/TERBARU/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

Di akhir perintah ./configure, Anda akan melihat sesuatu seperti ini:

[...]
Ringkasan konfigurasi GlusterFS
==========================
Klien FUSE        :yes
Kata kerja Infiniband   : yes
epoll IO multiplex : yes
Berkeley-DB       : yes
libglusterfsclient : yes
argp-standalone    : no

[[email protected] glusterfs-2.0.9]#

buat &&buat instal
ldconfig

Periksa versi GlusterFS setelahnya (seharusnya 2.0.9):

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 dibuat pada 1 Mar 2010 15:34:50
Revisi repositori:v2.0.9
Hak Cipta ( c) 2006-2009 Gluster Inc.
GlusterFS datang dengan BENAR-BENAR TANPA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS di bawah persyaratan Lisensi Publik Umum GNU.
[[email protected] glusterfs-2.0.9]#

Selanjutnya kita buat beberapa direktori:

mkdir /data/
mkdir /data/ekspor
mkdir /data/ekspor-ns
mkdir /etc/glusterfs

Sekarang kita membuat file konfigurasi server GlusterFS /etc/glusterfs/glusterfsd.vol yang menentukan direktori mana yang akan diekspor (/data/ekspor) dan klien apa yang diizinkan untuk terhubung (192.168.0.102 =client1.example.com):

vi /etc/glusterfs/glusterfsd.vol

volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp
  option auth.addr.brick.allow 192.168.0.102
  subvolumes brick
end-volume

Harap dicatat bahwa dimungkinkan untuk menggunakan wildcard untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (misalnya 192.168.0.102,192.168.0.103).

Setelah itu kita buat symlink berikut...

ln -s /usr/local/sbin/glusterfsd /sbin/glusterfsd

... dan kemudian sistem startup menautkan untuk server GlusterFS dan memulainya:

chkconfig --levels 35 glusterfsd aktif
/etc/init.d/glusterfsd mulai

3 Menyiapkan Klien GlusterFS

client1.example.com:

GlusterFS tidak tersedia sebagai paket untuk CentOS 5.4, oleh karena itu kita harus membangunnya sendiri. Pertama kita install prasyaratnya:

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Kemudian kita memuat modul kernel sekering...

modprobe fuse

... dan buat file /etc/rc.modules dengan konten berikut sehingga modul kernel fuse akan dimuat secara otomatis setiap kali sistem boot:

vi /etc/rc.modules

modprobe fuse

Jadikan file tersebut dapat dieksekusi:

chmod +x /etc/rc.modules 

Kemudian kami mengunduh sumber GlusterFS 2.0.9 (harap dicatat bahwa ini adalah versi yang sama yang diinstal pada server!) dan membangun GlusterFS sebagai berikut:

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/TERBARU/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

Di akhir perintah ./configure, Anda akan melihat sesuatu seperti ini:

[...]
Ringkasan konfigurasi GlusterFS
==========================
Klien FUSE        :yes
Kata kerja Infiniband   : yes
epoll IO multiplex : yes
Berkeley-DB       : yes
libglusterfsclient : yes
argp-standalone    : no

buat &&buat instal
ldconfig

Periksa versi GlusterFS setelahnya (seharusnya 2.0.9):

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 dibuat pada 1 Mar 2010 15:58:06
Revisi repositori:v2.0.9
Hak Cipta ( c) 2006-2009 Gluster Inc.
GlusterFS datang dengan BENAR-BENAR TANPA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS di bawah persyaratan Lisensi Publik Umum GNU.
[[email protected] glusterfs-2.0.9]#

Kemudian kita buat dua direktori berikut:

mkdir /mnt/glusterfs
mkdir /etc/glusterfs

Selanjutnya kita buat file /etc/glusterfs/glusterfs.vol:

vi /etc/glusterfs/glusterfs.vol

volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume replicate
  type cluster/replicate
  subvolumes remote1 remote2
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes replicate
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Pastikan Anda menggunakan nama host server atau alamat IP yang benar pada opsi baris host jarak jauh!

Itu dia! Sekarang kita dapat memasang sistem file GlusterFS ke /mnt/glusterfs dengan salah satu dari dua perintah berikut:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

atau

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Anda sekarang akan melihat bagian baru di output...

mount

[[email protected] ~]# mount
/dev/mapper/VolGroup00-LogVol00 on / ketik ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts ketik devpts (rw,gid=5,mode=620)
/dev/sda1 on /boot ketik ext3 (rw)
tmpfs on / dev/shm ketik tmpfs (rw)
none di /proc/sys/fs/binfmt_misc ketik binfmt_misc (rw)
sunrpc di /var/lib/nfs/rpc_pipefs ketik rpc_pipefs (rw)
glusterfs#/etc/glusterfs/glusterfs.vol pada /mnt/glusterfs ketik fuse (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... dan...

df -h

[[email protected] ~]# df -h
Filesystem          Size  Used Avail Use% Dipasang di
/dev/mapper/VolGroup00-LogVol00
                  > /dev/sda1 99m 13m 82m 14%/boot
TMPFS 187M 0 187M 0%/dev/shm
GLUSTERFS#/etc/glusterfs/glusterfs.vol
28g 2.3g 25g 9%/ mnt/glusterfs
[[email protected] ~]#

(server1.example.com dan server2.example.com masing-masing memiliki ruang 28GB untuk sistem file GlusterFS, tetapi karena data dicerminkan, klien tidak melihat 56GB (2 x 28GB), tetapi hanya 28GB.)

Alih-alih memasang bagian GlusterFS secara manual pada klien, Anda dapat memodifikasi /etc/fstab sehingga bagian tersebut dipasang secara otomatis saat klien melakukan booting.

Buka /etc/fstab dan tambahkan baris berikut:

vi /etc/fstab  

[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults  0  0

Untuk menguji apakah /etc/fstab Anda yang dimodifikasi berfungsi, reboot klien:

reboot 

Setelah reboot, Anda akan menemukan share di output...

df -h 

... dan...

mount

4 Pengujian

Sekarang mari kita buat beberapa file uji pada share GlusterFS:

client1.example.com:

sentuh /mnt/glusterfs/test1
sentuh /mnt/glusterfs/test2

Sekarang mari kita periksa direktori /data/export di server1.example.com dan server2.example.com. File test1 dan test2 harus ada di setiap node:

server1.example.com/server2.example.com:

ls -l /data/export 

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 22-02-2010 16:50 test2
[[email protected] ~]#

Sekarang kita mematikan server1.example.com dan menambahkan/menghapus beberapa file pada share GlusterFS di client1.example.com.

server1.example.com:

shutdown -h now

client1.example.com:

sentuh /mnt/glusterfs/test3
sentuh /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Perubahan harus terlihat di direktori /data/export di server2.example.com:

server2.example.com:

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 22-02-2010 16:53 test3
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test4
[[dilindungi email] ~]#

Mari kita boot server1.example.com lagi dan lihat direktori /data/export:

server1.example.com:

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 22-02-2010 16:50 test2
[[email protected] ~]#

Seperti yang Anda lihat, server1.example.com tidak melihat perubahan yang terjadi saat down. Ini mudah diperbaiki, yang perlu kita lakukan hanyalah menjalankan perintah baca pada bagian GlusterFS di client1.example.com, mis.:

client1.example.com:

ls -l /mnt/glusterfs/

[[email protected] ~]# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test3
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test4
[[dilindungi email] ~]#

Sekarang lihat kembali direktori /data/export di server1.example.com, dan Anda akan melihat bahwa perubahan telah direplikasi ke node tersebut:

server1.example.com:

ls -l /data/export 

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test3
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test4
[[dilindungi email] ~]#

5 Tautan

• GlusterFS:http://www.gluster.org/
• CentOS:http://www.centos.org/