Tutorial ini menunjukkan cara menggabungkan empat server penyimpanan tunggal (menjalankan CentOS 6.3) ke penyimpanan replika terdistribusi dengan GlusterFS. Node 1 dan 2 (replikasi1) serta 3 dan 4 (replikasi2) akan saling mencerminkan, dan replikasi1 dan replikasi2 akan digabungkan ke satu server penyimpanan yang lebih besar (distribusi). Pada dasarnya, ini adalah RAID10 melalui jaringan. Jika Anda kehilangan satu server dari replikasi1 dan satu dari replikasi2, volume terdistribusi akan terus berfungsi. Sistem klien (CentOS 6.3 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.
Saya tidak memberikan jaminan apa pun bahwa ini akan berhasil untuk Anda!
1 Catatan Awal
Dalam tutorial ini saya menggunakan lima sistem, empat server dan satu klien:
- server1.example.com:alamat IP 192.168.0.100 (server)
- server2.example.com:alamat IP 192.168.0.101 (server)
- server3.example.com:alamat IP 192.168.0.102 (server)
- server4.example.com:alamat IP 192.168.0.103 (server)
- client1.example.com:alamat IP 192.168.0.104 (klien)
Kelima sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga terlihat seperti berikut di kelima sistem:
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 |
(Dimungkinkan juga untuk menggunakan alamat IP alih-alih nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)
2 Aktifkan Repositori Tambahan
server1.example.com/server2.example.com/server3.example.com/server4.example.com/client1.example.com:
Pertama kita mengimpor kunci GPG untuk paket perangkat lunak:
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*
Kemudian kami mengaktifkan repositori EPEL6 pada sistem CentOS kami:
rpm --import https://fedoraproject.org/static/0608B895.txt
cd /tmp
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
rpm -ivh epel-release-6- 7.noarch.rpm
yum install yum-priorities
Edit /etc/yum.repos.d/epel.repo...
vi /etc/yum.repos.d/epel.repo
... dan tambahkan baris priority=10 ke bagian [epel]:
[epel] name=Extra Packages for Enterprise Linux 6 - $basearch #baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch failovermethod=priority enabled=1 priority=10 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 [...] |
3 Menyiapkan Server GlusterFS
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
GlusterFS tersedia sebagai paket untuk EPEL, oleh karena itu kita dapat menginstalnya sebagai berikut:
yum install glusterfs-server
Buat tautan startup sistem untuk daemon Gluster dan mulai:
chkconfig --levels 235 berkilau pada
/etc/init.d/glusterd mulai
Perintah
glusterfsd --version
sekarang harus menunjukkan versi GlusterFS yang baru saja Anda instal (3.2.7 dalam hal ini):
[[email protected] ~]# glusterfsd --version
glusterfs 3.2.7 dibuat pada 11 Jun 2012 13:22:28
Revisi repositori:git://git.gluster.com/glusterfs.git
Hak Cipta (c) 2006-2011 Gluster Inc.
GlusterFS datang dengan BENAR-BENAR TANPA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS di bawah persyaratan Lisensi Publik Umum GNU.
[[email protected] ~]#
Jika Anda menggunakan firewall, pastikan port TCP 111, 24007, 24008, 24009-(24009 + jumlah bata di semua volume) terbuka di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com.
Selanjutnya kita harus menambahkan server2.example.com, server3.example.com, dan server4.example.com ke kumpulan penyimpanan tepercaya (harap dicatat bahwa saya menjalankan semua perintah konfigurasi GlusterFS dari server1.example.com, tetapi Anda dapat melakukannya sebagai jalankan dengan baik dari server2.example.com atau server3.example.com atau server4.example.com karena konfigurasi direplikasi antara node GlusterFS - pastikan Anda menggunakan nama host atau alamat IP yang benar):
server1.example.com:
Di server1.example.com, jalankan
gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com
Outputnya harus sebagai berikut:
[[email protected] ~]# gluster peer probe server2.example.com
Probe berhasil
[[email protected] ~]#
Status kumpulan penyimpanan tepercaya sekarang harus serupa dengan ini:
gluster peer status
[[email protected] ~]# status peer gluster
Jumlah Peer:3
Hostname:server2.example.com
Uuid:600ff607-f7fd-43f6-af8d-419df703376d
State:Peer in Cluster (Connected)
Hostname:server3.example.com
Uuid:1d6a5f3f-c2dd-4727-a050-0431772cc381
State:Peer in Cluster (Connected)
Hostname:server4.example.com
Uuid:0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
State:Peer in Cluster (Connected)
[[email protected] ~]#
Selanjutnya kita membuat bagian replika terdistribusi bernama testvol dengan dua replika (harap dicatat bahwa jumlah replika adalah setengah dari jumlah server dalam hal ini karena kami ingin mengatur replikasi terdistribusi) di server1.example.com, server2.example.com , server3.example.com, dan server4.example.com di direktori /data (ini akan dibuat jika tidak ada):
gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
[[email protected] ~]# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
Pembuatan volume testvol telah berhasil. Harap mulai volume untuk mengakses data.
[[email protected] ~]#
Mulai volume:
gluster volume start testvol
Ada kemungkinan bahwa perintah di atas memberitahu Anda bahwa tindakan itu tidak berhasil:
[[email protected] ~]# gluster volume start testvol
Memulai volume testvol tidak berhasil
[[email protected] ~]#
Dalam hal ini Anda harus memeriksa output dari...
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
netstat -tap | grep glusterfsd
di kedua server.
Jika Anda mendapatkan output seperti ini...
[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1365 /GLUSTERFSD
TCP 0 0 LOCALHOST:1023 LOCALHOST:24007 Didirikan 1365 /GLUSTERFSD
TCP 0 0 Server1.example.com:24009 server1.example.com:1023 DIDIRIKAN 1365/glusterfsd
[[email protected] ~]#
... semuanya baik-baik saja, tetapi jika Anda tidak mendapatkan hasil apa pun...
[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#
[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#
[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#
... restart daemon GlusterFS di server yang sesuai (server2.example.com, server3.example.com, dan server4.example.com dalam kasus ini):
server2.example.com/server3.example.com/server4.example.com:
/etc/init.d/glusterfsd restart
Kemudian periksa output dari...
netstat -tap | grep glusterfsd
... lagi di server ini - sekarang akan terlihat seperti ini:
[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1152 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1152 /GLUSTERFSD
[Email Dilindungi] ~ ]#
[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1311 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1311 /GLUSTERFSD
[Email Dilindungi] ~ ]#
[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1297 /GLUSTERFSD
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 didirikan 1297 /glusterfsd
[email yang dilindungi] ~ ]#
Sekarang kembali ke server1.example.com:
server1.example.com:
Anda dapat memeriksa status volume dengan perintah
gluster volume info
[[email protected] ~]# gluster volume info
Nama Volume:testvol
Jenis:Replika Terdistribusi
Status:Dimulai
Jumlah Batu Bata:2 x 2 =4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1.example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example. com:/data
[[email protected] ~]#
Secara default, semua klien dapat terhubung ke volume. Jika Anda hanya ingin memberikan akses ke client1.example.com (=192.168.0.104), jalankan:
gluster volume set testvol auth.allow 192.168.0.104
Harap dicatat bahwa dimungkinkan untuk menggunakan wildcard untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (misalnya 192.168.0.104,192.168.0.105).
Info volume sekarang harus menunjukkan status yang diperbarui:
gluster volume info
[[email protected] ~]# gluster volume info
Nama Volume:testvol
Jenis:Replika Terdistribusi
Status:Dimulai
Jumlah Batu Bata:2 x 2 =4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1.example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example. com:/data
Opsi Dikonfigurasi Ulang:
auth.allow:192.168.0.104
[[email protected] ~]#
4 Menyiapkan Klien GlusterFS
client1.example.com:
Pada klien, kita dapat menginstal klien GlusterFS sebagai berikut:
yum install glusterfs-client
Kemudian kita buat direktori berikut:
mkdir /mnt/glusterfs
Itu dia! Sekarang kita dapat me-mount filesystem GlusterFS ke /mnt/glusterfs dengan perintah berikut:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com pada perintah di atas!)
Anda sekarang akan melihat bagian baru di output...
mount
[[email protected] ~]# mount
/dev/mapper/vg_client1-LogVol00 on / ketik ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts pada /dev/pts ketik devpts (rw,gid=5,mode=620)
tmpfs pada /dev/shm ketik tmpfs (rw)
/dev/sda1 pada /boot ketik ext4 (rw)
none pada /proc/sys/fs/binfmt_misc ketik binfmt_misc (rw)
sunrpc pada /var/lib/nfs/rpc_pipefs ketik rpc_pipefs (rw)
server1.example.com:/testvol pada /mnt/glusterfs ketik fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#
... dan...
df -h
[[email protected] ~]# df -h
Filesystem Size Used Avail Use% Dipasang di
/dev/mapper/vg_client1-LogVol00
/>tmpfs 499M 0 499M 0% /dev/shm
/dev/sda1 504M 39M 440M 9% /boot
mnt/glusterfs
[[email protected] ~]#
Alih-alih memasang bagian GlusterFS secara manual pada klien, Anda dapat memodifikasi /etc/fstab sehingga bagian tersebut dipasang secara otomatis saat klien melakukan booting.
Buka /etc/fstab dan tambahkan baris berikut:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Sekali lagi, alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com!)
Untuk menguji apakah /etc/fstab Anda yang dimodifikasi berfungsi, reboot klien:
reboot
Setelah reboot, Anda akan menemukan share di output...
df -h
... dan...
mount
5 Pengujian
Sekarang mari kita buat beberapa file uji pada share GlusterFS:
client1.example.com:
sentuh /mnt/glusterfs/test1
sentuh /mnt/glusterfs/test2
sentuh /mnt/glusterfs/test3
sentuh /mnt/glusterfs/test4
sentuh /mnt/glusterfs/ test5
sentuh /mnt/glusterfs/test6
Sekarang mari kita periksa direktori /data di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com. Anda akan melihat bahwa replikasi1 serta replikasi2 hanya menampung sebagian dari file/direktori yang membentuk bagian GlusterFS pada klien, tetapi node yang membentuk replikasi1 (server1 dan server2) atau replikasi2 (server3 dan server4) berisi sama file (mirroring):
server1.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
- rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 17-12-2012 15:49 test5
[[email protected] ~]#
server2.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
- rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 17-12-2012 15:49 test5
[[email protected] ~]#
server3.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
- rw-r--r-- 1 root root 0 17-12-2012 15:49 test6
[[email protected] ~]#
server4.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
- rw-r--r-- 1 root root 0 17-12-2012 15:49 test6
[[email protected] ~]#
Sekarang kita mematikan server1.example.com dan server4.example.com dan menambahkan/menghapus beberapa file pada share GlusterFS di client1.example.com.
server1.example.com/server4.example.com:
shutdown -h now
client1.example.com:
rm -f /mnt/glusterfs/test5
rm -f /mnt/glusterfs/test6
Perubahan harus terlihat di direktori /data di server2.example.com dan server3.example.com:
server2.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
- rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[[dilindungi email] ~]#
server3.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
[ [dilindungi email] ~]#
Mari kita boot server1.example.com dan server4.example.com lagi dan lihat direktori /data:
server1.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
- rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 17-12-2012 15:49 test5
[[email protected] ~]#
server4.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
- rw-r--r-- 1 root root 0 17-12-2012 15:49 test6
[[email protected] ~]#
Seperti yang Anda lihat, server1.example.com dan server4.example.com belum melihat perubahan yang terjadi saat sedang down. Ini mudah diperbaiki, yang perlu kita lakukan hanyalah menjalankan perintah baca pada bagian GlusterFS di client1.example.com, mis.:
client1.example.com:
ls -l /mnt/glusterfs/
[[email protected] ~]# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[[email protected] ~]#
Sekarang lihat direktori /data di server1.example.com dan server4.example.com lagi, dan Anda akan melihat bahwa perubahan telah direplikasi ke node ini:
server1.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
- rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[[dilindungi email] ~]#
server4.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
[ [dilindungi email] ~]#
6 Tautan
- GlusterFS:http://www.gluster.org/
- Dokumentasi GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- CentOS:http://www.centos.org/