Tutorial ini menunjukkan cara menggabungkan empat server penyimpanan tunggal (menjalankan Ubuntu 12.10) ke penyimpanan replika terdistribusi dengan GlusterFS. Node 1 dan 2 (replikasi1) serta 3 dan 4 (replikasi2) akan saling mencerminkan, dan replikasi1 dan replikasi2 akan digabungkan ke satu server penyimpanan yang lebih besar (distribusi). Pada dasarnya, ini adalah RAID10 melalui jaringan. Jika Anda kehilangan satu server dari replikasi1 dan satu dari replikasi2, volume terdistribusi akan terus berfungsi. Sistem klien (Ubuntu 12.10 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.
Saya tidak memberikan jaminan apa pun bahwa ini akan berhasil untuk Anda!
1 Catatan Awal
Dalam tutorial ini saya menggunakan lima sistem, empat server dan satu klien:
- server1.example.com:alamat IP 192.168.0.100 (server)
- server2.example.com:alamat IP 192.168.0.101 (server)
- server3.example.com:alamat IP 192.168.0.102 (server)
- server4.example.com:alamat IP 192.168.0.103 (server)
- client1.example.com:alamat IP 192.168.0.104 (klien)
Karena kita akan menjalankan semua langkah dari tutorial ini dengan hak akses root, kita bisa menambahkan semua perintah dalam tutorial ini dengan string sudo, atau kita menjadi root sekarang dengan mengetik
sudo su
Kelima sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga terlihat seperti berikut di kelima sistem:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(Dimungkinkan juga untuk menggunakan alamat IP alih-alih nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)
2 Menyiapkan Server GlusterFS
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
GlusterFS tersedia sebagai paket untuk Ubuntu 12.10, oleh karena itu kita dapat menginstalnya sebagai berikut:
apt-get install glusterfs-server
Perintah
glusterfsd --version
sekarang harus menunjukkan versi GlusterFS yang baru saja Anda instal (3.2.5 dalam hal ini):
[dilindungi email]:~# glusterfsd --version
glusterfs 3.2.5 dibuat pada 31 Jan 2012 07:39:58
Revisi repositori:git://git.gluster.com/glusterfs.git
Hak Cipta (c) 2006-2011 Gluster Inc.
GlusterFS BENAR-BENAR TIDAK ADA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS di bawah persyaratan Lisensi Publik Umum GNU.
[dilindungi email]:~#
Jika Anda menggunakan firewall, pastikan port TCP 111, 24007, 24008, 24009-(24009 + jumlah bata di semua volume) terbuka di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com.
Selanjutnya kita harus menambahkan server2.example.com, server3.example.com, dan server4.example.com ke kumpulan penyimpanan tepercaya (harap dicatat bahwa saya menjalankan semua perintah konfigurasi GlusterFS dari server1.example.com, tetapi Anda dapat melakukannya sebagai jalankan dengan baik dari server2.example.com atau server3.example.com atau server4.example.com karena konfigurasi direplikasi antara node GlusterFS - pastikan Anda menggunakan nama host atau alamat IP yang benar):
server1.example.com:
Di server1.example.com, jalankan
gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com
Outputnya harus sebagai berikut:
[email protected]:~# gluster peer probe server2.example.com
Probe berhasil
[email protected]:~#
Status kumpulan penyimpanan tepercaya sekarang harus serupa dengan ini:
gluster peer status
[email protected]:~# status peer gluster
Jumlah Peer:3
Hostname:server2.example.com
Uuid:600ff607-f7fd-43f6-af8d-419df703376d
State:Peer in Cluster (Connected)
Hostname:server3.example.com
Uuid:1d6a5f3f-c2dd-4727-a050-0431772cc381
State:Peer in Cluster (Connected)
Hostname:server4.example.com
Uuid:0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
State:Peer in Cluster (Connected)
[email protected]:~#
Selanjutnya kita membuat bagian replika terdistribusi bernama testvol dengan dua replika (harap dicatat bahwa jumlah replika adalah setengah dari jumlah server dalam hal ini karena kami ingin mengatur replikasi terdistribusi) di server1.example.com, server2.example.com , server3.example.com, dan server4.example.com di direktori /data (ini akan dibuat jika tidak ada):
gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
[dilindungi email]:~# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
Pembuatan volume testvol telah berhasil. Harap mulai volume untuk mengakses data.
[email protected]:~#
Mulai volume:
gluster volume start testvol
Ada kemungkinan bahwa perintah di atas memberitahu Anda bahwa tindakan itu tidak berhasil:
[email protected]:~# gluster volume start testvol
Memulai volume testvol tidak berhasil
[email protected]:~#
Dalam hal ini Anda harus memeriksa output dari...
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
netstat -tap | grep glusterfsd
di kedua server.
Jika Anda mendapatkan output seperti ini...
[dilindungi email]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1110 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1019 localhost.localdo:24007 didirikan 1110 /glusterfsd
[Email Dilindungi]:~ #
... semuanya baik-baik saja, tetapi jika Anda tidak mendapatkan hasil apa pun...
[dilindungi email]:~# netstat -tap | grep glusterfsd
[dilindungi email]:~#
[dilindungi email]:~# netstat -tap | grep glusterfsd
[dilindungi email]:~#
[dilindungi email]:~# netstat -tap | grep glusterfsd
[dilindungi email]:~#
... restart daemon GlusterFS di server yang sesuai (server2.example.com, server3.example.com, dan server4.example.com dalam kasus ini):
server2.example.com/server3.example.com/server4.example.com:
/etc/init.d/glusterfs-server restart
Kemudian periksa output dari...
netstat -tap | grep glusterfsd
... lagi di server ini - sekarang akan terlihat seperti ini:
[dilindungi email]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1152 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1152 /GLUSTERFSD
[Email Dilindungi]:~ #
[email protected]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1311 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1311 /GLUSTERFSD
[Email Dilindungi]:~ #
[email protected]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1297 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1019 LocalHost.Localdo:24007 Didirikan 1297 /GLUSTERFSD
[Email Dilindungi]:~ #
Sekarang kembali ke server1.example.com:
server1.example.com:
Anda dapat memeriksa status volume dengan perintah
gluster volume info
[email protected]:~# gluster volume info
Nama Volume:testvol
Jenis:Replika Terdistribusi
Status:Dimulai
Jumlah Batu Bata:2 x 2 =4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1.example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example. com:/data
[dilindungi email]:~#
Secara default, semua klien dapat terhubung ke volume. Jika Anda hanya ingin memberikan akses ke client1.example.com (=192.168.0.104), jalankan:
gluster volume set testvol auth.allow 192.168.0.104
Harap dicatat bahwa dimungkinkan untuk menggunakan wildcard untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (misalnya 192.168.0.104,192.168.0.105).
Info volume sekarang harus menunjukkan status yang diperbarui:
gluster volume info
[email protected]:~# gluster volume info
Nama Volume:testvol
Jenis:Replika Terdistribusi
Status:Dimulai
Jumlah Batu Bata:2 x 2 =4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1.example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example. com:/data
Opsi Dikonfigurasi Ulang:
auth.allow:192.168.0.104
[email protected]:~#
3 Menyiapkan Klien GlusterFS
client1.example.com:
Pada klien, kita dapat menginstal klien GlusterFS sebagai berikut:
apt-get install glusterfs-client
Kemudian kita buat direktori berikut:
mkdir /mnt/glusterfs
Itu dia! Sekarang kita dapat me-mount filesystem GlusterFS ke /mnt/glusterfs dengan perintah berikut:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com pada perintah di atas!)
Anda sekarang akan melihat bagian baru di output...
mount
[dilindungi email]:~# mount
/dev/mapper/server5-root aktif / ketik ext4 (rw,errors=remount-ro)
proc di /proc ketik proc (rw,noexec,nosuid, nodev)
sysfs on /sys ketik sysfs (rw,noexec,nosuid,nodev)
fusectl on /sys/fs/fuse/connections ketik fusectl (rw)
none on /sys/kernel /debug ketik debugfs (rw)
tidak ada di /sys/kernel/keamanan jenis securityfs (rw)
udev di /dev ketik devtmpfs (rw,mode=0755)
devpts di /dev/ pts ketik devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs aktif /jalankan ketik tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock ketik tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm ketik tmpfs (rw,nosuid,nodev)
/dev/sda1 pada /boot type ext2 (rw)
server1.example.com:/testvol pada /mnt/glusterfs ketik fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[email protected]:~#
... dan...
df -h
[email protected]:~# df -h
Filesystem Ukuran Digunakan Avail Use% Dipasang di
/dev/mapper/server5-root
< > 29 238m 4.0k 238m 1%/dev
tmpfs 99m 212k 99m 1%/run
Tidak ada 5.0m 0 5.0%0%/run/lock
Tidak ada 247m 0 247m 0%/run/shm
/dev/sda1 228M 24M 193M 11% /boot
server1.example.com:/testvol
58G 2.1G > 53G ~#
Alih-alih memasang bagian GlusterFS secara manual pada klien, Anda dapat memodifikasi /etc/fstab sehingga bagian tersebut dipasang secara otomatis saat klien melakukan booting.
Buka /etc/fstab dan tambahkan baris berikut:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Sekali lagi, alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com!)
Untuk menguji apakah /etc/fstab Anda yang dimodifikasi berfungsi, reboot klien:
reboot
Setelah reboot, Anda akan menemukan share di output...
df -h
... dan...
mount
4 Pengujian
Sekarang mari kita buat beberapa file uji pada share GlusterFS:
client1.example.com:
sentuh /mnt/glusterfs/test1
sentuh /mnt/glusterfs/test2
sentuh /mnt/glusterfs/test3
sentuh /mnt/glusterfs/test4
sentuh /mnt/glusterfs/ test5
sentuh /mnt/glusterfs/test6
Sekarang mari kita periksa direktori /data di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com. Anda akan melihat bahwa replikasi1 serta replikasi2 hanya menampung sebagian dari file/direktori yang membentuk bagian GlusterFS pada klien, tetapi node yang membentuk replikasi1 (server1 dan server2) atau replikasi2 (server3 dan server4) berisi sama file (mirroring):
server1.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 17-12-2012 15:49 test5
[email protected]:~#
server2.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 17-12-2012 15:49 test5
[email protected]:~#
server3.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw -r--r-- 1 root root 0 17-12-2012 15:49 test6
[email protected]:~#
server4.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw -r--r-- 1 root root 0 17-12-2012 15:49 test6
[email protected]:~#
Sekarang kita mematikan server1.example.com dan server4.example.com dan menambahkan/menghapus beberapa file pada share GlusterFS di client1.example.com.
server1.example.com/server4.example.com:
shutdown -h now
client1.example.com:
rm -f /mnt/glusterfs/test5
rm -f /mnt/glusterfs/test6
Perubahan harus terlihat di direktori /data di server2.example.com dan server3.example.com:
server2.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[dilindungi email]:~#
server3.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
[email dilindungi]:~#
Mari kita boot server1.example.com dan server4.example.com lagi dan lihat direktori /data:
server1.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 17-12-2012 15:49 test5
[email protected]:~#
server4.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw -r--r-- 1 root root 0 17-12-2012 15:49 test6
[email protected]:~#
Seperti yang Anda lihat, server1.example.com dan server4.example.com belum melihat perubahan yang terjadi saat sedang down. Ini mudah diperbaiki, yang perlu kita lakukan hanyalah menjalankan perintah baca pada bagian GlusterFS di client1.example.com, mis.:
client1.example.com:
ls -l /mnt/glusterfs/
[dilindungi email]:~# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[email protected]:~#
Sekarang lihat direktori /data di server1.example.com dan server4.example.com lagi, dan Anda akan melihat bahwa perubahan telah direplikasi ke node ini:
server1.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test2
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[dilindungi email]:~#
server4.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
[email dilindungi]:~#
5 Tautan
- GlusterFS:http://www.gluster.org/
- Dokumentasi GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- Ubuntu:http://www.ubuntu.com/