Tutorial ini menunjukkan bagaimana melakukan striping data (segmentasi data sekuensial logis, seperti file tunggal, sehingga segmen dapat ditetapkan ke beberapa perangkat fisik secara round-robin dan dengan demikian ditulis secara bersamaan) di empat server penyimpanan tunggal (menjalankan Ubuntu 12.10) dengan GlusterFS. Sistem klien (Ubuntu 12.10 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.
Harap dicatat bahwa jenis penyimpanan ini tidak menyediakan fitur ketersediaan tinggi/toleransi kesalahan, seperti halnya dengan penyimpanan yang direplikasi.
Saya tidak memberikan jaminan apa pun bahwa ini akan berhasil untuk Anda!
1 Catatan Awal
Dalam tutorial ini saya menggunakan lima sistem, empat server dan satu klien:
- server1.example.com:alamat IP 192.168.0.100 (server)
- server2.example.com:alamat IP 192.168.0.101 (server)
- server3.example.com:alamat IP 192.168.0.102 (server)
- server4.example.com:alamat IP 192.168.0.103 (server)
- client1.example.com:alamat IP 192.168.0.104 (klien)
Karena kita akan menjalankan semua langkah dari tutorial ini dengan hak akses root, kita bisa menambahkan semua perintah dalam tutorial ini dengan string sudo, atau kita menjadi root sekarang dengan mengetik
sudo su
Kelima sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga terlihat seperti berikut di kelima sistem:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(Dimungkinkan juga untuk menggunakan alamat IP alih-alih nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)
2 Menyiapkan Server GlusterFS
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
GlusterFS tersedia sebagai paket untuk Ubuntu 12.10, oleh karena itu kita dapat menginstalnya sebagai berikut:
apt-get install glusterfs-server
Perintah
glusterfsd --version
sekarang harus menunjukkan versi GlusterFS yang baru saja Anda instal (3.2.5 dalam hal ini):
[dilindungi email]:~# glusterfsd --version
glusterfs 3.2.5 dibuat pada 31 Jan 2012 07:39:58
Revisi repositori:git://git.gluster.com/glusterfs.git
Hak Cipta (c) 2006-2011 Gluster Inc.
GlusterFS BENAR-BENAR TIDAK ADA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS berdasarkan persyaratan Lisensi Publik Umum GNU.
[dilindungi email]:~#
Jika Anda menggunakan firewall, pastikan port TCP 111, 24007, 24008, 24009-(24009 + jumlah bata di semua volume) terbuka di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com.
Selanjutnya kita harus menambahkan server2.example.com, server3.example.com, dan server4.example.com ke kumpulan penyimpanan tepercaya (harap dicatat bahwa saya menjalankan semua perintah konfigurasi GlusterFS dari server1.example.com, tetapi Anda dapat melakukannya sebagai jalankan dengan baik dari server2.example.com atau server3.example.com atau server4.example.com karena konfigurasi direplikasi antara node GlusterFS - pastikan Anda menggunakan nama host atau alamat IP yang benar):
server1.example.com:
Di server1.example.com, jalankan
gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com
Outputnya harus sebagai berikut:
[email protected]:~# gluster peer probe server2.example.com
Probe berhasil
[email protected]:~#
Status kumpulan penyimpanan tepercaya sekarang harus serupa dengan ini:
gluster peer status
[email protected]:~# status peer gluster
Jumlah Peer:3
Hostname:server2.example.com
Uuid:600ff607-f7fd-43f6-af8d-419df703376d
State:Peer in Cluster (Connected)
Hostname:server3.example.com
Uuid:1d6a5f3f-c2dd-4727-a050-0431772cc381
State:Peer in Cluster (Connected)
Hostname:server4.example.com
Uuid:0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
State:Peer in Cluster (Connected)
[email protected]:~#
Selanjutnya kita buat striped share bernama testvol (harap diperhatikan bahwa jumlah stripe sama dengan jumlah server dalam hal ini) pada server1.example.com, server2.example.com, server3.example.com, dan server4.example .com di direktori /data (ini akan dibuat jika tidak ada):
gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
[dilindungi email]:~# gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
Pembuatan volume testvol telah berhasil. Harap mulai volume untuk mengakses data.
[email protected]:~#
Mulai volume:
gluster volume start testvol
Ada kemungkinan bahwa perintah di atas memberitahu Anda bahwa tindakan itu tidak berhasil:
[email protected]:~# gluster volume start testvol
Memulai volume testvol tidak berhasil
[email protected]:~#
Dalam hal ini Anda harus memeriksa output dari...
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
netstat -tap | grep glusterfsd
di kedua server.
Jika Anda mendapatkan output seperti ini...
[dilindungi email]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1110 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1019 localhost.localdo:24007 didirikan 1110 /glusterfsd
[Email Dilindungi]:~ #
... semuanya baik-baik saja, tetapi jika Anda tidak mendapatkan hasil apa pun...
[dilindungi email]:~# netstat -tap | grep glusterfsd
[dilindungi email]:~#
[dilindungi email]:~# netstat -tap | grep glusterfsd
[dilindungi email]:~#
[dilindungi email]:~# netstat -tap | grep glusterfsd
[dilindungi email]:~#
... restart daemon GlusterFS di server yang sesuai (server2.example.com, server3.example.com, dan server4.example.com dalam kasus ini):
server2.example.com/server3.example.com/server4.example.com:
/etc/init.d/glusterfs-server restart
Kemudian periksa output dari...
netstat -tap | grep glusterfsd
... lagi di server ini - sekarang akan terlihat seperti ini:
[dilindungi email]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1152 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1152 /GLUSTERFSD
[Email Dilindungi]:~ #
[email protected]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1311 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1311 /GLUSTERFSD
[Email Dilindungi]:~ #
[email protected]:~# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1297 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1019 LocalHost.Localdo:24007 Didirikan 1297 /GLUSTERFSD
[Email Dilindungi]:~ #
Sekarang kembali ke server1.example.com:
server1.example.com:
Anda dapat memeriksa status volume dengan perintah
gluster volume info
[email protected]:~# gluster volume info
Nama Volume:testvol
Jenis:Garis
Status:Dimulai
Jumlah Batu Bata:4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
[dilindungi email]:~#
Secara default, semua klien dapat terhubung ke volume. Jika Anda hanya ingin memberikan akses ke client1.example.com (=192.168.0.104), jalankan:
gluster volume set testvol auth.allow 192.168.0.104
Harap dicatat bahwa dimungkinkan untuk menggunakan wildcard untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (misalnya 192.168.0.104,192.168.0.105).
Info volume sekarang harus menunjukkan status yang diperbarui:
gluster volume info
[email protected]:~# gluster volume info
Nama Volume:testvol
Jenis:Garis
Status:Dimulai
Jumlah Batu Bata:4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
Opsi Dikonfigurasi Ulang:
auth.allow:192.168.0.104
[email protected]:~#
3 Menyiapkan Klien GlusterFS
client1.example.com:
Pada klien, kita dapat menginstal klien GlusterFS sebagai berikut:
apt-get install glusterfs-client
Kemudian kita buat direktori berikut:
mkdir /mnt/glusterfs
Itu dia! Sekarang kita dapat me-mount filesystem GlusterFS ke /mnt/glusterfs dengan perintah berikut:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com pada perintah di atas!)
Anda sekarang akan melihat bagian baru di output...
mount
[dilindungi email]:~# mount
/dev/mapper/server5-root aktif / ketik ext4 (rw,errors=remount-ro)
proc di /proc ketik proc (rw,noexec,nosuid, nodev)
sysfs on /sys ketik sysfs (rw,noexec,nosuid,nodev)
fusectl on /sys/fs/fuse/connections ketik fusectl (rw)
none on /sys/kernel /debug ketik debugfs (rw)
tidak ada di /sys/kernel/keamanan jenis securityfs (rw)
udev di /dev ketik devtmpfs (rw,mode=0755)
devpts di /dev/ pts ketik devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs aktif /jalankan ketik tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock ketik tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm ketik tmpfs (rw,nosuid,nodev)
/dev/sda1 pada /boot type ext2 (rw)
server1.example.com:/testvol pada /mnt/glusterfs ketik fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[email protected]:~#
... dan...
df -h
[email protected]:~# df -h
Filesystem Ukuran Digunakan Avail Use% Dipasang di
/dev/mapper/server5-root
< > 29 238m 4.0k 238m 1%/dev
tmpfs 99m 212k 99m 1%/run
Tidak ada 5.0m 0 5.0%0%/run/lock
Tidak ada 247m 0 247m 0%/run/shm
/dev/sda1 228M 24M 193M 11% /boot
server1.example.com:/testvol
116G 4.2G [email /> 106G] ~#
Alih-alih memasang bagian GlusterFS secara manual pada klien, Anda dapat memodifikasi /etc/fstab sehingga bagian tersebut dipasang secara otomatis saat klien melakukan booting.
Buka /etc/fstab dan tambahkan baris berikut:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Sekali lagi, alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com!)
Untuk menguji apakah /etc/fstab Anda yang dimodifikasi berfungsi, reboot klien:
reboot
Setelah reboot, Anda akan menemukan share di output...
df -h
... dan...
mount
4 Pengujian
Sekarang mari kita buat file uji besar di share GlusterFS:
client1.example.com:
dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000
ls -l /mnt/glusterfs
[dilindungi email]:~# ls -l /mnt/glusterfs
total 1024032
-rw-r--r-- 1 root root 1048576000 2012-12-17 17:31 test.img
[dilindungi email]:~#
Sekarang mari kita periksa direktori /data di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com. Anda akan melihat file test.img pada setiap node, tetapi dengan ukuran yang berbeda (karena striping data):
server1.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 256008
-rw-r--r-- 1 root root 1045430272 2012-12-17 17:31 test.img
[dilindungi email]:~#
server2.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 256008
-rw-r--r-- 1 root root 1046478848 2012-12-17 17:27 test.img
[dilindungi email]:~#
server3.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 256008
-rw-r--r-- 1 root root 1047527424 2012-12-17 17:26 test.img
[dilindungi email]:~#
server4.example.com:
ls -l /data
[dilindungi email]:~# ls -l /data
total 256008
-rw-r--r-- 1 root root 1048576000 2012-12-17 17:30 test.img
[dilindungi email]:~#
5 Tautan
- GlusterFS:http://www.gluster.org/
- Dokumentasi GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- Ubuntu:http://www.ubuntu.com/