GNU/Linux >> Belajar Linux >  >> Cent OS

Striping Di Empat Node Penyimpanan Dengan GlusterFS 3.2.x Pada CentOS 6.3

Tutorial ini menunjukkan bagaimana melakukan striping data (segmentasi data sekuensial logis, seperti file tunggal, sehingga segmen dapat ditetapkan ke beberapa perangkat fisik secara round-robin dan dengan demikian ditulis secara bersamaan) di empat server penyimpanan tunggal (menjalankan CentOS 6.3) dengan GlusterFS. Sistem klien (CentOS 6.3 juga) akan dapat mengakses penyimpanan seolah-olah itu adalah sistem file lokal. GlusterFS adalah sistem file berkerumun yang mampu menskalakan hingga beberapa peta-byte. Ini menggabungkan berbagai bata penyimpanan melalui Infiniband RDMA atau TCP/IP interkoneksi ke dalam satu sistem file jaringan paralel yang besar. Bata penyimpanan dapat dibuat dari perangkat keras komoditas apa pun seperti server x86_64 dengan RAID SATA-II dan HBA Infiniband.

Harap dicatat bahwa jenis penyimpanan ini tidak menyediakan fitur ketersediaan tinggi/toleransi kesalahan, seperti halnya dengan penyimpanan yang direplikasi.

Saya tidak memberikan jaminan apa pun bahwa ini akan berhasil untuk Anda!

1 Catatan Awal

Dalam tutorial ini saya menggunakan lima sistem, empat server dan satu klien:

  • server1.example.com:alamat IP 192.168.0.100 (server)
  • server2.example.com:alamat IP 192.168.0.101 (server)
  • server3.example.com:alamat IP 192.168.0.102 (server)
  • server4.example.com:alamat IP 192.168.0.103 (server)
  • client1.example.com:alamat IP 192.168.0.104 (klien)

Kelima sistem harus dapat menyelesaikan nama host sistem lain. Jika ini tidak dapat dilakukan melalui DNS, Anda harus mengedit file /etc/hosts sehingga terlihat seperti berikut di kelima sistem:

vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

(Dimungkinkan juga untuk menggunakan alamat IP alih-alih nama host dalam pengaturan berikut. Jika Anda lebih suka menggunakan alamat IP, Anda tidak perlu peduli apakah nama host dapat diselesaikan atau tidak.)

2 Aktifkan Repositori Tambahan

server1.example.com/server2.example.com/server3.example.com/server4.example.com/client1.example.com:

Pertama kita mengimpor kunci GPG untuk paket perangkat lunak:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Kemudian kami mengaktifkan repositori EPEL6 pada sistem CentOS kami:

rpm --import https://fedoraproject.org/static/0608B895.txt

cd /tmp
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
rpm -ivh epel-release-6- 7.noarch.rpm

yum install yum-priorities

Edit /etc/yum.repos.d/epel.repo...

vi /etc/yum.repos.d/epel.repo

... dan tambahkan baris priority=10 ke bagian [epel]:

[epel]
name=Extra Packages for Enterprise Linux 6 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
[...]

3 Menyiapkan Server GlusterFS

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

GlusterFS tersedia sebagai paket untuk EPEL, oleh karena itu kita dapat menginstalnya sebagai berikut:

yum install glusterfs-server

Buat tautan startup sistem untuk daemon Gluster dan mulai:

chkconfig --levels 235 berkilau pada
/etc/init.d/glusterd mulai

Perintah

glusterfsd --version

sekarang harus menunjukkan versi GlusterFS yang baru saja Anda instal (3.2.7 dalam hal ini):

[[email protected] ~]# glusterfsd --version
glusterfs 3.2.7 dibuat pada 11 Jun 2012 13:22:28
Revisi repositori:git://git.gluster.com/glusterfs.git
Hak Cipta (c) 2006-2011 Gluster Inc.
GlusterFS datang dengan BENAR-BENAR TANPA JAMINAN.
Anda dapat mendistribusikan kembali salinan GlusterFS di bawah persyaratan Lisensi Publik Umum GNU.
[[email protected] ~]#

Jika Anda menggunakan firewall, pastikan port TCP 111, 24007, 24008, 24009-(24009 + jumlah bata di semua volume) terbuka di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com.

Selanjutnya kita harus menambahkan server2.example.com, server3.example.com, dan server4.example.com ke kumpulan penyimpanan tepercaya (harap dicatat bahwa saya menjalankan semua perintah konfigurasi GlusterFS dari server1.example.com, tetapi Anda dapat melakukannya sebagai jalankan dengan baik dari server2.example.com atau server3.example.com atau server4.example.com karena konfigurasi direplikasi antara node GlusterFS - pastikan Anda menggunakan nama host atau alamat IP yang benar):

server1.example.com:

Di server1.example.com, jalankan

gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com

Outputnya harus sebagai berikut:

[[email protected] ~]# gluster peer probe server2.example.com
Probe berhasil
[[email protected] ~]#

Status kumpulan penyimpanan tepercaya sekarang harus serupa dengan ini:

gluster peer status

[[email protected] ~]# status peer gluster
Jumlah Peer:3

Hostname:server2.example.com
Uuid:600ff607-f7fd-43f6-af8d-419df703376d
State:Peer in Cluster (Connected)

Hostname:server3.example.com
Uuid:1d6a5f3f-c2dd-4727-a050-0431772cc381
State:Peer in Cluster (Connected)

Hostname:server4.example.com
Uuid:0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
State:Peer in Cluster (Connected)
[[email protected] ~]#

Selanjutnya kita buat striped share bernama testvol (harap diperhatikan bahwa jumlah stripe sama dengan jumlah server dalam hal ini) pada server1.example.com, server2.example.com, server3.example.com, dan server4.example .com di direktori /data (ini akan dibuat jika tidak ada):

gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data

[[email protected] ~]# gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
Pembuatan volume testvol telah berhasil. Harap mulai volume untuk mengakses data.
[[email protected] ~]#

Mulai volume:

gluster volume start testvol

Ada kemungkinan bahwa perintah di atas memberitahu Anda bahwa tindakan itu tidak berhasil:

[[email protected] ~]# gluster volume start testvol
Memulai volume testvol tidak berhasil
[[email protected] ~]#

Dalam hal ini Anda harus memeriksa output dari...

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

netstat -tap | grep glusterfsd

di kedua server.

Jika Anda mendapatkan output seperti ini...

[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1365 /GLUSTERFSD
TCP 0 0 LOCALHOST:1023 LOCALHOST:24007 Didirikan 1365 /GLUSTERFSD
TCP 0 0 Server1.example.com:24009 server1.example.com:1023    DIDIRIKAN 1365/glusterfsd
[[email protected] ~]#

... semuanya baik-baik saja, tetapi jika Anda tidak mendapatkan hasil apa pun...

[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#

[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#

[[email protected] ~]# netstat -tap | grep glusterfsd
[[email protected] ~]#

... restart daemon GlusterFS di server yang sesuai (server2.example.com, server3.example.com, dan server4.example.com dalam kasus ini):

server2.example.com/server3.example.com/server4.example.com:

/etc/init.d/glusterfsd restart

Kemudian periksa output dari...

netstat -tap | grep glusterfsd

... lagi di server ini - sekarang akan terlihat seperti ini:

[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1152 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1152 /GLUSTERFSD
[Email Dilindungi] ~ ]#

[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1311 /GLUSTERFSD
TCP 0 0 LOCALHOST.LOCALDOM:1018 LOCALHOST.LOCALDO:24007 Didirikan 1311 /GLUSTERFSD
[Email Dilindungi] ~ ]#

[[email protected] ~]# netstat -tap | grep glusterfsd
TCP 0 0*:24009*:*Dengarkan 1297 /GLUSTERFSD
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 didirikan 1297 /glusterfsd
[email yang dilindungi] ~ ]#

Sekarang kembali ke server1.example.com:

server1.example.com:

Anda dapat memeriksa status volume dengan perintah 

gluster volume info
[[email protected] ~]# gluster volume info

Nama Volume:testvol
Jenis:Garis
Status:Dimulai
Jumlah Batu Bata:4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
[[email protected] ~]#

Secara default, semua klien dapat terhubung ke volume. Jika Anda hanya ingin memberikan akses ke client1.example.com (=192.168.0.104), jalankan:

gluster volume set testvol auth.allow 192.168.0.104

Harap dicatat bahwa dimungkinkan untuk menggunakan wildcard untuk alamat IP (seperti 192.168.*) dan Anda dapat menentukan beberapa alamat IP yang dipisahkan dengan koma (misalnya 192.168.0.104,192.168.0.105).

Info volume sekarang harus menunjukkan status yang diperbarui:

gluster volume info
[[email protected] ~]# gluster volume info

Nama Volume:testvol
Jenis:Garis
Status:Dimulai
Jumlah Batu Bata:4
Jenis Pengangkutan:tcp
Batu Bata:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
Opsi Dikonfigurasi Ulang:
auth.allow:192.168.0.104
[[email protected] ~]#

4 Menyiapkan Klien GlusterFS

client1.example.com:

Pada klien, kita dapat menginstal klien GlusterFS sebagai berikut:

yum install glusterfs-client

Kemudian kita buat direktori berikut:

mkdir /mnt/glusterfs

Itu dia! Sekarang kita dapat me-mount filesystem GlusterFS ke /mnt/glusterfs dengan perintah berikut:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com pada perintah di atas!)

Anda sekarang akan melihat bagian baru di output...

mount

[[email protected] ~]# mount
/dev/mapper/vg_client1-LogVol00 on / ketik ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts pada /dev/pts ketik devpts (rw,gid=5,mode=620)
tmpfs pada /dev/shm ketik tmpfs (rw)
/dev/sda1 pada /boot ketik ext4 (rw)
none pada /proc/sys/fs/binfmt_misc ketik binfmt_misc (rw)
sunrpc pada /var/lib/nfs/rpc_pipefs ketik rpc_pipefs (rw)
server1.example.com:/testvol pada /mnt/glusterfs ketik fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... dan...

df -h

[[email protected] ~]# df -h
Filesystem          Size  Used Avail Use% Dipasang di
/dev/mapper/vg_client1-LogVol00
                   /> TMPFS 499m 0 499m 0%/dev/shm
/dev/sda1 504m 39m 440m 9%/boot
server1.example.com:/testvol
116g 4.2g 106g 4%/ mnt/glusterfs
[[email protected] ~]#

Alih-alih memasang bagian GlusterFS secara manual pada klien, Anda dapat memodifikasi /etc/fstab sehingga bagian tersebut dipasang secara otomatis saat klien melakukan booting.

Buka /etc/fstab dan tambahkan baris berikut:

vi /etc/fstab 
[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Sekali lagi, alih-alih server1.example.com Anda juga dapat menggunakan server2.example.com atau server3.example.com atau server4.example.com!)

Untuk menguji apakah /etc/fstab Anda yang dimodifikasi berfungsi, reboot klien:

reboot

Setelah reboot, Anda akan menemukan share di output... 

df -h

... dan...

mount

5 Pengujian

Sekarang mari kita buat file uji besar di share GlusterFS:

client1.example.com:

dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000
ls -l /mnt/glusterfs

[[email protected] ~]# ls -l /mnt/glusterfs
total 1024032
-rw-r--r-- 1 root root 1048576000 2012-12-17 17:31 test.img
[[email protected] ~]#

Sekarang mari kita periksa direktori /data di server1.example.com, server2.example.com, server3.example.com, dan server4.example.com. Anda akan melihat file test.img pada setiap node, tetapi dengan ukuran yang berbeda (karena striping data):

server1.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 256008
-rw-r--r-- 1 root root 1045430272 2012-12-17 17:31 test.img
[[dilindungi email] ~]#

server2.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 256008
-rw-r--r-- 1 root root 1046478848 2012-12-17 17:27 test.img
[[dilindungi email] ~]#

server3.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 256008
-rw-r--r-- 1 root root 1047527424 2012-12-17 17:26 test.img
[[dilindungi email] ~]#

server4.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
total 256008
-rw-r--r-- 1 root root 1048576000 2012-12-17 17:30 test.img
[[dilindungi email] ~]#

6 Tautan

  • GlusterFS:http://www.gluster.org/
  • Dokumentasi GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
  • CentOS:http://www.centos.org/

Cent OS

  1. Penyimpanan Ketersediaan Tinggi dengan GlusterFS di CentOS 7 - Mencerminkan di dua server penyimpanan

  2. Penyimpanan Terdistribusi Di Empat Node Penyimpanan Dengan GlusterFS 3.2.x Di Ubuntu 12.10

  3. Penyimpanan Replika Terdistribusi Di Empat Node Penyimpanan Dengan GlusterFS 3.2.x Di Ubuntu 12.10

  1. Striping Di Empat Node Penyimpanan Dengan GlusterFS 3.2.x Di Ubuntu 12.10

  2. Replikasi File Otomatis (Cermin) Di Dua Server Penyimpanan Dengan GlusterFS 3.2.x Di Ubuntu 12.10

  3. Penyimpanan Replika Terdistribusi Di Empat Node Penyimpanan Dengan GlusterFS Di Fedora 12

  1. Penyimpanan Ketersediaan Tinggi dengan GlusterFS di Debian 8 - Mencerminkan di dua server penyimpanan

  2. Striping Di Empat Node Penyimpanan Dengan GlusterFS Di Fedora 12

  3. Penyimpanan Terdistribusi Di Empat Node Penyimpanan Dengan GlusterFS Di Fedora 12