Dalam rangkaian artikel ini, kita akan membahas seluruh Bangunan Cluster Cloudera Hadoop membangun dengan Vendor dan Industri praktik terbaik yang direkomendasikan.
Bagian 1 :Praktik Terbaik untuk Menerapkan Server Hadoop di CentOS/RHEL 7Bagian 2 :Menyiapkan Prasyarat Hadoop dan Pengerasan KeamananBagian 3 :Cara Menginstal dan Mengonfigurasi Cloudera Manager di CentOS/RHEL 7Bagian 4 :Cara Memasang CDH dan Mengonfigurasi Penempatan Layanan di CentOS/RHEL 7Bagian 5 :Cara Mengatur Ketersediaan Tinggi untuk NamenodeBagian 6 :Cara Menyiapkan Ketersediaan Tinggi untuk Pengelola Sumber DayaBagian 7 :Cara Memasang dan Mengonfigurasi Hive dengan Ketersediaan TinggiBagian 8 :Cara Memasang dan Mengonfigurasi Sentry (Alat Otorisasi)Bagian 9 :Cara Memasang Kerberos (Kerberising the Cluster) untuk Hadoop AuthenticationBagian 10 :Cara Tune Cluster (Yarn Tuning) di CentOS/RHEL 7OS instalasi dan melakukan OS level Prasyarat adalah langkah pertama untuk membangun Hadoop Cluster . Hadoop dapat berjalan di berbagai platform Linux:CentOS , Topi Merah , Ubuntu , Debian , SUSE dll., Dalam produksi waktu nyata, sebagian besar Kluster Hadoop dibangun di atas RHEL/CentOS , kita akan menggunakan CentOS 7 untuk demonstrasi dalam rangkaian tutorial ini.
Dalam sebuah Organisasi, penginstalan OS dapat dilakukan dengan menggunakan kickstart . Jika cluster 3 sampai 4 node, instalasi manual dimungkinkan tetapi jika kita membangun cluster besar dengan lebih dari 10 node, akan membosankan untuk menginstal OS satu per satu. Dalam skenario ini, metode Kickstart muncul, kita dapat melanjutkan dengan instalasi massal menggunakan kickstart.
Mencapai kinerja yang baik dari Lingkungan Hadoop tergantung pada penyediaan Perangkat Keras &Perangkat Lunak yang benar. Jadi, membangun produksi kluster Hadoop melibatkan banyak pertimbangan terkait Perangkat Keras dan Perangkat Lunak.
Dalam artikel ini, kita akan membahas berbagai Tolok Ukur tentang penginstalan OS dan beberapa praktik terbaik untuk menerapkan Cloudera Hadoop Cluster Server di CentOS/RHEL 7 .
Pertimbangan Penting dan Praktik Terbaik untuk Menerapkan Server Hadoop
Berikut ini adalah praktik terbaik untuk menyiapkan penerapan Cloudera Hadoop Cluster Server di CentOS/RHEL 7 .
- Server Hadoop tidak memerlukan server standar perusahaan untuk membangun sebuah cluster, ini membutuhkan perangkat keras komoditas.
- Di kluster produksi, disarankan untuk memiliki 8 hingga 12 disk data. Menurut sifat beban kerja, kita perlu memutuskan ini. Jika cluster ditujukan untuk aplikasi komputasi intensif, memiliki 4 hingga 6 drive adalah praktik terbaik untuk menghindari masalah I/O.
- Drive data harus dipartisi satu per satu, misalnya – mulai dari /data01 ke /data10 .
- Konfigurasi RAID tidak disarankan untuk node pekerja, karena Hadoop sendiri menyediakan toleransi kesalahan pada data dengan mereplikasi blok menjadi 3 secara default. Jadi JBOD yang terbaik untuk node pekerja.
- Untuk Server Master, RAID 1 adalah praktik terbaik.
- Sistem file default pada CentOS/RHEL 7.x adalah XFS . Hadoop mendukung XFS, ext3, dan ext4. Sistem file yang direkomendasikan adalah ext3 karena diuji untuk kinerja yang baik.
- Semua server harus memiliki versi OS yang sama, setidaknya rilis minor yang sama.
- Ini adalah praktik terbaik untuk memiliki perangkat keras yang homogen (semua node pekerja harus memiliki karakteristik perangkat keras yang sama (RAM, ruang disk &Core, dll.).
- Sesuai dengan beban kerja cluster (Balanced Workload, Compute Intensive, I/O Intensive) dan ukurannya, perencanaan resource (RAM, CPU) per server akan berbeda.
Temukan di bawah ini Contoh untuk Partisi Disk dari server penyimpanan 24TB.
Menginstal CentOS 7 untuk Penerapan Server Hadoop
Hal-hal yang perlu Anda ketahui sebelum menginstal CentOS 7 server untuk Server Hadoop .
- Instalasi minimal sudah cukup untuk Server Hadoop (simpul pekerja ), dalam beberapa kasus, GUI hanya dapat diinstal untuk server Master atau server Manajemen tempat kami dapat menggunakan browser untuk UI Web alat Manajemen.
- Mengonfigurasi jaringan, nama host, dan setelan terkait OS lainnya dapat dilakukan setelah penginstalan OS.
- Secara real-time, vendor server akan memiliki konsol mereka sendiri untuk berinteraksi dan mengelola server, misalnya – server Dell memiliki iDRAC yang merupakan perangkat, tertanam dengan server. Dengan menggunakan antarmuka iDRAC itu, kita dapat menginstal OS dengan memiliki image OS di sistem lokal kita.
Pada artikel ini, kami telah menginstal OS (CentOS 7 ) di mesin virtual VMware. Di sini, kita tidak akan memiliki banyak disk untuk melakukan partisi. CentOS mirip dengan RHEL (fungsi yang sama), jadi kita akan melihat langkah-langkah untuk menginstal CentOS .
1. Mulailah dengan mengunduh image CentOS 7.x ISO di sistem windows lokal Anda dan pilih saat mem-boot mesin virtual. Pilih ‘Instal CentOS 7 ' seperti yang ditunjukkan.
2. Pilih Bahasa , defaultnya adalah Bahasa Inggris, dan klik lanjutkan .
3. Pilihan Perangkat Lunak – Pilih ‘Instalasi Minimal ‘ dan klik ‘Selesai ‘.
4. Setel sandi root karena akan meminta kita untuk menyetel.
5. Tujuan Pemasangan – Ini adalah langkah penting untuk berhati-hati. Kita perlu memilih disk tempat OS harus diinstal, disk khusus harus dipilih untuk OS. Klik ‘Tujuan Pemasangan ' dan pilih Disk, secara real-time beberapa disk akan ada di sana, kita perlu memilih, lebih baik 'sda ‘.
6. Opsi Penyimpanan Lainnya – Pilih opsi kedua (saya akan mengkonfigurasi partisi) untuk mengkonfigurasi partisi terkait OS seperti /var , /var/log , /rumah , /tmp , /opt , /tukar .
7. Setelah selesai, mulailah penginstalan.
8. Setelah Instalasi selesai, reboot server.
9. Masuk ke server dan atur nama host.
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
Ringkasan
Pada artikel ini, kita telah melalui langkah-langkah instalasi OS dan praktik terbaik untuk partisi sistem file. Ini semua adalah pedoman umum, sesuai dengan sifat beban kerja, kita mungkin perlu berkonsentrasi pada lebih banyak nuansa untuk mencapai kinerja terbaik dari cluster. Perencanaan cluster adalah seni untuk Hadoop administrator. Kami akan membahas lebih dalam tentang prasyarat level OS dan Pengerasan keamanan di artikel berikutnya.