Pada artikel sebelumnya, kami telah menjelaskan penginstalan Cloudera Manager, pada artikel ini, Anda akan mempelajari cara menginstal dan mengkonfigurasi CDH (Hadoop Distribusi Cloudera ) di RHEL/CentOS 7 .
Saat memasang parsel CDH, kami harus memastikan Cloudera Manager dan CDH kesesuaian. Versi Cloudera memiliki 3 bagian –
Misalnya, kami menggunakan Cloudera Manager 6.3.1 dan CDH 6.3.2 . Di sini 6 adalah mayor dan 3 adalah versi minor. Major dan Minor harus sama untuk menghindari masalah kompatibilitas.
Persyaratan
- Praktik Terbaik untuk Menerapkan Server Hadoop di CentOS/RHEL 7 – Bagian 1
- Menyiapkan Prasyarat Hadoop dan Pengerasan Keamanan – Bagian 2
- Cara Menginstal dan Mengonfigurasi Cloudera Manager di CentOS/RHEL 7 – Bagian 3
Kami akan mengambil 2 node di bawah ini untuk menginstal CDH. Kami telah menginstal Cloudera Manager di master1 , kami juga menggunakan master1 sebagai server repo.
master1.tecmint.com worker1.tecmint.com
Langkah 1:Unduh Paket CDH di Server Master
1. Pertama, sambungkan ke master1 server dan unduh Paket CDH file di /var/www/html/cloudera-repos/cdh direktori . Kita harus mengunduh 3 file yang disebutkan di bawah ini yang seharusnya kompatibel dengan RHEL/CentOS 7 .
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Sebelum mengunduh file ini, pastikan untuk membuat cdh direktori di bawah /var/www/html/cloudera-repos/ lokasi.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Selanjutnya, unduh 3 file yang disebutkan di atas menggunakan perintah wget berikut.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Langkah 2:Siapkan Cloudera Manager Repo Pada Klien Pekerja
4. Sekarang, sambungkan ke pekerja server dan salin file repo (cloudera-manager.repo ) dari server repo (master1 ) ke semua server pekerja yang tersisa. File repo ini memastikan server bahwa semua paket dan RPM yang diperlukan akan diunduh dari server repo saat menginstal.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Setelah repo ditambahkan, daftarkan repositori yang diaktifkan untuk memastikan cloudera-manager repo diaktifkan.
$ yum repolist
Langkah 3:Instal Daemon dan Agen Cloudera Manager di Server Pekerja
6. Sekarang, kita perlu menginstal cloudera-manager-daemons dan cloudera-manager-agent di semua server yang tersisa.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Selanjutnya, Anda perlu mengonfigurasi Cloudera Manager agen untuk melaporkan Manajer Cloudera server.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Ganti localhost dengan Manajer Cloudera alamat IP server.
8. Mulai Pengelola Cloudera Agen dan verifikasi statusnya.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Langkah 4:Instal dan Siapkan CDH
Kami memiliki CDH parsel di master1 - server repo. Pastikan semua server memiliki file repo Cloudera Manager di /etc/yum.repos.d/ jika Anda mengikuti penginstalan otomatis menggunakan Cloudera Manager .
9. Masuk ke Cloudera Manager menggunakan URL di bawah ini di port 7180 dan gunakan nama pengguna dan sandi default Cloudera Manager .
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Setelah Anda masuk, Anda akan disambut dengan halaman Selamat Datang. Di sini Anda dapat menemukan Catatan rilis, Fitur Baru Cloudera Manager.
11. Terima Lisensi dan Lanjutkan.
12. Pilih Edisi. Versi uji coba telah dipilih secara default, kami dapat melanjutkannya.
13. Sekarang, ikuti langkah-langkah Instalasi Cluster. Lanjutkan Halaman Selamat Datang.
14. Beri nama Cluster dan lanjutkan, kami telah menamakannya sebagai “tecmint ”. Ada 2 jenis Cluster yang dapat Anda definisikan. Kami melanjutkan dengan Klaster Reguler.
- Kluster Reguler :Akan terdiri dari node penyimpanan, node komputasi, dan layanan lain yang diperlukan.
- Komputasi Cluster :Akan hanya terdiri dari node komputasi. Penyimpanan eksternal dapat digunakan untuk menyimpan data.
15. Kami telah menginstal Agen Manajer Cloudera di semua server. Anda dapat menemukan server tersebut di “Host yang Dikelola Saat Ini ”. Untuk instalasi otomatis, Anda harus memasukkan FQDN atau IP server di “Host Baru ” dan pencarian. Cloudera Manager akan secara otomatis mendeteksi host tempat kita perlu menginstal CDH.
Di sini, klik “Host yang Dikelola Saat Ini ”, pilih semua host dengan memilih ‘Hostname ' dan lanjutkan.
16. Pilih Repositori – menggunakan Paket adalah cara yang disarankan. Klik ‘Opsi Lainnya ' untuk mengonfigurasi repositori.
17. Masukkan URL repositori lokal seperti yang disebutkan di bawah ini. Hapus semua repositori publik yang tersisa yang mengarah ke Web (Cloudera Repositories ).
Ini adalah CDH URL repositori lokal yang kita miliki di master1 .
http://104.211.95.96/cloudera-repos/cdh/
18. Setelah URL repositori dimasukkan, halaman ini hanya akan menampilkan paket yang tersedia. Lanjutkan langkah ini.
19. Sekarang paket sedang diunduh, didistribusikan, dibongkar, dan diaktifkan di semua server yang tersedia.
20. Setelah Paket CDH diaktifkan, periksa Cluster . Langkah ini akan melakukan pemeriksaan kesehatan cluster. Di sini kita melewatkan dan Melanjutkan.
Langkah 5:Konfigurasi Cluster
21. Di sini kita perlu memilih Layanan untuk dipasang di Cluster . Beberapa kombinasi yang dikemas akan tersedia secara default, kami menggunakan Layanan Kustom .
22. Di Layanan Khusus , kami hanya memasang Komponen Inti (HDFS dan BENANG ) untuk tujuan demo ini.
23. Tetapkan peran ke server. Kami dapat menyesuaikan sesuai dengan kebutuhan kami. Temukan bagan di bawah ini yang menjelaskan Distribusi Peran yang direkomendasikan untuk cluster kecil dasar dengan 5 hingga 20 node dengan Ketersediaan Tinggi.
24. Pilih tipe Database, nama host, Nama DB, Nama Pengguna, dan Kata Sandi. Karena kami menggunakan Embedded PostgreSQL, itu akan dipilih secara default. Uji koneksi, seharusnya berhasil.
25. Halaman ini akan menampilkan parameter konfigurasi default HDFS dan Benang , termasuk direktori data. Tinjau semua detail konfigurasi dan Anda dapat membuat perubahan jika diperlukan. Kemudian Lanjutkan dengan ini.
26. Laman ini akan menampilkan detail ‘Lari Pertama ' memerintah. Anda dapat memperluasnya untuk melihat detail menjalankan perintah. Jika ada masalah jaringan atau izin di cluster, langkah ini akan gagal. Biasanya, langkah ini menentukan kelancaran pemasangan Gedung Cluster.
27. Setelah langkah di atas selesai, Klik ‘Selesai ' untuk menyelesaikan penginstalan. Ini adalah Dashboard Cloudera Manager setelah menginstal CDH.
http://104.211.95.96:7180/cmf/home
Kesimpulan
Kami telah menyelesaikan Pengelola Cloudera dan CDH instalasi berhasil. Di Dasbor Cloudera Manager , Anda dapat menemukan kumpulan bagan yang telah ditentukan sebelumnya di mana Anda dapat memantau CPU Cluster, Disk IO, dll. Kami dapat mengelola seluruh Cluster menggunakan Cloudera Manager ini . Kami akan melihat semua operasi administratif di artikel mendatang.