Dalam artikel ini, kami menjelaskan proses langkah demi langkah untuk menginstal Cloudera Manager sesuai dengan praktik industri. Di Bagian 2, kita sudah melalui Prasyarat Cloudera, pastikan semua server sudah siap dengan sempurna.
Di sini kita akan memiliki 5 node cluster di mana 2 master dan 3 pekerja. Saya telah menggunakan 5 AWS EC2 contoh untuk mendemonstrasikan prosedur instalasi. Saya telah menamai 5 server tersebut seperti di bawah ini.
master1.tecmint.com master2.tecmint.com worker1.tecmint.com worker2.tecmint.com worker3.tecmint.com
Pengelola Cloudera adalah alat administratif dan pemantauan untuk seluruh CDH . Kami admin biasanya menyebutnya sebagai alat manajemen untuk Cloudera Hadoop . Kami dapat menerapkan, memantau, mengontrol, dan membuat perubahan konfigurasi dengan menggunakan alat ini. Ini sangat penting untuk mengelola seluruh cluster.
Di bawah ini adalah kegunaan penting dari Cloudera Manager.
- Menerapkan dan mengonfigurasi kluster Hadoop secara otomatis.
- Memantau kesehatan cluster
- Konfigurasikan lansiran
- Pemecahan masalah
- Pelaporan
- Membuat Laporan Pemanfaatan Cluster
- Mengonfigurasi Sumber Daya secara dinamis
Langkah 1:Menginstal Apache Web Server di CentOS
Kita akan menggunakan master1 sebagai server web untuk repositori Cloudera. Selain itu, Cloudera Manager adalah WebUI, jadi kita harus memiliki Apache diinstal. Ikuti langkah-langkah di bawah ini untuk menginstal server web apache.
# yum -y install httpd
Setelah httpd terinstal, jalankan dan aktifkan agar dapat dimulai saat boot.
# systemctl start httpd # systemctl enable httpd
Setelah memulai httpd, pastikan statusnya.
# systemctl status httpd
Setelah memulai httpd, buka browser di sistem lokal Anda dan rekatkan alamat IP master1 di bilah pencarian, Anda harus mendapatkan halaman pengujian ini untuk memastikan httpd berjalan dengan baik.
Langkah 2:Konfigurasi DNS Lokal untuk Menyelesaikan IP dan Nama Host
Kita perlu memiliki server DNS atau mengkonfigurasi /etc/hosts untuk menyelesaikan IP dan nama host. Di sini kami mengonfigurasi /etc/hosts , tetapi secara waktu nyata, server DNS khusus akan tersedia untuk lingkungan produksi.
Ikuti langkah-langkah di bawah ini untuk membuat entri untuk semua server Anda di /etc/hosts .
# vi /etc/hosts
Ini harus dikonfigurasi di semua server.
13.235.27.144 master1.tecmint.com master1 13.235.135.170 master2.tecmint.com master2 15.206.167.94 worker1.tecmint.com worker1 13.232.173.158 worker2.tecmint.com worker2 65.0.182.222 worker3.tecmint.com worker3
Langkah 3:Konfigurasi Login Tanpa Kata Sandi SSH
Pengelola Cloudera sedang dipasang di master1 dalam demonstrasi ini. Kita perlu mengonfigurasi ssh tanpa kata sandi dari master1 ke semua node lainnya. Karena Manajer Cloudera akan menggunakan ssh untuk mengomunikasikan semua node lain untuk menginstal paket.
Ikuti langkah-langkah di bawah ini untuk mengonfigurasi ssh tanpa kata sandi dari master1 ke semua server yang tersisa. Kami akan memiliki pengguna 'tecmint ' untuk melangkah lebih jauh.
Buat pengguna 'tecmint ' semua 4 server menggunakan perintah useradd seperti yang ditunjukkan.
# useradd -m tecmint
Untuk memberikan hak akses root kepada pengguna 'tecmint ‘, tambahkan baris di bawah ini ke dalam /etc/sudoers mengajukan. Anda dapat menambahkan baris ini di bawah root seperti yang ada di tangkapan layar.
tecmint ALL=(ALL) ALL
Beralih ke pengguna 'tecmint ' dan buat kunci ssh di master1 menggunakan perintah di bawah ini.
# sudo su tecmint $ ssh-keygen
Sekarang salin kunci yang dibuat ke semua 4 server dengan menggunakan ssh-copy-id perintah seperti yang ditunjukkan.
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
Sekarang Anda seharusnya dapat ssh dari master1 untuk meninggalkan semua server tanpa kata sandi seperti yang ditunjukkan.
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
Langkah 4:Memasang dan Mengonfigurasi Cloudera Manager
Kita dapat menggunakan vendor (Cloudera ) repositori untuk menginstal semua paket menggunakan alat manajemen paket di RHEL/CentOS. Secara waktu nyata, membuat repositori kami sendiri adalah praktik terbaik karena kami mungkin tidak memiliki akses internet di server produksi.
Di sini kita akan menginstal Cloudera Manager 6.3.1 melepaskan. Karena kita akan menggunakan master1 sebagai server repo, kami mengunduh paket di jalur yang disebutkan di bawah ini.
Buat direktori yang disebutkan di bawah ini di master1 server.
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
Kita dapat menggunakan alat wget untuk mengunduh paket melalui http. Jadi, instal wget menggunakan perintah di bawah ini.
$ sudo yum -y install wget
Selanjutnya, unduh file tar Cloudera Manager menggunakan perintah wget berikut.
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Ekstrak file tar ke /var/www/html/cloudera-repos/cm6 , kita sudah membuat master1 sebagai server web dengan memasang http dan sudah kami uji di browser.
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Sekarang, verifikasi bahwa semua file rpm Cloudera ada di /var/www/html/cloudera-repos/cm6/RPMS/x86_64 direktori.
$ cd /var/www/html/cloudera-repos/cm6 $ ll
Buat /etc/yum.repos.d/cloudera-manager.repo file di semua server di host cluster dengan konten berikut, di sini master1 (65.0.101.148) adalah server Web.
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
Sekarang repositori telah ditambahkan, jalankan perintah di bawah ini untuk melihat repositori yang diaktifkan.
$ yum repolist
Jalankan perintah di bawah ini untuk melihat semua paket terkait Cloudera yang tersedia di repositori.
$ yum list available | grep cloudera*
Instal cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Jalankan perintah di bawah ini untuk melihat semua paket Cloudera yang terinstal.
$ yum list installed | grep cloudera*
Jalankan perintah di bawah ini untuk memulai cloudera-scm-server-db yang merupakan basis data dasar untuk menyimpan Cloudera Manager dan metadata layanan lainnya.
Secara default, Cloudera akan datang dengan postgre-sql yang disematkan di Cloudera Manager . Kami menginstal yang tertanam, dalam database eksternal real-time yang dapat digunakan. Itu bisa berupa Oracle , MySQL, atau PostgreSQL .
$ sudo systemctl start cloudera-scm-server-db
Jalankan perintah di bawah ini untuk memeriksa status database.
$ sudo systemctl status cloudera-scm-server-db
Konfigurasikan db.properties untuk Pengelola Cloudera server.
$ vi /etc/cloudera-scm-server/db.properties
Konfigurasikan nilai di bawah ini adalah DISEBUTKAN untuk membuat Manajer Cloudera gunakan Basis Data Tersemat .
com.cloudera.cmf.db.setupType=EMBEDDED
Jalankan perintah di bawah ini untuk memulai server Cloudera Manager.
$ sudo systemctl start cloudera-scm-server
Jalankan perintah di bawah ini untuk memeriksa status Cloudera Manager server.
$ sudo systemctl status cloudera-scm-server
Jalankan perintah di bawah ini untuk memulai dan memeriksa status Cloudera Manager agen.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Setelah Server Manajer Cloudera berhasil dan berjalan dengan baik, Anda dapat melihat WebUI (halaman Login) di browser menggunakan alamat IP dan nomor port 7180 yang merupakan nomor port Cloudera Manager .
https://65.0.101.148:7180
Ringkasan
Dalam artikel ini, kita telah melihat proses langkah demi langkah untuk menginstal Cloudera Manager di CentOS 7 . Kita akan melihat CDH dan instalasi layanan lainnya di artikel berikutnya.