Pada artikel ini, kami akan menjelaskan langkah-langkah yang diperlukan untuk menginstal dan mengkonfigurasi Hadoop di Ubuntu 18.04 LTS. Sebelum melanjutkan dengan tutorial ini, pastikan Anda masuk sebagai pengguna dengan hak istimewa sudo. Semua perintah dalam tutorial ini harus dijalankan sebagai pengguna non-root.
Pustaka perangkat lunak Apache Hadoop adalah kerangka kerja yang memungkinkan pemrosesan terdistribusi kumpulan data besar di seluruh kelompok komputer menggunakan model pemrograman sederhana. Ini dirancang untuk ditingkatkan dari server tunggal ke ribuan mesin, masing-masing menawarkan komputasi dan penyimpanan lokal. Daripada mengandalkan perangkat keras untuk memberikan ketersediaan tinggi, perpustakaan itu sendiri dirancang untuk mendeteksi dan menangani kegagalan pada lapisan aplikasi, sehingga memberikan layanan yang sangat tersedia di atas sekelompok komputer, yang masing-masing mungkin rentan terhadap kegagalan.
Instal Hadoop di Ubuntu
Langkah 1. Pertama, sebelum Anda mulai menginstal paket apa pun di server Ubuntu Anda, kami selalu menyarankan untuk memastikan bahwa semua paket sistem telah diperbarui.
sudo apt update sudo apt upgrade
Langkah 2. Instal Java.
Kita perlu menginstal Java pada mesin karena Java adalah Prasyarat utama untuk menjalankan Hadoop. Java 6 dan versi di atasnya didukung untuk Hadoop. Mari kita instal Java 8 untuk pelajaran ini:
sudo apt install openjdk-8-jdk-headless
Verifikasi bahwa java telah diinstal dengan benar:
java -version
Langkah 3. Menginstal Hadoop di Ubuntu 18.04.
Ayo download file instalasi Hadoop agar kita bisa mengerjakan konfigurasinya juga:
mkdir jd-hadoop && cd jd-hadoop wget http://mirror.cc.columbia.edu/pub/software/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
Setelah file diunduh, jalankan perintah berikut untuk membuka zip file:
tar xvzf hadoop-3.2.0.tar.gz
Langkah 4. Menambahkan akun pengguna Hadoop.
Kami akan membuat pengguna Hadoop terpisah di mesin kami untuk memisahkan HDFS dari sistem file asli kami. Pertama-tama kita dapat membuat grup Pengguna di mesin kita:
addgroup hadoop
Sekarang kita dapat menambahkan pengguna baru ke grup ini:
useradd -G hadoop hadoopuser
Terakhir, kami akan memberikan akses root ke pengguna jdhadoopuser. Untuk melakukannya, buka file /etc/sudoers dengan perintah ini:
sudo visudo
Sekarang, masukkan ini sebagai baris terakhir dalam file:
hadoopuser ALL=(ALL) ALL
Langkah 5. Pengaturan Hadoop Single Node.
Hadoop pada Node Tunggal berarti Hadoop akan berjalan sebagai proses Java tunggal. Sekarang ganti nama arsip hadoop menjadi hadoop saja:
mv /root/jd-hadoop/hadoop-3.2.0 /root/jd-hadoop/hadoop chown -R hadoopuser:hadoop /root/jd-hadoop/hadoop
Lokasi yang lebih baik untuk Hadoop adalah direktori /usr/local/, jadi mari kita pindahkan ke sana:
mv hadoop /usr/local/ cd /usr/local/
Sekarang, edit file .bashrc untuk menambahkan Hadoop dan Java ke jalur menggunakan perintah ini:
nano ~/.bashrc
# Configure Hadoop and Java Home export HADOOP_HOME=/usr/local/hadoop export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$HADOOP_HOME/bin
Sekarang, saatnya untuk memberi tahu Hadoop juga di mana Java hadir. Kita dapat melakukan ini dengan menyediakan jalur ini di file hadoop-env.sh:
find hadoop/ -name hadoop-env.sh
Sekarang, edit file:
# nano hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
Langkah 6. Menguji Instalasi Hadoop.
Kita dapat menguji penginstalan Hadoop dengan menjalankan contoh aplikasi sekarang yang sudah dibuat sebelumnya dengan Hadoop, contoh penghitung kata JAR:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /usr/local/hadoop/README.txt /root/jd-hadoop/Output
Jika mau, Anda dapat melihat konten file ini dengan perintah berikut:
cat part-r-00000
Hanya itu yang perlu Anda lakukan untuk menginstal Apache Hadoop di Ubuntu 18.04. Saya harap Anda menemukan tip cepat ini bermanfaat. Jika Anda memiliki pertanyaan atau saran, jangan ragu untuk meninggalkan komentar di bawah.