GNU/Linux >> Belajar Linux >  >> Ubuntu

Cara Menginstal Hadoop di Ubuntu 18.04 Bionic Beaver

Pada artikel ini, kami akan menjelaskan langkah-langkah yang diperlukan untuk menginstal dan mengkonfigurasi Hadoop di Ubuntu 18.04 LTS. Sebelum melanjutkan dengan tutorial ini, pastikan Anda masuk sebagai pengguna dengan hak istimewa sudo. Semua perintah dalam tutorial ini harus dijalankan sebagai pengguna non-root.

Pustaka perangkat lunak Apache Hadoop adalah kerangka kerja yang memungkinkan pemrosesan terdistribusi kumpulan data besar di seluruh kelompok komputer menggunakan model pemrograman sederhana. Ini dirancang untuk ditingkatkan dari server tunggal ke ribuan mesin, masing-masing menawarkan komputasi dan penyimpanan lokal. Daripada mengandalkan perangkat keras untuk memberikan ketersediaan tinggi, perpustakaan itu sendiri dirancang untuk mendeteksi dan menangani kegagalan pada lapisan aplikasi, sehingga memberikan layanan yang sangat tersedia di atas sekelompok komputer, yang masing-masing mungkin rentan terhadap kegagalan.

Instal Hadoop di Ubuntu

Langkah 1. Pertama, sebelum Anda mulai menginstal paket apa pun di server Ubuntu Anda, kami selalu menyarankan untuk memastikan bahwa semua paket sistem telah diperbarui.

sudo apt update
sudo apt upgrade

Langkah 2. Instal Java.

Kita perlu menginstal Java pada mesin karena Java adalah Prasyarat utama untuk menjalankan Hadoop. Java 6 dan versi di atasnya didukung untuk Hadoop. Mari kita instal Java 8 untuk pelajaran ini:

sudo apt install openjdk-8-jdk-headless

Verifikasi bahwa java telah diinstal dengan benar:

java -version

Langkah 3. Menginstal Hadoop di Ubuntu 18.04.

Ayo download file instalasi Hadoop agar kita bisa mengerjakan konfigurasinya juga:

mkdir jd-hadoop && cd jd-hadoop
wget http://mirror.cc.columbia.edu/pub/software/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

Setelah file diunduh, jalankan perintah berikut untuk membuka zip file:

tar xvzf hadoop-3.2.0.tar.gz

Langkah 4. Menambahkan akun pengguna Hadoop.

Kami akan membuat pengguna Hadoop terpisah di mesin kami untuk memisahkan HDFS dari sistem file asli kami. Pertama-tama kita dapat membuat grup Pengguna di mesin kita:

addgroup hadoop

Sekarang kita dapat menambahkan pengguna baru ke grup ini:

useradd -G hadoop hadoopuser

Terakhir, kami akan memberikan akses root ke pengguna jdhadoopuser. Untuk melakukannya, buka file /etc/sudoers dengan perintah ini:

sudo visudo

Sekarang, masukkan ini sebagai baris terakhir dalam file:

hadoopuser ALL=(ALL) ALL

Langkah 5. Pengaturan Hadoop Single Node.

Hadoop pada Node Tunggal berarti Hadoop akan berjalan sebagai proses Java tunggal. Sekarang ganti nama arsip hadoop menjadi hadoop saja:

mv /root/jd-hadoop/hadoop-3.2.0 /root/jd-hadoop/hadoop
chown -R hadoopuser:hadoop /root/jd-hadoop/hadoop

Lokasi yang lebih baik untuk Hadoop adalah direktori /usr/local/, jadi mari kita pindahkan ke sana:

mv hadoop /usr/local/
cd /usr/local/

Sekarang, edit file .bashrc untuk menambahkan Hadoop dan Java ke jalur menggunakan perintah ini:

nano ~/.bashrc
# Configure Hadoop and Java Home
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin

Sekarang, saatnya untuk memberi tahu Hadoop juga di mana Java hadir. Kita dapat melakukan ini dengan menyediakan jalur ini di file hadoop-env.sh:

find hadoop/ -name hadoop-env.sh

Sekarang, edit file:

# nano hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Langkah 6. Menguji Instalasi Hadoop.

Kita dapat menguji penginstalan Hadoop dengan menjalankan contoh aplikasi sekarang yang sudah dibuat sebelumnya dengan Hadoop, contoh penghitung kata JAR:

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /usr/local/hadoop/README.txt /root/jd-hadoop/Output

Jika mau, Anda dapat melihat konten file ini dengan perintah berikut:

cat part-r-00000

Hanya itu yang perlu Anda lakukan untuk menginstal Apache Hadoop di Ubuntu 18.04. Saya harap Anda menemukan tip cepat ini bermanfaat. Jika Anda memiliki pertanyaan atau saran, jangan ragu untuk meninggalkan komentar di bawah.


Ubuntu
  1. Cara Menginstal Apache Hadoop di Ubuntu 14.04

  2. Cara Menginstal GlassFish di Ubuntu 18.04 Bionic Beaver

  3. Cara Menginstal Netbeans di Ubuntu 18.04 Bionic Beaver

  1. Cara Menginstal Ubuntu 18.04 Bionic Beaver

  2. Cara Menginstal Kodi di Ubuntu 18.04 Bionic Beaver

  3. Cara Menginstal Slack di Ubuntu 18.04 Bionic Beaver

  1. Cara Menginstal Pip di Ubuntu 18.04 Bionic Beaver

  2. Cara Menginstal OpenVPN di Ubuntu 18.04 Bionic Beaver

  3. Cara Menginstal Node.js di Ubuntu 18.04 Bionic Beaver