Cara Instal Apache Hadoop di CentOS 8

Dalam tutorial ini, kami akan menunjukkan cara menginstal Apache Hadoop di CentOS 8. Bagi Anda yang belum tahu, Apache Hadoop adalah framework open-source yang digunakan untuk penyimpanan terdistribusi sebagai serta pemrosesan data besar terdistribusi pada kelompok komputer yang berjalan pada perangkat keras komoditas. Daripada mengandalkan perangkat keras untuk memberikan ketersediaan tinggi, perpustakaan itu sendiri dirancang untuk mendeteksi dan menangani kegagalan pada lapisan aplikasi, sehingga memberikan layanan yang sangat tersedia pada atas sekelompok komputer, yang masing-masing mungkin rentan terhadap kegagalan.

Artikel ini mengasumsikan Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang terpenting, Anda meng-host situs Anda di VPS Anda sendiri. Instalasi cukup sederhana dan mengasumsikan Anda sedang berjalan di akun root, jika tidak, Anda mungkin perlu menambahkan 'sudo ' ke perintah untuk mendapatkan hak akses root. Saya akan menunjukkan kepada Anda langkah demi langkah instalasi Apache Hadoop di server CentOS 8.

Prasyarat

• Server yang menjalankan salah satu sistem operasi berikut:CentOS 8.
• Sebaiknya Anda menggunakan penginstalan OS baru untuk mencegah potensi masalah.
• Akses SSH ke server (atau cukup buka Terminal jika Anda menggunakan desktop).
• Seorang non-root sudo user atau akses ke root user . Kami merekomendasikan untuk bertindak sebagai non-root sudo user , namun, karena Anda dapat membahayakan sistem jika tidak berhati-hati saat bertindak sebagai root.

Instal Apache Hadoop di CentOS 8

Langkah 1. Pertama, mari kita mulai dengan memastikan sistem Anda mutakhir.

sudo dnf update

Langkah 2. Menginstal Java.

Apache Hadoop ditulis dalam Java dan hanya mendukung Java versi 8. Anda dapat menginstal OpenJDK 8 menggunakan perintah berikut:

sudo dnf install java-1.8.0-openjdk ant

Periksa versi Java:

java -version

Langkah 3. Menginstal Apache Hadoop CentOS 8.

Direkomendasikan untuk membuat user biasa untuk mengkonfigurasi Apache Hadoop, buat user menggunakan perintah berikut:

useradd hadoop
passwd hadoop

Selanjutnya, kita perlu mengonfigurasi otentikasi SSH tanpa kata sandi untuk sistem lokal:

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 640 ~/.ssh/authorized_keys

Verifikasi konfigurasi ssh tanpa kata sandi dengan perintah:

ssh localhost

Langkah selanjutnya, download Apache Hadoop versi stabil terbaru, Saat artikel ini ditulis adalah versi 3.2.1:

wget http://apachemirror.wuchna.com/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -xvzf hadoop-3.2.1.tar.gz
mv hadoop-3.2.1 hadoop

Kemudian, Anda perlu mengonfigurasi Hadoop dan Variabel Lingkungan Java di sistem Anda:

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Sekarang kita mengaktifkan variabel lingkungan dengan perintah berikut:

source ~/.bashrc

Selanjutnya, buka file variabel lingkungan Hadoop:

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/

Hadoop memiliki banyak file konfigurasi, yang perlu dikonfigurasikan sesuai dengan persyaratan infrastruktur Hadoop Anda. Mari kita mulai dengan konfigurasi dengan pengaturan cluster node tunggal Hadoop dasar:

cd $HADOOP_HOME/etc/hadoop

Edit core-site.xml:

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Buat direktori namenode dan datanode di bawah hadoop user home /home/hadoop direktori:

mkdir -p ~/hadoopdata/hdfs/{namenode,datanode}

Edit hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Edit mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Edit yarn-site.xml:

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Sekarang format namenode menggunakan perintah berikut, jangan lupa untuk memeriksa direktori penyimpanan:

hdfs namenode -format

Mulai daemon NameNode dan DataNode dengan menggunakan skrip yang disediakan oleh Hadoop:

start-dfs.sh

Langkah 4. Konfigurasi Firewall.

Jalankan perintah berikut untuk mengizinkan koneksi Apache Hadoop melalui firewall:

firewall-cmd --permanent --add-port=9870/tcp
firewall-cmd --permanent --add-port=8088/tcp
firewall-cmd --reload

Langkah 5. Mengakses Apache Hadoop.

Apache Hadoop akan tersedia di HTTP port 9870 dan port 50070 secara default. Buka browser favorit Anda dan navigasikan ke http://your-domain.com:9870 atau http://your-server-ip:9870 .

Selamat! Anda telah berhasil menginstal Apache Hadoop. Terima kasih telah menggunakan tutorial ini untuk menginstal Hadoop pada sistem CentOS 8. Untuk bantuan tambahan atau informasi berguna, kami sarankan Anda untuk memeriksa situs web resmi Apache Hadoop.