Dalam tutorial ini, kami akan menunjukkan kepada Anda cara menginstal Apache Spark di Ubuntu 18.04 LTS. Bagi Anda yang belum tahu, Apache Spark adalah sistem komputasi cluster yang cepat dan serba guna. . Ini menyediakan API tingkat tinggi di Java, Scala, dan Python, dan juga mesin yang dioptimalkan yang mendukung grafik eksekusi secara keseluruhan. Ini juga mendukung serangkaian alat tingkat tinggi yang kaya termasuk Spark SQL untuk SQL dan pemrosesan informasi terstruktur, MLlib untuk mesin pembelajaran, GraphX untuk pemrosesan grafik, dan Spark Streaming.
Artikel ini mengasumsikan Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang terpenting, Anda meng-host situs Anda di VPS Anda sendiri. Instalasi cukup sederhana dan mengasumsikan Anda sedang berjalan di akun root, jika tidak, Anda mungkin perlu menambahkan 'sudo ' ke perintah untuk mendapatkan hak akses root. Saya akan menunjukkan kepada Anda melalui langkah demi langkah instalasi Apache Spark pada server 18,04 LTS (Bionic Beaver).
Instal Apache Spark di Ubuntu 18.04 LTS Bionic Beaver
Langkah 1. Pertama, pastikan bahwa semua paket sistem Anda mutakhir dengan menjalankan perintah apt-get berikut di terminal.
sudo apt-get update sudo apt-get upgrade
Langkah 2. Menginstal Java.
Apache Spark membutuhkan Java untuk diinstal di server Anda. Secara default, Java tidak tersedia di repositori Ubuntu. Tambahkan Oracle Java PPA ke Apt dengan perintah berikut:
add-apt-repository ppa:webupd8team/java apt-get update -y apt-get install oracle-java8-installer
Verifikasi versi Java dengan menjalankan perintah berikut:
java -version
Langkah 3. Menginstal Apache Spark di Ubuntu 18.04 LTS.
Instal Apache Spark menggunakan perintah berikut:
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz tar xvzf spark-2.3.1-bin-hadoop2.7.tgz ln -s spark-2.3.1-bin-hadoop2.7 spark
Menambahkan Spark ke Path:
nano ~/.bashrc
Selanjutnya, tambahkan baris ini ke akhir file .bashrc sehingga jalur dapat berisi jalur file yang dapat dieksekusi Spark:
SPARK_HOME=/idr00t/spark export PATH=$SPARK_HOME/bin:$PATH
Untuk mengaktifkan perubahan ini, jalankan perintah berikut untuk file bashrc:
source ~/.bashrc
Meluncurkan Spark Shell:
./spark/bin/spark-shell
Langkah 4. Mengakses Apache Spark.
Apache Spark akan tersedia pada port HTTP 4040 secara default. Buka browser favorit Anda dan navigasikan ke http://your-domain.com:4040 atau http://server-ip:40404 dan selesaikan langkah-langkah yang diperlukan untuk menyelesaikan penginstalan.
Selamat! Anda telah berhasil menginstal Apache Spark. Terima kasih telah menggunakan tutorial ini untuk menginstal Apache Spark pada sistem Ubuntu 18.04 LTS (Bionic Beaver). Untuk bantuan tambahan atau informasi berguna, kami sarankan Anda memeriksa situs web resmi Apache Spark.