Dalam tutorial ini, kami akan menunjukkan kepada Anda cara menginstal Apache Spark di server CentOS 7. Bagi Anda yang belum tahu, Apache Spark adalah sistem komputasi cluster yang cepat dan serba guna. . Ini menyediakan API tingkat tinggi di Java, Scala, dan Python, dan juga mesin yang dioptimalkan yang mendukung grafik eksekusi secara keseluruhan. Ini juga mendukung serangkaian alat tingkat tinggi yang kaya termasuk Spark SQL untuk SQL dan pemrosesan informasi terstruktur, MLlib untuk mesin pembelajaran, GraphX untuk pemrosesan grafik, dan Spark Streaming.
Artikel ini mengasumsikan Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang terpenting, Anda meng-host situs Anda di VPS Anda sendiri. Instalasi cukup sederhana dan mengasumsikan Anda sedang berjalan di akun root, jika tidak, Anda mungkin perlu menambahkan 'sudo ' ke perintah untuk mendapatkan hak akses root. Saya akan menunjukkan kepada Anda langkah demi langkah instalasi Apache Spark di server CentOS 7.
Instal Apache Spark di CentOS 7
Langkah 1. Pertama, mari kita mulai dengan memastikan sistem Anda mutakhir.
yum clean all yum -y install epel-release yum -y update
Langkah 2. Menginstal Java.
Menginstal java untuk persyaratan install apache-spark:
yum install java -y
Setelah terinstal, periksa versi java:
java -version
Langkah 3. Menginstal Scala.
Spark menginstal Scala selama proses instalasi, jadi kita hanya perlu memastikan bahwa Java dan Python ada:
wget http://www.scala-lang.org/files/archive/scala-2.10.1.tgz tar xvf scala-2.10.1.tgz sudo mv scala-2.10.1 /usr/lib sudo ln -s /usr/lib/scala-2.10.1 /usr/lib/scala export PATH=$PATH:/usr/lib/scala/bin
Setelah diinstal, periksa versi skala:
scala -version
Langkah 4. Menginstal Apache Spark.
Instal Apache Spark menggunakan perintah berikut:
wget http://www-eu.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz tar -xzf spark-2.2.1-bin-hadoop2.7.tgz export SPARK_HOME=$HOME/spark-2.2.1-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin
Siapkan beberapa variabel Lingkungan sebelum Anda memulai percikan:
echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile echo 'export SPARK_HOME=$HOME/spark-2.2.1-bin-hadoop2.6' >> .bash_profile echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile
Kluster Spark mandiri dapat dimulai secara manual, yaitu dengan mengeksekusi skrip awal pada setiap node, atau cukup menggunakan skrip peluncuran yang tersedia. Untuk pengujian, kita dapat menjalankan daemon master dan slave di mesin yang sama:
./sbin/start-master.sh
Langkah 5. Konfigurasi Firewall untuk Apache Spark.
firewall-cmd --permanent --zone=public --add-port=6066/tcp firewall-cmd --permanent --zone=public --add-port=7077/tcp firewall-cmd --permanent --zone=public --add-port=8080-8081/tcp firewall-cmd --reload
Langkah 6. Mengakses Apache Spark.
Apache Spark akan tersedia pada port HTTP 7077 secara default. Buka browser favorit Anda dan navigasikan ke http://yourdomain.com:7077 atau http://your-server-ip:7077 dan selesaikan langkah-langkah yang diperlukan untuk menyelesaikan penginstalan.
Selamat! Anda telah berhasil menginstal Apache Spark di CentOS 7. Terima kasih telah menggunakan tutorial ini untuk menginstal Apache Spark pada sistem CentOS 7. Untuk bantuan tambahan atau informasi berguna, kami sarankan Anda memeriksa Apache resmi Situs web Spark.