GNU/Linux >> Belajar Linux >  >> Linux

Cara mengarahkan seluruh output dari spark-submit ke file

spark-submit mencetak sebagian besar hasilnya ke STDERR

Untuk mengalihkan seluruh output ke satu file, Anda dapat menggunakan:

spark-submit something.py > results.txt 2>&1

Atau 

spark-submit something.py &> results.txt

Jika Anda menjalankan spark-submit pada cluster, log disimpan dengan ID aplikasi. Anda dapat melihat log setelah aplikasi selesai.

yarn logs --applicationId <your applicationId> > myfile.txt

Harus mengambilkan log pekerjaan Anda

ApplicationId pekerjaan Anda diberikan saat Anda mengirimkan pekerjaan spark. Anda akan dapat melihatnya di konsol tempat Anda mengirimkan atau dari UI Hadoop.


Linux

  1. Bagaimana Cara Mengarahkan Output Program Ke File Zip??

  2. Redirect Dan Output Pipa?

  3. Cara memahami keluaran warna

  1. Cara mengarahkan output dari proses yang sudah berjalan

  2. Bagaimana cara memeriksa apakah suatu file kosong di Bash?

  3. Bagaimana cara mengarahkan output dari system() ke file?

  1. Bagaimana cara menyimpan output dari perintah awk ini ke file?

  2. Redirect semua output ke file menggunakan Bash di Linux?

  3. Cara mengarahkan output dari layanan systemd ke file