GNU/Linux >> Belajar Linux >  >> Linux

Mengirimkan pekerjaan SLURM dengan STDOUT &STDERR yang ditulis ke file dengan JOB_ID

Ada berbagai cara untuk mengirimkan pekerjaan SLURM ke cluster dan cara utama adalah dengan mengirimkan skrip dengan sbatch perintah seperti yang ditunjukkan di bawah ini:

sbatch runcscript.sh

Dalam upaya saya baru-baru ini untuk mengembangkan aplikasi web dengan backend sebagai penjadwal SLURM untuk manajemen pekerjaan, dokumentasi SLURM yang dirujuk untuk mengarahkan STDOUT dan STDERR ke file w.r.t ke id pekerjaan seperti yang ditunjukkan di bawah ini:

#!/bin/bash#SBATCH --job-name=qsim#SBATCH --partition=standard-low#SBATCH -o $SLURM_JOB_ID.output #SBATCH -e $SLURM_JOB_ID.error python UWVr6QCFKLGgx6sRtsnRZyRrajJdbPF4CsKGUqd7S4r.py

Sayangnya, output tidak diganti dengan variabel $SLURM_JOB_ID .

$ls -lrt-rw-rw-r-- 1 vivekn vivekn 737 17 Sep 12:43 $SLURM_JOB_ID.output-rw-rw-r-- 1 vivekn vivekn 580 17 Sep 12:43 $SLURM_JOB_ID.error 

Setelah penelitian yang cukup ekstensif dan panduan yang benar dari Harvard menunjukkan kepada saya bahwa cara saya merujuk salah, dan harus mengubah skrip SLURM Jobs seperti di bawah ini:

#!/bin/bash#SBATCH --job-name=qsim#SBATCH --partition=standard-low#SBATCH -o %j.output #SBATCH -e %j.error python UWVr6QCFKLGgx6sRtsnRZyRrajJdbPF4CsKGUqd7S4r.py

%j dalam nama file akan diganti dengan JobID saat runtime.

Namun, saya belum mengetahui mengapa variabel Lingkungan SLURM $SLURM_JOB_ID tidak berfungsi. Saya akan memperbarui setelah saya memiliki penjelasan. Jika Anda memiliki saran atau jawaban, silakan tulis di bagian komentar di bawah.


Linux
  1. Cara mengenkripsi file dengan gocryptfs di Linux

  2. File Cat Dengan Direktori?

  3. Bagaimana Cara Mengarahkan Stderr Dan Stdout Ke File Yang Berbeda Dan Juga Ditampilkan Di Terminal?

  1. Bekerja dengan file ZIP di Linux

  2. Gema ke stdout dan stderr

  3. Apakah aman untuk menonaktifkan buffering dengan stdout dan stderr?

  1. Urutkan File Dalam Folder Tertentu Dengan Ranger?

  2. Cara Menjadwalkan Pekerjaan Cron dengan Crontab

  3. Cadangkan file Anda dengan rsync