wget utilitas adalah pilihan terbaik untuk mengunduh file dari internet. wget dapat menangani semua situasi unduhan yang kompleks termasuk unduhan file besar, unduhan rekursif, unduhan non-interaktif, unduhan banyak file, dll.,
Dalam artikel ini mari kita tinjau cara menggunakan wget untuk berbagai skenario unduhan menggunakan 15 contoh wget yang mengagumkan.
1. Unduh File Tunggal dengan wget
Contoh berikut mengunduh satu file dari internet dan menyimpannya di direktori saat ini.
$ wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Saat mengunduh itu akan menampilkan bilah kemajuan dengan informasi berikut:
- %usia unduhan selesai (misalnya 31% seperti yang ditunjukkan di bawah)
- Jumlah total byte yang diunduh sejauh ini (misalnya 1.213.592 byte seperti yang ditunjukkan di bawah)
- Kecepatan unduh saat ini (misalnya 68.2K/dtk seperti yang ditunjukkan di bawah)
- Waktu yang tersisa untuk mengunduh (misalnya, eta 34 detik seperti yang ditunjukkan di bawah)
Unduhan sedang berlangsung:
$ wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2.1' 31% [=================> 1,213,592 68.2K/s eta 34s
Unduhan selesai:
$ wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2' 100%[======================>] 3,852,374 76.8K/s in 55s 2009-09-25 11:15:30 (68.7 KB/s) - `strx25-0.9.2.1.tar.bz2' saved [3852374/3852374]
2. Unduh dan Simpan Dengan Nama File Berbeda Menggunakan wget -O
Secara default wget akan memilih nama file dari kata terakhir setelah garis miring terakhir, yang mungkin tidak selalu sesuai.
Salah: Contoh berikut akan mendownload dan menyimpan file dengan nama:download_script.php?src_id=7701
$ wget http://www.vim.org/scripts/download_script.php?src_id=7701
Meskipun file yang diunduh dalam format zip, itu akan disimpan dalam file seperti yang ditunjukkan di bawah ini.
$ ls download_script.php?src_id=7701
Benar: Untuk memperbaiki masalah ini, kita dapat menentukan nama file output menggunakan opsi -O sebagai:
$ wget -O taglist.zip http://www.vim.org/scripts/download_script.php?src_id=7701
3. Tentukan Kecepatan Unduhan / Tingkat Unduhan Menggunakan wget –limit-rate
Saat menjalankan wget, secara default ia akan mencoba untuk menempati bandwidth yang mungkin penuh. Ini mungkin tidak dapat diterima ketika Anda mengunduh file besar di server produksi. Jadi, untuk menghindarinya kita bisa membatasi kecepatan download dengan menggunakan –limit-rate seperti di bawah ini.
Pada contoh berikut, kecepatan unduh dibatasi hingga 200k
$ wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
4. Lanjutkan Unduhan Tidak Lengkap Menggunakan wget -c
Mulai ulang unduhan yang terhenti di tengah menggunakan opsi wget -c seperti yang ditunjukkan di bawah ini.
$ wget -c http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Ini sangat membantu ketika Anda telah memulai unduhan file yang sangat besar yang terputus di tengah. Alih-alih memulai seluruh unduhan lagi, Anda dapat memulai unduhan dari tempat yang terputus menggunakan opsi -c
Catatan: Jika unduhan dihentikan di tengah, ketika Anda memulai ulang unduhan lagi tanpa opsi -c, wget akan menambahkan .1 ke nama file secara otomatis karena file dengan nama sebelumnya sudah ada. Jika file dengan .1 sudah ada, itu akan mendownload file dengan .2 di akhir.
5. Unduh di Latar Belakang Menggunakan wget -b
Untuk unduhan besar, letakkan unduhan di latar belakang menggunakan opsi wget -b seperti yang ditunjukkan di bawah ini.
$ wget -b http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Continuing in background, pid 1984. Output will be written to `wget-log'.
Ini akan memulai pengunduhan dan mengembalikan prompt shell kepada Anda. Anda selalu dapat memeriksa status unduhan menggunakan tail -f seperti yang ditunjukkan di bawah ini.
$ tail -f wget-log
Saving to: `strx25-0.9.2.1.tar.bz2.4'
0K .......... .......... .......... .......... .......... 1% 65.5K 57s
50K .......... .......... .......... .......... .......... 2% 85.9K 49s
100K .......... .......... .......... .......... .......... 3% 83.3K 47s
150K .......... .......... .......... .......... .......... 5% 86.6K 45s
200K .......... .......... .......... .......... .......... 6% 33.9K 56s
250K .......... .......... .......... .......... .......... 7% 182M 46s
300K .......... .......... .......... .......... .......... 9% 57.9K 47s Juga, pastikan untuk meninjau artikel multitail kami sebelumnya tentang cara menggunakan perintah tail secara efektif untuk melihat banyak file.
6. Mask User Agent dan Tampilkan wget like Browser Menggunakan wget –user-agent
Beberapa situs web dapat melarang Anda mengunduh halamannya dengan mengidentifikasi bahwa agen pengguna bukan browser. Jadi Anda dapat menutupi agen pengguna dengan menggunakan opsi –agen-pengguna dan menampilkan wget seperti browser seperti yang ditunjukkan di bawah ini.
$ wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
7. Uji URL Unduhan Menggunakan wget –spider
Ketika Anda akan melakukan pengunduhan terjadwal, Anda harus memeriksa apakah pengunduhan akan berjalan dengan baik atau tidak pada waktu yang dijadwalkan. Untuk melakukannya, salin baris persis dari jadwal, lalu tambahkan opsi –spider untuk diperiksa.
$ wget --spider DOWNLOAD-URL
Jika URL yang diberikan benar, ia akan mengatakan
$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Remote file exists and could contain further links, but recursion is disabled -- not retrieving.
Ini memastikan bahwa pengunduhan akan berhasil pada waktu yang dijadwalkan. Tetapi ketika Anda memberikan URL yang salah, Anda akan mendapatkan kesalahan berikut.
$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!!
Anda dapat menggunakan opsi laba-laba dalam skenario berikut:
- Periksa sebelum menjadwalkan unduhan.
- Memantau apakah situs web tersedia atau tidak pada interval tertentu.
- Periksa daftar halaman dari bookmark Anda, dan cari tahu halaman mana yang masih ada.
8. Tingkatkan Jumlah Total Percobaan Ulang Menggunakan wget –tries
Jika koneksi internet bermasalah, dan jika file unduhan besar, ada kemungkinan kegagalan dalam unduhan. Secara default wget mencoba 20 kali untuk membuat unduhan berhasil.
Jika diperlukan, Anda dapat meningkatkan upaya coba lagi menggunakan opsi –tries seperti yang ditunjukkan di bawah ini.
$ wget --tries=75 DOWNLOAD-URL
9. Unduh Banyak File / URL Menggunakan Wget -i
Pertama, simpan semua file unduhan atau URL dalam file teks sebagai:
$ cat > download-file-list.txt URL1 URL2 URL3 URL4
Selanjutnya, berikan download-file-list.txt sebagai argumen untuk wget using -i opsi seperti yang ditunjukkan di bawah ini.
$ wget -i download-file-list.txt
10. Unduh Situs Web Lengkap Menggunakan wget –mirror
Berikut adalah baris perintah yang ingin Anda jalankan ketika Anda ingin mengunduh situs web lengkap dan tersedia untuk dilihat secara lokal.
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
- –mirror :mengaktifkan opsi yang sesuai untuk mirroring.
- -p :unduh semua file yang diperlukan untuk menampilkan halaman HTML tertentu dengan benar.
- –convert-links :setelah unduhan, konversikan tautan dalam dokumen untuk dilihat secara lokal.
- -P ./LOCAL-DIR :menyimpan semua file dan direktori ke direktori yang ditentukan.
11. Tolak Jenis File Tertentu saat Mengunduh Menggunakan wget –reject
Anda telah menemukan situs web yang berguna, tetapi tidak ingin mengunduh gambar, Anda dapat menentukan yang berikut.
$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED
12. Pesan log ke file log alih-alih stderr Menggunakan wget -o
Bila Anda ingin log dialihkan ke file log, bukan ke terminal.
$ wget -o download.log DOWNLOAD-URL
13. Berhenti Mengunduh Saat Melebihi Ukuran Tertentu Menggunakan wget -Q
Jika Anda ingin menghentikan unduhan yang melebihi 5 MB, Anda dapat menggunakan baris perintah wget berikut.
$ wget -Q5m -i FILE-WHICH-HAS-URLS
Catatan: Kuota ini tidak akan berlaku ketika Anda melakukan download satu URL. Itu terlepas dari ukuran kuota, semuanya akan diunduh saat Anda menentukan satu file. Kuota ini hanya berlaku untuk unduhan berulang.
14. Unduh Hanya Jenis File Tertentu Menggunakan wget -r -A
Anda dapat menggunakan ini dalam situasi berikut:
- Unduh semua gambar dari situs web
- Unduh semua video dari situs web
- Unduh semua file PDF dari situs web
$ wget -r -A.pdf http://url-to-webpage-with-pdfs/
15. Unduhan FTP Dengan wget
Anda dapat menggunakan wget untuk melakukan unduhan FTP seperti yang ditunjukkan di bawah ini.
Unduhan FTP anonim menggunakan Wget
$ wget ftp-url
Unduhan FTP menggunakan wget dengan otentikasi nama pengguna dan kata sandi.
$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL
Jika Anda menyukai artikel ini, harap tandai dengan yummy atau Stumble.