Saya ingin mengunduh kode sumber HTML lengkap dari X halaman web, namun melengkungkan tautan X akan mengembalikan sebagian kode sumber HTML karena laman web itu memerlukan pengguliran untuk melihat konten lebih lanjut. Tampaknya ikal tidak melewati "gulir ke bawah".
Sejauh ini, saya hanya dapat melakukannya secara manual:
1) Buka situs web yang diinginkan
2) Jalankan perintah berikut di konsol browser untuk menggulir otomatis (memuat setiap objek):
var scroll =setInterval(function(){ window.scrollBy(0,1000); }, 2000);
3) Salin kode sumber HTML lengkap dari elemen inspeksi
Jadi pertanyaannya adalah, bagaimana saya bisa menjalankan curl perintah sehingga mengikis konten halaman web penuh (menggulir hingga memuat semua objek) sebelum mengeluarkan di terminal untuk mencapai hasil yang sama seperti langkah-langkah yang disebutkan di atas? Jika tidak dengan curl , mungkin wget ?
Jawaban yang Diterima:
curl bukan browser lengkap dan sepengetahuan saya tidak mendukung eksekusi JavaScript. Menggunakan HTTP/FTP untuk mengambil file; itu semuanya. Jika Anda ingin melakukan pengujian fungsionalitas yang bergantung pada skrip atau alat lain yang tidak dapat disentuh oleh permintaan HTTP, Anda perlu melihat rangkaian pengujian yang lebih mendalam seperti Selenium.