Bagaimana cara mencari string di dalam banyak file .gz di subfolder bucket Amazon S3? Saya mencoba memasangnya melalui s3fs dan zgrep tetapi sangat lambat. Apakah Anda menggunakan metode lain?
Mungkin ada layanan Amazon yang bisa saya gunakan untuk zgrep mereka dengan cepat?
Jawaban yang Diterima:
Saya menemukan cara tercepat adalah menyalinnya secara lokal terlebih dahulu kemudian melakukan zgrep lokal:
aws s3 cp s3://bucket/containing/the/logs . --recursive
Ini akan menyalin (cp ) semua log ke direktori Anda saat ini (. ) dan sertakan semua sub folder juga (--recursive ).
Kemudian zgrep local lokal :
zgrep "search words" *.gz
Atau untuk mencari sub direktori secara rekursif juga:
find -name \*.gz -print0 | xargs -0 zgrep "STRING"
(Diambil dari unix.stackexchange.com.)