GNU/Linux >> Belajar Linux >  >> Linux

Cara menyalin file dalam jumlah besar dengan cepat antara dua server

Solusi 1:

Saya akan merekomendasikan tar. Ketika hierarki file sudah mirip, rsync bekerja sangat dengan baik. Namun, karena rsync akan melakukan banyak analisis pada setiap file, dan kemudian menyalin perubahan, itu jauh lebih lambat daripada tar untuk salinan awal. Perintah ini kemungkinan akan melakukan apa yang Anda inginkan. Ini akan menyalin file di antara mesin, serta mempertahankan izin dan kepemilikan pengguna/grup.

tar -c /path/to/dir | ssh remote_server 'tar -xvf - -C /absolute/path/to/remotedir'

Sesuai komentar Mackintosh di bawah ini adalah perintah yang akan Anda gunakan untuk rsync

rsync -avW -e ssh /path/to/dir/ remote_server:/path/to/remotedir

Solusi 2:

Hard drive eksternal dan pengiriman kurir pada hari yang sama.

Solusi 3:

Saya akan menggunakan rsync.

Jika Anda mengekspornya melalui HTTP dengan daftar direktori yang tersedia, Anda juga dapat menggunakan wget dan argumen --mirror.

Anda sudah melihat bahwa HTTP lebih cepat daripada SCP karena SCP mengenkripsi semuanya (dan dengan demikian menghambat CPU). HTTP dan rsync akan bergerak lebih cepat karena tidak dienkripsi.

Berikut beberapa dokumen tentang pengaturan rsync di Ubuntu:https://help.ubuntu.com/community/rsync

Dokumen-dokumen itu berbicara tentang tunneling rsync melalui SSH, tetapi jika Anda hanya memindahkan data di LAN pribadi, Anda tidak memerlukan SSH. (Saya asumsikan Anda menggunakan LAN pribadi. Jika Anda mendapatkan 9-10MB/dtk melalui Internet, saya ingin tahu koneksi seperti apa yang Anda miliki!)

Berikut adalah beberapa dokumen dasar lainnya yang memungkinkan Anda menyiapkan server rsync yang relatif tidak aman (tanpa ketergantungan pada SSH):http://transamrit.net/docs/rsync/

Solusi 4:

Tanpa banyak diskusi, gunakan netcat, jaringan pisau swissarmy. Tidak ada overhead protokol, Anda langsung menyalin ke soket jaringan.Contoh

srv1$ tar cfv - *mp3 | nc -w1 remote.server.net 4321

srv2$ nc -l -p 4321 |tar xfv -

Solusi 5:

Dengan banyak file jika Anda menggunakan rsync, Saya akan mencoba untuk mendapatkan versi 3 atau lebih tinggi di kedua ujungnya . Alasannya karena versi yang lebih rendah akan menghitung setiap file sebelum memulai transfer. Fitur baru ini disebut incremental-recursion .

Algoritme rekursi inkremental baru sekarang digunakan saat rsync berbicara dengan versi 3.x lainnya. Ini memulai transfer lebih cepat (sebelum semua file ditemukan), dan membutuhkan lebih sedikit memori. Lihat opsi --recursive di halaman manual untuk beberapa batasan.


Linux
  1. Cara Mentransfer File Antara Dua Komputer menggunakan Perintah nc dan pv

  2. Cara Cepat Mentransfer File Besar Melalui Jaringan Di Linux Dan Unix

  3. Cara Mentransfer File Antar Server di Linux menggunakan SCP dan FTP

  1. Bagaimana cara menggunakan perintah Rsync di linux?

  2. Bagaimana cara menghapus file yang dibuat antara dua kali?

  3. Cara memanggil rsync berulang kali hingga file berhasil ditransfer

  1. Cara menyalin file dengan aman antara host Linux menggunakan SCP dan SFTP

  2. Bagaimana Cara Rsync File Antara Dua Remote?

  3. Bagaimana Cara Mencadangkan File crontab -e?