GNU/Linux >> Belajar Linux >  >> Linux

Sistem File Penyimpanan Terdistribusi - Yang mana/Apakah ada produk siap pakai?

Solusi 1:

Saya tidak dapat berbicara dengan yang lain, tetapi Anda tampaknya bingung antara 'mesin penyimpanan terdistribusi' dan 'sistem file terdistribusi'. Mereka bukan hal yang sama, mereka tidak boleh disalahartikan sebagai hal yang sama, dan mereka tidak akan pernah menjadi hal yang sama. Sistem file adalah cara untuk melacak di mana segala sesuatu berada di hard drive. Mesin penyimpanan seperti hadoop adalah cara untuk melacak sejumlah data yang diidentifikasi oleh kunci. Secara konseptual, tidak banyak perbedaan. Masalahnya adalah sistem file adalah ketergantungan dari mesin penyimpanan ... lagipula, itu membutuhkan cara untuk menulis ke perangkat blok, bukan?

Selain itu, saya bisa berbicara tentang penggunaan ocfs2 sebagai sistem file terdistribusi dalam lingkungan produksi. Jika Anda tidak menginginkan detail yang kasar, berhentilah membaca setelah baris ini:Agak keren, tetapi ini mungkin berarti lebih banyak waktu henti daripada yang Anda pikirkan.

Kami telah menjalankan ocfs2 di lingkungan produksi selama beberapa tahun terakhir. Tidak apa-apa, tapi tidak bagus untuk banyak aplikasi. Anda harus benar-benar melihat persyaratan Anda dan mencari tahu apa itu - Anda mungkin menemukan bahwa Anda memiliki lebih banyak kebebasan untuk kesalahan daripada yang Anda kira.

Sebagai contoh, ocfs2 memiliki jurnal untuk setiap mesin di kluster yang akan memasang partisi. Jadi katakanlah Anda memiliki empat mesin web, dan ketika Anda membuat partisi itu menggunakan mkfs.ocfs2, Anda menentukan bahwa total akan ada enam mesin untuk memberi Anda ruang untuk berkembang. Masing-masing jurnal tersebut memakan ruang, yang mengurangi jumlah data yang dapat Anda simpan di disk. Sekarang, katakanlah Anda perlu menskalakan hingga tujuh mesin. Dalam situasi itu, Anda harus menghapus keseluruhan cluster (mis. unmount semua partisi ocfs2) dan gunakan utilitas tunefs.ocfs2 untuk membuat jurnal tambahan, asalkan ada ruang yang tersedia. Kemudian dan hanya setelah itu Anda dapat menambahkan mesin ketujuh ke cluster (yang mengharuskan Anda untuk mendistribusikan file teks ke seluruh cluster kecuali jika Anda menggunakan utilitas), mengembalikan semuanya, lalu memasang partisi pada ketujuh mesin.

Lihat apa yang saya maksud? Ini seharusnya ketersediaan tinggi, yang seharusnya berarti 'selalu online', tetapi di sana Anda memiliki banyak waktu henti ... dan Tuhan melarang Anda terlalu banyak untuk ruang disk. Anda TIDAK ingin melihat apa yang terjadi saat Anda memadati ocfs2.

Ingatlah bahwa evms, yang dulunya merupakan cara yang 'disukai' untuk mengelola kluster ocfs2, telah beralih ke burung dodo demi clvmd dan lvm2. (Dan pembebasan yang bagus untuk evms.) Selain itu, detak jantung dengan cepat akan berubah menjadi proyek zombie yang mendukung tumpukan openais/pacemaker. (Selain itu:Saat melakukan konfigurasi kluster awal untuk ocfs2, Anda dapat menentukan 'pcmk' sebagai mesin kluster, bukan detak jantung. Tidak, ini tidak didokumentasikan.)

Untuk apa nilainya, kami telah kembali ke nfs yang dikelola oleh alat pacu jantung, karena waktu henti beberapa detik atau beberapa paket tcp yang hilang saat alat pacu jantung memigrasikan bagian nfs ke mesin lain adalah sepele dibandingkan dengan jumlah waktu henti yang kami lihat untuk dasar operasi penyimpanan bersama seperti menambahkan mesin saat menggunakan ocfs2.

Solusi 2:

Saya pikir Anda harus mengabaikan persyaratan POSIX, sangat sedikit sistem yang mengimplementasikannya - bahkan NFS pun tidak benar-benar (pikirkan kunci, dll.) dan tidak memiliki redundansi.

Sistem apa pun yang menggunakan replikasi sinkron akan menjadi sangat lambat; sistem apa pun yang memiliki replikasi asinkron (atau "konsistensi akhirnya") akan melanggar aturan POSIX dan tidak berperilaku seperti sistem file "konvensional".

Solusi 3:

Saya mungkin salah memahami persyaratan Anda, tetapi apakah Anda sudah melihat http://en.wikipedia.org/wiki/List_of_file_systems#Distributed_file_systems

Solusi 4:

Hanya untuk membuang €0,02 saya di sini:tidak bisakah OpenAFS melakukan apa yang Anda inginkan?

Solusi 5:

Lihatlah chirp http://www.cse.nd.edu/~ccl/software/chirp/ dan parrot http://www.cse.nd.edu/~ccl/software/parrot/


Linux
  1. [Panduan] perintah apt vs apt-get, dan yang mana yang digunakan?

  2. Linux – Saat Menginstal Linux di Drive Usb, Sistem File Mana yang Harus Saya Gunakan Untuk Memformat Untuk Performa Terbaik?

  3. Perbedaan Antara Sistem File Terdistribusi dan Cluster?

  1. Shell Mana yang Harus Saya Gunakan – Tcsh Vs Bash??

  2. Mengapa seseorang harus menggunakan sudo?

  3. Sistem file mana yang harus saya gunakan dalam kartu SD di NAS?

  1. Debian vs. Ubuntu untuk Penggunaan Server, Mana yang Harus Dipilih

  2. Jenis Sistem File Linux Dijelaskan, Yang Mana Yang Harus Anda Gunakan

  3. Bisakah Anda Menggunakan Jangkar ^ $ Dengan Ls?