Dengan asumsi pertanyaan Anda tentang deduplikasi data, ada beberapa sistem file yang mendukungnya di Linux:
- ZFS, dengan deduplikasi online (sehingga data dideduplikasi saat disimpan), tetapi dengan persyaratan memori ekstrem yang membuat fitur ini sulit digunakan dalam praktik;
- Btrfs, dengan deduplikasi out-of-band "hanya", meskipun dengan proses yang terintegrasi erat yang menyediakan deduplikasi yang cukup cepat setelah data disimpan;
- SquashFS, tetapi itu mungkin tidak sesuai dengan kebutuhan Anda karena hanya dapat dibaca.
XFS seharusnya mendapatkan deduplikasi di beberapa titik, dan Btrfs juga seharusnya mendapatkan deduplikasi online.
Awasi perbandingan sistem file Wikipedia untuk melihat kapan ini berubah.
Sistem file S3QL memiliki deduplikasi tingkat blok. Ini dipromosikan sebagai solusi penyimpanan cloud S3 tetapi juga bekerja sangat baik di penyimpanan lokal.
Berikut adalah contoh dari bagian cadangan/server arsip kami
s3qlstat /path/to/some/archives
Directory entries: 12430247
Inodes: 6343756
Data blocks: 1357349
Total data size: 12.4 TB
After de-duplication: 3.84 TB (30.92% of total)
After compression: 3.71 TB (29.84% of total, 96.52% of de-duplicated)
Database size: 1.29 GiB (uncompressed)
Cache size: 0 bytes, 0 entries
Cache size (dirty): 0 bytes, 0 entries
Queued object removals: 0
Penyimpanan pokok yang digunakan sistem file ini
df -h /var/s3ql/part-of-archive
Filesystem Size Used Avail Use% Mounted on
/dev/sde 6.0T 3.8T 2.0T 66% /var/s3ql/part-of-archive
Ini memberi tahu saya bahwa penyimpanan yang mendasari menggunakan sedikit di bawah 4TB, tetapi menyimpan sekitar 12TB data deduplikasi. (Arsip saya memiliki cukup banyak blok duplikat di dalamnya. Tidak mengherankan saya harap.) Lapisan kompresi dinonaktifkan di sini; jika saya menggunakan penyimpanan S3 yang sebenarnya, saya akan membiarkannya tetap aktif.
Basis data SQLite yang mengelola sistem file itu sendiri hanya berukuran lebih dari 1 GB, yang cukup besar, tetapi karena saya menggunakan ini untuk pengarsipan daripada penggunaan produksi dengan permintaan tinggi tidak masalah.