Performa sinkronisasi DRBD yang buruk pada 10GigE

Solusi 1:

Di versi DRBD yang lebih baru (8.3.9 dan yang lebih baru) ada pengontrol sinkronisasi ulang dinamis yang perlu disetel. Di versi DRBD yang lebih lama, atur syncer {rate;} sudah cukup; sekarang lebih banyak digunakan sebagai tempat awal yang disarankan untuk kecepatan sinkronisasi ulang dinamis.

Pengontrol sinkronisasi dinamis disetel dengan "c-settings" di bagian disk konfigurasi DRBD (lihat $ man drbd.conf untuk rincian tentang masing-masing pengaturan ini).

Dengan 10Gbe di antara node-node ini, dan dengan asumsi latensi rendah karena protokol C digunakan, konfigurasi berikut akan membuat segalanya bergerak lebih cepat:

resource rd0 {
        protocol C;
        disk {
                c-fill-target 10M;
                c-max-rate   700M;
                c-plan-ahead    7;
                c-min-rate     4M;
        }
        on cl1 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.1:7788;
                meta-disk internal;
        }

        on cl2 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.2:7788;
                meta-disk internal;
        }
}

Jika Anda masih belum puas, coba putar max-buffers hingga 12k. Jika Anda masih belum puas, Anda dapat mencoba mengaktifkan c-fill-target dalam peningkatan 2 juta.

Solusi 2:

Seseorang di tempat lain menyarankan agar saya menggunakan setelan ini:

        disk {
                on-io-error             detach;
                c-plan-ahead 0;
        }
        net {
                max-epoch-size          20000;
                max-buffers             131072;
        }

Dan kinerjanya luar biasa.

Edit: Sesuai saran @Matt Kereczman dan lainnya, saya akhirnya berubah menjadi ini:

disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 24M;
        c-min-rate 80M;
        c-max-rate 720M;
} 
net {
        # max-epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            1024k ;
        rcvbuf-size            2048k;
}

Kecepatan sinkronisasi ulang tinggi:

cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
        [>....................] sync'ed:  2.8% (4494508/4622592)M
        finish: 1:52:27 speed: 682,064 (646,096) K/sec

Kecepatan tulis sangat baik selama sinkronisasi ulang dengan setelan ini (80% dari kecepatan tulis lokal, kecepatan kawat penuh):

# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s

Kecepatan baca oke:

# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s

Edit nanti:

Setelah sinkronisasi ulang penuh, kinerjanya sangat baik (penulisan kecepatan kabel, pembacaan kecepatan lokal). Sinkronisasi ulang cepat (5/6 jam) dan tidak terlalu mengganggu kinerja (pembacaan kecepatan kabel, penulisan kecepatan kabel). Saya pasti akan tetap dengan c-plan-ahead di nol. Dengan nilai bukan nol, sinkronisasi ulang terlalu lama.

Solusi 3:

c-plan-ahead harus menetapkan nilai positif untuk mengaktifkan pengontrol laju sinkronisasi dinamis.disk c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;