Bagaimana Cara Memblokir Bot menggunakan File Robots.txt di cPanel?

Robot.txt file adalah file teks sederhana yang dibuat di direktori root situs web Anda yang memungkinkan bot mesin pencari merayapi situs web Anda untuk mengindeksnya. File robot .txt juga mengontrol bagaimana dan file mana yang harus diakses oleh bot, jadi mengonfigurasinya dengan benar adalah hal yang penting. Anda dapat menggunakan file robot.txt untuk mencegah bot mengindeks situs web Anda di mesin telusur.

Pada artikel ini, kami akan menunjukkan cara memblokir bot dengan mengedit file robot.txt Anda. Ikuti langkah-langkah di bawah ini untuk memulai.

1. Masuk ke akun cPanel Anda.
   
   
2. Buka pengelola file.
   
   
   
   
3. Buat satu nama file robot.txt dan tambahkan kode di bawah ini untuk memblokir bot. Kode ini akan memblokir bot dari mesin pencari Baidu.
   
   

   RewriteEngine On
   RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
   RewriteRule .* – [F,L]
   

   
   
   
   
   
   
4. Ini dia. Sekarang, Baidu tidak akan dapat mem-bot situs web Anda lagi.