Cara Mencegah Mesin Pencari Mengindeks Situs Anda

Jika Anda memiliki situs atau halaman pengembangan yang tidak ingin diindeks oleh Mesin Pencari, Anda dapat mencatatnya melalui penggunaan file robots.txt. File robots.txt akan memberi tahu robot untuk tidak mengunjungi halaman apa pun di situs.

Memblokir Semua Robot dari Seluruh Situs

1. Buat file teks bernama robots.txt
2. Ketik yang berikut ini ke dalam file:

User-agent: *
Disallow: / 

3. Simpan file teks dan letakkan di root file situs Anda di folder httpdocs. Lihat Cara Menggunakan FTP. File ini dihormati oleh mesin pencari yang sah tetapi dapat diabaikan oleh desain kode dengan maksud jahat. Untuk informasi lebih lanjut tentang file robots.txt, Anda dapat mengunjungi URL ini:http://www.robotstxt.org/robotstxt.html.