Memblokir atau menghapus halaman menggunakan file robots.txt

Sebuah file robots.txt membatasi akses ke situs Anda dengan robot mesin pencari yang merayapi web Ini bot otomatis, dan sebelum mereka akses halaman situs, mereka memeriksa untuk melihat apakah file robots.txt ada yang mencegah mereka mengakses halaman tertentu.
(Semua robot terhormat akan menghormati petunjuk dalam file robots.txt, meskipun beberapa mungkin menafsirkan secara berbeda Namun, robots.txt yang tidak dilaksanakan,. Dan beberapa spammer dan onar lainnya dapat mengabaikannya. Untuk alasan ini, kami sarankan sandi melindungi informasi rahasia.) Anda perlu file robots.txt hanya jika situs Anda berisi konten yang Anda tidak ingin mesin pencari untuk mengindeks.
Jika anda ingin search engine segala sesuatu indeks dalam situs Anda, Anda tidak perlu file robots.txt (bahkan tidak salah satu yang kosong).
Meskipun Google tidak akan menjelajah atau mengindeks konten halaman diblokir oleh robots.txt, kita mungkin masih indeks URL jika kita menemukan mereka di halaman lain di web.. Sebagai hasilnya, URL dari halaman dan, berpotensi, informasi publik lainnya seperti jangkar teks dalam link ke situs, atau judul dari Open Directory Project ( www.dmoz.org ), dapat muncul dalam hasil pencarian Google.
Untuk menggunakan file robots.txt, Anda harus memiliki akses ke root domain Anda (jika Anda tidak yakin, hubungi hoster web Anda). If you don't have access to the root of a domain, you can restrict access using the robots meta tag . Jika Anda tidak memiliki akses ke root domain, Anda dapat membatasi akses menggunakan meta tag robot . Untuk sepenuhnya mencegah halaman isi dari yang tercantum dalam indeks web Google bahkan jika situs lain link ke sana, gunakan meta tag noindex .

Categories: Toturial SEO