Menghasilkan file robots.txt menggunakan alat robots.txt

1. Pada halaman Tools Webmaster Home, klik situs yang Anda inginkan. 
2. Dalam konfigurasi Site, klik Crawler akses.  
3. Klik tab Hasilkan robots.txt. 
4. Pilih robot akses standar Anda. Kami menyarankan Anda mengizinkan semua robot, dan menggunakan langkah berikutnya untuk mengecualikan bot tertentu yang tidak ingin mengakses situs Anda. Ini akan membantu mencegah masalah dengan tidak sengaja memblokir crawler penting dari situs Anda.   
5. Tentukan aturan tambahan.Misalnya, untuk memblokir Googlebot dari semua file dan direktori di situs Anda:

1.  Dalam daftar Action, pilih Disallow.
2. Dalam daftar Robot, klik Googlebot.
   
3. Dalam File atau direktori, ketik /.  
4. Choose your default robot access. Pilih robot akses standar Anda. We recommend that you allow all robots, and use the next step to exclude any specific bots you don't want accessing your site. Kami menyarankan Anda mengizinkan semua robot, dan menggunakan langkah berikutnya untuk mengecualikan bot tertentu yang tidak ingin mengakses situs Anda. This will help prevent problems with accidentally blocking crucial crawlers from your site. Ini akan membantu mencegah masalah dengan tidak sengaja memblokir crawler penting dari situs Anda.
5. Specify any additional rules. Tentukan aturan tambahan. For example, to block Googlebot from all files and directories on your site: Misalnya, untuk memblokir Googlebot dari semua file dan direktori di situs Anda:
1. Dalam daftar Action, pilih Disallow.
2. Dalam daftar Robot, klik Googlebot.
3. Dalam File atau direktori, ketik /.
4. Klik Tambah. Kode untuk file robots.txt Anda akan secara otomatis dihasilkan.
6. Simpan file robots.txt Anda dengan men-download file atau menyalin isi ke file teks dan menyimpan sebagai robots.txt.  Simpan file ke direktori tingkat tertinggi dari situs Anda. T File robots.txt harus berada di root domain dan harus diberi nama "robots.txt". Sebuah file robots.txt yang terletak di sebuah subdirektori yang tidak valid, karena bot hanya memeriksa file ini di root domain. Sebagai contoh, http://www.example.com/robots.txt adalah lokasi yang valid, namun http://www.example.com/mysite/robots.txt tidak.   
7. Aturan ditentukan dalam file robots.txt yang permintaan, bukan perintah dilaksanakan.  Googlebot dan semua robot reputasi akan menghormati petunjuk dalam file robots.txt.Namun, beberapa robot nakal-seperti orang-orang dari spammer, pencakar, dan nogoodniks lain mungkin tidak menghormati file. Therefore, we recommend that you keep confidential information in a password-protected directory on your server. Oleh karena itu, kami sarankan Anda menyimpan informasi rahasia dalam sebuah direktori dilindungi dengan password pada server Anda. Selain itu, robot yang berbeda dapat menerjemahkan file robots.txt berbeda, dan tidak semua robot mendukung setiap direktif termasuk dalam file.  Sementara kami melakukan yang terbaik untuk membuat file robots.txt yang akan bekerja untuk semua robot, kami tidak dapat menjamin bagaimana file-file akan diinterpretasikan. Untuk memeriksa bahwa file robots.txt Anda berperilaku seperti yang diharapkan, gunakan alat Uji robots.txt di Webmaster Tools.

Categories: Toturial SEO