CARA SETTING ROBOTS.TXT UNTUK BLOGSPOT
Setiap blog dapat melakukan setting robots.txt untuk dapat memblok bagian yang tidak ingin ditelusuri oleh Google, tetapi jangan lupa dengan resiko yang harus didapati jika menggunakan metode seperti ini.Penggunaan robots.txt ini utamanya adalah untuk mesin telusur dari Googlebot dan perayap web yang lain yang sudah terpercaya.
Jadi dengan kata lain, bahwa penggunaan file teks ini hanya untuk sebagian besar mesin telusur dan tidak seluruh mesin telusur di dunia ini. Dan tidak serta merta bahwa penggunaan robots.txt ini pasti dapat memblokir alamat URL yang diinginkan, karena masih terbuka kemungkinan URL bisa dicrawl dari website yang lain. Kecuali melakukan metode pemblokiran dengan motode yang dikombinasikan dengan tag meta atau direktori yang terpasang password.
Oke, kembali ke cara setting robots.txt, jika Anda menginginkan / mensetting robots.txt maka saya akan share agar Anda dapat menerapkannya di blog Anda. Perlu diketahui bahwa jika settingan robots.txt tidak diaktifkan maka akan dianggap dalam keadaan default.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Dan jika ingin mencegah laman yang tidak ingin di craw bisa dengan cara menambahkan " Disallow : "
Contoh :
Disallow : /p/about.html
Maka url /p/about.html akan diblok oleh robots.txt
dan settingan bisa dilakukan dengan masuk ke menu blogger -> setelan -> preferensi penelusuran seperti gambar di bawah ini :
Jika menginginkan settingan default maka jangan klik "ya" , dan bila ingin membatasi craw url yang lain Anda harus mengklik "ya" dan tuliskan di bidang kosong setelah itu klik simpan perubahan.
Berhati-hatilah dalam membuat settingan robots.txt ini , karena jika salah membuatnya maka akan diabaikan oleh mesin telusur.
Ok, demikianlah cara setting robots.txt untuk blogspot, semoga dapat memberikan manfaat.