Setting robots.txt di blogger atau blogspot.com agar dapat di crawling google

Bagi bloger baru mungkin PR yang utama bagi mereka adalah bagaimana agar postingannya dapat di search oleh google, nah istilah kerennya adalah di crawling oleh mesin pencarian google. ada beberapa cara agara blog sahabat dapat di crawling oleh google. diataranya adalah sbb :

1. Menggunakan Fitur Inspeksi URL ( akan dibahas pada postingan selanjutnya )
2. Mengirim Petas Situs  ( kita coba bahas di postingan ini )

nah  untuk cara mengirim peta situs itupun di bagi lagi menjadi beberap cara :

1. Kirim peta situs menggunakan laporan peta situs.
2. Menggunakan fitur ping sbb :
      http://www.google.com/ping?sitemap=<full_URL_of_sitemap>
   Contoh:
   http://www.google.com/ping?sitemap=https://keluyurandotcom.my.id/sitemap.xml

  setelah code diatas di paste di web browser sahabat maka akan tampil halaman sbb :

3. Masukkan baris berikut di mana saja dalam file robots.txt
     Peta situs: http://example.com/my_sitemap.xml

Untuk memasukan file robots.txt pada blogger.com cara nya adalah sbb :

1. Login ke account blogger.com
2. Pilih menu setting -- >  Search Preferences --->  pada menu crawling and indexing
     Pilih menu custom robots.txt --> klik edit --> pilih yes lalu masukan kode sbb :
====================================================================
User-agent: *
Allow: / Disallow: /search Sitemap: https://www.blogkamu.com/sitemap.xml
=============================================================================================

Contoh : 

====================================================================
User-agent: *
Allow: / Disallow: /search Sitemap: http://keluyurandotcom.my.id/sitemap.xml
=============================================================================================


lihat contoh pada gambar dibawah ini :

   

lalu klik save changes



Nah untuk mengatur Custom robots header Tags dib bloger silakan lakukan langkah dibawah ini :
1. Pada menu crawling and indexing, dibagian custom robots header tags klik edit.
2. Pada pilihan enable custom robots headers tags pilih yes. Lalu silakan edit settingannya mengikuti gambar dibawah ini:

lalu klik save changes


sumber :
https://www.igniel.com/2018/07/setting-robots-txt-blogger.html
https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ

Tweet

Subscribe to receive free email updates: