Membetulkan di index meski di blokir robots txt

 Setelah beberapa hari pindah ke google console bermunculan masalah baru yang hadir pada dashboard google console seperti di index meski di blokir robots txt yang sekarang nangkring pada dashboard google console saya. Dan saya menuliskan disini sebagai catatan blogger saya dalam melakukan aktivitas saya di dunia maya.
  Sebelum kepermasalahan kesalahan perayapan sebaiknya tahu dulu apa itu robots txt, yap robots txt adalah pengaturan sebuah website agar halaman halaman tertentu tidak di crawl atau di index oleh spider pencari informasi dari serach engine, itu makanya saya tidak memberikan judul dengan menyisipkan google tetapi penerapan robots txt ini global untuk semua mesin pencari seperti google , yahoo , yandex , duckduckgo dll jadi setiap mesin pencari mempunyai spider atau bot untuk mengambil informasi dari laman blog atau websita kita.
  Namun saya disini akan menuliskan pembetulan di index meski di blokir robots txt ini untuk CMS BLOGGER dan google search untuk yang lain nanti saya akan menuliskan bila ada waktu dan tentu nya masih inget hehe.

Membetulkan di index meski di blokir robots txt yang mudah

  Lalu apa tujuan nya membetulkan kesalahan perayapan ini ?
  Tujuan membetulkan diindex meski diblokir robots txt ini supaya blog kita dikategorikan blog yang sehat dalam memberikan informasi terhadap pengunjung via serach engine khusus nya google. Untuk simulasi misalkan url atau laman http://domain kita.com/label/blogger di crawl atau diindex oleh spider mesin telusur maka di hasil mesin telusur url domain akan nampak seperti itu dan itu biasanya dilakukan dulu oleh pengguna spammer , dan bila pengunjung mengklik url tersebut pada hasil mesin telusur khusus nya google search maka akan di arah kan pada laman tersebut sehingga blog nya dikategorikan sebagai penyedia informasi yang tidak relevan tentunya akan meningkatkan bounce rate di mata serach engine dan tidak mustahil akan cepat tenggelam di hasil penelusuran.
  Setelah tahu tujuan nya baik langsung ke langkah nya dan seperti yang sudah saya jelaskan diatas saya praktekkan menggunakan cms blogger dengan tujuan google search pada google console.

  • Langkah 1 memvalidasi diindex meski diblokir robots txt pada google console

 Setelah ada pemberitahuan kesalahan perayapan diindex meski di blokir robots txt pada email sebaik nya langsung buka dashboard google console dan cari menu LIPUTAN , dalam menu LIPUTAN terdapat. 4 sub menu diantaranya sub menu KESALAHAN , VALID DENGAN PERINGATAN , VALID dan DIKECUALIKAN untuk membetulkan yang akan saya bahas kali ini ada di sub menu VALID DENGAN PERINGATAN dan langsung saja buka sub menu tersebut maka akan menampilkan DIINDEX MESKI DIBLOKIR ROBOTS TXT lalu buka lah untuk melihat url apa aja yang ada di rincian tersebut.
Membetulkan di index meski di blokir robots txt
url yang di index meski di blokir robots txt

  Seperti pada gambar di atas lumayan banyak pada blog saya ini dan membetulkan nya hanya satu klik untuk semua URL yaitu dengan memilih link VALIDASI lalu sampai disitu beres langkah pada google console nya.
  Dan harap diingat url atau laman pada dashboard google console saya terdapat kesalahan di index meski di blokir robots txt ini pada laman yang ada SEARCH nya.

  • Langkah ke 2 memasang robots txt dan tag no follow no index

 Dan lanjut ke dashboard blogger kita lalu lihat lah pengaturan txt nya apakah sudah benar atau tidak, untuk robots txt pada blogger bisa dilihat langsung dengan cara mengetikan url pada browser seperti http://domain blogspot.com/robots.txt lalu lihat lah apakah robots txt kita sudah ada
User-agent: Googlebot Allow: / Disallow: /search
Tetapi saya yakin ada karena default dr blogger tetapi bila belum ada silahkan buka dashboard blogger silahkan lihat gambar
memasang robots txt dan tag no follow no index

  Pilihlah SETELAN lalu sub menu nya pilih PREFERENSI PENELUSURAN dan aktifkan robots txt
Untuk default robots txt seperti ini

User-agent: Mediapartners-Google Disallow: User-agent: *
Disallow: /search
Allow: /
Sitemap: https://domain blogspot anda.com/sitemap.xml 

 Bila tidak ada tambahkan saja kode robots txt diatas
Mencegah spider bot search engine bisa dilakukan dengan menambahkan TAG pada header template blogger
 pada template bawaan blogger meta tag standar nya ada pada kode

 <b:include data='blog' name='all-head-content'/>

 dimana isi dari kode tersebut adalah saya ambil dari template yang saya gunakan adala sbb

<meta content="width=device-width, initial-scale=1" name="viewport">
<meta content="diary alerga" name="keywords">
<title>diary alerga</title>
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<meta content="#58c5d5" name="theme-color">
<meta content="#58c5d5" name="msapplication-navbutton-color">
<meta content="blogger" name="generator">
<link href="https://diaryalerga.blogspot.com/favicon.ico" rel="icon" type="image/x-icon">
<link href="https://diaryalerga.blogspot.com/" rel="canonical">
<link rel="alternate" type="application/atom+xml" title="diary alerga - Atom" href="https://diaryalerga.blogspot.com/feeds/posts/default">
<link rel="alternate" type="application/rss+xml" title="diary alerga - RSS" href="https://diaryalerga.blogspot.com/feeds/posts/default?alt=rss">
<link rel="service.post" type="application/atom+xml" title="diary alerga - Atom" href="https://www.blogger.com/feeds/577505366688852279/posts/default">
<link rel="me" href="https://www.blogger.com/profile/06065535342964992862">
<meta content="tips trik blog blogger wordpress template agar seo friendly aplikasi android root komputer adsense harga internet gratis" name="description">
<meta content="https://diaryalerga.blogspot.com/" property="og:url">
<meta content="diary alerga" property="og:title">
<meta cont<meta content="tips trik blog blogger wordpress template agar seo friendly aplikasi android root komputer adsense harga internet gratis" property="og:description">ent="https://1.bp.blogspot.com/-uymnc91HoDk/WW6d8jY4-iI/AAAAAAAAKLw/74b_iPgdsEYtKg7k2b5GGApnCcJLxOwmQCLcBGAs/w1200-h630-p-k-no-nu/26juli.jpg" property="og:image">
<meta content="https://1.bp.blogspot.com/-uymnc91HoDk/WW6d8jY4-iI/AAAAAAAAKLw/74b_iPgdsEYtKg7k2b5GGApnCcJLxOwmQCLcBGAs/w1200-h630-p-k-no-nu/26juli.jpg" property="og:image">
[if IE]> <script> (function() { var html5 = ("abbr,article,aside,audio,canvas,datalist,details," + "figure,footer,header,hgroup,mark,menu,meter,nav,output," + "progress,section,time,video").split(','); for (var i = 0; i < html5.length; i++) { document.createElement(html5[i]); } try { document.execCommand('BackgroundImageCache', false, true); } catch(e) {} })(); </script> <![endif]

 bila dilihat sekilas meta yang ada pada head diatas tidak ditemukan no index no follow pada laman yang ditandai digoogle console sebagai laman yang diindex meski diblokir robots txt, oleh karena itu bila ingin memasang tag pencegah laman selain menggunakan robots txt ada baik nya kita dobel pencegah index, untuk memasangkan meta tag no index pada laman tertentu tinggal mengganti kode atau hapus kode <b:include data='blog' name='all-head-content'/> pada template bawaan blogger diganti dengan kode sbb
<meta content='text/html; charset=UTF-8' http-equiv='Content-Type'/>
<b:if cond='data:view.isSingleItem'>
<title><data:blog.pageName/> | <data:blog.title/></title>
<b:elseif cond='data:view.isHomepage'/>
<title><data:blog.title/></title>
<b:elseif cond='data:view.search.label'/>
<title><data:blog.pageTitle/> | <data:blog.title/></title>
<b:elseif cond='data:view.search.query'/>
<title><data:view.search.resultsMessage/> | <data:blog.title/></title>
<b:elseif cond='data:view.search and !data:view.search.label and !data:view.search.query'/>
<title><data:blog.pageTitle/> | <data:blog.title/></title>
<b:elseif cond='data:view.isArchive'/>
<title><data:view.archive.rangeMessage/> | <data:blog.title/></title>
<b:elseif cond='data:view.isError'/>
<title>404 Not Found</title>
</b:if>
<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
<meta content='noindex/nofollow' name='robots'/>
<meta content='noindex/nofollow' name='googlebot'/>
<b:elseif cond='data:view.isSingleItem or data:view.isHomepage'/>
<meta content='index/follow' name='robots'/>
<meta content='index/follow' name='googlebot'/>
</b:if>
<meta content='blogger' name='generator'/>
<link href='https://www.blogger.com/openid-server.g' rel='openid.server'/>
<link expr:href='data:blog.homepageUrl' rel='openid.delegate'/>
<link expr:href='data:blog.url.canonical.jsonEscaped' rel='canonical'/>
<link expr:href='data:blog.homepageUrl + &quot;feeds/posts/default&quot;' expr:title='data:blog.title + &quot; - Atom&quot;' rel='alternate' type='application/atom+xml'/>
<link expr:href='data:blog.homepageUrl + &quot;feeds/posts/default?alt=rss&quot;' expr:title='data:blog.title + &quot; - RSS&quot;' rel='alternate' type='application/rss+xml'/>
<link expr:href='&quot;https://www.blogger.com/feeds/&quot; + data:blog.blogId + &quot;/posts/default&quot;' expr:title='data:blog.title + &quot; - Atom&quot;' rel='alternate' type='application/atom+xml'/>
<meta expr:content='data:blog.homepageUrl + &quot;sitemap.xml&quot;' rel='sitemap' type='application/xml'/>
<b:if cond='data:view.isMultipleItems'>
<meta expr:content='data:blog.metaDescription' name='description'/>
<b:elseif cond='data:view.isSingleItem'/>
<b:if cond='data:blog.metaDescription'>
<meta expr:content='data:blog.metaDescription' name='description'/>
<b:else/>
<meta expr:content='data:blog.title' name='description'/>
</b:if>
</b:if>
<meta content='#xxxxxx' name='msapplication-navbutton-color'/>
<meta content='#xxxxxx' name='apple-mobile-web-app-status-bar-style'/>
<meta content='#xxxxxx' name='theme-color'/>
<b:if cond='data:view.isMultipleItems'>
<meta content='tips,trik,blogger,wordpress,template,seo,aplikasi,android,root,komputer,adsense,gratis' name='keywords'/>
<b:elseif cond='data:view.isSingleItem'/>
<meta expr:content='data:blog.pageName' name='keywords'/>
</b:if>
<b:if cond='data:view.isPost'>
<b:if cond='data:blog.postImageThumbnailUrl'>
<link expr:href='data:blog.postImageThumbnailUrl' rel='image_src'/>
</b:if></b:if>
<link expr:href='data:blog.url' hreflang='x-default' rel='alternate'/>
<link href='/favicon.ico' rel='icon' type='image/x-icon'/>
<link href='https://www.blogger.com/profile/xxxxxx' rel='publisher'/>
<link href='https://www.blogger.com/profile/xxxxxx' rel='author'/>
<link href='https://www.blogger.com/profile/xxxxxx' rel='me'/>

<!-- Open Graph -->
<b:if cond='data:view.isHomepage'>
<b:if cond='data:view.isSingleItem'>
<b:if cond='data:blog.url'>
<meta expr:content='data:blog.url' property='og:url'/>
</b:if>
<meta expr:content='data:blog.title' property='og:site_name'/>
</b:if></b:if>
<b:if cond='data:view.isPost'>
<meta expr:content='data:blog.pageName' property='og:title'/>
<meta content='article' property='og:type'/>
<b:else/>
<meta expr:content='data:blog.title' property='og:title'/>
<meta content='website' property='og:type'/>
</b:if>
<meta expr:content='data:blog.canonicalUrl' property='og:url'/>
<b:if cond='data:blog.postImageUrl'>
<meta expr:content='data:blog.postImageUrl' property='og:image'/>
<b:else/>
<b:if cond='data:blog.postImageThumbnailUrl'>
<meta expr:content='data:blog.postThumbnailUrl' property='og:image'/>
<b:else/>
<meta content='https://3.bp.blogspot.com/-Z7eR-Z0XRA8/XJTHiixibII/AAAAAAAAKr0/vtPoAS4pQ3gFnoWApoAKvHUNmvb6C5pJwCK4BGAYYCw/s35/ader.jpg' property='og:image'/>
</b:if></b:if>
<b:if cond='data:view.isMultipleItems'>
<meta expr:content='data:blog.metaDescription' property='og:description'/>
<b:elseif cond='data:view.isSingleItem'/>
<b:if cond='data:blog.metaDescription'>
<meta expr:content='data:blog.metaDescription' property='og:description'/>
<b:else/>
<meta expr:content='data:blog.title' property='og:description'/>
</b:if>
</b:if>
<meta expr:content='data:blog.title' property='og:site_name'/>
<meta content='general' name='rating'/>
<b:if cond='data:blog.pageType == &quot;item&quot;'>
<meta expr:content='data:blog.pageName' property='og:image:alt'/>
<b:else/>
<meta expr:content='data:blog.title' property='og:image:alt'/>
</b:if>
<!-- Schema WebSite -->
<!--[if IE]> <script> (function() { var html5 = ("abbr,article,aside,audio,canvas,datalist,details," + "figure,footer,header,hgroup,mark,menu,meter,nav,output," + "progress,section,time,video").split(','); for (var i = 0; i < html5.length; i++) { document.createElement(html5[i]); } try { document.execCommand('BackgroundImageCache', false, true); } catch(e) {} })(); </script> <![endif]-->

   

 keterangan xxxxxx ganti dengan sesuai warna template digunakan pada tag theme, serta xxxxx pada tag profile isi dengan id profile blogger. dan bisa dilihat yang saya tandai merah itu adalah penambahan tag no index pada halaman atau page search nya.
 cara menambahkan tag no index diatas dengan membuka dashboard blogger lalu pilih tema setelah itu pilih edit html nanti akan terbuka kode kode template yang sedang di gunakan lalu carilah kode <b:include data='blog' name='all-head-content'/> bila sudah ketemu hapuslah dan ganti dengan kode diatas jangan lupa save template nya.
 meta yang saya gunakan diatas adalah meta standar yang dimengerti oleh google bot bisa di cek langsung ke google berikut https://support.google.com/webmasters/answer/79812?hl=id
 untuk selebihnya tentang cara Membetulkan di index meski di blokir robots txt serta apa yang saya uraikan diatas silahkan tanyakan kritik ataupun saran pada form komentar.

jangan berkomentar berbau SARA dan SPAM

Komentar disqus
Komentar Facebook