Membetulkan di index meski di blokir robots txt

 Setelah beberapa hari pindah ke google console bermunculan masalah baru yang hadir pada dashboard google console seperti di index meski di blokir robots txt yang sekarang nangkring pada dashboard google console saya. Dan saya menuliskan disini sebagai catatan blogger saya dalam melakukan aktivitas saya di dunia maya.
  Sebelum kepermasalahan kesalahan perayapan sebaiknya tahu dulu apa itu robots txt, yap robots txt adalah pengaturan sebuah website agar halaman halaman tertentu tidak di crawl atau di index oleh spider pencari informasi dari serach engine, itu makanya saya tidak memberikan judul dengan menyisipkan google tetapi penerapan robots txt ini global untuk semua mesin pencari seperti google , yahoo , yandex , duckduckgo dll jadi setiap mesin pencari mempunyai spider atau bot untuk mengambil informasi dari laman blog atau websita kita.
  Namun saya disini akan menuliskan pembetulan di index meski di blokir robots txt ini untuk CMS BLOGGER dan google search untuk yang lain nanti saya akan menuliskan bila ada waktu dan tentu nya masih inget hehe.
  Lalu apa tujuan nya membetulkan kesalahan perayapan ini ?
  Tujuan membetulkan diindex meski diblokir robots txt ini supaya blog kita dikategorikan blog yang sehat dalam memberikan informasi terhadap pengunjung via serach engine khusus nya google. Untuk simulasi misalkan url atau laman http://domain kita.com/label/blogger di crawl atau diindex oleh spider mesin telusur maka di hasil mesin telusur url domain akan nampak seperti itu dan itu biasanya dilakukan dulu oleh pengguna spammer , dan bila pengunjung mengklik url tersebut pada hasil mesin telusur khusus nya google search maka akan di arah kan pada laman tersebut sehingga blog nya dikategorikan sebagai penyedia informasi yang tidak relevan tentunya akan meningkatkan bounce rate di mata serach engine dan tidak mustahil akan cepat tenggelam di hasil penelusuran.
  Setelah tahu tujuan nya baik langsung ke langkah nya dan seperti yang sudah saya jelaskan diatas saya praktekkan menggunakan cms blogger dengan tujuan google search pada google console.

Langkah 1 memvalidasi diindex meski diblokir robots txt pada google console


 Setelah ada pemberitahuan kesalahan perayapan diindex meski di blokir robots txt pada email sebaik nya langsung buka dashboard google console dan cari menu LIPUTAN , dalam menu LIPUTAN terdapat. 4 sub menu diantaranya sub menu KESALAHAN , VALID DENGAN PERINGATAN , VALID dan DIKECUALIKAN untuk membetulkan yang akan saya bahas kali ini ada di sub menu VALID DENGAN PERINGATAN dan langsung saja buka sub menu tersebut maka akan menampilkan DIINDEX MESKI DIBLOKIR ROBOTS TXT lalu buka lah untuk melihat url apa aja yang ada di rincian tersebut.
Membetulkan di index meski di blokir robots txt
url yang di index meski di blokir robots txt

  Seperti pada gambar di atas lumayan banyak pada blog saya ini dan membetulkan nya hanya satu klik untuk semua URL yaitu dengan memilih link VALIDASI lalu sampai disitu beres langkah pada google console nya.
  Dan harap diingat url atau laman pada dashboard google console saya terdapat kesalahan di index meski di blokir robots txt ini pada laman yang ada SEARCH nya.

Langkah ke 2 memasang robots txt dan tag no follow no index


 Dan lanjut ke dashboard blogger kita lalu lihat lah pengaturan txt nya apakah sudah benar atau tidak, untuk robots txt pada blogger bisa dilihat langsung dengan cara mengetikan url pada browser seperti http://domain blogspot.com/robots.txt lalu lihat lah apakah robots txt kita sudah ada
User-agent: Googlebot Allow: / Disallow: /search
Tetapi saya yakin ada karena default dr blogger tetapi bila belum ada silahkan buka dashboard blogger silahkan lihat gambar
memasang robots txt dan tag no follow no index

  Pilihlah SETELAN lalu sub menu nya pilih PREFERENSI PENELUSURAN dan aktifkan robots txt
Untuk default robots txt seperti ini

User-agent: Mediapartners-Google Disallow: User-agent: *
Disallow: /search
Allow: /
Sitemap: https://domain blogspot anda.com/sitemap.xml 

 Bila tidak ada tambahkan saja kode robots txt diatas
Mencegah spider bot search engine bisa dilakukan dengan menambahkan TAG pada header template blogger
 pada template bawaan blogger meta tag standar nya ada pada kode

 <b:include data='blog' name='all-head-content'/>

 dimana isi dari kode tersebut adalah saya ambil dari template yang saya gunakan adala sbb

<meta content="width=device-width, initial-scale=1" name="viewport">
<meta content="diary alerga" name="keywords">
<title>diary alerga</title>
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<meta content="#58c5d5" name="theme-color">
<meta content="#58c5d5" name="msapplication-navbutton-color">
<meta content="blogger" name="generator">
<link href="https://diaryalerga.blogspot.com/favicon.ico" rel="icon" type="image/x-icon">
<link href="https://diaryalerga.blogspot.com/" rel="canonical">
<link rel="alternate" type="application/atom+xml" title="diary alerga - Atom" href="https://diaryalerga.blogspot.com/feeds/posts/default">
<link rel="alternate" type="application/rss+xml" title="diary alerga - RSS" href="https://diaryalerga.blogspot.com/feeds/posts/default?alt=rss">
<link rel="service.post" type="application/atom+xml" title="diary alerga - Atom" href="https://www.blogger.com/feeds/577505366688852279/posts/default">
<link rel="me" href="https://www.blogger.com/profile/06065535342964992862">
<meta content="tips trik blog blogger wordpress template agar seo friendly aplikasi android root komputer adsense harga internet gratis" name="description">
<meta content="https://diaryalerga.blogspot.com/" property="og:url">
<meta content="diary alerga" property="og:title">
<meta cont<meta content="tips trik blog blogger wordpress template agar seo friendly aplikasi android root komputer adsense harga internet gratis" property="og:description">ent="https://1.bp.blogspot.com/-uymnc91HoDk/WW6d8jY4-iI/AAAAAAAAKLw/74b_iPgdsEYtKg7k2b5GGApnCcJLxOwmQCLcBGAs/w1200-h630-p-k-no-nu/26juli.jpg" property="og:image">
<meta content="https://1.bp.blogspot.com/-uymnc91HoDk/WW6d8jY4-iI/AAAAAAAAKLw/74b_iPgdsEYtKg7k2b5GGApnCcJLxOwmQCLcBGAs/w1200-h630-p-k-no-nu/26juli.jpg" property="og:image">
[if IE]> <script> (function() { var html5 = ("abbr,article,aside,audio,canvas,datalist,details," + "figure,footer,header,hgroup,mark,menu,meter,nav,output," + "progress,section,time,video").split(','); for (var i = 0; i < html5.length; i++) { document.createElement(html5[i]); } try { document.execCommand('BackgroundImageCache', false, true); } catch(e) {} })(); </script> <![endif]

 bila dilihat sekilas meta yang ada pada head diatas tidak ditemukan no index no follow pada laman yang ditandai digoogle console sebagai laman yang diindex meski diblokir robots txt, oleh karena itu bila ingin memasang tag pencegah laman selain menggunakan robots txt ada baik nya kita dobel pencegah index, untuk memasangkan meta tag no index pada laman tertentu tinggal mengganti kode atau hapus kode <b:include data='blog' name='all-head-content'/> pada template bawaan blogger diganti dengan kode sbb
<meta content='text/html; charset=UTF-8' http-equiv='Content-Type'/>
<b:if cond='data:view.isSingleItem'>
<title><data:blog.pageName/> | <data:blog.title/></title>
<b:elseif cond='data:view.isHomepage'/>
<title><data:blog.title/></title>
<b:elseif cond='data:view.search.label'/>
<title><data:blog.pageTitle/> | <data:blog.title/></title>
<b:elseif cond='data:view.search.query'/>
<title><data:view.search.resultsMessage/> | <data:blog.title/></title>
<b:elseif cond='data:view.search and !data:view.search.label and !data:view.search.query'/>
<title><data:blog.pageTitle/> | <data:blog.title/></title>
<b:elseif cond='data:view.isArchive'/>
<title><data:view.archive.rangeMessage/> | <data:blog.title/></title>
<b:elseif cond='data:view.isError'/>
<title>404 Not Found</title>
</b:if>
<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
<meta content='noindex/nofollow' name='robots'/>
<meta content='noindex/nofollow' name='googlebot'/>
<b:elseif cond='data:view.isSingleItem or data:view.isHomepage'/>
<meta content='index/follow' name='robots'/>
<meta content='index/follow' name='googlebot'/>
</b:if>
<meta content='blogger' name='generator'/>
<link href='https://www.blogger.com/openid-server.g' rel='openid.server'/>
<link expr:href='data:blog.homepageUrl' rel='openid.delegate'/>
<link expr:href='data:blog.url.canonical.jsonEscaped' rel='canonical'/>
<link expr:href='data:blog.homepageUrl + &quot;feeds/posts/default&quot;' expr:title='data:blog.title + &quot; - Atom&quot;' rel='alternate' type='application/atom+xml'/>
<link expr:href='data:blog.homepageUrl + &quot;feeds/posts/default?alt=rss&quot;' expr:title='data:blog.title + &quot; - RSS&quot;' rel='alternate' type='application/rss+xml'/>
<link expr:href='&quot;https://www.blogger.com/feeds/&quot; + data:blog.blogId + &quot;/posts/default&quot;' expr:title='data:blog.title + &quot; - Atom&quot;' rel='alternate' type='application/atom+xml'/>
<meta expr:content='data:blog.homepageUrl + &quot;sitemap.xml&quot;' rel='sitemap' type='application/xml'/>
<b:if cond='data:view.isMultipleItems'>
<meta expr:content='data:blog.metaDescription' name='description'/>
<b:elseif cond='data:view.isSingleItem'/>
<b:if cond='data:blog.metaDescription'>
<meta expr:content='data:blog.metaDescription' name='description'/>
<b:else/>
<meta expr:content='data:blog.title' name='description'/>
</b:if>
</b:if>
<meta content='#xxxxxx' name='msapplication-navbutton-color'/>
<meta content='#xxxxxx' name='apple-mobile-web-app-status-bar-style'/>
<meta content='#xxxxxx' name='theme-color'/>
<b:if cond='data:view.isMultipleItems'>
<meta content='tips,trik,blogger,wordpress,template,seo,aplikasi,android,root,komputer,adsense,gratis' name='keywords'/>
<b:elseif cond='data:view.isSingleItem'/>
<meta expr:content='data:blog.pageName' name='keywords'/>
</b:if>
<b:if cond='data:view.isPost'>
<b:if cond='data:blog.postImageThumbnailUrl'>
<link expr:href='data:blog.postImageThumbnailUrl' rel='image_src'/>
</b:if></b:if>
<link expr:href='data:blog.url' hreflang='x-default' rel='alternate'/>
<link href='/favicon.ico' rel='icon' type='image/x-icon'/>
<link href='https://www.blogger.com/profile/xxxxxx' rel='publisher'/>
<link href='https://www.blogger.com/profile/xxxxxx' rel='author'/>
<link href='https://www.blogger.com/profile/xxxxxx' rel='me'/>

<!-- Open Graph -->
<b:if cond='data:view.isHomepage'>
<b:if cond='data:view.isSingleItem'>
<b:if cond='data:blog.url'>
<meta expr:content='data:blog.url' property='og:url'/>
</b:if>
<meta expr:content='data:blog.title' property='og:site_name'/>
</b:if></b:if>
<b:if cond='data:view.isPost'>
<meta expr:content='data:blog.pageName' property='og:title'/>
<meta content='article' property='og:type'/>
<b:else/>
<meta expr:content='data:blog.title' property='og:title'/>
<meta content='website' property='og:type'/>
</b:if>
<meta expr:content='data:blog.canonicalUrl' property='og:url'/>
<b:if cond='data:blog.postImageUrl'>
<meta expr:content='data:blog.postImageUrl' property='og:image'/>
<b:else/>
<b:if cond='data:blog.postImageThumbnailUrl'>
<meta expr:content='data:blog.postThumbnailUrl' property='og:image'/>
<b:else/>
<meta content='https://3.bp.blogspot.com/-Z7eR-Z0XRA8/XJTHiixibII/AAAAAAAAKr0/vtPoAS4pQ3gFnoWApoAKvHUNmvb6C5pJwCK4BGAYYCw/s35/ader.jpg' property='og:image'/>
</b:if></b:if>
<b:if cond='data:view.isMultipleItems'>
<meta expr:content='data:blog.metaDescription' property='og:description'/>
<b:elseif cond='data:view.isSingleItem'/>
<b:if cond='data:blog.metaDescription'>
<meta expr:content='data:blog.metaDescription' property='og:description'/>
<b:else/>
<meta expr:content='data:blog.title' property='og:description'/>
</b:if>
</b:if>
<meta expr:content='data:blog.title' property='og:site_name'/>
<meta content='general' name='rating'/>
<b:if cond='data:blog.pageType == &quot;item&quot;'>
<meta expr:content='data:blog.pageName' property='og:image:alt'/>
<b:else/>
<meta expr:content='data:blog.title' property='og:image:alt'/>
</b:if>
<!-- Schema WebSite -->
<!--[if IE]> <script> (function() { var html5 = ("abbr,article,aside,audio,canvas,datalist,details," + "figure,footer,header,hgroup,mark,menu,meter,nav,output," + "progress,section,time,video").split(','); for (var i = 0; i < html5.length; i++) { document.createElement(html5[i]); } try { document.execCommand('BackgroundImageCache', false, true); } catch(e) {} })(); </script> <![endif]-->

   

 keterangan xxxxxx ganti dengan sesuai warna template digunakan pada tag theme, serta xxxxx pada tag profile isi dengan id profile blogger. dan bisa dilihat yang saya tandai merah itu adalah penambahan tag no index pada halaman atau page search nya.
 cara menambahkan tag no index diatas dengan membuka dashboard blogger lalu pilih tema setelah itu pilih edit html nanti akan terbuka kode kode template yang sedang di gunakan lalu carilah kode <b:include data='blog' name='all-head-content'/> bila sudah ketemu hapuslah dan ganti dengan kode diatas jangan lupa save template nya.
 meta yang saya gunakan diatas adalah meta standar yang dimengerti oleh google bot bisa di cek langsung ke google berikut https://support.google.com/webmasters/answer/79812?hl=id
 untuk selebihnya tentang cara Membetulkan di index meski di blokir robots txt serta apa yang saya uraikan diatas silahkan tanyakan kritik ataupun saran pada form komentar.

Komentar

  1. kemarin sy gunakan yg Disallow: / pada robot.txtnya.. lalu usul validasi, berhasil.

    BalasHapus
    Balasan
    1. Mantaf sobπŸ˜ƒ pake contempo masih bingung nih

      Hapus
    2. habis ganti template ya.

      Hapus
    3. Hahaha iya πŸ˜ƒπŸ˜ƒ

      Hapus
  2. Kalau saya menggunakan cara atau tahapan pertama yaitu di google console. Ya seperti itulah seninya ngeblog tidak hanya soal menulis artikel saja. Ada hal lain yang harus diketahui dan dipelajari.

    BalasHapus
    Balasan
    1. Iya sob cara pertama cm klik validasi udah beres hihi

      Hapus
  3. Punya saya seperti yang mas bilang, sudah terindex robots txt karena menggunakan tema blogger default..

    BalasHapus
    Balasan
    1. Iya ada baik nya dibiarkan default saja sob semakin di utak atik malah posting inti na yg keblokirπŸ˜ƒ

      Hapus
    2. Betul, waktu itu 1 artikelku juga mengalami hal begini, akhirnya kudiamkan default saja dan akhirnya berhasil keindeks dengan sendirinya.

      Hapus
    3. Iya sob kita mah fokus sama konten aja hihi

      Hapus
  4. Alhamdulillah blog aku tak ada peringatan 'diindex meski diblokir robot txt'.

    Mungkin karena kemarin habis berobat di klinik tongfang..πŸ˜‚

    BalasHapus
    Balasan
    1. Mas agus kan pake template buatan indo dah mantefπŸ˜ƒ

      Hapus
    2. Ga tau buatan Indonesia apa ga, itu aku cari template di google.

      Oh ya, share cara agar adsense bisa naik pendapatan nya dong, sehari cuma dapet 2rb doang, kapan bayarannya kalo begitu terus..πŸ˜‚

      Hapus
    3. G tau mas agus aku jg skrng lagi hati hati nyebar blog" lain rmang sih pingin banyak penghasilan hrs banyak blog yg disebar sbg blog dummi tp tdk agc

      Hapus
    4. Owh gitu, aku punya tiga blog sih, tapi dua blog lain visitor nya dibawah 500, kalo Sinopsis Film sih diatas 1k sehari, tapi pendapatan tetap segitu aja.πŸ˜‚

      Hapus
    5. Ya jgn banyak" sob mumet ntarπŸ˜ƒ

      Hapus
    6. Ga mumet sih kang, cuma puyeng aja.

      Kalo puyeng, paling ke rongdo sebelah, ntar pusingnya langsung hilang.πŸ˜„πŸ˜‚

      Hapus
    7. haha pengagum rupa nya😊

      Hapus
    8. Ga lah, cuma suka aja, ga kagum..😌

      Hapus
    9. Sama aja mas agis hihi iti bintang kmana ya

      Hapus
  5. wah pantas aja di blog saya banyak yang eror gan, dan belum di indeks google, mungkin harus dibetulkan dulu kali ya :)
    terimakasih banyak suhu atas solusinya

    BalasHapus
    Balasan
    1. Ya iseng aja dibetulin kan yg utama mah konten hehe

      Hapus
  6. Saya juga dapat email seperti itu. Tadinya mau cari informasi di Google, Alhamdulillah sudah Nemu disini.πŸ˜ƒπŸ˜„

    BalasHapus
    Balasan
    1. Ya alhmd sist πŸ˜ƒ

      Hapus
    2. Jangan lupa klik iklannya mbak Eny, ga usah banyak ², cukup 100x aja sehari..πŸ˜‚πŸ˜‚πŸ˜‚

      Hapus
    3. Wah, bisa kena blokir tidak tuh kalo klik 100x sehari?

      Hapus
    4. Mas agus suka begituπŸ˜ƒπŸ˜ƒ

      Hapus
    5. Hahaha...πŸ˜‚πŸ˜‚πŸ˜‚

      Hapus
  7. Ini serunya ngeblog, ternyata nggak cuma tulis artikel dan update

    BalasHapus
    Balasan
    1. Betul sob heheπŸ˜ƒserba serbi

      Hapus
    2. Serba serbi yg terkadang bikin saya pening hehehe

      Hapus
    3. Jgn dipikirkan nanti malah pusing mending fokus konten aja

      Hapus
  8. Pantas pas iseng ngecek statistik di dashboard saya nemu apa itu txt...
    Ternyata begitu ya penjelasannya, coba takutak atik dulu klo gitu

    BalasHapus
    Balasan
    1. Hehe jgn diutak atik akhπŸ˜ƒnanti malah g keindex

      Hapus
  9. Nu uing Loba pisan πŸ˜‚ can waka dibenerkeun ah eweuh laptop na πŸ˜‚

    BalasHapus
    Balasan
    1. Huum make auto ads kurang sip iklan na ngeri

      Hapus
  10. Sama kang yang dialami skarang.. pageview terjun bebas turun... dicek banyak uang kaya gini diindex dan saya kaga ngerti diapain.. alhamdulilah nemu artikel ini.. mau saya pelajari dulu kang.. thanks share nyak

    BalasHapus
    Balasan
    1. Huum silahkan. Tp mending dibiarin semakin diutak atik semakin g karuan hehe

      Hapus
  11. oh ya ke? nanti saya mau recheck

    BalasHapus
  12. Ngga dapat email seperti itu berarti blog saya ngga ada masalah ya?

    BalasHapus
    Balasan
    1. Bagus berati mantaf

      Hapus
    2. Jadi ngga perlu diutak atik lagi kan?

      Hapus
    3. Iya g usah biarkan dah bagus mah

      Hapus
  13. pengen cobak takut eror gan blog ane, sehingga hanya bisa save aja kode nya, untuk koleksi gan :D

    BalasHapus
    Balasan
    1. Jangan klo begituπŸ˜ƒπŸ˜ƒπŸ˜ƒ

      Hapus
  14. Saya kog gk pernah dapat notif email ya, tapi gk pernah buka bagian tentang robot.txt sih.

    BalasHapus
    Balasan
    1. Jgn diutak atik sob biar kan apa ada nya klo dah bagusπŸ˜ƒ

      Hapus
  15. Saya sih gak tau bagus tidaknya, tp memang saya gak pernah utak atik bagian itu sama sekali

    BalasHapus
    Balasan
    1. Iya mending jangan klo blum tau hehe

      Hapus
  16. pembetulannya menggunakan edit temple ya gan, jadi harus paham kode kode pada template agar tidak terjadi kesalahan saat menaruh itu kode :D

    BalasHapus
    Balasan
    1. Itu opsi kedua πŸ˜ƒ klo opsi pertama itu tadi di dashboard console tinggal klik

      Hapus
  17. Membaca artikel diatas sepertinya blog saya tidak ada masalah..πŸ˜πŸ˜„

    Tetapi memang perlu dicek juga sih... Dan tulisan diatas sepertinya bisa buat pedoman juga untuk saya coba..

    Ok sob thanks atas artikelnya..πŸ˜„πŸ˜„

    BalasHapus
  18. kalo saya bagian robot txt tidak pernah di ganggu gugat.
    tapi coba ya di cek surecek seperti apa hasilnya

    BalasHapus
    Balasan
    1. Iya silahkan sob jgn terlalu diutak atik jgπŸ˜ƒ

      Hapus
  19. wah saya juga dapat peringatan dari google webmaster diindeks meski diblokir robot tapi saya abaikan saja mas

    BalasHapus
    Balasan
    1. Iya biarkan saja nanti juga betul sendiri

      Hapus
  20. Saya klik validasi terus dapat email disuruh menunggu.. setelah itu beberapa hari saya dapat email lagi, validasi gagal katanya.

    Tapi saya belum mencoba kode meta yg agan share diatas sih. Btw cara menyalin kode diatas bagaimana ya gan? Saya masih gaptek nih soal salin menyalin kode, bisa dlm bentuk file aja gak share kodenya biar mudah di download hehe..

    BalasHapus
    Balasan
    1. tinggal diblok kode nya aja klo mau salin kode mah😊

      Hapus
  21. Robot.txt dan setting index ternyata pengaruhnya fatal ya om?
    kemarin sempat kena penyakit No index, gara-gara Update Plugin WP, akhirnya seminggu baru beres lagi. setelah ngubek2 google juga,

    BalasHapus
    Balasan
    1. klo wp sama aja dasar nya di robot txt (berupa virtual file di hosting) sama di tag no index

      Hapus
Posting Komentar

jangan berkomentar berbau sara dan spam :)