Cara Setting robot.txt Blog dan Tag Header di Blogger
Opsi pengaturan Crawler dan Pengindeksan yang ada pada Blogger merupakan opsi untuk mengaktifkan robots.txt kustom dan tag header robot kustom yang meliputi pengaturan tag halaman beranda, tag arsip & halaman penelusuran serta tag postingan & halaman.
Masing-masing opsi pengaturan ini memiliki peranan penting sebagai alat dalam melakukan optimasi blog agar SEO friendly dan mudah terindex oleh mesin pencarian secara rapih dan terstruktur.
Secara default robots.txt kustom dan tag header kustom masih dalam keadaan mati atau belum diaktifkan. Bagi pengguna blogger baru sudah pasti hal ini akan membingungkan jika ingin mengaktifkan opsi ini karena opsi ini memerlukan sedikit pengetahuan tentang kode teks robots.txt dan pengaturan tag header yang baik dan benar agar tidak asal-asalan dalam melakukan pengaturan. Salah dalam melakukan pengaturan opsi ini tentunya akan berdampak buruk bagi pengembangan blog yang berkelanjutan kedepannya.
Lantas bagaimana cara setting untuk pengaturan yang ada pada opsi Crawler dan Pengindeksan blogger agar bisa SEO friendly dan teroptimasi dengan baik?. Oke silakan disimak pembahasan artikel ini yang akan kami kupas dengan ringkas, padat dan terstruktur.
Pembahasan untuk cara setting pada opsi Crawler dan Pengindeksan blogger terbagi menjadi 3 bagian yaitu pengaturan untuk setting robots.txt, pengaturan untuk setting tag header robot kustom dan pengaturan untuk google search console dalam hal cara input sitemap url yang benar.
Cara Setting robots.txt Blogger
Mengaktifkan dan melakukan setting file robots.txt dengan benar merupakan salah satu aspek kunci dalam melakukan optimasi blog sehingga blog Anda menjadi SEO friendly dan mudah terindex oleh mesin pencarian secara rapih dan terstruktur.
File robots.txt merupakan salah satu alat optimasi blog yang berguna dalam mengoptimalkan SEO dan mengendalikan bagaimana mesin pencari merayapi konten artikel blog Anda.
Apa Itu robots.txt Blogger?
File robots.txt blogger adalah sebuah file teks yang ada pada menu setting blogger dan fungsinya adalah untuk memberikan petunjuk kepada mesin pencari atau web crawler tentang bagian mana dari konten blog yang boleh atau tidak boleh diindeks. Dengan kata lain, file robots.txt blogger ini adalah cara untuk memberitahu mesin pencari seperti Google, Bing, atau Yahoo, tentang halaman atau konten mana yang boleh atau tidak boleh mereka indeks di dalam hasil pencarian.
Nah, bagaimana apabila kita tidak melakukan setting (pengaturan) robots.txt blogger?, sudah pasti mesin pencarian akan mengindex semua konten blog secara acak dan tidak terarah. Tentunya hal ini akan mengakibatkan tumpang tindih data sehingga konten artikel blog Anda akan dianggap tidak memenuhi standar acuan SEO mesin pencari, bisa jadi blog Anda akan dianggap SPAM sehingga menjadi sulit untuk terindex yang berakibat sulitnya mendapat traffic organic dari mesin pencarian.
Begitu juga sebaliknya bagaimana jika kita salah dalam melakukan pengaturan robots.txt blogger?. Meskipun file robots.txt adalah alat SEO yang bermanfaat dalam mengendalikan indeksasi mesin pencari, penggunaan yang tidak tepat atau kesalahan dalam konfigurasi robots.txt juga dapat memiliki dampak buruk pada blog Anda. Berikut adalah beberapa dampak buruk yang mungkin terjadi jika robots.txt digunakan dengan tidak benar.
- Pengurangan Visibilitas:
Salah satu dampak buruk utama dari pengaturan robots.txt yang tidak tepat adalah pengurangan visibilitas situs Anda dalam hasil pencarian. Jika Anda memblokir secara tidak sengaja halaman-halaman penting atau konten utama, maka mesin pencari tidak akan dapat menemukannya, yang dapat mengurangi lalu lintas organik dan kunjungan pengguna. -
Penurunan Peringkat SEO:
Jika Anda menghalangi mesin pencari mengindeks halaman-halaman penting yang seharusnya muncul dalam hasil pencarian, peringkat SEO situs Anda dapat mengalami penurunan. Ini dapat mengurangi peringkat situs Anda dalam hasil pencarian dan berdampak negatif pada kunjungan organik. - Penghapusan Konten Dari Hasil Pencarian:
Jika Anda secara tidak sengaja memblokir halaman-halaman utama, konten kunci, atau seluruh situs Anda dengan robots.txt, konten tersebut mungkin tidak akan muncul sama sekali dalam hasil pencarian, yang bisa berarti hilangnya potensi kunjungan pengguna. - Kesalahan Pengindeksan:
Terkadang, kesalahan dalam konfigurasi robots.txt dapat menyebabkan mesin pencari mengindeks halaman-halaman yang seharusnya tidak boleh diindeks atau sebaliknya. Ini dapat mencampuradukkan mesin pencari dan membingungkan hasil pencarian. - Penurunan Kecepatan Indeksasi:
Jika Anda memblokir akses ke halaman-halaman yang seharusnya diindeks, mesin pencari akan menghabiskan lebih sedikit waktu untuk merayapi situs Anda, yang dapat memperlambat kecepatan indeksasi dan mengurangi pembaruan yang sering.
Untuk menghindari dampak buruk tersebut, sangat penting untuk memahami cara mengonfigurasi file robots.txt dengan hati-hati dan hanya memblokir akses ke halaman-halaman atau konten yang memang seharusnya tidak boleh diindeks oleh mesin pencari. Selalu periksa dan uji pengaturan robots.txt Anda secara berkala untuk memastikan bahwa situs Anda tetap dapat diakses dan diindeks dengan benar oleh mesin pencari.
Cara Setting robots.txt Blogger
File robots.txt pada blogger sudah tersedia secara default sehingga pengguna atau pengembang tinggal mengaktifkan dan memasukan kode teks robots.txt yang sesuai agar pengaturan robots.txt bisa dimanfaatkan secara maksimal dalam hal optimasi SEO yang dilakukan untuk blog tersebut. Berikut cara melakukan aktivasi robots.txt beserta kode teks umum yang sering digunakan oleh para blogger.
- Silakan masuk kedalam dasboard blogger.
- Pilih menu setelan kemudian scroll kebawah sampai pada opsi Crawler dan Pengindeksan. Klik slider Aktifkan robots.txt kustom untuk menghidupkan file robots.txt pada blogger.
- Klik pada teks robots.txt kustom kemudian salin dan masukan kode teks di bawah ini kedalam kotak input settingan robots.txt Anda.
Kode Umum robots.txt
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://codeflare.net/sitemap.xmlContoh kode robots.txt jika ingin membatasi hanya boleh diakses oleh bot google dan memblokir direktori blog atau halaman blog tertentu.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /p/artikel-tertentu.html
Disallow: /2020/01/artikel-tertentu.html
Sitemap: https://codeflare.net/sitemap.xmlContoh kode robots.txt jika ingin membatasi hanya boleh diakses oleh bot google dan bing bot serta memblokir direktori blog atau halaman blog tertentu.
User-agent: *
Disallow: /
User-agent: Googlebot
User-agent: Bingbot
Allow: /
Disallow: /search
Disallow: /p/artikel-tertentu.html
Disallow: /2020/01/artikel-tertentu.html
Sitemap: https://codeflare.net/sitemap.xmlKeterangan :
- User-agent
Merupakan kode variabel untuk menentukan robot mesin pencari (bot web crawler), tanda bintang [*] menunjukan bahwa semua robot mesin pencari boleh mengakses blog Anda.
Perlu diketahui bot web crawler bukan hanya berasal dari mesin pencari tapi banyak digunakan oleh situs biasa yang memiliki web crawler masing-masing sehingga jumlah bot web crawler ini sangat banyak di internet. Jika akses yang diberikan adalah untuk semua web crawler maka pastikan memilih server yang digunakan oleh nama domain kustom (.com, .net, .org, .my.id, .eu.org dan sebagainya) cukup kuat untuk dirayapi bot web crawler.
Kode variabel ini bisa dirubah pengaturannya jika Anda ingin membatasi robot mesin pencari tertentu yang hanya boleh mengakses blog Anda. Caranya cukup mudah tinggal mengganti teks tanda bintang [*] dengan nama robot yang akan diijinkan untuk mengakses ke dalam blog kamu. - Allow
Merupakan kode variabel untuk mengatur direktori blog atau halaman blog yang diizinkan untuk dirayapi oleh bot web crawler. - Disallow
Merupakan kode variabel untuk mengatur direktori blog atau halaman blog yang tidak diizinkan untuk dirayapi oleh bot web crawler. - Sitemap
Merupakan kode variabel untuk mengatur link URL sitemap blog Anda, pastikan Anda mengganti link sitemap pada kode di atas dengan link sitemap blog Anda atau ganti teks codeflare.net dengan alamat blog Anda.
- User-agent
- Jika sudah silakan tekan tombol Simpan kemudian lakukan pengujian untuk mengetahui apakah robots.txt sudah sesuai dengan kode teks yang Anda masukan. Silakan Anda ketikan format URL berikut ini di browser Anda dan lihat hasilnya, jika sudah sama maka file robots.txt sudah berfungsi dengan benar.
https://www.blog-anda.com/robots.txt
Nama Bot Web Crawler Populer
Ada banyak bot mesin pencari yang digunakan oleh berbagai mesin pencari populer. Berikut adalah beberapa nama bot mesin pencari yang dikenal :
- Googlebot
Bot dari mesin pencari Google yang digunakan untuk merayapi dan mengindeks halaman web. - Bingbot
Bot dari mesin pencari Bing yang melakukan pengindeksan halaman web untuk mesin pencari Microsoft Bing. - Yahoo Slurp
Bot dari mesin pencari Yahoo! yang digunakan untuk merayapi dan mengindeks konten web. - DuckDuckBot
Bot dari mesin pencari DuckDuckGo, yang dikenal karena privasi pengguna yang kuat. - Baiduspider
Bot dari mesin pencari Baidu, yang merupakan mesin pencari terbesar di China. - YandexBot
Bot dari mesin pencari Yandex, yang populer di Rusia dan negara-negara sekitarnya. - Exabot
Bot dari mesin pencari Exalead, yang digunakan untuk mengindeks konten web dan dokumen. - Ask Jeeves/Teoma
Bot yang pernah digunakan oleh mesin pencari Ask Jeeves dan Teoma, meskipun sekarang mesin pencari ini telah berubah. - Naverbot
Bot dari mesin pencari Naver, yang sangat populer di Korea Selatan. - Sogou Spider
Bot dari mesin pencari Sogou, yang juga beroperasi di China. - SeznamBot
Bot dari mesin pencari Seznam, yang populer di Republik Ceko dan Slovakia. - Yippy Bot
Bot dari mesin pencari Yippy, yang menawarkan fitur pencarian yang berfokus pada privasi.
Ini hanyalah beberapa contoh bot web crawler mesin pencari sedangkan di internet masih ada banyak bot web crawler lainnya yang digunakan oleh berbagai mesin pencari regional dan khusus serta situs tertentu. Setiap bot memiliki tujuan uniknya sendiri, yaitu merayapi dan mengindeks halaman web agar dapat ditampilkan dalam hasil pencarian mesin pencari yang bersangkutan.
Cara Setting Tag Header Kustom Blogger
Opsi Tag Header Kustom (Custom Header Tag) di Blogger berfungsi untuk menghidupkan beberapa pilihan opsi yang berhubungan dengan optimasi pengindeksan halaman blog. Opsi yang tersedia dapat di setting sesuai dengan kebutuhan blog Anda. Namun secara umum biasanya para blogger melakukan optimasi pengaturan sebagai berikut.
- Langkah pertama adalah dengan menekan tombol slider Aktifkan tag header robot kustom yang berfungsi untuk mengaktifkan opsi tag header robot kustom.
- Klik pada teks Tag halaman Beranda untuk membuka opsi Tag robot kustom untuk halaman beranda. Opsi pada kotak ini berhubungan dengan pengaturan perilaku bot mesin pencarian terhadap konten yang ada pada halaman depan/beranda blog Anda. Silakan gunakan settingan opsi yang sering digunakan oleh para blogger, seperti yang terlihat pada gambar di bawah ini :
Cukup mengaktifkan opsi pada slider All saja sedangkan sisanya di non-aktifkan saja. - Langkah selanjutnya adalah dengan mengatur opsi Tag arsip dan halaman penelusuran. Pada opsi ini Anda boleh untuk mengaktifkan semua slider kecuali pada opsi slider All dan unavailable_after.
- Berikutnya adalah mengatur opsi Tag postingan dan halaman. Pada pengaturan ini sama dengan pengaturan pertama yaitu hanya slider All saja yang diaktifkan dan slider yang lain di non-aktifkan semua.
- Oke, pada tahap ini pengaturan untuk Tag Header sudah selesai dan selanjutnya adalah settingan untuk memasang link sitemap pada pengaturan Google Search Console.
Cara Setting sitemap Di Google Search Console
Pengaturan sitemap ini berdasarkan pengalaman admin dan masukan dari para master blogger. Pengaturan sitemap di Google Search Console sangat penting untuk meningkatkan visibilitas dan kinerja situs web Anda dalam hasil pencarian Google.
Alasan Pentingnya Memasang Sitemap di Google Search Console
Sitemap adalah file XML yang berisi daftar URL (halaman) situs web Anda, serta informasi tambahan tentang halaman-halaman tersebut, seperti frekuensi pembaruan dan prioritas. Berikut adalah beberapa alasan mengapa pengaturan sitemap di Google Search Console sangat penting.
Meningkatkan Indeksasi: Googlebot, mesin pencari Google, menggunakan sitemap untuk mengetahui struktur situs web Anda dan mengindeks halaman-halaman tersebut. Dengan memiliki sitemap yang teratur dan terbaru, Anda dapat memastikan bahwa semua halaman penting Anda diindeks dengan baik oleh Google.
Pembaruan Cepat: Ketika Anda mengubah atau menambahkan konten di situs web Anda, sitemap memungkinkan Google untuk menemukan perubahan tersebut dengan lebih cepat. Tanpa sitemap, mungkin dibutuhkan lebih lama bagi Google untuk menemukan halaman-halaman baru atau yang diperbarui.
Kontrol Lebih Besar: Dengan Google Search Console, Anda dapat mengirimkan sitemap baru atau diperbarui, dan Anda juga dapat mengendalikan bagaimana Googlebot mengindeks halaman-halaman tersebut. Anda dapat mengatur prioritas halaman, mengabaikan halaman yang tidak relevan, dan memberi tahu Googlebot tentang frekuensi pembaruan.
Pemecahan Masalah: Jika ada masalah dengan indeksasi situs Anda, Google Search Console akan memberi Anda informasi yang berguna untuk memecahkan masalah tersebut. Misalnya, jika ada halaman yang gagal diindeks, Anda dapat melihatnya melalui laporan di Search Console.
Monitoring Kinerja: Search Console juga memberikan wawasan tentang bagaimana situs web Anda muncul dalam hasil pencarian Google. Anda dapat melihat jumlah tampilan, klik, dan peringkat kata kunci untuk halaman-halaman tertentu. Ini memungkinkan Anda untuk mengukur kinerja SEO Anda dan membuat perbaikan yang diperlukan.
Secara keseluruhan, pengaturan sitemap di Google Search Console adalah langkah penting dalam upaya SEO (Optimisasi Mesin Pencari) Anda. Ini membantu Google untuk lebih efisien mengindeks situs web Anda, meningkatkan visibilitas Anda dalam hasil pencarian, dan memungkinkan Anda untuk mengendalikan bagaimana situs Anda dipahami dan dikelola oleh mesin pencari.
Cara Setting Sitemap di Google Search Console
Berikut cara untuk memasang pengaturan sitemap blogger di Google Search Console untuk mengoptimasi konten blog Anda dan agar bisa terindex secara otomatis.
- Klik pada teks Google Search Console untuk membuka situs tersebut dan sekaligus masuk pada dashboard Google Search Console. Jika kamu baru menggunakannya pertama kali maka silakan kamu buat properti untuk domain atau nama blog Anda. Sebagai contoh admin menggunakan properti untuk nama domain https://www.codeflare.net kemudian admin masukan link sitemap untuk nama properti domain tersebut, seperti yang terlihat pada gambar di bawah ini.
- Klik pada menu Sitemap untuk membuka opsi input alamat URL sitemap dari properti nama domain Anda. Masukan link URL sitemap seperti yang terlihat pada gambar di bawah ini.
sitemap.xml
sitemap-pages.xml
feeds/posts/default?alt=rss
Keterangan :
- Masukan link teks di atas satu-persatu. Masukan pada kotak input sitemaps kemudian tekan tombol SUBMIT untuk memproses data sitemap.
- Tunggu beberapa saat minimal 1x24 jam untuk mesin pecari google mulai mengambil data dari sitemap.
- Beberapa domain mungkin akan mengalami error seperti pada domain my.id, biz.id dan .xyz, hal tersebut dikarenakan pada settingan server utama domain tersebut tidak membuka port untuk memperbolehkan bot mesin pencari di redirect ke sub domainnya. Tapi tenang aja kamu masih bisa memasukan data sitemap dari sub domain blogspot untuk mengakali hal ini.
Walaupun pada domain-domain tersebut gagal mem-submit sitemap pada kenyataannya google bot masih tetap bisa secara otomatis merayapi blog Anda asalkan pada settingan robots.txt memperbolehkan bot mesin pencari merayapi blog Anda, jadi tidak perlu khawatir.
Demikian artikel blog tentang Cara Setting robot.txt Blog dan Tag Header di Blogger terima kasih sudah berkunjung, jangan lupa Like, Share dan Subscribe, untuk pertanyaan, kritik ataupun saran silakan ditulis pada kotak komentar di bawah. Apabila ada kata-kata yang kurang berkenan atau informasi yang kurang akurat, harap dimaklumi. Akhir kata Semoga Bermanfaat.
Pengaturan robot.txt di Blogger, Robot.txt Blogger, Cara mengatur file robot.txt di Blogger, Blogger SEO, Penggunaan tag header di Blogger, Optimalisasi SEO untuk Blogger, Blogger custom robots header tags, Panduan penggunaan header tags di Blogger, Perbaikan indeks Google di Blogger, Mengontrol indeks halaman di Blogger, Cara membatasi indeks tag di Blogger, Tutorial pengaturan robots.txt untuk Blogger, Menyembunyikan halaman tag di Blogger, Meningkatkan visibilitas Blogger dengan robot.txt, Panduan langkah demi langkah untuk mengoptimalkan Blogger
About CodeFlare
![[+] Codeflare Backlink Editor To Create Anchor Text With Keyword](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiXC9KPkhkaNh3A4Wy-XX1I2kSj2rB2qXjmLIQktDvCxyPdUINtltp2Ih9iLVpEyb-0tYBaLGQb52bIszHmT9_etJT-awZy9IcxsBPfvQHJs7K7BI6bxz0rgcILCFxAhuL0CNbqYaS9DvELwWieNdZscUv-_8lhmqeMjcWmIRH3X38nOkbgkYK6dfySxg/s72-c/backlink%20editor.jpg)
No comments