Optimasi SEO On-Page Dengan Mengaktifkan Robots.txt
Senin, 20 Juli 2020
Optimasi SEO On-Page Dengan Mengaktifkan Robots.txt - Banyak cara yang dapat dilakukan untuk optimasi SEO On-Page agar postingan lebih ramah dengan mesin pencari salah satunya adalah dengan setting robot.txt dengan benar.
Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Robots.txt ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman web, agar dapat segera diindeks atau tidak sama sekali di index oleh mesin pencari seperti google, bing, yandex dll.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google. Nah, dibawah ini merupakan langkah-langkah yang dapat dilakukan untuk memasang robots.txt di blog Sobat.
Pertama; Silahkan buka menu Setelan => Cari Crawler dan pengindeksan => Aktifkan robots.txt kustom.
Kedua; Salin kode berikut ini, lalu pastekan ke robots.txt kustom.
Keterangan:
Setting Tag Header Robot Kustom
Masih di menu Setelan => Crawler dan pengindeksan => Aktifkan tag header robot kustom.
Untuk setittingannya, Sobat bisa mengikuti seperti yang di tampilkan pada gambar di bawah ini.
Itulah cara yang dapat Sobat lakukan ketika ingin mengaktifkan robots.txt. Dengan menerapkan robots.txt maka postingan blog Sobat akan semakin mudah terindeks. Jangan lupa bagikan artikel ini, agar semua Blogger Indonesia tahu bagaimana caranya melakukan setting robots.txt.
Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Robots.txt ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman web, agar dapat segera diindeks atau tidak sama sekali di index oleh mesin pencari seperti google, bing, yandex dll.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google. Nah, dibawah ini merupakan langkah-langkah yang dapat dilakukan untuk memasang robots.txt di blog Sobat.
Pertama; Silahkan buka menu Setelan => Cari Crawler dan pengindeksan => Aktifkan robots.txt kustom.
Kedua; Salin kode berikut ini, lalu pastekan ke robots.txt kustom.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://blogsobat.blogspot.com/sitemap.xml
Keterangan:
- Ganti tulisan yang berwarna merah dengan url milik Sobat.
- User-agent: Mediaparthners-Google artinya memperbolehkan robot yang juga merupakan partner google untuk perayapi web sobat.
- Dissallow: Tidak dijinkan.
- User-agent: * artinya selain robot google juga diperbolehkan untuk merayapi.
- Disallow: /search artinya tidak diperbolehkan untuk merayapi alamat pencarian.
- Allow: / Sitemap.... artinya diperbolehkan untuk dirayapi bagian file sitemap.xml web sobat.
Setting Tag Header Robot Kustom
Masih di menu Setelan => Crawler dan pengindeksan => Aktifkan tag header robot kustom.
Untuk setittingannya, Sobat bisa mengikuti seperti yang di tampilkan pada gambar di bawah ini.
Itulah cara yang dapat Sobat lakukan ketika ingin mengaktifkan robots.txt. Dengan menerapkan robots.txt maka postingan blog Sobat akan semakin mudah terindeks. Jangan lupa bagikan artikel ini, agar semua Blogger Indonesia tahu bagaimana caranya melakukan setting robots.txt.