Anda Ingin Mempelajari Bagaimana Membuat Robots.txt dan Meta Robots?

robots.txtBelajar SEO tidak hanya berada di lingkup meriset kata kunci, menulis konten dan membangun link.

Ada beberapa hal penting yang setidaknya harus Anda pelajari juga. Yaitu belajar teknik coding dan bahasa web.

Salah satu hal yang perlu Anda pelajari dari sisi bahasa web adalah bagaimana membuat robots.txt dan meta robots.

Yang akan diperlukan jika Anda ingin memblokir beberapa konten Anda. Atau memblokir beberapa spiders tertentu.

Atau dengan kata lain Anda tidak ingin konten tersebut muncul di hasil pencarian. Tentu jika Anda mempunyai alasan tersendiri melakukannya.

Misalkan karena konten itu merupakan konten untuk orang yang berlangganan email newsletter Anda, dan Anda ingin konten tersebut tidak diketahui orang yang tidak berlangganan.

Alasan lain Anda harus membuatnya adalah website/blog Anda mungkin memiliki file atau folder yang tidak relevant dengan mesin pencari(hasil pencarian), seperti folder admin.

(contoh di wordpress adalah folder wp-admin dan wp-includes. ) Jadi dengan membuat robots.txt, Anda akan meningkatkan indeks blog Anda.

Nah, untuk memblokir spider untuk tidak mengindeks konten tersebut, lebih disarankan untuk menggunakan meta robots. Karena menggunakan robots.txt tidak terlalu efektif (konten masih tampil di hasil pencarian tapi dengan tampilan yang tidak biasa—hanya url saja).

Jadi Apa itu robots.txt?

Robots.txt (The robots exclusion protocol), adalah file yang dibuat untuk memberi instruksi kepada robots (spider) mesin pencari bagaimana me-crawl dan meng-indeks halaman web atau blog.

Contoh robots.txt

Berikut contoh robots.txt untuk mem-blokir semua robots(spider) di semua content

User-agent: *

Disallow: /

Untuk memblokir spider tertentu tinggal ketikkan namanya. Jadi jika Anda ingin memblokir spidernya google, begini cara penulisannya:

User-agent: Googlebot
Disallow: /

Contoh-contoh lain bisa Anda baca di SEOMoz (robots.txt dan meta robots), dan di robots.org. Maaf dua-duanya menggunakan bahasa Inggris.

Bagaimana Membuat robots.txt

Membuat robots.txt cukup gampang, tinggal ketikkan seperti contoh yang dipaparkan di dua link di atas.

Kemudian simpan dengan nama robots.txt. (bukan Robots.txt) Menurut pengalaman pribadi saya, Anda bisa menggunakan notepad untuk membuatnya.

Sangat penting! Anda harus menguploadnya di top level directory blog/web Anda.

Jadi jika blog Anda contoh-blog.com, maka file tersebut harus bisa diakses di contoh-blog.com/robots.txt Dan pastikan robots.txt tersebut bisa diakses oleh publik (siapa saja).

Jika Anda masih bingung bagaimana membuat robots.txt, silakan melihat contoh robots txt saya. Di sini. copy paste file tersebut juga tidak masalah, tapi ubah sitemap parameter yang saya buat dengan sitemap blog Anda.

Untuk memastikan file yang Anda buat benar, Anda bisa mengetestnya melalui Google Webmaster Tool.

Meta Robots

Cara lain untuk memblokir spider mesin pencari untuk tidak mengindeks konten blog Anda adalah dengan menggunakan parameter HTML <meta>. Berikut contoh codingnya:

<html>

<head>

<title>…</title>

<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

</head>

Seperti yang saya katakan di atas, lebih baik Anda menggunakan cara ini jika Anda tidak ingin konten Anda di-indeks. Hebatnya lagi, dengan cara ini Anda bisa memblokir konten tertentu (spesifik) di blog Anda.

Bagaimana Mengimplementasikan Meta Robots

Jujur, untuk mengimplementasikan cara ini Anda harus tahu bagaimana mengoprek theme wordpress Anda. Saya tidak bisa menjelaskannya di sini, karena itu membutuhkan pembahasan tersendiri dikarenakan panjang.

Tetapi jika Anda menggunakan Genesis Framework (link affiliasi), Ada pilihan opsi meta robots ketika Anda membuat konten. Scroll saja ke bawah, dan Anda akan menemukan opsi seperti ini.

robots meta

Untuk penggunaan secara umum, Anda juga punya opsi seperti ini di [Genesis] > [SEO Settings]:

Robot Meta Settings

Ingin Belajar Lebih lanjut?

Untuk mempelajari lebih lanjut tentang robots.txt dan meta robots, saya menyarankan Anda untuk berkunjung:

a. Seo Moz

b. Robots.org

Tapi Anda juga bisa langsung bertanya kepada saya di kolom komentar. Silakan, saya menunggu pertanyaan Anda.

 

Tentang Penulis: Syaiful Bahri adalah seorang SEO Analysis dan Web Analytics. Anda bisa Berkenalan dengannya di Twitter and .