Cara Setting Robot.txt dan Tag Tajuk Robot di Blog

Cara Setting Robot.txt dan Tag Tajuk Robot di Blog - Mungkin anda bertanya-tanya Apa itu robots.txt? Robots.txt adalah filter Blog kita dari mesin pencari. Dengan anda menggunakan robots.txt semua artikel anda dengan mudah akan terindex oleh Search Engine, sehinggan bukan tidak mungkin pengunjung Blog anda akan meningkat. Apakah setiap blog mempunyai robots.txt? Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. 

Selain Robot.txt ada juga Tag Tajuk Robot yang bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. 

Berikut adalah Langkah-langkah Setting Robot.txt:

1. Silahkan Login ke Blogger.

2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.

3. Pada Robots.txt klik Edit kemudian klik Ya, kemudian masukan kode robots.txt yang ada dibawah ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://ALAMAT_BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED

Catatan: Ganti kode yang berwarna Merah dengan Alamat Blog anda.

Contohnya seperti ini:

4. Kemudian Simpan.

Apa Fungsi dari kode-kode di atas?

User-agent: Mediapartners-Google

Robot Google Adsense merayapi blog

Disallow:

Yang tidak diperbolehkan tidak ada

User-agent: *

Semua robot Search Engine / mesin pencari

Disallow: /search

Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /

Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://ALAMAT_BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED

Sitemap atau alamat feed blog kita. 

Berikut adalah Langkah-langkah Setting Tag Tajuk Robot :

1. Silahkan Login ke Blogger.

2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.

3. Pada Tag Tajuk Robot klik Edit kemudian klik Ya, kemudian centang seperti gambar dibawah ini:

4. Kemudian Simpan.

Apa Fungsi masing-masing Tag Pada Tag Header Robots Khusus:

Direktif

Penjelasan

all

Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.

noindex

Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.

nofollow

Jangan ikuti link di halaman ini.

none

Sama dengan tag noindex, nofollow

noarchive

Tidak menunjukkan "Cached" link dalam hasil pencarian.

nosnippet

Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.

noodp

Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.

notranslate

Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.

noimageindex

Jangan indeks gambar di halaman ini.

unavailable_after: [RFC-850 date/time]

Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam

RFC 850 format.

CATATAN PENTING:

• Agar berhati-hati untuk menggunakan Mensetting Robot.txt dan Tag Tajuk Robot ini, karena jika salah akan mengakibatkan Blog anda yang diabaikan oleh mesin pencari.