Wong Jowo

Setelah tadi saya posting mengenai Bagaimana Cara Submit Sitemap Blog Di Google, Sekarang saatnya mengurai apa itu robots.txt. Diibaratkan kalau Sitemap.xml/Atom.xml adalah peta yang kita berikan pengunjung mengenai isi website. Supaya pengunjung/Google tahu lokasi-lokasi yang dapat ditemukan dengan mudah, robot.txt adalah palang informasi dan peringatan untuk Mesin Pencari. Adapun letak robots.txt harus tepat berada pada root directory web/hosting. Tidak dianggap jika posisinya ada di dalam sub direcoty/sub domain.
Isi robots.txt dapat dicontohkan sebagai berikut.

User-agent: *
Allow: /folder1/

User-Agent: Googlebot
Disallow: /folder2/

Dari contoh di atas (folder1) robots.txt mengatakan pada Google..
Goooogle,, ada yang baru lho.... Masuk sini aja... Lihat-lihat....
Sedangkan baris ketiga dan ke empat (folder2) adalah warning bagi Google.
Heh,, Google.. Jangan masuk ke sini.. Didalem ada Buayanya lho...
dan Google akhirnya menjawab.. Hii.. Atut,,, Okey Dech klo gitu,,, Tengkyu.... aQ tak ke folder1 kalo gitu...

Itu aja cerita tentang persahabatab dari Si Robocop.txt dan Mbah Google. Dan akhirnya mereka hidup berdampingan dan berbahagia... hahaha...