bablashot

Buat anda yang baru belajar website mungkin anda belum paham apa itu web robot.  Jika anda belum tahu apa itu Web Robots. anda bisa mengunjungi situs ini http://www.robotstxt.org/

Disana dijelaskan apa itu web robot. berikut ini saya kopikan halaman pertama web tersebut:

The Web Robot Pages

Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Web Robot (juga dikenal sebagai Web Wanderers, Crawlers, atau Laba-laba), beberapa program yang melintasi Web secara otomatis. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. Mesin pencari seperti Google menggunakan mereka untuk mengindeks konten web, spammer menggunakan mereka untuk memindai alamat email, dan mereka mempunyai banyak kegunaan lain.
On this site you can learn more about web robots. Di situs ini Anda dapat mempelajari lebih lanjut tentang robot web.

• About /robots.txt explains what /robots.txt is, and how to use it. About / robots.txt menjelaskan apa / robots.txt, dan bagaimana menggunakannya.
• The FAQ answers many frequently asked questions, such as How do I stop robots visiting my site? and How can I get the best listing in search engines?" The FAQ jawaban banyak pertanyaan yang sering diajukan, seperti Bagaimana cara menghentikan robot mengunjungi situs saya? Dan Bagaimana saya bisa mendapatkan daftar terbaik di search engine? "
• The Other Sites page links to external resources for robot writers and webmasters. The Other Sites halaman link ke sumber eksternal untuk robot penulis dan webmaster.
• The Robots Database has a list of robots. The Robot Database memiliki daftar robot.
• The /robots.txt checker can check your site's /robots.txt file and meta tags. The / robots.txt checker dapat memeriksa situs / file robots.txt dan meta tag.
• The IP Lookup can help find out more about what robots are visiting you. The IP Lookup dapat membantu mencari tahu lebih banyak tentang apa robot yang mengunjungi Anda.

Yang masih penasaran silahkan kunjungi saja alamat diatas.