My Robots.txt Tricks

My Robots.txt Tricks

Tidak mau bor tertentu menjelajahi website Anda dan membuat index website Anda rusak? Berikut adalah beberapa tips robots.txt untuk keperluan SEO yang bisa Anda pakai.

Allow Only Some Bots

Source:

https://support.google.com/webmasters/answer/1061943?hl=en

https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0

https://help.yahoo.com/kb/SLN22600.html

http://www.baiduguide.com/baidu-spider/

http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler

http://www.user-agents.org/index.shtml

Supaya hanya bot tertentu yang bisa mengakses web kita (Google, Bing, Yahoo), berikut caranya:

Block Site Scrapers

Source: https://www.blackhatworld.com/seo/anybody-with-the-code-to-block-majestic-ahrefs-and-all-others-from-crawling-a-site.584470/