Ingin menambah canonical header untuk keperluan SEO di server dengan control panel VestaCP? Tidak masalah, dan juga tidak terlalu susah. Berikut caranya.
My Robots.txt Tricks
Tidak mau bor tertentu menjelajahi website Anda dan membuat index website Anda rusak? Berikut adalah beberapa tips robots.txt untuk keperluan SEO yang bisa Anda pakai. Allow Only Some Bots Source: https://support.google.com/webmasters/answer/1061943?hl=en https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0 https://help.yahoo.com/kb/SLN22600.html http://www.baiduguide.com/baidu-spider/ http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler http://www.user-agents.org/index.shtml Supaya hanya bot tertentu yang bisa mengakses web kita (Google, Bing, Yahoo), berikut caranya: User-agent: * Disallow: / User-agent: Googlebot User-agent: Googlebot-News User-agent: Googlebot-Image User-agent: Googlebot-Video User-agent: Googlebot-Mobile User-agent: Mediapartners-Google User-agent: Mediapartners User-agent: AdsBot-Google User-agent: AdsBot-Google-Mobile-Apps User-agent: Bingbot User-agent: MSNBot User-agent: MSNBot-Media User-agent: AdIdxBot User-agent: BingPreview User-agent: Yahoo! Slurp User-agent: Slurp User-agent: Ask User-agent: Ask Jeeves User-agent: Teoma User-agent: Yandex User-agent: YandexBot User-agent: Baidu … Read more