Seo блог ​белорусского вебмастера

Robots.txt – это файл предназначенный для ограничения доступа поисковым роботам к определённом содержимому сайта. Он должен располагаться в корне сайта, т.е. его адрес должен выглядеть так: http://site.ru/robots.txt Также при помощи данного файла можно указать роботу, где располагается карта сайта, а также указать основной домен для сайта при наличии зеркал.
Для запрета индексации можно использовать специальные META теги. Эти теги, как и обычные META теги указываются в блоке head.
(далее...)