Зачем нужен robots.txt |
Yandex различными способами склоняет нас в «белую сторону», направленную на улучшению качества сайта. Сегодня поговорим об одном из методов улучшения качества сайта для поисковых системе: написание правильного robots.txt, что позволит убрать из индекса ненужные страницы. Итак, что же такое robots.txt? Это небольшой текстовый файл находящийся в корне сайта и обладающий очень большими возможностями. Он предназначен для информирования роботов поисковых систем. В этом файле указывается какое из зеркал сайта необходимо оставить в индексе, а какое нет или же можно запретить к индексации те или иные страницы. Обычно robots.txt выглядит примерно так: User-agent: * Disallow: Host: yusia.ru Рассмотрим каждую строчку повнимательней: User-agent – этот параметр передает имя робота. Для «всемилюбимого» Yandex’a это «User-agent: Yandex»; а если эта строчка выглядит вот так User-agent: *, то здесь подразумевается, что эту информацию должен использовать робот любой поисковой системы. Disallow: – этот параметр позволяет закрыть страницу от индексации. Сюда вписываем те разделы, которые не должны быть в «поисковой выдаче». Например, если хотите закрыть от индексации страницу «заработок на социальных играх», то необходимо в Disallow указать полный пусть для данной страницы. Рассмотрим еще один пример: в WordPress’е если мы пропишем «Disallow: /wp-admin/», то такой robots.txt закроет от индексации админку блога. Помните, что при перечислении разделов, которые необходимо закрыть от индексации нужно начинать каждый раз с новой строки:
Disallow: /wp-admin/ Disallow: /?d=* Чтобы узнать какие страницы необходимо закрыть в robots.txt необходимо зайти в расширенный поиск Yandex’a и в поле «На сайте» ввести имя своего домена и нажать «Найти». Прежде всего, обратите внимание на страницы, которые не несут практической пользы: служебные страницы, страницы дублирующие содержание и так далее. Подытожим: необходимо обязательно закрывать в robots.txt ненужные страницы. Это повысит доверие поисковых систем к Вашему сайту и избавит «поисковую выдачу» от ненужных страниц.
Вам нужны позиции в топе? - продвижение и раскрутка сайта на se7.ru это отличная возможность быстро, недорого, но на долго попасть в ТОП поисковых систем!
|