Зачем нужен robots.txt Печать

Yandex различными способами склоняет нас в «белую сторону», направленную на улучшению качества сайта. Сегодня поговорим об одном из методов улучшения качества сайта для поисковых системе: написание правильного robots.txt, что позволит убрать из индекса ненужные страницы.

Итак, что же такое robots.txt? Это небольшой текстовый файл находящийся в корне сайта и обладающий очень большими возможностями. Он предназначен для информирования роботов поисковых систем. В этом файле указывается какое из зеркал сайта необходимо оставить в индексе, а какое нет или же можно запретить к индексации те или иные страницы.


Обычно robots.txt выглядит примерно так:

User-agent: *

Disallow:

Host: yusia.ru

Рассмотрим каждую строчку повнимательней:

User-agent – этот параметр передает имя робота. Для «всемилюбимого» Yandex’a это «User-agent: Yandex»; а если эта строчка выглядит вот так User-agent: *, то здесь подразумевается, что эту информацию должен использовать робот любой поисковой системы.

Disallow: – этот параметр позволяет закрыть страницу от индексации. Сюда вписываем те разделы, которые не должны быть в «поисковой выдаче». Например, если хотите закрыть от индексации страницу «заработок на социальных играх», то необходимо в Disallow указать полный пусть для данной страницы. Рассмотрим еще один пример: в WordPress’е если мы пропишем «Disallow: /wp-admin/», то такой robots.txt закроет от индексации админку блога. Помните, что при перечислении разделов, которые необходимо закрыть от индексации нужно начинать каждый раз с новой строки:

 

Disallow: /wp-admin/


Disallow: /?d=*

Чтобы узнать какие страницы необходимо закрыть в robots.txt необходимо зайти в расширенный поиск Yandex’a и в поле «На сайте» ввести имя своего домена и нажать «Найти». Прежде всего, обратите внимание на страницы, которые не несут практической пользы: служебные страницы, страницы дублирующие содержание и так далее.

Подытожим: необходимо обязательно закрывать в robots.txt ненужные страницы. Это повысит доверие поисковых систем к Вашему сайту и избавит «поисковую выдачу» от ненужных страниц.

 

Вам нужны позиции в топе? - продвижение и раскрутка сайта на se7.ru это отличная возможность быстро, недорого, но на долго попасть в ТОП поисковых систем!