Правила для поисковых роботов

Правила для поисковых роботов
Поисковые роботы (Google, Yandex...) - это наши друзья. Они неутомимо сканируют сайты, чтобы привлечь на них больше посетителей через поиск. Как было сказано в статье "Карта сайта для поисковых роботов", роботы будут обходить те адреса страниц, которые им укажут в файле sitemap.xml. Но это далеко не вся правда. Роботы не знают усталости и пытаются добраться до самых дальних уголков сайта самостоятельно. Робот может выйти на страницу, даже если она не указана в sitemap.

Но как же ограничить робота и не дать ему заходить в ненужные разделы? К примеру, к таким разделам относится страница настройки личных данных пользователя. Робот не авторизован на сайте, поэтому он ничего не увидит на такой странице и сохранить о ней данные как о "пустой". Большое количество пустых страниц огорчат робота. Поэтому лучше не давать ему заходить на них вообще. Для этого существуют специальные команды, которые даются роботу. Они размещаются на сайте, в файле robots.txt, в корневой папке. Давайте рассмотрим несколько примеров таких правил.

Если хотим закрыть папку с личными данными пользователя, то в содержание файла robots.txt будет выглядеть так:

User-Agent: *
Disallow: /auth/

Это правило гласит, что для всех типов роботов запрещено заходить в папку /auth/
Внимание! Если файл robots.txt содержит только

User-agent: *
Disallow: /

Это значит, что весь сайт запрещён для индексирования роботами. А тогда пользователи не будут переходить на него из поисковых систем и он потеряет посетителей.
Если файла robots.txt вообще нет, то это означает, что ограничений для роботов нет. И они будут сканировать весь сайт.

Что должно быть в файле robots.txt?
Битрикс подскажет! В Битриксе есть одноименный инструмент, который находится в меню "Маркетинг"-"Поисковая оптимизация", пункт "Настройка robots.txt". Нажмите кнопку "Стартовый набор" и Битрикс сам напишет то, что должно стоять в этом файле. Затем нажмите кнопку "Сохранить" и изменения вступят в силу. Файл robots.txt готов!

Настройка сайта это тонкий процесс, поэтому лучше воспользоваться помощью профессионалов. Вы можете связаться с нами по адресу - order@pervaja.com

Файл robots.txt служит только для запретов?
Нет, в нем может быть и другая информация. К примеру, там обязательно должна быть ссылка на карту сайта. Эта команда для робота будет написана в строчку вида:

Sitemap: http://www.pervaja.com/sitemap.xml

Обязательно проверьте есть ли она у Вашего сайта!
А если используете сайт с "зеркалом", то в robots необходимо написать директиву Host. Поясним на примере. Если у сайта есть версия с "www." и без него, то надо сообщить роботу на какую версию заходить - какая версия сайта главная. Делается это командой вида:

Host: www.pervaja.com

Как заказать сайт?
Напишите нам по адресу order@pervaja.com, либо через форму ниже

Закажите наши услуги прямо сейчас!

Напишите нам на email order@pervaja.com или в форму ниже

Заказать! Секунду...
Спасибо!
Мы свяжемся с Вами по указанному адресу