Robots.txt: ликбез

«Robots.txt» — это обычный текстовый файл, который должен располагаться в корневом каталоге вашего сайта. Он содержит краткие инструкции-рекомендации для индексации веб-ресурса различными поисковыми роботами.
Далее представлен краткий видеоролик, наглядно рассказывающий о сути описанного выше:

Общие постулаты таковы:

  • Для указания какой именно робот будет принимать к сведению ваши рекомендации используется «переменная» User-agent.
  • Для того, чтобы запретить для индексации определенный каталог или путь используется директива Disallow.
  • Для того, чтобы наоборот разрешить для индексации определенный каталог или путь используется директива Allow. Примеч., чаще не требуется.

Для большей осведомленности по вопросу самостоятельного составления содержимого файла «robots.txt» рекомендую читателям ознакомиться со следующими материалами:

Опубликовано 6-01-2013 в 13:12


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>











Свежие комментарии

  • krasnov8953: к записи Не работает как мне кажется строчка $newTvId = $ »
  • Dimanski: к записи ничего не понимаю. Ставлю ModX на хостинг r01.ru »
  • Дмитрий: к записи Спасибо! Очень выручили. С битриксом беда, а прав »
  • леонид: к записи как сделать что были в ряд? у меня получается по о »
  • Администратор: к записи Статический IP. »
  • Steel: к записи Администратор, вы данную проблему решили подключен »
  • Дмитрий: к записи Хотел узнать как прикрутить данное окно (http://re »

Последние твиты