Robots.txt: ликбез

«Robots.txt» — это обычный текстовый файл, который должен располагаться в корневом каталоге вашего сайта. Он содержит краткие инструкции-рекомендации для индексации веб-ресурса различными поисковыми роботами.
Далее представлен краткий видеоролик, наглядно рассказывающий о сути описанного выше:

Общие постулаты таковы:

  • Для указания какой именно робот будет принимать к сведению ваши рекомендации используется «переменная» User-agent.
  • Для того, чтобы запретить для индексации определенный каталог или путь используется директива Disallow.
  • Для того, чтобы наоборот разрешить для индексации определенный каталог или путь используется директива Allow. Примеч., чаще не требуется.

Для большей осведомленности по вопросу самостоятельного составления содержимого файла «robots.txt» рекомендую читателям ознакомиться со следующими материалами:

Опубликовано 6-01-2013 в 13:12


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Свежие комментарии

  • Администратор: к записи Сделайте, как пишет MODX - проверьте параметры с с »
  • Николай: к записи Во время установки во время выполнения п.4 вылета »
  • PHPt: к записи А это разве не то? »
  • Naklz: к записи При вставке второго всплывающего окна на странице, »
  • Администратор: к записи Николай, посмотрите файл '.htaccess' в корне сайта »
  • Николай: к записи Простите если немного не по теме. Я сделал экспорт »
  • Эрик: к записи Спасибо, помогло) 20 минут мучался) »

Статистика спама

Последние твиты