«Robots.txt» — это обычный текстовый файл, который должен располагаться в корневом каталоге вашего сайта. Он содержит краткие инструкции-рекомендации для индексации веб-ресурса различными поисковыми роботами.
Далее представлен краткий видеоролик, наглядно рассказывающий о сути описанного выше:
Общие постулаты таковы:
- Для указания какой именно робот будет принимать к сведению ваши рекомендации используется «переменная» User-agent.
- Для того, чтобы запретить для индексации определенный каталог или путь используется директива Disallow.
- Для того, чтобы наоборот разрешить для индексации определенный каталог или путь используется директива Allow. Примеч., чаще не требуется.
Для большей осведомленности по вопросу самостоятельного составления содержимого файла «robots.txt» рекомендую читателям ознакомиться со следующими материалами:
- http://help.yandex.ru/webmaster/?id=996567 - справка поисковой системы Яндекс.
- http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449 — справка поисковой системы Google.
- http://www.robotstxt.org/db.html — база данных, содержащая сведения обо всех известных на данный момент роботах ПС.
- http://www.robotstxt.org/robotstxt.html — справочная информация о «роботс» (на английском).
Свежие комментарии