Ряды, мягко говоря нехороших, поисковиков пополнил Спутник — спешите закрывать сайты от его бота

Итак, для  тех кто не знает, Спутник — это проект государственной поисковой машины (представьте себе Яндекс с его откровенно медленной индексацией и АГС-фильтрами только в N в M-ой степени раз хуже, да ещё и контролируемый государством). Его роботы уже ходят по вашим сайтам.

В общем процитирую я пожалуй Хабрахабр:

«Ростелеком» разрабатывает новую поисковую систему «Спутник», которая может быть запущена уже в 2014 году.

Как рассказал Ведомостям собеседник в «Ростелекоме», поисковик, который будет находиться по адресу sputnik.ru, начнет работу в первом квартале 2014 года. Он отметил, что проект существует около трех лет, а его активная разработка ведется последние полтора-два года, за которые компания инвестировала в него 20 миллионов долларов.

По данным издания, новый поисковик будет продвигаться «на государственном уровне» и по умолчанию устанавливаться в органах власти и госкомпаниях. Вместе с тем, собеседник издания в «Ростелекоме» заявил, что поисковик не будет предусматривать фильтрацию неугодного государству контента, а для его продвижения среди пользователей будут использованы рыночные методы. Разработкой системы занимается компания «КМ Медиа», приобретенная «Ростелекомом» в 2012 году…

Учитывая собственный опыт пользования следующими услугами Ростелекома:

  • Предоставление доступа в Интернет — периодические отваливания соединения, некомпетентная техническая поддержка. Общая, очень медленная работа сотрудников компании (3 с лишним месяца не могли починить регулярные отвалы соединения(!), ссылаясь на «аварию»).
  • Виртуальный хостинг (региональный, эту услугу уже не я выбирал) — фактически полное отсутствие какой-либо технической поддержки. Крайне низкое качество обслуживания.

Отсюда следует то, что учитывая «безупречную» репутацию такой организации, как Ростелеком — не стоит даже не то, что пользоваться госпоиском, — нужно вообще закрывать сайты от его роботов.

Как закрыть сайт от этого робота:

Ну хватит лирики. Давайте-ка поглядим на то, как один из его роботов выглядит в логах веб-сервера:

109.207.13.47 - - [24/Nov/2013:05:02:26 +0400] "GET /viewtopic.php?f=9&t=113 HTTP/1.1" 200 7056 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:02:30 +0400] "GET /viewtopic.php?f=13&t=51&start=40 HTTP/1.1" 200 7434 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:02:35 +0400] "GET /viewtopic.php?f=13&t=40&start=10 HTTP/1.1" 200 7507 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:02:41 +0400] "GET /viewtopic.php?f=13&t=39&start=60 HTTP/1.1" 200 7175 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:02:47 +0400] "GET /viewtopic.php?f=8&t=98&start=140 HTTP/1.1" 200 8109 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:02:50 +0400] "GET /viewtopic.php?f=14&t=119&start=10 HTTP/1.1" 200 6007 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:02:55 +0400] "GET /viewtopic.php?f=9&t=111&start=20 HTTP/1.1" 200 8061 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"
109.207.13.47 - - [24/Nov/2013:05:03:02 +0400] "GET /viewtopic.php?f=8&t=102&start=0 HTTP/1.1" 200 6619 "-" "Mozilla/5.0 (compatible; SputnikBot/2.2)"

Закрыть доступ к вашим сайтам для этого робота можно, как минимум несколькими способами — по списку его IP или по User Agent. В общем прописываем соответствующие инструкции в .htaccess-файле.

 * * *

В ряды вредоносных да и просто бесполезных роботов, бегающих по просторам Интернета, влилось очередное пополнение — SputnikBot версии 2.2!

Опубликовано 28-11-2013 в 11:50


Комментариев к записи: 10

  1. Сергей:

    А что такого необычного в логе веб-сервера?

    • Администратор:

      А что такого необычного

      SputnikBot/2.2 — робот г**нопоисковика Спутник начал гулять по Сети.

  2. Ярослав:

    Да есть такой зверёк, но наверное найдутся пользователи, которые будут его использовать, а значит это равносильно скрытию сайта от яндекса, а смысл?
    А вот кол-во запросов от этого бота, да не маленькое.

  3. Misha:

    это хрен досит мой сервак по 400 конектов в секунду , суки настроить нормально не могут

  4. Олег:

    Если у Вас какая-то неприязнь к государству — то это ваше личное дело. Но публично рекомендовать всем закрывать сайты от определённого поисковика — это уже какая-то агитация. И в моих глазах — это выглядит нехорошо. Да и сама эта рекомендация мне кажется глупостью. Ну пусть себе ползает по сайту, индексирует — мне не жалко, зато может и пользователя какого приведёт на сайт :-)

  5. Галина:

    Ко мне он повадился ходить как раз где-то в начале года и с тех пор поперла перегрузка сайта. Число посещений резко уменьшилось — люди не могут зайти с первой попытки, — а перегрузка сохраняется. Это для информации тем, кто ищет в нем пользу. Ну, и попутно вопрос (просьба), если можно: с темой htaccess-файла я только сейчас и столкнулась. Не подскажете, как правильно прописать ему запрет? Буду очень-очень благодарна!!! Пока сама разберусь — сколько еще времени пройдет, а этот Спутникбот уже реально достал :-(

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>











Свежие комментарии

  • krasnov8953: к записи Не работает как мне кажется строчка $newTvId = $ »
  • Dimanski: к записи ничего не понимаю. Ставлю ModX на хостинг r01.ru »
  • Дмитрий: к записи Спасибо! Очень выручили. С битриксом беда, а прав »
  • леонид: к записи как сделать что были в ряд? у меня получается по о »
  • Администратор: к записи Статический IP. »
  • Steel: к записи Администратор, вы данную проблему решили подключен »
  • Дмитрий: к записи Хотел узнать как прикрутить данное окно (http://re »

Последние твиты