Вымести некоторые боты с сайта

Как мне вымести baidu и пару других не поисковых (маркетинговых) ботов с сайта? не нужны они, только создают паразитную нагрузку

 

Забаньте диапазоны IP, с которых приходят их боты.

 

По-моему достаточно добавить директиву в robots.txt для того робота, которого вы хотите заблокировать. Например для Baiduspider:
User-agent: Baiduspider
Disallow: / # блокировка доступа для Baiduspider
Можно полностью не блокировать, а добавить тайм-аут:
User-agent: Baiduspider
Crawl-delay: 10 # тайм-аут 10 секунд для Baiduspider

 

Baidu игнорирует robots.txt

 

Через .htaccess глушите их, роботы игнорируют robots.txt

Код:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Baiduspider|HTTrack|Yahoo).*$ [NC]
RewriteRule .* - [F,L]

Альтернативное решение

Код:

SetEnvIfNoCase User-Agent "^baiduspider" bad_bot
SetEnvIfNoCase User-Agent "^Sogou" bad_bots
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

 

Чем они так мешают? Я вообще не парюсь по поводу подобных ботов. Главное чтоб спама не было. Ну зашел бот и что? Я в жизнь не поверю что он создает черезмерную нагрузку на сервер своим присутствием, а уникума так или иначе создаст, что в свою очередь оказывает положительное влияние на позиции сайта.

 

Некоторые боты Baidu сразу отвалились, некоторые с ip 180.... еще недельку приходили, сейчас вроде полностью отвалились. Т.е. baidu (не сег. день) robots не игнорирует, просто не сразу выполняет запрет. Т.е. пока SetEnvIfNoCase оказалось без надобности

Моя целевая аудитория - не Китай, а Европа/Америка. Если бы был Китай, то конечно он нужен был бы. Вам покажется диким, но многие европейские/американские админы ставят запрет для ботов yandex, т.к. целевая аудитория - не Россия.

Есть такой вопрос: bot amazonaws.com имеет отношение к поисковикам или нет? Если цель Европа/Америка, то можно ли его (без ущерба для SEO) зарезать?

 

Да хоть Атлантида. Если бы боты постили иероглифы в темах я бы все понял и не задавал вопросов. Но я вот ни как не могу понять, зачем собственными руками резать тот же PageRank от Google, любимого всеми пендосами и евриками.....

 

А насколько велик вклад Baidu в тот же самый PageRank от Google?

 

Ммм.... Я прям даже и не знаю с чего начать. Может быть тем, что PR зависит напрямую от ссылок ведущих на страницы сайта, а Baidu это не только поисковик, но и куча различных сервисов, которые за последние 5 лет нехило выросли.

Код:

https://ru.wikipedia.org/wiki/Baidu

В наше нелегкое время не стоит списывать китай со счетов. Хороший пример для понимания масштабов происходящего компания leeco. Кстати весьма интересно почитать информацию о ней.