1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - коммерческий форумный движок от бывших создателей vBulletin, написанный на PHP.

Робот-шпион

Тема в разделе "OFF-топик", создана пользователем лиса, 28.06.2012.

Загрузка
  1. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    26 июня я обнаружила на своих сайтах робота Яндекса. Робот представился как "YandexSomething". Поскольку мне не безразлично, то какие роботы посещают мои сайты и нехорошим роботам запрещено посещать мои сайты, я обратилась в Яндекс с вопросом о функциях робота. Мне ответили
    Ничего себе, у них есть служебные роботы :thumbsdown: Отсылаю IP робота и получаю ответ
    Спрашиваю, а как же адрес робота в логах
    http://hghltd.yandex.net/yandbt
    Яндекс ушёл от ответа
    Как я поняла, от самого робота Яндекс не отказывается, при этом так и не разъяснил назначение робота, но IP робота не принадлежит Яндексу. Значит, адрес робота мог быть поддельным.

    Может кто сталкмвался с такой проблемой или есть информация по данному вопросу?
     
  2. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    Если яндекс говорит что это не его бот, то так скорее всего и есть, в крайнем случае по whois можно проверить ip адрес.
    А всю дополнительную информацию - типа юзер агента и адреса бота другой бот мог спокойно выставить как у яндекса для того чтобы его не банили.
     
  3. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Разве нельзя подделать IP. Вот его IP
    inetnum: 91.201.8.0 - 91.201.11.255
    netname: INET-LTD-NET
    remarks: rev-srv: ns1.kemnet.ru.
    descr: Inet Ltd.
    country: RU
    org: ORG-IL116-RIPE
    admin-c: BAV100-RIPE
    tech-c: BAV100-RIPE
    status: ASSIGNED PI
    mnt-by: RIPE-NCC-END-MNT
    mnt-by: MNT-INET-LTD
    mnt-lower: RIPE-NCC-END-MNT
    mnt-routes: MNT-INET-LTD
    mnt-domains: MNT-INET-LTD
    source: RIPE # Filtered
    remarks: rev-srv attribute deprecated by RIPE NCC on 02/09/2009

    organisation: ORG-IL116-RIPE
    org-name: Inet Ltd.
    org-type: OTHER
    address: Russia, 650993, Kemerovo, N.Ostrovskogo st., 32, office 320
    mnt-ref: MNT-INET-LTD
    mnt-by: MNT-INET-LTD
    source: RIPE # Filtered

    person: Belskij Aleksey Vladimirovich
    address: Russia, 650993, Kemerovo, N.Ostrovskogo st., 32, office 320
    phone: +7 3842-25-34-58
    nic-hdl: BAV100-RIPE
    source: RIPE # Filtered

    % Information related to '91.201.8.0/22AS44135'

    route: 91.201.8.0/22
    descr: Inet Ltd.
    origin: AS44135
    mnt-by: MNT-INET-LTD
    source: RIPE # Filtered

    % This query was served by the RIPE Database Query Service version 1.15 (WHOIS3)
     
  4. Finelai

    Finelai Местный

    Регистрация:
    22.06.12
    Сообщения:
    100
    Симпатии:
    11
    Версия XF:
    1.1.3
    Лиса, почему вас так заботит деятельность каких-то ботов, когда у вас на портале и защищать то нечего (даже картинки не отображаются :()? Работать надо конкретно с фактами, будь то это попытки взлома, воровства и т.п. Интернет, как базарная площадь, кажется, что вокруг куча подозрительных личностей, которые положили глаз на ваш кошелек. Если к каждому приглядываться или опасаться, то уж лучше совсем не ходить на этот "базар".
     
    Yoskaldyr нравится это.
  5. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    нет.
    А если более точно, то просто вероятность этого на практике стремится к нулю.
     
    лиса нравится это.
  6. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Потому что это мои сайты, если кто приходит, то с пользой для моих сайтов. У меня забанено 26 роботов. Роботам восьми поисковиков разрешено посещать сайты.
    По всей видимости Вы не там смотрели. ;) Потом, на любом сайте всегда есть что-то интересное и ценное. Ссылками, например, торгуют - нашёл, получи 2000 рублей с админа
    http://www.news.vizantium.ru/tema.php?t=627
    Так и поступаю. До взлома дело не доходило и вряд ли дойдёт, если только конкретный сайт закажут. А факты, так их много и разные. Вот смотрю файл логов по весу в три раза больше - гостю пишу бан....
    Ну зачем так категорично! Волков боятся, в лес не ходить. А на базаре достаточно карманы и сумочки закрытыми держать, а доставая деньги не показывать их все сразу. Поэтому и интереса нет к тем кто заботится о своём имуществе.
     
  7. Finelai

    Finelai Местный

    Регистрация:
    22.06.12
    Сообщения:
    100
    Симпатии:
    11
    Версия XF:
    1.1.3
    Лиса, извиняюсь за картинки. Это проблемка с моей Оперой =(
    экономите ресурсы? а можно поинтересоваться каким именно поисковикам вы отдали предпочтения, а каким нет?

    Это за то, что он проявляет активность больше нулевой? Да у вас не сайт, а тюрьма строгого режима по-ходу... :eek:
     
  8. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Пока нет. У меня маленький сайт. Скорее всего учитываю ошибки старших товарищей, которые на определённом этами начинают нервничать по поводу кодировки базы, нагрузки на сервер. В последнем случае начинают банить всех роботов подряд оставляя на сайте полторы калеки. При этом из поиска выкидываются сотни и тысячи страниц, сайт теряет рейтинги.
    Иначе вопросом о роботах всё равно займётесь или будете скармливать им большую часть рессурсов сервера.
    У меня нет предпочтений. Не найдёте и в инете рекомендации того, какие поисковики полезнее, а какие нет. Если так можно выразится, я сотрудничаю со всеми поисковиками, роботы которых индексируют сайт не создавая нагрузки на сервер и, обязательно, соблюдают инструкции файла robots.txt на моём сайте.
    Пусть так. Зато я не буду в истерике "растреливать" всех роботов подряд, когда бардак в этой части станет невыносимым. О последствиях я написАла выше.
     
  9. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    Как-то это все напоминает борьбу с ветряными мельницами - со стороны довольно забавно, правда смысла ноль.

    Смысла вообще не вижу банить поисковых ботов - что это за сервер, который не может выдержать пару десятков дополнительных пользователей онлайн. Например на собственных ресурсах дополнительных 20 пользователей ботов онлайн ну никак не создадут существенную нагрузку к существующим 100-200 реальным пользователям. К тому же реальные пользователи и css грузят и вложения и много еще чего и все это одновременно, а поисковые боты в большинстве случаев только html грузят.
     
  10. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    От чего же тогда в файле robots.txt пишут инструкции для роботов двух, трёх поисковиков? Должно быть дело в том, когда создаётся критическая нагрузка на сервер с сайта начинают гнать роботов, а не пользователей. Оставшимся роботам ограничивают посещение страниц для индексирования с вытекающими негативными последствиями для сайта. Или это тоже борьба с ветряными мельницами?

    У меня виртуальный хостинг за 100 р в месяц, на котором крутятся девять сайтов. Боты создают нагрузку около 10%. А до того, как я начала ограничивать доступ ботам нагрузка доходила до 17% - в то время кроме меня и ботов никого не было на сайтах. После чистки роботов нагрузка снизилась до 6%. В то же время, на моих сайтах кроме ботов с известных поисковиков, ползают два бота с Украины, бот из США, бот из Франции.
     
    Finelai нравится это.
  11. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    тогда нет вопросов. Хотя нет - а сколько живых пользователей не сайте одновременно онлайн?
     
  12. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Количество пользователей можно списать на погрешность измерения. Их всего зарегистрировалось150. Гостей днём 50 в час, ночью где-то от 10 до 20 Сайты ещё не до конца проидексированы.
    Пообщавшись с Вами я пришла к выводу, что с роботами надо заниматься с самого начала, хотя бы потому, что бы их потом необвинять незаслужено в превышении нагрузок на сервер.
     
  13. Finelai

    Finelai Местный

    Регистрация:
    22.06.12
    Сообщения:
    100
    Симпатии:
    11
    Версия XF:
    1.1.3
    :thumbsup: Я что-то наверно пропустил в этой жизни. Это так сейчас зарабатывают в интернетах? Не качеством, так количеством? Остается только позавидовать вашей энергичности, девушка. Ещё 10 по 10 и можно открывать свою контору по продвижению сайтов)
     
  14. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Зарабатывают каждый так, как умеет или хочет, или поступает так, как большинство и чему обучают сеошники, вебэфекторы...
    Заработок для меня цель не первичная, поэтому не актуальна на начальном этапе. А от того, что я буду арендовать дорогой хостинг ничего не изменится.
    Количество сайтов как раз определяет их качество. Восемь сайтов являются узкоспециализированными по тематике, поэтому качественными по содержанию. Их раскрутить почти нереально, тем более, что это форумы. Один сайт обычный, как у всех моих тематических конкурентов в интернете. Естественно, что этот сайт сейчас лидирует среди моих остальных восьми сайтов. Но он у меня ещё и рекламирует те восемь с узкой специализацией. Реклама идёт только для зарегистрированных пользователей. После регистрации 99% пользователей выбирает специализированные форумы.
    Не признаю конторы как инструмент продвижения сайта - всем обещают первые места. Не призаю их методы, поскольку все они преследуют цели "обмана" роботов поисковиков.
     
  15. Finelai

    Finelai Местный

    Регистрация:
    22.06.12
    Сообщения:
    100
    Симпатии:
    11
    Версия XF:
    1.1.3
    Никогда такого не было. Но ваша организация мне нравится. Продуманный ход. Особенно, если для всех сайтов используется единая пользовательская БД.

    Мне кажется они не признания ищут, а тупо выполняют свою функцию за деньги. А главное это работает (если все переводить в цифры,конечно).
     
  16. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Это меня радует, конкурентов вообще не будет.
    База не единая. Для каждого сайта используется портал, которые для зарегистрированного пользователя объеденены в единую портальную систему.
    - единая регистрация
    - единый сервис
    - единая статистика
    - имеется единый поиск по всем сайтам портала
    - по результатам поиска пользователь будет перенаправлен на сайт, где находится найденная тема
    - имеется возможность переноса тем между сайтами
    - для модератора его форумы с других сайтов выводятся на основной и он может их модерировать с одного сайта
    Но все сайты самостоятельны для роботов. Имеют свой поиск. Пользователя можно забанить на одном или несколькиъ сайтах..... Короче, сайты это самостоятельные форумы с узкой специализвцией.
     
  17. Finelai

    Finelai Местный

    Регистрация:
    22.06.12
    Сообщения:
    100
    Симпатии:
    11
    Версия XF:
    1.1.3
    Это все замечательно. Только, опять же, не вижу преимуществ по сравнению с одним порталом (именно портал, а не сайты или какие-то "портальные системы", попрошу не путать понятия), который объединяет все специализированные темы, грамотно их разделяя (будь то разделы форума, теги и т.п.). Разве что ТИЦ набивать ;)
     
  18. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    ТИЦ, это что-то связанное со ссылками? На моих сайтах все внешние ссылки, в том числе служебные (меню и т.д.) закрыты для ботов.
    Цель у меня одна, создать комфортные условия и благоприятную обстановку для пользователей Портала, что бы получить от них максимальную отдачу за пользование моими сайтами.
    Напротив, для роботов создать невыносимо строгие условия (с точки зрения человека), что бы боты служили моим интересам, а не интересам поисковиков. А то, иду в вэб мастерскую гугля, мне предлагаются настройки для роботов и такие и этакие, где-то напишут, что мои пожелания не обязательны для ботов, а в результате все настройки фикция - гугль тянет с сайтов то, что ему нужно. Так ещё у поисковиков есть роботы, которые прикрываясь их лейблами, игнорируя правила для роботов на сайте, ползают там, где хотят.

    Вот я и пришла сюда с этой темой, может кто, что знает про роботов шпионов.
     
  19. Finelai

    Finelai Местный

    Регистрация:
    22.06.12
    Сообщения:
    100
    Симпатии:
    11
    Версия XF:
    1.1.3
    YandexSomething - бот для новостных сайтов, ваш сайт был признан новостным (есть такие процедуры у Яндекса) и поэтому он вас посещает. Наткнулся на новость по теме:

    С другой стороны, такие боты в конечном итоге полезны, т.к. ваш сайт, в отличии от других сайтов, которые новостными не признаны, обновляется чаще, чем раз в две недели. И все это так или иначе влияет на "вес" вашего сайта по целевым запросам в поиске яндекса. Я бы не стал так яро открещиваться от подобного бота, имея в распоряжении достаточные мощности.
     
    лиса нравится это.
  20. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Finelai, спасибо за информацию. Но я не баню роботов просто так. И, как выяснолось в переписке с Яндексом, название робота совпадает с ихнем роботом, а IP-адрес не принадлежит Яндексу. То есть, это хакерский робот.
    Что касается банов роботов самого Яндекса, и наличие последствий, так это самомнение того админа. Я банила всех роботов Яндекса на определённых участках сайта. И сообщила об этом Яндексу. Ни каких "репрессий" к моим сайтам не последовало. После получения от Яндеса гарантий, что индексация не принесёт ущерба моим сайтам, доступ на сайт для роботов Яндекса был открыт.
     

Поделиться этой страницей