1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Поисковые роботы почти всегда просматривают неизвестную страницу

Тема в разделе "Для новичков", создана пользователем KakBeOlolo, 19 ноя 2011.

Загрузка
  1. KakBeOlolo

    KakBeOlolo Местный

    Регистрация:
    08.10.11
    Сообщения:
    511
    Симпатии:
    91
    Версия XF:
    1.1.2
    asdasdasdasdasfasfasdas.jpg

    Поисковые роботы почти всегда просматривают неизвестную страницу.Бывает что от яндекса по 10 роботов просматривали неизвестную страницу, подскажите что это значит и нормально ли это.


    Вот мой роботс, скопипастил с этого форума =)

    Код:
    # robots.txt
    User-agent: *
    Disallow: /register.html
    Disallow: /forum/attachments/
    Disallow: /forum/find-new/
    Disallow: /forum/forums/*/?direction
    Disallow: /forum/forums/*/?order
    Disallow: /forum/forums/*/page-*?order
    Disallow: /forum/help/
    Disallow: /forum/login/
    Disallow: /forum/lost-password/
    Disallow: /forum/members/
    Disallow: /forum/misc/
    Disallow: /forum/online/
    Disallow: /forum/posts/
    Disallow: /forum/recent-activity/
    Disallow: /forum/register
    Disallow: /forum/search/
    Disallow: /forum/search.php
    Disallow: /forum/threads/*/poll
     
    Host: www.market4game.ru
     
  2. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1.921
    Симпатии:
    1.160
    Версия XF:
    1.0.4
    скорее всего просматривают страницу какого либо хака (например страницу портала)
     
    KakBeOlolo нравится это.
  3. KakBeOlolo

    KakBeOlolo Местный

    Регистрация:
    08.10.11
    Сообщения:
    511
    Симпатии:
    91
    Версия XF:
    1.1.2
    Когда смотрят портал, то пишет "index" .

    Спасибо за ответ
     
  4. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.740
    Симпатии:
    5.269
    Версия XF:
    1.5.11
    Отображение поисковиков - это плагин? Если да, то прицепите его сюда. Может вовсе дело в нем.
     
  5. KakBeOlolo

    KakBeOlolo Местный

    Регистрация:
    08.10.11
    Сообщения:
    511
    Симпатии:
    91
    Версия XF:
    1.1.2

Поделиться этой страницей