Поисковые роботы почти всегда просматривают неизвестную страницу

Поисковые роботы почти всегда просматривают неизвестную страницу.Бывает что от яндекса по 10 роботов просматривали неизвестную страницу, подскажите что это значит и нормально ли это.


Вот мой роботс, скопипастил с этого форума =)

Код:

# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /forum/attachments/
Disallow: /forum/find-new/
Disallow: /forum/forums/*/?direction
Disallow: /forum/forums/*/?order
Disallow: /forum/forums/*/page-*?order
Disallow: /forum/help/
Disallow: /forum/login/
Disallow: /forum/lost-password/
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/
Disallow: /forum/posts/
Disallow: /forum/recent-activity/
Disallow: /forum/register
Disallow: /forum/search/
Disallow: /forum/search.php
Disallow: /forum/threads/*/poll
 
Host: www.market4game.ru

 

скорее всего просматривают страницу какого либо хака (например страницу портала)

 

Когда смотрят портал, то пишет "index" .

Спасибо за ответ

 

Плагин из этой темы взят:
http://www.xf-russia.ru/forum/threads/Отображение-поисковых-роботов-ru.1221/