google робот не видит закрытый контент

Добрый день.
Как мне разрешить роботам-поисковикам доступ в темы форума, которые видны зарегеным? На ИПБ это делалось созданием группы для роботов и соответствующие права..

сейчас смотрю результаты поисков, и вижу ссылки только главной с контентом из новостей домен.ру - типа блога, но нет ни одной ссылки типа "домен.ру/форум/номер_поста" А раз просмотр у меня закрыт для гостей (гостям видна только новостная лента и часть контента из нее), то я сделал вывод, что поисковики не видят темы..


спасибо.

 

Тут писали, что так делать не стоит, клоакинг, пользователи одно видят, а ПС другое. За это серьезные санкции могут быть

 

пользователи видят одно, а поисковики этого не видят. За исправление санкции, я правильно понял, что вы хотели сказать?

 

Санкции будут, если вы сделаете так как хотите в первом посте, вы не сможете засунуть всех ботов в группу одну

 

спасибо за разъяснения, но мне нужно всего лишь индексация страниц, доступных пользователям. В данный момент происходит индексация информации с только главной страницы.

 

Любые поисковики являются гостями, поэтому поисковик и не видит разделы запрещённые для просмотра группы "гости". Сделать что бы именно конкретный поисковик видел раздел можно, но к примеру гугл может после такого ввести ваш проект в мусорку, оттуда вылезти бывает иногда очень трудно. На вашем месте я бы этого не делал.

 

Как же так получается, выходит только "умельцы" ИПБ (может еще кто) предусмотрели индексацию роботами приватных тем?

 

И какой смысл в индексации приватного контента?
Ведь если он будет доступен ПСам, то и обычный пользователь сможет увидеть его (не на прямую на сайте, конечно).

 

В моем случае привлечение к регистрации интересующихся контентом.

 

В этом случае нужно не полностью закрывать, а давать какие-то анонсы, закрывая при этом основной контент. Как-то так.