Yandex (Error) / Яндекс не индексирует сайт, хотя ползает регулярно

Сталкиваюсь с тем, что яндекс отказывается нормально "ползать по сайту", постоянно показывает ошибки:

В яндекс webmaster ошибок нет...

В robots.txt яндекс не запрещен:
***qte***
User-agent: AhrefsBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Disallow: /

User-agent: Baiduspider-video
Disallow: /

User-agent: Baiduspider-news
Disallow: /

User-agent: Baiduspider-favo
Disallow: /

User-agent: Baiduspider-cpro
Disallow: /

User-agent: Baiduspider-ads
Disallow: /

User-agent: Baidu
Disallow: /

User-agent: Cliqzbot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: EasouSpider
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: linkdexbot
Disallow: /

User-agent: linkdexbot-mobile
Disallow: /

User-agent: magpie-crawler
Disallow: /

User-agent: meanpathbot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: omgilibot
Disallow: /

User-agent: proximic
Disallow: /

User-agent: Rogerbot
Disallow: /

User-agent: SiteBot
Disallow: /

User-agent: sogou
Disallow: /

User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: spbot
Disallow: /

User-agent: trendictionbot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: URLAppendBot
Disallow: /

User-agent: YoudaoBot
Disallow: /

User-agent: Yeti
Disallow: /

User-agent: Mediapartners-Google
Disallow: /

User-agent: *
Disallow: /register.html
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/birthdays/
Disallow: /forum/conversations/
Disallow: /forum/find-new/
Disallow: /forum/forums/*/?direction
Disallow: /forum/forums/*/?order
Disallow: /forum/forums/*/mark-read?date
Disallow: /forum/forums/*/page-*?order
Disallow: /forum/help/
Disallow: /forum/login/
Disallow: /forum/lost-password/
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/
Disallow: /forum/pages/privacy/
Disallow: /forum/posts/
Disallow: /forum/recent-activity/
Disallow: /forum/register
Disallow: /forum/resources/?order
Disallow: /forum/resources/*/download?version
Disallow: /forum/resources/*/history
Disallow: /forum/resources/*/update?resource_update_id
Disallow: /forum/resources/authors/
Disallow: /forum/resources/categories/*/?order
Disallow: /forum/search
Disallow: /forum/search.php
Disallow: /forum/threads/*/poll
Disallow: /forum/WhoHasVisited/
Disallow: /chat/
Disallow: /taigachat/
Disallow: /chatbox/
Disallow: /shoutbox/

Host: www.ru.akaforums.com

Sitemap: http://www.ru.akaforums.com/sitemap.php
***unqte***

Гугл без проблем шерстит сайт... В режиме гостя все темы/метки можно просмотреть
В чем засада с яндекс???
--- добавлено : Jan 23, 2017 2:31 PM ---
Причем, настройки другого поддомена www.en.akaforums.com идентичны и яндекс там ползает и индексирует без проблем!

 

сделай sitemap в формате xml (через htaccess - гугл в помощ) или php, чтобы выводило на странице, а не скачивалось.

скорее всего в этом проблема.
--- добавлено : Jan 24, 2017 11:09 AM ---
посмотрел еще,
у тебя страниц почти 0,
= дополнительный фактор, а что ему индексировать?

 

Как почти 0?
Темы: 60
Сообщения: 64

 

Разделы пустые (много пустых разделов), это и не нравится паукам.

Наполни, я бы сделал минимум 3 топика в каждом, потом ждал у моря погоды.

 

Спасибо! так и сделаю.

Однако яндекс проиндексировал теги, а вот страницы с тегами почему-то не хочет индексировать.

 

Дальнейшее развитие событий:
Я просто написал в поддержку Яндекса. Те посмотрели и сказали, что это косяк с их стороны, исправили и через недели 2 сайт появился в поиске.