1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13 окт 2010.

Загрузка
  1. Votaras

    Votaras Местный

    Регистрация:
    22.01.13
    Сообщения:
    1
    Симпатии:
    0
    Версия XF:
    1.1.3
    Вот это убрать, уже не работает:
    Код:
    Allow: /
    А переписку, вот это:
    Код:
    Disallow: /conversations/
    добавить не надо?
     
  2. vovik1646

    vovik1646 Пользователь

    Регистрация:
    15.12.12
    Сообщения:
    88
    Симпатии:
    12
    Версия XF:
    1.2.4
    В смысле Allow: /. Это вроде почти в каждом роботе лежит.
    В смысле что добавить, или это все сказанно от балды???
    Где гении этого форума, или все стало тихо. Хотелось бы услышать от завсегдатых, норм робот или нет???
     
  3. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.525
    Симпатии:
    3.322
    Версия XF:
    1.5.9
    Если убрать Allow / , то убираем разрешение индексации главной страницы. Естественно, что это неправильно. Убирать нельзя.
    Смысла убирать переписки никакого, так как для гостя они все равно не доступны. Убирать нужно из того, что доступно гостю.
     
    vovik1646 нравится это.
  4. Zummic

    Zummic Активный пользователь

    Регистрация:
    01.11.12
    Сообщения:
    50
    Симпатии:
    0
    Версия XF:
    1.1.2
    Кстати почему то у меня его нет, кто подскажет что в первую очередь надо прописать чтоб не индексировал. Ну или выложите дефолтный какой нить, мне этого будет достаточно
     
  5. BoixoS

    BoixoS Новичок

    Регистрация:
    02.09.12
    Сообщения:
    6
    Симпатии:
    0
    Версия XF:
    1.1.3
    Доброго времени суток. Я столкнулся с проблемой индексации сайта.

    Состряпал robots.txt и загрузил на сайт, после проверки роботами в индексации яндекса так и осталось всего 2 страницы(главная и форум).
    [​IMG]

    Я проверил на ошибки в Яндекс. Вебмастер. вот что он показал мне.
    [​IMG]

    Гугл выдает такую таблицу с ошибками...[​IMG]

    Я затрудняюсь решить данную проблему. Взгляните на мой роботс и подскажите с чем это может быть связанно? Буду очень признателен.
    http://mangustoff.net/robots.txt
     
  6. Oleg-2012

    Oleg-2012 Местный

    Регистрация:
    21.04.12
    Сообщения:
    646
    Симпатии:
    267
    А при чём тут robots.txt ?

    На скриншёте явно видны ошибки 404, дело в сайте, проверяйте ссылки, либо Вы заблокировали поискового бота, ну тут 100% дело не в роботс !
     
  7. Oleg-Sentia

    Oleg-Sentia Местный

    Регистрация:
    30.12.10
    Сообщения:
    64
    Симпатии:
    10
    Версия XF:
    1.4.8
    как это сделать?
    Как задать логин и пароль в тех табличках что в адсенсе?
     
  8. eterskov

    eterskov Местный

    Регистрация:
    12.03.12
    Сообщения:
    1.329
    Симпатии:
    384
    Версия XF:
    1.2.3
    Как правильно прописывать Sitemap?
    1. http://www. ***
    2. http:// ***
    3. www. ***
     
  9. Jigsaff

    Jigsaff Местный

    Регистрация:
    15.03.13
    Сообщения:
    44
    Симпатии:
    3
    Версия XF:
    1.3.0
    Тоже интересует этот вопрос.
     
  10. asket

    asket Активный пользователь

    Регистрация:
    07.02.13
    Сообщения:
    152
    Симпатии:
    40
    Версия XF:
    1.2.0
    Второе значение.
     
    eterskov нравится это.
  11. eterskov

    eterskov Местный

    Регистрация:
    12.03.12
    Сообщения:
    1.329
    Симпатии:
    384
    Версия XF:
    1.2.3
    А можете пояснить, почему?
     
  12. asket

    asket Активный пользователь

    Регистрация:
    07.02.13
    Сообщения:
    152
    Симпатии:
    40
    Версия XF:
    1.2.0
    Это надо спросить у яндекса, у них в правилах так написано.
     
    eterskov нравится это.
  13. eterskov

    eterskov Местный

    Регистрация:
    12.03.12
    Сообщения:
    1.329
    Симпатии:
    384
    Версия XF:
    1.2.3
    Подскажите пожалуйста, как правильно закрыть страницу "домен /index.html" (зеркало) от индекса? Что бы не было дублей двух страниц.
    Прописать Disallow: /index.html ?
     
  14. eterskov

    eterskov Местный

    Регистрация:
    12.03.12
    Сообщения:
    1.329
    Симпатии:
    384
    Версия XF:
    1.2.3
    Никто не знает? :(
    Вернее так закроет конечно, но правильно это будет или нет?
     
  15. eterskov

    eterskov Местный

    Регистрация:
    12.03.12
    Сообщения:
    1.329
    Симпатии:
    384
    Версия XF:
    1.2.3
    Люди ...
     
  16. aligon7

    aligon7 Местный

    Регистрация:
    22.12.12
    Сообщения:
    983
    Симпатии:
    62
    Версия XF:
    1.4.7
    вот мой

    User-agent: *
    Disallow: /attachments/
    Disallow: /find-new/
    Disallow: /forums/*/?direction
    Disallow: /forums/*/?order
    Disallow: /forum/forums/*/page-*?order
    Disallow: /help/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /recent-activity/
    Disallow: /register
    Disallow: /search/
    Disallow: /search.php
    Disallow: /threads/*/poll

    Host:

    Sitemap:

    Только у меня стоит плагин, для Sitemap, как её правильно прописать?
    И вопрос
    Это можно оставить или не нужно
    Код:
    Disallow: /attachments/
     
  17. aligon7

    aligon7 Местный

    Регистрация:
    22.12.12
    Сообщения:
    983
    Симпатии:
    62
    Версия XF:
    1.4.7
    здесь, что больше не общаются и не помогают?
     
  18. Oleg-2012

    Oleg-2012 Местный

    Регистрация:
    21.04.12
    Сообщения:
    646
    Симпатии:
    267
    Про Disallow: /attachments/ лучше оставить, чтобы боты туда не долбились...

    Про Sitemap не понял вопрос, просто указываете путь к карте и всё, например у меня так:

    Sitemap:http://Мой_домен/sitemap.xml
     
    Mirovinger нравится это.
  19. Bu11d0zer

    Bu11d0zer Read only

    Регистрация:
    22.01.13
    Сообщения:
    29
    Симпатии:
    0
    Версия XF:
    1.2.2
    Подскажите пожалуйста, как быть с роботс, если на форуме установлены ресурсы?
    блочить ресурсы или блочить раздел форума?
    как вообще быть в данной ситуации?
     
  20. aligon7

    aligon7 Местный

    Регистрация:
    22.12.12
    Сообщения:
    983
    Симпатии:
    62
    Версия XF:
    1.4.7
    attachments можешь закрыть, а вот раздел не надо
     

Поделиться этой страницей