1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13 окт 2010.

Загрузка
  1. Vitala

    Vitala Активный пользователь

    Регистрация:
    23.04.13
    Сообщения:
    124
    Симпатии:
    4
    Версия XF:
    1.1.4
    Подскажите пожалуйста как закрыть от индексации страницы по типу:

    домен/forums/тема/page-17?order=reply_count&direction=asc
     
  2. kovarnyi

    kovarnyi Местный

    Регистрация:
    09.05.13
    Сообщения:
    103
    Симпатии:
    1
    Версия XF:
    1.2.4
    каким плагином сайтмап генерите для ксенфоро?
     
  3. Aiden

    Aiden Местный

    Регистрация:
    03.01.12
    Сообщения:
    202
    Симпатии:
    73
    Версия XF:
    1.4.3
    Вот этим. Инструкции по работе/установке в архиве.
     
    myxen и dotsenko нравится это.
  4. kovarnyi

    kovarnyi Местный

    Регистрация:
    09.05.13
    Сообщения:
    103
    Симпатии:
    1
    Версия XF:
    1.2.4
    спасибо
    как выяснилось
    This add-on requires XenForo 1.2.0 RC2 or higher.
     
  5. Dragonara

    Dragonara Новичок

    Регистрация:
    08.11.13
    Сообщения:
    1
    Симпатии:
    0
    Версия XF:
    1.2.3
    ребят, поделитесь актуальным robots.txt для xenforo :)
     
  6. padre

    padre Местный

    Регистрация:
    26.01.12
    Сообщения:
    184
    Симпатии:
    63
    Версия XF:
    1.3.1
    Многие пишут про:
    Код:
    Disallow: /threads/*/poll
    Disallow: /threads/*/reply
    Каким образом можно попасть на эти страницы? :) Сейчас при расширенном ответе вроде add-reply...
     
  7. molin

    molin Новичок

    Регистрация:
    22.12.13
    Сообщения:
    4
    Симпатии:
    0
    Версия XF:
    1.2.2
    можно так сайт.ru/robots.txt
     
  8. Aksim

    Aksim Местный

    Регистрация:
    15.09.12
    Сообщения:
    261
    Симпатии:
    73
    Версия XF:
    1.5.9
    AvCrash, XenTerSiO и Zlata Jesen нравится это.
  9. padre

    padre Местный

    Регистрация:
    26.01.12
    Сообщения:
    184
    Симпатии:
    63
    Версия XF:
    1.3.1
    Долго собирал и просматривал. Мой итоговый такой:

    Код:
    User-agent: *
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /attachments/
    Disallow: /birthdays/
    Disallow: /conversations/
    Disallow: /f/*/?direction
    Disallow: /f/*/?order
    Disallow: /f/*/page-*?order
    Disallow: /find-new/
    Disallow: /goto/
    Disallow: /help/
    Disallow: /js/
    Disallow: /login/
    Disallow: /logout/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /moderation-queue/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /recent-activity/
    Disallow: /register
    Disallow: /register.html
    Disallow: /search.php
    Disallow: /search/
    Disallow: /watched/
    Disallow: /bookmarks/
    
    Host: ... :)
     
    vlady, FractalizeR, XenTerSiO и ещё 1-му нравится это.
  10. Sergey1

    Sergey1 Местный

    Регистрация:
    28.04.13
    Сообщения:
    176
    Симпатии:
    59
    Версия XF:
    1.4.1
    У вас форум в корне?

    И нижняя строка отсутствует

    Sitemap: http://мой домен/sitemap.xml. Или это не нужно?
    --- добавлено : May 3, 2014 6:09 AM ---
    Вообще, было бы замечательно, если бы вы дали пояснения, что какая строка делает, например:

    Disallow: /admin.php ---- запрещает роботам смотреть раздел админки. И т.д. Спасибо.
     
    Последнее редактирование модератором: 11 май 2014
  11. padre

    padre Местный

    Регистрация:
    26.01.12
    Сообщения:
    184
    Симпатии:
    63
    Версия XF:
    1.3.1
    Форум в корне, да. Строки про sitemap нет, потому что адрес файла sitemap можно указать в Вебмастере.Яндекс и в Google.Webmaster.Tools - я считаю так правильнее.
    Считаю что для владельцев движка и админов пояснения к строкам не нужны - это скорее чтобы проверить что ничего того что хочется закрыть не забыли :) Интересно, вот вам какая строка непонятна?
     
    Последнее редактирование модератором: 11 май 2014
  12. aligon7

    aligon7 Местный

    Регистрация:
    22.12.12
    Сообщения:
    979
    Симпатии:
    62
    Версия XF:
    1.4.7
    Вот это не понимаю, объясните пожалуйста
    Disallow: /goto/
     
  13. Sergey1

    Sergey1 Местный

    Регистрация:
    28.04.13
    Сообщения:
    176
    Симпатии:
    59
    Версия XF:
    1.4.1
    На мой взгляд, если дать пояснения по каждой строке, было бы понятно и, возможно, возникли бы предложения по корректировке или дополнению.
     
    Dassuk нравится это.
  14. padre

    padre Местный

    Регистрация:
    26.01.12
    Сообщения:
    184
    Симпатии:
    63
    Версия XF:
    1.3.1
    Это при переходе на странцу ошибки как-то поймал. Где нет прав для просмотра страницы. Что-то типа промежуточной страницы редиректа, которая определяет есть ли права для просмотра. Если нет - выдаёт ошибку, а у урле при этом какраз /goto/ - как заметил, сразу добавил в робота :)
     
    aligon7 нравится это.
  15. Sergey1

    Sergey1 Местный

    Регистрация:
    28.04.13
    Сообщения:
    176
    Симпатии:
    59
    Версия XF:
    1.4.1
    Вот проанализировал отсутствие и наличие строк у топикастера и второй робот тхт взял на этом форуме (с изменениями как будто ХФ-раша находится в корне). Очень хотелось бы аргументов и анализа.


    отсутствует у топикстера # robots.txt
    есть у обоих User-agent: *
    отсутствует в ХФ Disallow: /account/
    отсутствует в ХФ Disallow: /admin.php
    есть у обоих Disallow: /attachments/
    есть у обоих Disallow: /birthdays/
    отсутствует в ХФ Disallow: /conversations/
    отсутствует в ХФ Disallow: /f/*/?direction
    отсутствует в ХФ Disallow: /f/*/?order
    отсутствует в ХФ Disallow: /f/*/page-*?order
    есть у обоих Disallow: /find-new/
    отсутствует в ХФ Disallow: /goto/
    есть у обоих Disallow: /help/
    отсутствует в ХФ Disallow: /js/
    есть у обоих Disallow: /login/
    отсутствует в ХФ Disallow: /logout/
    есть у обоих Disallow: /lost-password/
    есть у обоих Disallow: /members/
    есть у обоих Disallow: /misc/
    отсутствует в ХФ Disallow: /moderation-queue/
    есть у обоих Disallow: /online/
    есть у обоих Disallow: /posts/
    есть у обоих Disallow: /recent-activity/
    есть у обоих Disallow: /register
    отсутствует в ХФ Disallow: /register.html
    есть у обоих Disallow: /search.php
    есть у обоих Disallow: /search/
    отсутствует в ХФ Disallow: /watched/
    отсутствует в ХФ Disallow: /bookmarks/
    отсутствует у топикстера Disallow: /forums/*/?direction
    отсутствует у топикстера Disallow: /forums/*/?order
    отсутствует у топикстера Disallow: /forums/*/page-*?order
    отсутствует у топикстера Disallow: /pages/privacy/
    отсутствует у топикстера Disallow: /threads/*/poll
    отсутствует у топикстера Disallow: /WhoHasVisited/
    отсутствует у топикстера Host: мой.сайт
    отсутствует у топикстера Sitemap: http://мой.сайт/sitemap.xml
    отсутствует в ХФ Host: ... :)
    --- добавлено : 3 май 2014 в 20:48 ---
    Дополнение: возможно я где-то ошибся :)
     
    Последнее редактирование модератором: 11 май 2014
  16. padre

    padre Местный

    Регистрация:
    26.01.12
    Сообщения:
    184
    Симпатии:
    63
    Версия XF:
    1.3.1
    @Sergey1 , просто есть страницы, на которые поисковики попасть физически не смогут, например, те же
    /moderation-queue/ (только для модераторов) ну или /conversations/ (у гостей нет переписок).
    Это всё скорее нужно для некой подстраховки что поисковики не должны просматривать эти страницы, если, например, появится ссылка где-то на личную переписку /conversations/. Раньше считалось что если стоит плагин Яндекс.Бар в браузере - то он может передавать некую инфу поисковику... Сейчас не знаю. Ну иво - лучше закрыть от греха :D
    Плюс у всех разный набор аддонов стоит - поэтому этот список редко будет одинаков у всех. Вон у меня стоит дополнения "Закладки", - я его скрываю в "Disallow: /bookmarks/" ...
     
  17. p4elka

    p4elka Новичок

    Регистрация:
    10.06.14
    Сообщения:
    6
    Симпатии:
    0
    Версия XF:
    1.3.2
    Подскажите новичку. Форум установлен на поддомен forum.сайт.ру Сайт.ру имеет свой робот.txt Нужен правильный robot.txt и куда его втыкнуть на форуме - файла в корне двига не нашел, его самому создавать нужно или на сегодняшний день он вобще не актуален.
     
  18. Grell

    Grell Пользователь

    Регистрация:
    10.04.14
    Сообщения:
    77
    Симпатии:
    38
    Версия XF:
    1.3.2
    Спрошу, наверное, здесь: можно ли закрыть каким-то образом от индексации целые разделы форума вместе с темами в них?
     
  19. AvCrash

    AvCrash Местный

    Регистрация:
    09.07.12
    Сообщения:
    121
    Симпатии:
    17
    Версия XF:
    1.3.2
    А зачем в robots.txt
    Код:
    Disallow: /forum/posts/
    Это же получается, что робот не сможет индексировать сообщения?
     
  20. Makoc

    Makoc Read only

    Регистрация:
    01.05.14
    Сообщения:
    8
    Симпатии:
    3
    Версия XF:
    1.3.1
    вот и меня этот вопрос волнует!
     

Поделиться этой страницей