1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - коммерческий форумный движок от бывших создателей vBulletin, написанный на PHP.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13.10.2010.

Загрузка
  1. aligon7

    aligon7 Местный

    Регистрация:
    22.12.12
    Сообщения:
    997
    Симпатии:
    66
    Версия XF:
    1.4.7
    Так как заставить его принять это, а то у меня много ошибок.
    Да и архивы под хайдами, как он их может видить
     
  2. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    997
    Симпатии:
    545
    Версия XF:
    1.4.4
    Карта сайта. В ней есть все, потому что ни один имеющийся хайд не скрывает из карты сайта прямые ссылки на вложений, да и не должен.
     
  3. illusionist

    illusionist Заблокирован

    Регистрация:
    09.03.13
    Сообщения:
    141
    Симпатии:
    26
    Версия XF:
    1.4.7
    А вот я пошел простым путем подсмотрел сюда http://www.xf-russia.ru/robots.txt - разумеется выкинул resources для меня этот плуг, не актуальный. Ну и соответственно хост, www — не все любят использовать.
     
  4. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    Ребята привет всем у меня форум лежит в папке web , как правильно прописать нужно так Disallow: /help/ или Disallow: forums/help/

    у меня разделы открываются так mycomphelp.ru/forums/ljubye-problemy-s-kompjuterom.7/
     
  5. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    Disallow: forums/help/
     
  6. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    спасибо
     
  7. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    Хотя, прошу прощения. В вашем случае Disallow: /help/
     
  8. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    Почему? Я в принципе тоже так думал
     
  9. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    А почему нет? Вам же раздел help нужно закрыть от индексации?
    А теперь сравните: https://mycomphelp.ru/forums/help и https://mycomphelp.ru/help
     
  10. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    Ну значит так должно Disallow: forums/help/
     
  11. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    А теперь перейдите по ссылке: https://mycomphelp.ru/forums/help и посмотрите, что вы таким образом закрываете от индексирования
     
  12. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    сам форум получается или нет
     
  13. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    Вы закрываете раздел, таким образом, который у вас не существует. Вам же надо закрыть https://mycomphelp.ru/help/
     
  14. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    Да мне нужно закрыть все лишние от индекса, как мне правильно составить вы напишите мне одну или пару строк, как правильно должно а дальше я сам
     
  15. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    По-моему, речь шла о разделе https://mycomphelp.ru/help/, а не о всем форуме. А так, в этой теме все расписано, каким образом закрывать от индексации те или иные разделы/форумы/страницы.
     
  16. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    вот я и хочу узнать как правильно все таки делать так Disallow: forums/help/ или так Disallow: /help/
     
  17. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    Я же написал, что Disallow: /help/ и даже обосновал почему.
     
  18. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    ну все ясно спасибо
     
  19. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    123
    Симпатии:
    11
    Версия XF:
    1.5.0
    А вот я не уверен, что вам стало ясно.
     
  20. evgen583

    evgen583 Пользователь

    Регистрация:
    06.09.15
    Сообщения:
    18
    Симпатии:
    0
    Версия XF:
    1.5.0
    Вот мой, посмотри правильно все
    Код:
    User-agent: *
    Disallow: /attachments/
    Disallow: /misc/
    Disallow: /help/
    Disallow: /xentrade/
    Disallow: /unanswered/
    Disallow: /ReadPC/
    Disallow: /search/
    Disallow: /members/
    Disallow: /register/
    Disallow: /online/
    Disallow: /lost-password/
    Disallow: /recent-activity/
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /conversations/
    Disallow: /events/birthdays/
    Disallow: /events/monthly
    Disallow: /events/weekly
    Disallow: /find-new/
    Disallow: /forums/-/
    Disallow: /goto/
    Disallow: /help/
    Disallow: /login/
    Disallow: /misc/style?*
    Disallow: /misc/quick-navigation-menu?*
    Disallow: /online/
    Disallow: /ajax/
    Disallow: /texnicheskaja-podderzhka.131/
    Allow: /
    
    Host: https://мой сайт.ru
    
    Sitemap: https://мой сайт.ru/sitemap.php
     

Поделиться этой страницей