1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - коммерческий форумный движок от бывших создателей vBulletin, написанный на PHP.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13.10.2010.

Загрузка
  1. mukti

    mukti Активный пользователь

    Регистрация:
    24.11.10
    Сообщения:
    12
    Симпатии:
    0
    А если IDN домен, как host написать лучше?

    как слово.рФ или XN--B1ARJBL.XN--P1AI
     
  2. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    как XN--B1ARJBL.XN--P1AI я прописал как слово яндекс не понял что ему говорят и поставил кучу вопросов
     
  3. mukti

    mukti Активный пользователь

    Регистрация:
    24.11.10
    Сообщения:
    12
    Симпатии:
    0
    Тогда наверное лучше по русски оставить.
     
  4. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    не вы меня не поняли. Извиняюсь я кривой писатель. Серверы и программы установленые на них не понимают кирилицу.
     
  5. mukti

    mukti Активный пользователь

    Регистрация:
    24.11.10
    Сообщения:
    12
    Симпатии:
    0
    Спасибо. Исправил:)
     
  6. Shadow

    Shadow Активный пользователь

    Регистрация:
    31.10.10
    Сообщения:
    88
    Симпатии:
    2
    Дайте правильный и самый оптимальный вариант! Пожалуйста
     
  7. KODEAK

    KODEAK Местный

    Регистрация:
    27.09.10
    Сообщения:
    41
    Симпатии:
    22
    Код:
    User-agent: *
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /attachments/
    Disallow: /css.php
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /forums/*/?direction
    Disallow: /forums/*/?order
    Disallow: /js/
    Disallow: /help/
    Disallow: /login/
    Disallow: /login.php
    Disallow: /logout/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /moderation-queue/
    Disallow: /misc/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /recent-activity/
    Disallow: /search/
    Disallow: /search.php
    Disallow: /threads/*/poll
    Disallow: /threads/*/reply
    Disallow: /watched/
     
  8. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    Эти адреса стоит запрещать только в том случае если это необходимо и есть понимание для чего они. В некоторых случаях убирание этих адресов принесет больше вреда чем пользы.
     
    Mirovinger и CyberAP нравится это.
  9. Lex

    Lex Dura Lex

    Регистрация:
    27.11.10
    Сообщения:
    820
    Симпатии:
    159
    Версия XF:
    1.5.1
    У каждого свой самый правильный )), и все же кто нибудь из более опытных пользователей, понимающих толк в данном форуме, дайте текст Sitemap (только один) без оговорок, тот что наиболее оптимален.
     
  10. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    В принципе и без robots.txt форум нормально индексируется :)
    А для тонкой его настройки надо знать для чего он и что находится по каждому из предложенных путей, чтобы оптимизировать процесс сканирования форума поисковиками.
    А если по существу я бы взял вариант предложенный KODEAK и просто убрал строчки указанные, в предыдущем моем сообщении.
     
  11. fesenych

    fesenych Активный пользователь

    Регистрация:
    18.02.11
    Сообщения:
    38
    Симпатии:
    3
    А как будет правильно, если форум установлен в корень?
    1) Disallow: /login/
    2) Disallow: /forum/login/
     
  12. ОлегЪ

    ОлегЪ Местный

    Регистрация:
    28.09.10
    Сообщения:
    59
    Симпатии:
    19
    Версия XF:
    1.2.1
    Так правильно.
     
  13. GraD

    GraD Местный

    Регистрация:
    20.05.11
    Сообщения:
    181
    Симпатии:
    49
    Версия XF:
    1.5.2
    а как скрыть форму входа/регитсрации?
     
  14. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5 746
    Симпатии:
    5 311
    Версия XF:
    1.5.18
    Disallow: /forum/register

    или

    Disallow: /register
     
    GraD нравится это.
  15. GraD

    GraD Местный

    Регистрация:
    20.05.11
    Сообщения:
    181
    Симпатии:
    49
    Версия XF:
    1.5.2
    а это поможет от того что гугл на каждой странице вначале читает такое и выдает в рузультатах поиска:
    "Форум такойта
    мойсайт.ру
    15 июня 2011 Ваше имя или e-mail: У Вас уже есть учётная запись? Забыли пароль? Нет, зарегистрироваться сейчас. Да, мой пароль: Запомнить меня."
     
    fesenych нравится это.
  16. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5 746
    Симпатии:
    5 311
    Версия XF:
    1.5.18
    А точно выдает? Сделайте скрин.
     
  17. fesenych

    fesenych Активный пользователь

    Регистрация:
    18.02.11
    Сообщения:
    38
    Симпатии:
    3
    Такая же проблема как у GraD.
     
  18. GraD

    GraD Местный

    Регистрация:
    20.05.11
    Сообщения:
    181
    Симпатии:
    49
    Версия XF:
    1.5.2
    Вот скриншот:
    123.png
    и ещё это:
    google-poisk.png
     
  19. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5 746
    Симпатии:
    5 311
    Версия XF:
    1.5.18
    И? Чего в индексе делает ссылка на поиск?
    Вторая ссылка вполне себе нормальная - профиль пользователя. Хотя здесь профили пользователей также закрыты для ботов.
     
  20. infis

    infis Местный

    Регистрация:
    27.06.11
    Сообщения:
    5 966
    Симпатии:
    3 548
    Версия XF:
    1.5.9
    [offtop]В Мегафоне, видимо, так и не осилили составить правильный robots.txt... Хотя в любом случае не защищенный доступ к приватным СМС - это вообще нонсенс, так что наверняка это просто отмазка на зеленость админа.[/offtop]
     

Поделиться этой страницей