1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13 окт 2010.

Загрузка
  1. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.736
    Симпатии:
    5.263
    Версия XF:
    1.5.10
    Disallow: /forum/register

    Это лишнее.
     
  2. Lex

    Lex Dura Lex

    Регистрация:
    27.11.10
    Сообщения:
    802
    Симпатии:
    152
    Версия XF:
    1.5.1
    Ром, а какой robots.txt на данном форуме?
     
  3. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    122
    Симпатии:
    10
    Версия XF:
    1.5.0
    Зайди, например на pr-cy.ru, вбей адрес форума и получишь статистику по нему, в том числе и его robots.txt.
     
  4. Lex

    Lex Dura Lex

    Регистрация:
    27.11.10
    Сообщения:
    802
    Симпатии:
    152
    Версия XF:
    1.5.1
    Тогда лучше так, подскажите что из нижеприведенного списка можно удалить, а что добавить?
    Код:
    User-agent: *
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /conversations/
    Disallow: /forums/*/?direction
    Disallow: /forums/*/?order
    Disallow: /js/
    Disallow: /login/
    Disallow: /login.php
    Disallow: /logout/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /moderation-queue/
    Disallow: /misc/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /search/
    Disallow: /search.php
    Disallow: /threads/*/poll
    Disallow: /threads/*/reply
    Disallow: /watched/
     
  5. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.736
    Симпатии:
    5.263
    Версия XF:
    1.5.10
    Зачем такие сложности? На любом сайте robots.txt хранится в корне. Следовательно достаточно просто дописать robots.txt после домена. Если файл на месте, то и увидите его содержимое.
    Каждый сам решает, что он хочет видеть в индексе ;)
    Можно сравнить с нашим. Не забывая учитывать при этом, что у нас еще попдапка forum/.
     
    Lex нравится это.
  6. vadimon

    vadimon Местный

    Регистрация:
    30.07.11
    Сообщения:
    122
    Симпатии:
    10
    Версия XF:
    1.5.0
    Согласен, просто часто пользуюсь этим сервисом, что и про самые способы уже позабыл )
     
  7. BLEF

    BLEF Местный

    Регистрация:
    01.02.12
    Сообщения:
    466
    Симпатии:
    54
    если используется переадресация с .рф на .ru, в host как правильно прописать?
     
  8. Alex Gludo

    Alex Gludo Bazinga!

    Регистрация:
    24.01.11
    Сообщения:
    498
    Симпатии:
    322
    Версия XF:
    1.3.4
    В Host писать тот домен, который является основным. В Вашем случае Host: domain.ru
     
  9. Betelgelze

    Betelgelze Местный

    Регистрация:
    30.12.11
    Сообщения:
    355
    Симпатии:
    101
    Версия XF:
    1.1.5
    Disallow: /logout/ ни к чему. Это команда для тех, кто авторизовался и захотел выйти. А ПС не зайдёт же ))

    тоже самое и Disallow: /account/ только для авторизовавшихся
     
  10. Pepelac

    Pepelac Продам луц в бутылках Команда форума

    Регистрация:
    28.09.10
    Сообщения:
    1.794
    Симпатии:
    1.348
    Хм. Учитывая, что тот же Гугл позволяет создать специального юзера, под именем которого на форум может входить Гугл Адсенс, я бы не утверждал, что эти строчки ни к чему.
     
  11. Betelgelze

    Betelgelze Местный

    Регистрация:
    30.12.11
    Сообщения:
    355
    Симпатии:
    101
    Версия XF:
    1.1.5
    ))) значит у вас слабовата система регистрации, раз боты у вас как хотят, так и регятся.
    При регистрации укажите вопрос, на который робот гугла не ответит. )))
    хотя с другой стороны в файл "резиновый" и туда можно без проблем напихать много всего. Это скорее всего больше для перестраховщиков
     
  12. Pepelac

    Pepelac Продам луц в бутылках Команда форума

    Регистрация:
    28.09.10
    Сообщения:
    1.794
    Симпатии:
    1.348
    Вы не поняли. Гугл не сам регистриуется, а владелец форума создает юзера и настраивает бота Гугл Адсенс так, чтобы тот мог зайти на форум. Нужно объяснять, зачем это делается, или сами догадаетесь? :)
     
  13. Betelgelze

    Betelgelze Местный

    Регистрация:
    30.12.11
    Сообщения:
    355
    Симпатии:
    101
    Версия XF:
    1.1.5
    Может тогда создать группу боты. Поместить туда пользователей этих, и для этой группы сделать отдельный шаблон без ссылок ников. Но это опять нарушает правила поисков поидее. :)
     
  14. Спамер

    Спамер Пользователь

    Регистрация:
    28.05.12
    Сообщения:
    1
    Симпатии:
    0
    Версия XF:
    1.1.1
    Хм, а можно по подробней? Где такая функция есть в Адсенсе?
     
  15. aligon

    aligon Активный пользователь

    Регистрация:
    19.04.12
    Сообщения:
    115
    Симпатии:
    3
    Версия XF:
    1.1.2
    Скажите, что это такое в robots.txt
    Disallow: /threads/*/poll
    Disallow: /threads/*/reply
    И нужно это?
     
  16. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Перевожу. Запрещены для индексирования все файлы в каталоге "threads", которые оканчиваются на "poll" и "reply"
     
  17. aligon

    aligon Активный пользователь

    Регистрация:
    19.04.12
    Сообщения:
    115
    Симпатии:
    3
    Версия XF:
    1.1.2
    а что может оканчиваются на "poll" и "reply"
     
  18. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Не знаю. Вы исходите из того, что robots.txt должен носить признаки универсальности. Но это тогда будет, если каждый будет друг у друга переписывать. А если не переписавать, то надо прочесть и понять как составляется robots.txt и сделать это самостоятельно. в этом случае файлы robots.txt будут редко повторятся.
    Я Вам написала как читается код, а для чего это надо знает только автор robots.txt
     
  19. shoop

    shoop Пользователь

    Регистрация:
    13.08.12
    Сообщения:
    56
    Симпатии:
    0
    Кто поможет со простым robots если форум лежит в корне
     
  20. vovik1646

    vovik1646 Пользователь

    Регистрация:
    15.12.12
    Сообщения:
    88
    Симпатии:
    12
    Версия XF:
    1.2.4
    У меня такой:
    Код:
    User-agent: *
    Disallow: /account/
    Disallow: /find-new/
    Disallow: /help/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /misc/style/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /search/
    Disallow: /admin.php
    Disallow: /index.php?account/
    Disallow: /index.php?find-new/
    Disallow: /index.php?help/
    Disallow: /index.php?goto/
    Disallow: /index.php?login/
    Disallow: /index.php?lost-password/
    Disallow: /index.php?misc/style/
    Disallow: /index.php?online/
    Disallow: /index.php?posts/
    Disallow: /index.php?recent-activity/
    Disallow: /index.php?register/
    Disallow: /index.php?search/
    Disallow: /admin.php
    Allow: /
    Да и хотелось бы у профи спросить, что убрать, ну что бы более популярнее было...
     

Поделиться этой страницей