1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13 окт 2010.

Загрузка
  1. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Был такой вопрос - пока нет. Судя по требованиям на оф. сайте - должно быть. Используйте внешние пока, если принципиально в настоящее время
     
  2. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.577
    Симпатии:
    1.614
    Версия XF:
    1.5.10
    Нет, а зачем карта сайта для форума? Гугл сам её может создать в процессе индексации.
     
  3. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.740
    Симпатии:
    5.269
    Версия XF:
    1.5.11
    Если потоку воды не прорыть канаву, он конечно и сам русло себе со временем сделает. Но с канавой дело пойдет намного быстрей. Примерно так.
     
    FrozenLord, Dimm-skY, CyberAP и 2 другим нравится это.
  4. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.577
    Симпатии:
    1.614
    Версия XF:
    1.5.10
    Ну это логично, да. Я про то что и без неё можно обойтись, если форум не такой быстрорастущий. Скорость индексации у гугла благо можно настроить :)
     
  5. baron

    baron Местный

    Регистрация:
    02.11.10
    Сообщения:
    28
    Симпатии:
    7
    Версия XF:
    1.3.1
    Выложите пожалуйста уже проверенный, готовый роботс. Думаю многим будет очень полезно.
     
  6. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Вот мой

    User-agent: *
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /attachments/
    Disallow: /css.php
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /forums/*/?direction
    Disallow: /forums/*/?order
    Disallow: /js/
    Disallow: /help/
    Disallow: /login/
    Disallow: /login.php
    Disallow: /logout/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /moderation-queue/
    Disallow: /misc/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /recent-activity/
    Disallow: /search/
    Disallow: /search.php
    Disallow: /threads/*/poll
    Disallow: /threads/*/reply
    Disallow: /watched/
     
    TAIFUN, Romchik®, FractalizeR и ещё 1-му нравится это.
  7. baron

    baron Местный

    Регистрация:
    02.11.10
    Сообщения:
    28
    Симпатии:
    7
    Версия XF:
    1.3.1
    Спасибо огромное)
     
  8. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    На первый взгляд можно немного сократить:

    Disallow: /login/
    Disallow: /login.php => Disallow: /login

    Disallow: /search/
    Disallow: /search.php =>Disallow: /search
     
  9. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1.921
    Симпатии:
    1.160
    Версия XF:
    1.0.4
    Так же на некоторых форумах будет лишним указывать
    Disallow: /attachments/
    т.к. гугл и яндекс дает неплохой трафик на картинках для сайтов определенных тематик.
     
    FractalizeR и CyberAP нравится это.
  10. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.577
    Симпатии:
    1.614
    Версия XF:
    1.5.10
    Вот это отсюда можно убрать потому что бот никогда сюда не попадёт:

    Disallow: /account/
    Disallow: /admin.php
    Disallow: /conversations/
    Disallow: /js/
    Disallow: /logout/
    Disallow: /moderation-queue/
    Disallow: /misc/
    Disallow: /posts/
    Disallow: /threads/*/poll
    Disallow: /threads/*/reply
    Disallow: /watched/
     
  11. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.740
    Симпатии:
    5.269
    Версия XF:
    1.5.11
    Как минимум тут ты не прав:
    Disallow: /misc/ - тут точно щас не помню, но если это не убрать, то sitemap generator пихает в карту что-то ненужное.
    Disallow: /posts/ - это нужно 100%, иначе яндекс индексирует likes для сообщений.
     
    FractalizeR нравится это.
  12. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.577
    Симпатии:
    1.614
    Версия XF:
    1.5.10
    Но не у всех на форуме стоит sitemap generator. В любом случае бот получит заглушку.
    А, ну если это влияет на лайки то да, лучше убрать.
     
  13. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.740
    Симпатии:
    5.269
    Версия XF:
    1.5.11
    Хм, может оно и так, тут нужно проверить. Но я думаю, что sitemap generator - это тот же бот.
     
  14. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.577
    Симпатии:
    1.614
    Версия XF:
    1.5.10
    Это не так сильно важно, потому что когда бот перейдёт на ссылку /misc/ он получит 404.
     
  15. FractalizeR

    FractalizeR XenForo Addicted Команда форума

    Регистрация:
    27.09.10
    Сообщения:
    1.085
    Симпатии:
    823
    Версия XF:
    1.3.2
    И в панели для ВебМастеров Гугла и Яндекса будет написано, сколько ошибок найдено на вашем сайте. Зачем лишние 404? А ну как на рейтинг влияет?
     
  16. TAIFUN

    TAIFUN Человек

    Регистрация:
    27.09.10
    Сообщения:
    2.121
    Симпатии:
    1.560
    Версия XF:
    1.5.9
    Если на сайте есть ссылки, которые ведут на /misc/ но поисковик будет получать 404, то есть вероятность падения в рейтинге. Тут в помощь robots.txt
    Это не касается страниц, которые запрашивают пароль.

    А карта сайта - это полезная штука, поисковики их любят "кушать".
    Вам удобно ориентироваться на сайте по карте? Вот и поисковику тоже..
     
  17. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Что-то как-то меня сомнения одолевают :)

    Гугл проиндексировал все темы с reply ...
     
  18. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.577
    Симпатии:
    1.614
    Версия XF:
    1.5.10
    Ничего страшного. Если содержание страниц одинаково, то он сам создаст правила для этих запросов.
     
  19. FractalizeR

    FractalizeR XenForo Addicted Команда форума

    Регистрация:
    27.09.10
    Сообщения:
    1.085
    Симпатии:
    823
    Версия XF:
    1.3.2
    Я думаю, Павел имеет ввиду, что он их проиндексировал несмотря на настройку в robots.txt. Но вообще должно работать:
    http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449
     
  20. wiz

    wiz Местный

    Регистрация:
    22.10.10
    Сообщения:
    14
    Симпатии:
    0
    Версия XF:
    1.1.0 Final
    Код:
    Disallow: /harming/humans
    Disallow: /ignoring/human/orders
    Disallow: /harm/to/self
    
    :D
     

Поделиться этой страницей