1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13 окт 2010.

Загрузка
  1. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Запрещаем в нем к индексированию определенные ссылки, разделы и т. п.


    К примеру

    /forum/misc/contact
    ...
     
    XenTerSiO и FractalizeR нравится это.
  2. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.558
    Симпатии:
    1.589
    Версия XF:
    1.5.9
    Правильный robots.txt нужен только для яндекса. Он до сих пор не умеет исключать запросы вида ?s= как это делает гугл, поэтому на моём форуме с vB робот яндекса постоянно что-то искал до тех пор пока я ему вообще не запретил заходить на search.php
     
  3. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    Спорное утверждение. Я бы, допустим, закрыл раздел мемберс, как содержащий ссылки на сторонние ресурсы.

    Код:
    Disallow: /forum/members/
    У меня на текущий момент форум совсем закрыт от роботов:

    Код:
    User-agent: *
    Disallow: /
    До формирования приемлемой структуры. Чтобы не вычищать потом мусор из панели управления webmaster-а.
     
  4. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.736
    Симпатии:
    5.263
    Версия XF:
    1.5.10
    Поковырялся сейчас немного и пришел к такому виду (update 03.11.2010):

    Disallow: /forum/forums/*/?direction
    Disallow: /forum/forums/*/?order
    Disallow: /forum/help/
    Disallow: /forum/login/
    Disallow: /forum/lost-password/
    Disallow: /forum/members/
    Disallow: /forum/misc/
    Disallow: /forum/online/
    Disallow: /forum/recent-activity/
    Disallow: /forum/search/
    Disallow: /forum/search.php
    Disallow: /forum/threads/*/poll
     
    wils, baron, TAIFUN и 3 другим нравится это.
  5. Север

    Север Местный

    Регистрация:
    27.09.10
    Сообщения:
    3
    Симпатии:
    2
    Ой ли? Директива Clean-param и исключит.
    А search.php, зачем он вообще в индексе, это ведь дубли...
     
    Romchik® нравится это.
  6. CyberAP

    CyberAP Местный

    Регистрация:
    05.10.10
    Сообщения:
    2.558
    Симпатии:
    1.589
    Версия XF:
    1.5.9
    Я говорил про панель для вебмастера. Гугл сам определяет какие страницы можно не индексировать, а для Яндекса надо специально править robots.txt, в следствие чего гугл у меня на форуме появляется один раз за день, а Яндекс сидит каждые 15 минут.
     
  7. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    Disallow: /forum/search/
    Disallow: /forum/search.php

    Можно заменить на:

    Disallow: /forum/search

    Но на всякий случай проверьте.
     
  8. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.736
    Симпатии:
    5.263
    Версия XF:
    1.5.10
    Нашел еще мусор. Кто знает как избавить от этого?
    /forum/threads/31/poll/results?poll_response_id=1
     
  9. Север

    Север Местный

    Регистрация:
    27.09.10
    Сообщения:
    3
    Симпатии:
    2
    Romchik®, Disallow: /forum/threads/*/poll
    "*" будет означать любую последовательность символов.
     
    Romchik® нравится это.
  10. Romchik®

    Romchik® The Power of Dreams Команда форума

    Регистрация:
    26.09.10
    Сообщения:
    5.736
    Симпатии:
    5.263
    Версия XF:
    1.5.10
    Спасибо, ушел проверять :)
    --- добавлено в: 17:18 ---
    Вот теперь я доволен :)
    Обновил свой пост выше.
     
  11. Ra

    Ra Местный

    Регистрация:
    06.10.10
    Сообщения:
    97
    Симпатии:
    18
    может уж файлик идеальный выложат тут?
    вроде все уже прибрано
     
  12. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    n0rt37, gerbor, spy и 4 другим нравится это.
  13. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Продолжаем... Яндекс проиндексировал страницы типа

    /forums/*/?order=post_date
    /forums/*/?order=title
    /forums/*/?order=view_count

    /forums/*/?direction=asc

    Достаточно ли, чтобы закрыть к индексированию эти страницы такие строки

    Disallow: /forums/*/?direction
    Disallow: /forums/*/?order
     
  14. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    да, вполне.
    Код:
    User-agent: Yandex
    Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
                              # и '/cgi-bin/private/test.aspx'
    Disallow: /*private # запрещает не только '/private',
                        # но и '/cgi-bin/private'
     
  15. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Конкретно по моему вопросу сможете ответить - так или нет?
     
  16. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    Я же ответил:
    + если остались сомнения, всегда можно проверить свой rotobs.txt по ссылке http://webmaster.yandex.ru/site/robots.xml
     
    Pavel и CyberAP нравится это.
  17. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    В чем проверка заключается?
     
  18. deity

    deity Read only

    Регистрация:
    07.10.10
    Сообщения:
    136
    Симпатии:
    87
    Версия XF:
    1.1.0 Final
    Небольшое уточнение - ссылка, упомянутая выше, для зарегистрированных в Яндекс.Вебмастер.
    Регистрация настоятельно рекомендуется, если вы активно занимаетесь продвижением своего сайта. Для прочих вот эта http://webmaster.yandex.ru/robots.xml
    Проверка заключается в том, что грузим свой вариант robots.txt. Подставляем проблемные ссылки и "хорошие", которые опасаемся задеть. Нажимаем кнопочку "Проверить", анализируем полученный результат, снова правим и т.д. Если получается медленно и Bruteforce не ваш метод, читаем help.
     
    Pavel нравится это.
  19. Pavel

    Pavel Местный

    Регистрация:
    26.09.10
    Сообщения:
    392
    Симпатии:
    93
    Спасибо :) То, что для зарегистрированных это ясно. А вот то, что можно проверить - не знал :) Очень полезно
     
  20. r4mZeS

    r4mZeS Местный

    Регистрация:
    10.10.10
    Сообщения:
    240
    Симпатии:
    194
    Кстати, кто-нибудь может сказать, есть ли в двиге инструмент для генерации sitemap`а?
     

Поделиться этой страницей