1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Помогите настроить файл robots.txt

Тема в разделе "Для новичков", создана пользователем ларва, 9 окт 2013.

Загрузка
  1. ларва

    ларва Новичок

    Регистрация:
    13.05.13
    Сообщения:
    11
    Симпатии:
    0
    Версия XF:
    1.1.3
    Не могу настроить правильно роботс! сайт не может выйти в топ гугла и яндекса по не которым запросам уже как год стоит на одном месте! а сайты с онлайном 1-2 чел в топе !!!
     
  2. AlexiusM

    AlexiusM Пользователь

    Регистрация:
    18.07.13
    Сообщения:
    66
    Симпатии:
    16
    Версия XF:
    1.2.4
    1.от робота это вообще не зависит(если в нем не закрыт сайт)
    2.какой сайт , дай я посмотрю
     
  3. xenforomen

    xenforomen Местный

    Регистрация:
    09.07.13
    Сообщения:
    70
    Симпатии:
    17
    Версия XF:
    1.4.4
    развивайте сайт и ПС сам к вам придет)))
     
    padre нравится это.
  4. radzhab1998

    radzhab1998 Новичок

    Регистрация:
    11.02.14
    Сообщения:
    3
    Симпатии:
    1
    Версия XF:
    1.2.4
    Без развития конечно же не будет народу
     
  5. Антон-Петров

    Антон-Петров Read only

    Регистрация:
    29.07.15
    Сообщения:
    16
    Симпатии:
    0
    Версия XF:
    1.2.5
    User-agent: *
    Disallow: /account/
    Disallow: /account-confirmation/
    # запретить доступ к роуту AFS
    Disallow: /advstats/
    Disallow: /attachments/
    Disallow: /conversations/
    Disallow: /edit-history/
    Disallow: /editor/
    Disallow: /find-new/
    Disallow: /goto/
    Disallow: /help/
    Disallow: /inline-mod/
    Disallow: /js/
    Disallow: /login/
    Disallow: /logout/
    Disallow: /lost-password/
    # юзеров не индексировать, только контент
    Disallow: /members/
    Disallow: /misc/
    Disallow: /moderation-queue/
    Disallow: /online/
    Disallow: /posts/
    Disallow: /profile-posts/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /reports/
    Disallow: /search/
    Disallow: /spam-cleaner/
    # закрыть результаты опросов
    Disallow: /threads/*/poll
    # закрыть особо флудные темы по id
    Disallow: /threads/137/
    Disallow: /threads/178/
    Disallow: /warnings/
    Disallow: /watched/
    Disallow: /admin.php
    Disallow: *?order
    Disallow: *?direction
    Disallow: *.rss

    # запретить индексировать аватарки в Гугл-Картинках
    User-agent: Googlebot-Image
    Disallow: /data/avatars/
     

Поделиться этой страницей