1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Составляем правильный robots.txt

Тема в разделе "Оптимизация XenForo", создана пользователем Pavel, 13 окт 2010.

Загрузка
  1. Grell

    Grell Пользователь

    Регистрация:
    10.04.14
    Сообщения:
    77
    Симпатии:
    38
    Версия XF:
    1.3.2
    Сможет. /posts/ это прямые ссылки на сообщения, а темы (/threads/) останутся на месте.
     
    Mirovinger нравится это.
  2. Makoc

    Makoc Read only

    Регистрация:
    01.05.14
    Сообщения:
    8
    Симпатии:
    3
    Версия XF:
    1.3.1
    да, я посмотрел реально posts дублирует темы.. так что надо его закрывать
     
  3. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    у сайта 2 домена, как запретить индексацию одного из них ?
     
  4. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    @mahorka42 сделать 301 редирект с него, тогда поисковые системы будут считать другой домен как основной и второй с индекса исключат.
     
    mahorka42 нравится это.
  5. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    сделал. почти месяц прошел нет результата.
     
  6. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    В случае с Яндексом напишите Платону Щукину. А вообще процесс обновления индекса может быть не таким быстрым как вы хотите. При переходе по старому адресу вы ведь попадаете на новый?
     
  7. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    да на новый. я знаю что яндекс слоупок. гугл уже все схавал. Думал может ему еще чего надо кроме редиректа.
     
  8. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    @mahorka42 склейка доменов раз в несколько месяцев у Яндекса, обычно вместе с апом ТИЦ. Значит скоро будет, потому что последнего давненько не было уже.
     
  9. Grell

    Grell Пользователь

    Регистрация:
    10.04.14
    Сообщения:
    77
    Симпатии:
    38
    Версия XF:
    1.3.2
    Для яндекса у склеиваемых доменов должен быть разный robots.txt, насколько я помню из какой-то статьи на хабре. В старом Host: oldomain.com, в новом Host: newdomain.com
     
  10. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    @Grell нет, в инструкции прямо сказано: https://help.yandex.ru/webmaster/yandex-indexing/moving-site.xml
    То есть файл как раз должен быть один.
     
  11. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    у меня робот 1 со старого домена достдупен, в нем хост указан на новый домен. походу только ждать
     
  12. hakypuhbiu

    hakypuhbiu Местный

    Регистрация:
    14.09.14
    Сообщения:
    86
    Симпатии:
    50
    Версия XF:
    1.4.8
    Нужно составлять робот так чтобы не запретить индекс тем форума и сообщений в них иначе ваш форум не кто не найдет в нете!
     
  13. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    hakypuhbiu, капитан очевидность врывается в тред?
     
    Mirovinger нравится это.
  14. hakypuhbiu

    hakypuhbiu Местный

    Регистрация:
    14.09.14
    Сообщения:
    86
    Симпатии:
    50
    Версия XF:
    1.4.8
    Ты о чем?
     
  15. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    hakypuhbiu, о вашем сообщении, это же очевидно. На протяжении 8 страниц темы рассматривается создание корректного robots.txt, в котором будут исключены все дубликаты адресов и просто мусор, а вы в свою очередь пишете банальную фразу которой самое место на сайтах вроде "Ответы Mail.ru".
     
  16. hakypuhbiu

    hakypuhbiu Местный

    Регистрация:
    14.09.14
    Сообщения:
    86
    Симпатии:
    50
    Версия XF:
    1.4.8
    Такого ответа не было. Ну что же.
     
  17. improvs

    improvs Активный пользователь

    Регистрация:
    05.07.14
    Сообщения:
    22
    Симпатии:
    0
    У меня в robots прописано подобное:

    Disallow: /forum/account/

    но у меня нету такой ссылки как mysite/forum/account
    зато есть ссылки такие как mysite/account

    Стоит ли мне исправить robots.txt и убрать /forum ?
     
  18. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    Логично что да, стоит.
     
  19. aligon7

    aligon7 Местный

    Регистрация:
    22.12.12
    Сообщения:
    983
    Симпатии:
    62
    Версия XF:
    1.4.7
    Проверил статистику яндекса и есть запрет на доступ к таким файлам /attachments
    Хотя в роботс тексте не слова на запрет, в чём может быть дело.
    Подскажите
     
  20. mahorka42

    mahorka42 Местный

    Регистрация:
    08.10.10
    Сообщения:
    210
    Симпатии:
    18
    Версия XF:
    1.4.0
    яша понимает не все расширения файлов, ататач с картинкой он сожрет а вот архив выплюнет
     

Поделиться этой страницей