Как настроить ЧПУ, SiteMap и Robots.txt?

Приветствую!

На форуме масса информации, но она изложена не совсем понятно..
Я прекрасно понимаю, что можно открыть энциклопедию, воспользоваться поиском или обратится к бабке-ведунье, но все равно найдутся те кто захочет "на блюдечке информацию получить" да еще и напрямую от людей, знающих тему (я же нашелся ).

Посему прошу Вас, Гуру и Завсегдатаев, Знатоков и Профессионалов пояснить нам - новичкам, первые шаги, необходимые форуму для появления в поиске.


Вот поставили мы форум. Что дальше??? Наполнять - это понятно. Наполняем.

ЧПУ - надо или нет?
ЧПУ - кириллица или транслит?
SiteMap - самому или через аддон?
Robots.txt - Что закрыть и когда?
Поисковики- когда регистрировать?

Ну Вы же все сами знаете... Что Вы делаете с новым ресурсом для его раскрутки?

Давайте соберем все ответы на вопросы новичков в одной теме.

 

Надо лучше транслит !

Вот хороший сервис, если сайт новый то достаточно раз в две недели делать.

Тут всё сложнее, зависит от сайта, могу предложить свой роботс, далее делайте по аналогии:

Код:

User-agent: *
Disallow: /register.html
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /recent-activity/
Disallow: /advstats/
Disallow: /members/
Disallow: /BanList/
Disallow: /goto/
Disallow: /conversations/

Host: domen.ru

Sitemap: http://domen.ru/sitemap.xml

Достаточно зарегистрировать в вебмастере Яндекса и Гугла, когда будете готовы распространять сайт, т.е. создадите нужные разделы, со стилем и структурой сайта определитесь, ну и после регистрации нужно как можно чаще наполнять сайт !

 

Сейчас в версии форума 1.4.0 появились опции: "Автоматически создавать карту сайта" и "Автоматически отправлять карту сайта поисковым системам (Если опция включена, то как только карта сайта будет создана, обновлённая версия будет автоматически отправлена поисковым системам. Если опция выключена, поисковые системы смогут узнать о карте сайта через файл robots.txt или если Вы добавите её вручную.)"
Я правильно понял, что если включены эти опции, то в файле robots.txt можно не указывать путь к файлу карты сайта?
В какие поисковые системы автоматически отправляется карта сайта? То есть можно не создавать карту сайта через http://сайт.ру/sitemap.php и класть ее в корневую директорию, а она сама создается и отправляется?

 

Поясните, пожалуйста, принцип отправки карты сайта поисковым системам в автоматическом режиме.

 

По внутреннему планировщику, я полагаю. Разве нет?

 

А каким поисковикам отправляется, в яндекс отправляется? Если отправляется автоматом, тогда не нужно создавать карту сайта и указывать поисковикам путь к ней?

 

Sitemap XML

 

Надо бы под яшу запилить, в реалиях рунета сгодится всем, я думаю.

 

Вот и все "запиливание":

PHP:

protected $_sitemapPingUrls = array(
    'Google' => 'http://www.google.com/webmasters/tools/ping?sitemap=%s',
    'Bing' => 'http://www.bing.com/ping?sitemap=%s',
    'Yandex' => 'http://ping.blogs.yandex.ru/ping?sitemap=%s'
);

 

Каждый раз после обновления будете дописывать?

 

Пока разработчики не добавят Яндекс - почему бы одну строчку не дописать. Конечно, можно поставить модификацию, которая будет делать то же самое, но состоять из пары-тройки шаблонов для админки, десятка фраз и которая не факт что не потеряет обратную совместимость в случае правок разработчиками... но тут уж дело ваше. На официальном форуме в фичреквестах тему создал: https://xenforo.com/community/threads/sitemap-submission-to-yandex.83723/

PS. Обновления к XF выходят не настолько часто, как хотелось бы. Которые могут заменить этот файл - тем более.

 

Сомневаюсь что добавят. Это все равно, что просить добавить встроенную авторизацию через ВК.

Сомневаюсь также, что указанный вами урл правильный для отправки карты сайта, потому как блоги и сайтмап не одно и то же, и принцип пинга у них разный.

Зато в случае с дополнением вносится ясность. Во-первых, не нарушается код самого движка, во-вторых, не потеряется и не забудется после обновления (вот вы обновляли с версии 1.1.х сразу до 1.4, за это время просто забудете где эта правка была). В-третьих, не так уж и много кода на дописывание одной переменной уйдет, никто ж не просит городить фреймворк - метод на обработчик, унаследованный класс и xml-ка.

 

Вполне логичным будет и попросить добавить авторизацию через ВК - социальная сеть весьма популярна в мире. А добавление Яндекса всяко смотрится логичнее добавления Bing'а, у первого больше пользователей и обработанных поисковых запросов, о чем я в теме на официальном форуме написал сейчас.

Это единственный способ отправки карты сайтов Яндексу без авторизации. Вообще любой страницы. После получения пинга на указанный адрес - Яндекс отправляет поисковых ботов для его индексации, а уж что там будет - карта сайта ли, страница ли на сайте или сам сайт - к данному делу отношения не имеет. Данный URL в свое время самим Яндексом упоминался, поскольку и параметр соответствующий для карты сайта к нему имеется и в других движках именно он и используется.

Городить это для возможности, которую разработчики как минимум должны были сами включить в движок - не менее глупо. Меня вот особо Bing не интересует (там хоть кто-то выдачу по своему сайту смотрел? это ужас кромешный!), а вот Яндекс, да тот же китайский Weibo с удовольствием добавил бы.
--- добавлено : Sep 23, 2014 8:37 AM ---
Ну в итоге благодаря Chris Deming все вот в эту тему переросло: https://xenforo.com/community/threads/ability-in-the-admin-cp-to-manage-sitemap-ping-urls.83763/

 

Уже просили, вроде, получили отказ. И на каждый чих разработчики не побегут допиливать фичи, тем более что социальных сетей сейчас как грибов после дождя появляется. Их позиция скорей будет такая: мы сделали апи для плагинов - хотите больше фич - пишите плагины, все в ваших руках.

Но этот способ неверный, и официально как способ отправки карты сайта не упоминается. Не нужно бездумно вставлять и использовать этот урл.

Кому они должны были? Вам? И тут та же самая ситуация как и с авторизацией через ВК - на каждый чих разработчики не будут добавлять адреса карт сайта. Поисковиков много, и за всеми не уследить. Гугл и бинг - всемирные, поэтому их и сделали, а локальный яндекс это уже забота для локальных россиян. И не дай бог, негры еще завопят, что их права ущемляются, потому что на негритянский поисковик не отправляется карта.
--- добавлено : 23 сен 2014 в 19:12 ---

Вот и славно. Пускай в виде плагина оформит, он же пишет плагины под ксенфоро.

 

Как Вы правильно заметили, социальных сетей, как и поисковиков, много. Помимо массы международных есть бесчисленное количество национальных ресурсов. И в общем не совсем правильно (совсем не правильно) жестко прописывать любые ресурсы. Намного лучше (и правильнее) предоставить универсальные средства для добавления различных ресурсов как для авторизации, так и для поисковиков.
Это примерно из той же серии, что медиаресурсы. Разработчики предоставили очень удобное средство для добавления своих собственных медиаресурсов. В результате все, кому было надо, добавили свои, не дожидаясь, пока разработчики реализовали бы запросы. При этом создание плагинов может даже не потребоваться, либо плагин будет очень минимальным и простым.

Так что пинать разработчиков по этому поводу надо Только надо не просить их внедрить тот или иной способ авторизации и/или поисковик, а надо просить их разработать систему, позволяющую добавлять собственные способы авторизации и поисковики.

 

Яндекс не менее всемирный. На .com заходить не пробовали?

Этот способ официально упоминается как способ уведомить поисковую систему о появлении новых страниц на сайте. А по поводу "бездумной вставки" - опять же, для начала бы почитали как "быстрый" бот Яндекса работает, которой именно по этому URL и вызывается. Для прояснения ситуации написал в поддержку Яндекса с соответствующим вопросом, чтобы тут одеяло каждый на себя не тянул.

Соглашусь.

 

А какой процент американцев использует яндекс?

 

А в каком файле пилить-то?

 

/library/XenForo/Model/Sitemap.php

 

Ошибку выдает вот такую

Код:

Запись журнала ошибок сервера
Информация об ошибке
ErrorException: Fatal Error: syntax error, unexpected ''Yandex'' (T_CONSTANT_ENCAPSED_STRING), expecting ')' - library/XenForo/Model/Sitemap.php:251
Сгенерирована пользователем: Неизвестная учётная запись, Вчера, в 02:44
Трассировка стэка

#0 [internal function]: XenForo_Application::handleFatalError()
#1 {main}

Содержимое запроса

array(3) {
  ["url"] => string(34) "http://сайт.ru/sitemap.php"
  ["_GET"] => array(0) {
  }
  ["_POST"] => array(0) {
  }
}