1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

Об индексации сайта и его конфигурации

Тема в разделе "OFF-топик", создана пользователем лиса, 13 май 2012.

Загрузка
  1. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    На моих сайтах сложная навигация из-за большого количества ссылок и меню, поэтому, много времени тратится только на открытие меню, а надо ещё знать, то где находится нужная ссылка.

    Решила создать ещё одно меню для быстрой навигации в виде значков-кнопочек в правом верхнем углу страниц.

    Сделала, мне понравилось. Много лучше чем стандартная навигация в навбаре. К переходам на главную страницу форума и на главную сайта я добавила значок-конвертик для отсылки письма администрации и два переключателя стиля и языка. В переключателе стиля только две позиции - полная версия сайта и мобильная версия.

    Написанное выше было вступлением к теме.

    После указанной доработки на сайте появилось большое количество роботов Google - до 40 штук в час. Все они с разными IP-адресами, и несколькими моделями браузеров (мобильный, стационарный). Из логов форума было видно, что роботы поисковика сканируя сайт подключали разные стили и языки, причём не только по одиночке, а различные комбинации из четырёх вариантов.

    До установки меню быстрых ссылок роботы "не догадывались" о том, что есть такие сервисы на моих сайтах и обнаружили это только когда появились ссылки в меню.

    Вот, я в растерянности. Не от того что роботам Google пришлось по нраву наличие на моём сайте кроме русского и других языков, а также, наличие мобильного стиля - это плюс, а от того, почему указанные переключатели устанавливают в местах недоступных для роботов, в формах, всплывающих окнах и т.д. Может это как-то связано с защитой от хакеров?
     
  2. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.525
    Симпатии:
    3.321
    Версия XF:
    1.5.9
    Есть различные плавающие панели. Попробуйте ими сделать нужный функционал (кнопки меню). И пользователям удобнее и роботам их можно не светить, генерируя скриптом нужные ссылки. Это не панацея, а просто предложение, что можно сделать в такой ситуации.
     
  3. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Я уже сделала то что, как оказалось, нужно в такой ситуации, открыла ссылки для роботов. Вопрос в том, почему в дефолтном варианте сделано так, что роботы не видели наличие на сайте мобильного стиля и второго языка. Почему переключатели находятся либо в окне формы, как в vBulletin или во всплывающем окне как здесь. От чего защищаются разрабы таким размещением переключателей стиля и языка.
     
  4. Hafner

    Hafner Местный

    Регистрация:
    07.10.10
    Сообщения:
    55
    Симпатии:
    98
    Версия XF:
    1.1.1
    Это уже из оперы продвижения сайта. Как вы считаете - зачем кормить робота этим ненужным контентом? Или вы считаете, что какой-то пользователь в поисковике будет набирать запрос "траляля сайт со сменой языка" или типа того? Почитайте о понятии "плотность ключевого слова" в том же гугле и вероятно сразу всё поймете.

    Да ничего они не подключали, робот это гость, а где у гостя хранится значение языка и стиля думаю не нужно объяснять и соответственно робот не видит ваш контент в другом стиле, и слава богу, что не видит, иначе вы получили бы кучу одинаковых страниц в выдачу, а потом попадание под фильтр поисковика за такое дублирование аналогичного контента.
     
  5. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Никак не считаю
    Даже не представляю чего там пользователи набирают в поиске. Вот Яндекс выдал мне запрос по которому сайт находится на первой позиции. Запрос так сформулирован - Классификации автомобилей. Яндекс подставил тему с сайта Классификации и критерии инвалидности. Очевидно, по Вашей схеме мой сайт должны забанить ...
    Плотность создаю не я и не стиль, а пользователи сайта - бывает, что тема форума одна, а "плотность" о другом.
    Справедливо, если бы речь шла о стиле в красных и зелёных цветах. Но, очевидно Вы не знаете, что у дефолтного и мобильного стиля разные заголовки страниц, а контент одинаковый, так он находится по тому же адресу в интернете. Думаю, что роботы разбираются в том что скачивают.
     
  6. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.525
    Симпатии:
    3.321
    Версия XF:
    1.5.9
    Насколько я помню, роботами изначально может много быть добавлено, но вот потом из выдачи уберутся "лишние" страницы. Не знаю, как сейчас, но как-то нарывался на такое.
     
  7. Hafner

    Hafner Местный

    Регистрация:
    07.10.10
    Сообщения:
    55
    Симпатии:
    98
    Версия XF:
    1.1.1
    Это где же я написал, что Вас должны забанить? Речь шла о другом - зачем скармливать роботу ненужный линк на вашу страницу со сменой стиля и языка? Это, конечно, мелочь и плотность я упомянул в совокупности, а вся идея заключается немного в другом: откройте линк смены стиля на разных страницах вашего форума и посмотрите на строку в браузере - одинаковый тайтл и разные ссылки по сути. То есть, что мы получаем, если снимает атрибут nofollow с ссылок переключателей языка и стиля:
    • дополнительные 2 внутренние ссылки на каждой странице вашего сайта.
    • высокий вес этих страниц смены языка и стиля, т.к. весь форум на них линкует.
    • куча одинаковых страниц в поисковик, которые он со временем конечно же выкинет, но этот момент не в Вашу пользу.

    Робот, который не умеет юзать js и cookie, не сможет выбрать другой стиль. По поводу языка тоже самое.
     
    Romchik® нравится это.
  8. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Это вполне грамотно, зачем дублировать страницы. Я на своих сайтах запретила роботам смотреть ссылки типа перейти к новому сообщению.
    --- добавлено : May 14, 2012 5:49 AM ---
    Так и роботы разные у Google. одни ходят по дефолтному стилю, другие по мобильному стилю, так же и обстоит дело и с языками. Вот и посчитайте, как минимум работают четыре робота. Полагаю, что каждому из них "чужого" не надо и если поиск будет задан для сайтов на английском языке, то сайт мой отобразится, так же будет и при запросе сайтов для мобильников
    Но и роботы разные их сканируют
    Если это и произойдёт то ничего страшного, поскольку число страниц на сайте и в поиске не изменится. А роботу посильно отличить адрес в интернете который отличается только стилем от разных адресов той же страницы. Плохо когда выкидываются реальные (оригинальные) страницы сайта, правда я не знаю, возможно ли такое.
    Роботу это незачем, он подставдяет к окончанию адреса id языка или стиля и получает отображение сайта, которое хотел.
     
  9. Hafner

    Hafner Местный

    Регистрация:
    07.10.10
    Сообщения:
    55
    Симпатии:
    98
    Версия XF:
    1.1.1
    На этом форуме можете дать полный линк на эту тему с английским айди в адресе или другим стилем, чтобы увидеть другой язык или стиль соответственно?
     
  10. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    На этом сайте не смогу, потому что ID спрятан. У меня и вопрос об этом - зачем прятать от поисковика? То, что количество одинаковых страниц увеличится, это только предположение - адрес у страниц в интернете один!!
    Хорошо, спрятали мобильный стиль от мобильного робота, а он всё равно пришёл и начал скачивать страницы сайта только в дефолтном стиле. Если это плохо по Вашему, то надо запретить мобильным роботам посещать Ваш сайт.
    Зачем, в таком случае устанавливать на сайт мобильный стиль?
     
  11. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.525
    Симпатии:
    3.321
    Версия XF:
    1.5.9
    Чисто предположение - для пользователей с мобильных устройств?
     
  12. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    А где их, пользователей, взять.
    Вот, у меня в инструментах гугля есть сведения о сканировании сайта роботом вэба и мобильным роботом, значит, как-то страницы учитываются по разному.
     
  13. Hafner

    Hafner Местный

    Регистрация:
    07.10.10
    Сообщения:
    55
    Симпатии:
    98
    Версия XF:
    1.1.1
    ID английского языка = 1, это Вам поможет, чтобы показать ссылку на данную страницу с английским языком?

    Да и ничего не спрятано, просто с атрибутом nofollow, то есть запрет перехода по ссылке. Если снять атрибут, то робот перейдет сюда <= эта ссылка конкретно для данной темы, то есть в каждой теме строка разная (проверяем сами при желании), т.к. в get переменную добавляется ссылка темы, чтобы после обработки смены языка и сохранения нового значения в куках Вас редиректило на нужную тему.
    + на указанной странице специально добавлено:
    Код:
    <meta name="robots" content="noindex">
    Дабы поисковик не индексировал все эти страницы.

    Для vB есть модуль, который автоматом определяет с какого устройства заходит юзер и устанавливает ему нужный стиль мобильный/стандартный и соответственно для googlebot-mobile тоже можно было бы это установить, но для xF пока я подобной реализации не видел.
     
  14. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    В vBulletin нет такого модуля. Возможно, он появляется после установки какого-то продукта. Но это не важно - модуль можно сделать.
    Вопрос то остался - почему в дефолтном варианте переключатели стиля и языка для роботов недоступны. Или я что- то путаю. По-моему, нет.
     
  15. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Говорила сестричка иванушке, не пей из копытца, козлёночком станешь. Не послушался Иванушка напился воды из копытца и стал козлёночком.
    У меня наоборот, иванушки предостерегали.... В общем гугль показал в мастерской то, что его роботы натаскали с моего сайта. Появились сотни ошибок, типа я виновата, в том что у нескольких страниц одинаковые мета тэги и заголовки страниц. Естественно, что одинаковые, потому что страницы
    .php
    .php?styleid=1
    .php?lengid=2
    Это одна и таже страница. Ну, вот так, теперь я богатая, количество страниц на сайте увеличилось десятикратно.
     
  16. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    В общем добавила в файл robots.txt две строчки
    Clean-param: styleid=1 /*.php
    Clean-param: langid=2 /*.php
    Яндекс не возражает, а будет ли гугль выполнять пока не знаю, нет сведений.
     
  17. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.525
    Симпатии:
    3.321
    Версия XF:
    1.5.9
    Вот Вам и результат того, что поисковик не нужно кормить одинаковыми страницами - ему поплохеет, а потом он будет считать, что это "подстава" :)
     
  18. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    Какие же они одинаковые? Заголовки у страниц разные.

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr" lang="ru">

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr" lang="en">

    <!DOCTYPE html PUBLIC "-//WAPFORUM//DTD XHTML Mobile 1.0//EN" "http://www.wapforum.org/DTD/xhtml-mobile10.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr" lang="ru">

    <!DOCTYPE html PUBLIC "-//WAPFORUM//DTD XHTML Mobile 1.0//EN" "http://www.wapforum.org/DTD/xhtml-mobile10.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr" lang="en">

    А вот что сделал премудрый гугль

    Jurists forum will provide you with free juridical consultation on labor law, the rights of the empl
    /la​bor​.ph​p?s​tyl​eid​=1&​lan​gid​=1&​lan​gid​=1&​lan​gid​=2&​lan​gid​=1
    /la​bor​.ph​p?s​tyl​eid​=1&​lan​gid​=1&​lan​gid​=2&​sty​lei​d=1​&la​ngi​d=1
    /la​bor​.ph​p?s​tyl​eid​=1&​lan​gid​=1&​sty​lei​d=1​&la​ngi​d=2​&la​ngi​d=1
    /la​bor​.ph​p?s​tyl​eid​=1&​lan​gid​=2&​lan​gid​=1&​lan​gid​=1&​lan​gid​=1
    /la​bor​.ph​p?s​tyl​eid​=1&​lan​gid​=2&​lan​gid​=2&​lan​gid​=1&​sty​lei​d=1

    Подставил возможную комбинацию из двух стилей и двух языков и получил пять страниц для ОДНОЙ страницы в одном и том же стиле и с одним языком
    s​tyl​eid​=1 sty​lei​d=1 - дефолтный стиль и английский язык
     
  19. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.525
    Симпатии:
    3.321
    Версия XF:
    1.5.9
    Хм. Разве доктайп для поиска имеет значение? Это для браузера, но никак не для поисковика. А контекст внутри один ведь, плюс метаинформация, плюс заголовки страниц, плюс комбинация ссылок и т.д.
    Так что в принципе нужно исключать для поисковых ботов такие комбинации, оставляя одну. При поиске поиск происходит по содержимому независимо от стиля. Язык учитывается для контента, но при условии, что он (контент) действительно различный и соответствует языку, а не является автопереводом, который тот же гугль и сам может делать.
     
  20. лиса

    лиса Заблокирован

    Регистрация:
    05.10.10
    Сообщения:
    395
    Симпатии:
    84
    У поисковика тоже браузер есть.
    Гугль пишет что страницы у меня разные, а метатэги, заголовки одинаковые, а сам мне показывает пять раз одну и туже страницу, по одному и тому же адресу.
    /la​bor​.ph​p?s​tyl​eid​=1&​lan​gid​=1
    А фактически на моём сайте для каждого стиля и для каждого языка свои заголовки и свои метатеги. Плюс к этому Свои ссылки и свои названия ссылок. Одинаковым может быть только текст сообщения пользователя и название темы, поскольку база одна. Так до этого дело ещё не дошло.
     

Поделиться этой страницей