Настройка ElasticSearch

Если вводить в поиск слова латинскими буквами, то поиск отображает все результаты, как с большой буквы, так и с маленькой, но вот если ввести в поле поиска кириллицу, то ищет именно как напишешь, с большой буквы, то отображает все найденные слова только с большой буквы, с маленькой, то все слова которые написаны именно с маленькой буквы.

Как вы можете понять в настройках lowercase прописан, но к сожалению почему то этот фильтр у меня не работает с кириллицей.

Кто нибудь сталкивался с подобной проблемой?

 

Я не пользуюсь им, но есть инструкции по настройке "Настраиваем Elasticsearch для не английских языков". Попробуйте.

 

infis, это я уже просматривал и пробовал. Такая же проблема. Я уже лучше настроил, стоп слова и т.д. Единственное этот глюк не смог победить.

 

ANGEL OF FIRE, а какая версия ElasticSearch у тебя стоит?

 

Последняя. 2.2.1

Обновил недавно. Хотя и на предыдущей тот же глюк был.

 

ANGEL OF FIRE, просто у меня 1.7.х ветка, и подобных проблем не наблюдается. Ничего особенного не настраивал.

 

Вот это и странно. Даже на их сайте спрашивал. Написали что таких проблем не замечали.

 

Сейчас общался на форуме по эластику. Добился что бы при поиске отображались слова на кириллице как с большой буквы, так и с маленькой. Поиск выдаёт все слова, но не выделяет их.

У вас такая же проблема?

Пример слова Тест




А так как он их не выделяет, то и поиск через плагин ElasticSearch Essentials работает некорректно.

Он их не считает за найденные слова.

 

Да, у меня так же - Тест выделяется жирным, а тест - нет.
Видимо надо об этом написать разработчикам, так как это явно косяк XenForo - я у себя на сайте поиск через ElasticSearch, у меня всё правильно ищется и выделяется.

 

Видимо, он все же считает их найденными, но при выводе результата, скорее всего, в самом XenForo эти слова не выделяются. Можете попробовать на офе запостить это. Если это баг, то его разработчики поправят сами. А можете и сами поковырять код.

 

Есть плагин (платный) ElasticSearch Essentials, который показывает результаты при наборе. Так называемый поиск на лету. Так вот в нём он не отображает эти результаты. Из за чего я вообще и начал искать почему. Если латиницей, то отображает все результаты, а вот если кириллицей, то нужно конкретно писать или с большой буквы, или с маленькой.

Значит глюк всё таки есть. Теперь надо найти из за чего он, из за ксенфоровского софта, или же эластика.

 

Вы же сами видите, что в результатах поиска отображается всё. Но не всё выделяется. Обычно выделение текста производится не в поисковом движке, а на стороне клиента. В данном случае клиентом является XenForo и его плагины. Значит проблема лишь в выделении, которая обычно решается с помощью добавления в регулярное выражение модификаторов i (регистронезависимость) и u (работать со строкой в unicode). Более, чем уверен, что модификатор i там есть (на это указываете Вы сами, говоря, что для латинницы все работает правильно), а вот модификатора u там может и не быть, что и будет означать нежелание обрабатывать кириллицу. Но всё это не факт, так как обработка может быть сделана совершенно другим образом. У меня нет этого плагина, поэтому не могу ничего более конкретного сказать.

 

Я там баг создал. Но если возможно, отпишитесь там пожалуйста. А то Майк проигнорирует, напишет типа нет возможности проверить и т.д.. Не любит он с другими языками возится.

Ссылка Cyrillic keywords highlighting

 

Надо было на английском языке было делать скриншот. Чтобы интерфейс был английский. А отписываться мне там не о чем. Строить свои догадки - разработчики этого не понимают
И надо искать слово, где встречаются чисто кириллические символы. Так понятнее будет для них.

 

Сделал на английском интерфейсе. И слово Дримбокс взял.

 

Да. Теперь им будет понятнее.

 

В общем, это явная недоработка функции highlightSearchTerm в library/XenForo/Helper/String.php - там regexp только английские символы учитывает.
К ElasticSearch это не относится - такое же поведение возникает и с обычным поиском.

В общем, исправление, если вдруг Майк скажет что это не баг и что так задумано:

В файле library/XenForo/Helper/String.php ищем:

PHP:

return preg_replace('/(' . preg_replace('#\s+#', '|', preg_quote(htmlspecialchars($term), '/')) . ')/si', '<em class="' . $emClass . '">\1</em>', htmlspecialchars($string));

И заменяем на:

PHP:

return preg_replace('/(' . preg_replace('#\s+#', '|', preg_quote(htmlspecialchars($term), '/')) . ')/siu', '<em class="' . $emClass . '">\1</em>', htmlspecialchars($string));

 

Да, так оно и есть. Значит, я был прав, и разработчики просто не заморачивались включением поддержки юникода в регулярке. Интересно, неужели они думают, что в мире кроме латинского других алфавитов не существует? Ведь элементарно, коль весь движок на юникоде, ну так и в регулярках нужно везде использовать модификатор u.

 

Подправил у себя. Спасибо. Но это не все проблемы решает.

Как пример искомое слово Новости




Elastic поиск выдал так же "новость", а получается это слово уже не выделяется как результат.

 

А вот это уже нельзя сделать регулярками, так как нужно анализировать окончания слов, словоформы и так далее. Может быть Elastic Search как-то отдает эту информацию в XenForo, но не уверен.