Рубрика: TechStories

Делаю презентацию по SOLR+hybris, в среду выступаю. Как мне нравится этот слайд!

Новый пост у меня на блоге.

Мне удалось поднять у себя на ноуте магазинчик с 2 млн реальных товаров, разбитых по 15000 категориям. Товары имеют атрибуты, по которым можно фильтровать – всего около 6000 атрибутов. Все это летает быстрее некуда на моем ноуте. Загрузил бы и больше – но базы товаров на большие объемы не нашел.

Так что можно говорить, что на Хайбрисе реально создать маркетплейс с дико большим количеством товаров, категорий и фасетов. И понятно как.

Однако, стандартный Хайбрис с такими объемами не умеет работать вообще. Там при удвоении товарной базы всякие процессы типа индексирования начинают работать, грубо говоря, втрое медленнее. Потому архитектура в моем решении используется несколько иная. В двух словах, все товары хранятся напрямую в SOLR, а не в базе Oracle или MySQL. Карточка товара, список товаров, поиск – все это работает напрямую с SOLR. По ссылке рассказано, как всё это уживается с корзиной и чекаутом. @[100001168004708:2048:Erik Babadzhanov] недавно спрашивал о том, как такое сделать – вот ответ:)

Полная загрузка товаров “с пустой базы” до полностью функционального сайта занимает 25 минут. Гораздо меньшее время требуется на обновление данных – например, цен на все 2 млн товаров.

Количество активных фасетов (фильтров) в отличие от Хайбриса из коробки вообще не вносит никаких “тормозов” в какие-либо процессы. Сейчас в демо заведено 6000 фасетов и единственная преграда в их использовании – ограничения интерфейса пользователя.

По ссылке – видео Proof-of-concept и технические детали.

Включаю @[100001168004708:2048:Erik Babadzhanov] @[100001044160267:2048:Aleksey Kryuchkov] @[100004031421822:2048:Alexey Lyubimov] @[1817791335:2048:Victor Romanovsky] @@[100000077047562:2048:Marina Zhigalova] @[100001894770015:2048:Viktoriya Shaimardanova] @[100001735299023:2048:Alexey Pronin] @[1698960808:2048:Alexander Zolotilin] @[100000571996239:2048:Maxim Antonov] @[100002859265802:2048:Ilya Timchenko] @[1328575098:2048:Max Shelukhanov] @[617283947:2048:Renata Mussina] @[1509384824:2048:Anatoly Mokhov] – возможно, вам будет интересно.

https://hybrismart.com/2016/07/17/hybris-marketplace-poc-2000000-products-15m-categories-6000-search-facets/

Обновление на моем блоге про Hybris. В этот раз – про сниппеты в поиске: выделение найденных слов. Такой возможности в Хайбрисе нет, но ее несложно добавить, т.к. она входит в число фич в SOLR, который входит в hybris. Читайте детали на моем блоге и смотрите видео полнофункционального прототипа!

https://hybrismart.com/2016/07/11/highlighting-in-hybris-search/

https://hybrismart.com/2016/07/11/highlighting-in-hybris-search/

Новый пост у меня на блоге. Мне удалось сделать отдельный от Хайбриса кластер по расчету акций.

В последней версии Хайбриса презентовали новый движок акций, построенный на правилах. Есть удобный интерфейс, в котором можно строить сложные правила со сложными условиями и тут же публиковать их на сайте.

Но вот незадача – движок встроен только в корзину. Ну еще в пару мелких мест и ПО колл-центра. Я поставил перед собой задачу рассчитывать акции для каждого элемента для списка на странице поиска и на странице категории.

Тупо вызывать двадцать раз функционал не выйдет. Во-первых, там есть свои траблы с интерфейсами, но даже, если их решить, расчет будет слишком долгим. Чтобы сделать время загрузки страницы более-менее приемлемым, нужно увеличивать число серверов, а в случае с Хайбрисом это не лучший выход, т.к. в большинстве случаев лицензии продаются per CPU.

По ссылке – видео Proof-of-concept и технические детали.

Включаю @[100001168004708:2048:Erik Babadzhanov] @[100001044160267:2048:Aleksey Kryuchkov] @[100004031421822:2048:Alexey Lyubimov] @[100004031421822:2048:Alexey Lyubimov] @[1817791335:2048:Victor Romanovsky] @[100000077047562:2048:Marina Zhigalova] @[100001894770015:2048:Viktoriya Shaimardanova] @[100001735299023:2048:Alexey Pronin] @[1698960808:2048:Alexander Zolotilin] @[100000571996239:2048:Maxim Antonov] @[100002859265802:2048:Ilya Timchenko] @[1328575098:2048:Max Shelukhanov] @[617283947:2048:Renata Mussina] @[1509384824:2048:Anatoly Mokhov] думаю, что какие-то проблемы у вас это может решить.

https://hybrismart.com/2016/07/05/distributed-promotion-calculation-cluster-promo-as-a-service/

Новый пост про Хайбрис у меня на блоге. Мне удалось сынтегрировать Хайбрис с SolrCloud. Для всех крупных интернет-магазинов это должно сильно улучшить производительность поиска и индексации.

В двух словах, поиск товаров в интернете магазине на Хайбрисе основывается на предварительной индексации, чтобы потом быстро выдавать результаты в ответ на сложные фильтры. Архитектура, на которой построены 99% магазинов на Хайбрисе предполагает один индексирующий сервер и N серверов, отдающих данные. Полагаю, что почти у всех крупных магазинов есть проблема с тем, что индексация идет дольше, чем хочет бизнес. Но в хайбрисе и том Solr, которым Хайбрис пользуется, эту проблему легко не решить.

Так вот, заменой на SolrCloud можно сделать индексацию горизонтально масштабируемой, попутно получив еще и систему с большей надежностью и производительностью. Если раньше у сервера-индексера внезапно что-то ломалось, нужно было как минимум будить админа. В SolrCloud админом является ZooKeeper. Ну и это быстрее, когда индексацией одновременно занимаются шесть серверов, а не один.

Включаю @[100001168004708:2048:Erik Babadzhanov] @[100001044160267:2048:Aleksey Kryuchkov] @[100004031421822:2048:Alexey Lyubimov] @[1817791335:2048:Victor Romanovsky] @[100000077047562:2048:Marina Zhigalova] @[100001894770015:2048:Viktoriya Shaimardanova] @[100001735299023:2048:Alexey Pronin] @[1698960808:2048:Alexander Zolotilin] @[100000571996239:2048:Maxim Antonov] @[100002859265802:2048:Ilya Timchenko] @[1328575098:2048:Max Shelukhanov] @[617283947:2048:Renata Mussina] @[1509384824:2048:Anatoly Mokhov] думаю, что какие-то проблемы у вас это может решить. Интеграция довольно простая, по сути, там нет ни единой строчки JAVA-кода в моем прототипе. Но для продакшн-системы он будет нужен, но в каком-то минимальном объеме.

https://hybrismart.com/2016/06/29/hybris-solrcloud-sharding-and-distributed-indexing/

В продолжение темы с английским, мой пост пятилетней давности. Пользуюсь описанным методом по сей день

http://rauf.livejournal.com/447820.html

http://rauf.livejournal.com/447820.html

Опубликовал на блоге заметочку про то, как строить на hybris системы, в которых разные пользователи видят разные каталоги. Т.е. один и тот же товар будет отображаться для клиента А, и не будет отображаться для клиента Б. Эксперимент я делал для 500000 клиентов и 500000 групп, что несколько экстремально, но для эксперимента в самый раз.

Полная загрузка информации о доступности (это 50 миллионов записей) занимает 187 секунд на моем ноуте.

В реальных проектах такая штука нужна для B2B-систем, например, где разные товары доступны для разных регионов/групп пользователей. Вместе с моим предыдущим постом про персональные цены, можно построить полностью персональные каталоги (цена+наличие).

https://hybrismart.com/2016/06/26/solr-based-dynamic-availability-groups-poc-500k-availability-groups/

https://hybrismart.com/2016/06/26/solr-based-dynamic-availability-groups-poc-500k-availability-groups/