Метка: Engineering

Интерактивная визуализация алгоритмов рекомендаций в новом open source приложении | 2025-11-11T05:23:46

У меня вышло электронное open source приложение к моей книжке Recommender Algorithms! Это «песочница», где можно «погонять» различные алгоритмы рекомендаций с разными настройками, и по каждому алгоритму посмотреть специфичную ему визуализацию, помогающую понять как он работает. Например, для таких алгоритмов как ItemKNN, SLIM или EASE ключевой визуализацией является heatmap, выученной матрицы схожести (item-item similarity matrix). Это позволяет увидеть, какие именно пары товаров модель считает «похожими» (или «влияющими» друг на друга). Для SLIM, например, полезна «Sparsity Plot» , показывающая, что матрица схожести действительно получилась разреженной. Для алгоритмов ассоциативных правил (Apriori, FP-Growth, Eclat) визуализация — это вообще не график, а интерактивные таблицы с найденными «Частотными наборами» (Frequent Itemsets) и сгенерированными «Правилами» (Association Rules) , которые можно фильтровать и сортировать.

Кроме этого, там есть параметрический механизм создания «игрового датасета» — Dataset Wizard. Работает он так — есть шаблонные датасеты, которые описывают items через характеристики. Например, рецепты через вкусы. Или фильмы через жанры. Система генерирует случайных пользователей со случайным набором характеристик из того же набора — причем там много ползунков, позволяющих это распределение сделать более контрастным или сложным. Далее создается уже матрица оценок пользователями айтемов — условно если совпадают характеристики пользователя и айтема, то оценка будет выше, так как «совпадают вкусы» и наоборот, если различаются, то оценка будет ниже. Тут тоже ползунки, добавляющие шум и scarcity — рандомно удаляется часть матрицы. На вход алгоритму рекомендаций характеристики товаров и пользователей не подаются, они скрыты, но они используются для визуализации результатов.

Третьим компонентом приложения является подбор гиперпараметров. По сути, это автоконфигуратор под конкретный датасет. Там используется итеративный подход, который намного эффективнее, чем полный перебор (Grid Search) или случайный поиск (Random Search). Если говорить кратко, система анализирует историю прошлых запусков (trials) и строит вероятностную «карту» (суррогатную модель) того, какие параметры, скорее всего, дадут лучший результат. Затем она использует эту карту, чтобы по-умному выбрать следующую комбинацию для проверки. Этот метод называется Последовательная оптимизация на основе суррогатных моделей (SMBO).

Код свободный, будет еще дополняться новыми алгоритмами и новыми визуализациями.

Ссылочка на код в комментариях.

Ссылочка на сайтик, где код развернут и где можно посмотреть на приложение, тоже в комментариях.

Тест-драйв Model S Plaid: ощущения и сравнение с Model Y | 2025-10-14T16:51:53

Недавно моя Tesla Model Y заболела, и дилершип в качестве подменной машины дал Model S Plaid. Это просто монстр, у него разгон до 100 км/ч за 2 секунды. Больше тысячи лошадинных сил. Но поездив недельку, мы с Надей поняли, что все-таки не поменяли бы нашу на Model S.

Ну то, что непревычно низко — это ерунда. Привыкли бы. Но вот вылезать из-за руля мне всегда дико неудобно. Вроде живот не настолько большой, но там в Model S просто настоящий кокпит. И в него нужно усаживаться и вылезать обстоятельно. А в Model Y просто прыгаешь как-нибудь и поехал.

Кроме этого, Model S реально шумная внутри. По сравнению с Model Y. Дорогу слышно. И это при цене в 2 раза больше Model Y. И еще почему-то режим, когда просто уходишь от машины, работает менее чутко, и запирает машину, когда уже довольно далеко ушел.

А еще эти поворотники. Ну какой идиот придумал для них кнопки на руле. К этому невозможно привыкнуть. Руль ещё же крутится, и кнопки всегда не пойми где.

Но, черт побери, очень красивая снаружи. Особенно со светлым салоном.

Кстати, Tesla как-то плохо продумала механизм выдачи подменной машины, и он работает только с одним водителем. Поставить два ключа на два разных телефона нельзя. И вообще, неплохо было бы хранить настройки в облаке и при получении подменной машины получать уже настроенное под себя.

А заболела машинка тоже интересно. Забавно когда машина на шоссе пишет тут у вас проблемка, мотор сдох, но вы не отвлекайтесь, езжайте дальше. После парковки машинка может не поехать теоретически, но пока все норм. Если не норм, мы вам скажем. А пока у вас вжжжж будет не такой вжжж.

Как я понял, машина просто из 4 wheel drive стала 2 wheel drive. Прикольно что такой фоллбек в принципе существует. Уже починил, там замена инвертора.

Золотые факты: от Витватерсранда до Индийских украшений | 2025-10-14T03:13:58

Rajesh Exports на своем сайте пишут, что они обрабатывают 35% добываемого золота на планете. Врут, конечно, но в целом Индия и Rajesh делают рынок. Оказалось, что 11% всего золота на планете находится на индийских женщинах. Еще оказалось, что в 1947 году 70% всего добытого золота было в США. А с 1934 по 1970 в США было законодательно запрещено частникам владеть золотом. А примерно 22% всего золота, когда-либо учтенного на поверхности Земли, добыто с одного плато в Южной Африке, называемого Витватерсранд. А если взять вообще все добытое за все время золото, то его получится меньше, чем олимпийский бассейн.

Серебро скупает Китай, Индия не отстает. Интересно, что платина используется в существенной степени для производства каталитических нейтрализаторов для машин — почти 40% мирового производства уходит туда. Китай, конечно, тоже, все производство там.

Практически каждый смартфон, планшет или сенсорный монитор, которым мы пользуемся, покрыт тончайшим слоем оксида индия-олова (ITO). Этот материал обладает уникальным сочетанием свойств: он практически полностью прозрачен и при этом отлично проводит электричество. Именно это позволяет экрану регистрировать ваши касания.

Хотя литий сейчас прочно ассоциируется с батареями, исторически и до сих пор значительная его часть используется в производстве стекла и керамики.

Глубины Solr и Lucene: Передовой перевод для инженеров | 2025-10-06T17:11:12

Готовлю к публикации книжку по Solr&Lucene. Как вы думаете, публиковать такой перевод на амазоне? 🙂

Книжка про алгоритмы и подкапотную инженерию. Я с этого ракурса еще не видел книг, может, будет кому интересна.

История стакана-акробата: Откуда взялось название «tumbler»? | 2025-10-05T15:32:02

У нас стаканы называют tumblers. Я решил поинтересоваться, почему, ведь tumbler — это по сути акробат.

Есть две взаимоисключающие теории. По одной, изначально tumbler-стаканы имели округлое или слегка выпуклое дно, из-за чего они могли «покачиваться» или «переворачиваться» (to tumble), но не опрокидывались полностью. То есть, tumbler в этом смысле типа «неваляшка». По другой, они как раз делались специально, чтобы их не ставили на стол открытыми, потому что условно на корабле они могли опрокинуться и ценный ром бы из них вылился.

Инновации на автозаправках: как технологии предотвращают перелив и аварии | 2025-09-28T13:36:28

С покупкой Теслы внезапно заинтересовался как топливный пистолет понимает, что бак полон. И еще пара интересных находок по теме.

Раньше у заправок была неловкая проблема. Клиенты не знали, когда их бак был полон и бензин часто переливался через край. Инженеры придумали гениальное решение.

Внутри заправочного пистолета находится тонкая трубка, которая тянет в воздух из бака машины в специальную мембранную камеру (Если посмотрите на «носик», там будет две дырки) Когда нажимаешь на курок, топливо течёт, пока трубка не оказывается погружённой в бензин (что означает полный бак) и поток воздуха не прекращается.

Это создаёт вакуум, который втягивает три маленьких стальных шалика в центр механизма, мгновенно отпуская курок и перекрывая подачу топлива.

Кстати, на подходе к клапану с диафрагмой в канале есть отсек с небольшим шариком внутри. Если по какой-то причине заправочный пистолет выпадет из бака, шарик перекроет вакуумный канал, спровоцировав резкое усиление разрежения — и запустив процесс, который описан выше.

Еще оказалось, что дизельный пистолет имеет более крупный размер носика, чтобы его нельзя было сунуть в бензиновый бак. Но вот наоборот по ошибке сунуть можно. Хотя могли бы сразу придумать разный дизайн, который работал бы в обе стороны.

Когда бензовоз заправляет подземный резервуар, клапан автоматически перекрывается, когда бак почти полон, а пары бензина засасываются обратно в бензовоз по другому шлангу, где снова конденсируется в жидкое топливо.

А еще оказалось, что если вы уедете на машине, не вытащив шланг, то никаких огненных шаров, разлитого топлива, уроненной бензоколонки не будет. Шланг, соединяющий пистолет с бензоколонкой, спроектирован так, чтобы разъединяться на две части при приложении определённой силы. В следующий раз, когда будете на заправке, обратите внимание на металлический разъём на шланге. Это и есть точка разрыва. Когда шланг отсоединяется и вы едете дальше, в этом месте шланг разрывается, встроенные клапаны в шланге перекрывают топливо, но, конечно, колонка какое-то время работать не будет, пока все это не приведут в нормальный вид снова. Но интересно, что такой риск учтен и ущерб минимизируется.

А, ну вот еще тем, кто в Нью-Джерси не катался. Там по закону запрещено заправлять самому свою машину. На всех заправках есть заправщики, которые это делают для тебя.

Тесла улучшает безопасность: раннее срабатывание подушек и новые фичи после покупки | 2025-09-24T12:54:37

У меня пока единственная модель и марка машины, которая умеет открывать подушки безопасности не в момент удара, а на мгновение раньше, чтобы в момент удара было уже не поздно это делать. Посмотрим, что будут показывать новости, но тесты показывают, что эта штука работает лучше, чем традиционная. Реальность может оказаться жесче, но понадоблюдаем.

Также интересно, что на машину стали приходить новые интересные фичи после покупки. Раньше такого опыта не было. С чем купил, с тем и живи, и иногда можно заехать за чем-то новым в дилершип и как правило это всегда было сопряжено с заменой чего-то физического.

Предыдущий апдейт (мне не очень полезный, но кому-то может) был про автоматическую детекцию детей и животных в салоне. И если оказывается, что они там остались, а хозяин ушел, то машина не выключает климат-контроль. Ну и конечно орет в приложение, что так делать нехорошо.

Шоки детства: радиовилки, телефонные звонки и елочные гирлянды | 2025-09-23T17:00:28

Вспомнилось, что в детстве меня удивляло, какой идиот придумал сделать для радио точно такую же вилку, что и для 220 вольт. Эта радиовилка должна втыкаться в радиорозетку.

Я в детстве раскручивал и «дорабатывал» почти все электрическое в доме (до электронного еще не дорос). Меня конечно много раз било током из розетки, но какое мое было удивление, что от старого советсткого телефона тоже может бить током. В момент, когда приходит звонок напряжение в линии прыгает с 12-60 вольт до 120 вольт 🙂

А еще хороший опыт был с елочной гирляндой. Для младшего школьника было непонятно, почему от елочной гирлянды может ударить током, если там лампочки те же, что я подключаю к плоской батарейке Планета. Пришлось учить матчасть 🙂 Кстати, куда-то подевались эти квадратные плоские батарейки. Раньше они были везде

Как работает кабель Thunderbolt 4: расшифровка скрытой сложности | 2025-09-22T22:50:42

Оказалось, что USB-C кабели — это иногда целые компьютеры в странном форм-факторе — проводе. Смотрю видео, где рябята из Adam Savage’s препарировали через КТ-сканер кабель Apple Thunderbolt 4 ($130) и рассказывают что там что, и сравнивают с похожим кабелем за 12 баксов.

В коннекторе кабеля находится сложная система, включающая полноценный процессор, два блока питания и куча других компонентов. Процессор разделяет данные на несколько параллельных потоков и преобразует их в дифференциальные сигналы, которые идут по витым, скрученным парам проводов. Система отправляет сразу два сигнала, но зеркально-противоположных. Это позволяет защитить сигнал от помех (от пылесоса, мобильного телефона и т.д.). Собственно печатная плата там девятислойная.

На внутренней печатной плате есть интересные извилистые/волнистые дорожки размером в доли мм. Оказалось, что инженеры Apple специально сделали их длиннее, чтобы выровнять общую длину с соседними, более длинными по своей геометрии дорожками (там потому что повороты есть). Это необходимо, чтобы сигналы приходили к процессору абсолютно одновременно, с точностью до наносекунд.

Сам кабель внутри состоит из множества индивидуально экранированных коаксиальных более мелких кабелей. Там их больше дюжины.

У дешевого кабеля нет этой умной электроники, никаких активных компонентов внутри. Там просто коннекторы и провода.

Но что самое крутое — ребята выкладывают такие сканы в описании видео как ссылку на программу просмотра. Там можно самому все повертеть. В комментах положу

Эра iPod в небесах: уникальная интеграция с IFE системами | 2025-09-14T13:24:22

Взлетаем. Думаю, что за разъём такой. Гуглю. Примерно 10 лет назад мультимедиа система IFE от Panasonic (которая, как кажется, использовалась на B773ER и A333, у меня как раз Boeing 777ER) содержала новый порт под названием eXport. Это был 9-контактный разъём mini-DIN для iPod. Можно было приобрести адаптерный кабель, сделанный компанией Griffin, который по сути являлся переходником между 9-контактным mini-DIN и 30-контактным док-разъёмом iPod. Вы помните такой разъем у айподов? А айподы вообще помните? Этот кабель позволял заряжать iPod, управлять им через систему IFE и передавать медиа с него в систему IFE. Как с быстро время летит. Глянул когда самолёт сделали — 14 лет назад. То есть, 14 лет назад ещё имело смысл выстраивать в кресла проприетарный разъем, который работал по сути только с айподами.

Про RJ-45 выше я даже и не пишу. Бело-оранжевый оранжевый, бело-зеленый синий, бело-синий зеленый, бело-коричневый коричневый

Update со странички, которой уже десять лет нет, но archive орг все помнит

А как всё это работает? Вот несколько визуальных материалов для наглядности и факты от Panasonic (…о самом большом и высоколетящем аксессуаре для iPod в мире (как выразился кто-то из Apple)

1. Позволяет передавать аудио- и видеосигнал с iPod пассажира в систему IFE, одновременно обеспечивая питание и зарядку iPod.

2. Решение eXport состоит из двух основных компонентов: разъёма eXport (устанавливается в кресло) и кабеля eXport (соединяет iPod с разъёмом eXport).

3. Экипаж будет предоставлять кабель eXport пассажирам во время полёта.

4. Решение является первым в мире сертифицированным Apple решением «Made for iPod» и «Made for iPhone», специально разработанным для коммерческих авиалайнеров.

5. Нативно поддерживает технологию аутентификации Apple.

6. В ближайшем будущем Panasonic представит дополнительный функционал, который позволит двустороннюю связь между iPod и системой IFE.

7. Поддерживаются как iPod, так и iPhone (в «авиарежиме»).

“Причина, по которой нужен специальный кабель, в том, что Apple не позволяет передавать видео через USB. Единственной альтернативой было бы наличие на борту трёх RCA-разъёмов и одного розеточного разъёма переменного тока. Но это дорого (установка системы питания переменного тока) и не стоит лишнего веса. Плюс это отнимает место для ног под сиденьем. К тому же три RCA-разъёма — это много «портов» (красный, жёлтый, белый), что может запутать пассажиров (представьте себе ночной рейс в затемнённом салоне). Это только увеличит нагрузку на экипаж, который отвечает за безопасность и комфорт, а не за техподдержку.”