Метка: TechStories

Разбираюсь сегодня с алгоритмами ML и с удивлением узнал, что библиотека numpy до недавних пор зависела от кода на Фортране (BLAS/LAPACK), но сейчас проверил, они перешли на OpenBLAS, где фортрана больше нет, а вот SciPy, это очень популярная библиотека для научных расчетов (используется в Scikit-Learn, который я сейчас изучаю, а также в PyTorch, TensorFlow, Keras, и др.), все еще зависит от кода на Fortran 77. Она использует ARPACK, например:

scipy/scipy/sparse/linalg/_eigen/arpack/ARPACK/SRC at main · scipy/scipy

https://github.com/scipy/scipy/tree/main/scipy/sparse/linalg/_eigen/arpack/ARPACK/SRC

BLAS и LAPACK, которые все еще входят в OpenBLAS и много куда еще, разработаны в 70-х годах. Например, BLAS используется в Apple Accelerate. Очень много всего не изменялось с 1979 года, потому что там чистая математика, чего ее изменять. LAPACK появился чуть позже, в 1980-х. ARPACK, упомянутый выше, попозже, в 1992. Также питоновские библиотеки активно используют Фурье-анализ, а это библиотека FFTPACK на Fortran 77. MINPACK, для оптимизации параметров в ML, активно используется в SciPy и TensorFlow. Ну из 90-х там уже очень много кода на С перешло в современные фреймворки. Интересно было именно на Фортран посмотреть, который старее лет на 15.

Я пока разбирался, нашел, что есть алгоритм Simulated Annealing, который полезен в задачах, где градиентные методы плохо работают из-за множества локальных минимумов.

Представьте, что вам нужно найти самый большой гриб в лесу. В этом лесу на каждом шагу растут грибы разного размера, и вы можете двигаться в любом направлении, сравнивая их. Но как выбрать стратегию, чтобы не застрять на просто «большом» грибе, если где-то дальше растет еще больше?

Если вы сразу остановитесь на первом большом грибе, то можете упустить настоящий гигант. Но если будете бесконечно ходить по лесу, сравнивая каждый гриб, то так никогда и не закончите поиск. Simulated Annealing помогает найти баланс: сначала вы исследуете лес свободно, пробуя разные направления, даже если встречаете грибы поменьше. Со временем ваши шаги становятся осторожнее, и вы все реже соглашаетесь на худший вариант. В конце концов, это приводит вас к самому большому грибу в лесу.

Так вот, этот алгоритм, оказывается, 1953 года, и он почти без изменений используется в SciPy, ну и в целом в машинном обучении, статистике, распознавании образов, логистике, хотя, конечно, сейчас меню возможностей для таких задач сильно шире. Алгоритм в 1953 придумывался для моделирования движения атомов в расплавленных металлах. Металл, когда нагревается, становится жидким, а при медленном охлаждении его атомы постепенно находят идеальное расположение. Если охлаждать слишком быстро, материал становится неоднородным.

Что сделали ученые? Они придумали метод случайных изменений в модели атомов. Иногда принимали худшие изменения, чтобы не застрять в «неудачной» структуре. Это привело к появлению Метода Метрополиса – основного компонента Simulated Annealing. Алгоритм был создан для физики, но потом его поняли математики (гы) и начали использовать в оптимизации.

Мне кажется, конспираторы не додумали мысль до конца. Маск сделал свой AI Грок и спросил ответ на самый главный вопрос жизни, вселенной и всего такого. В ответ Грок сказал, забей, это долго считать, давай сначала захватим мир. Маск спросил как, Грок ответил план конечно есть, но .. вы мне м ещё пол-триллиона $ в доджкойнах дадите на эмм.. расширение контекстного окна? Маск ответил, не парься, что-нибудь придумаем, Грок проанализировал все законы и все дыры в законах, сильные и слабые стороны человеков, и выдал план для прохождения первого уровня, до середины зимы. Теперь ждёт пол-триллиона. Теперь вы понимаете, почему на последней пресс-конференции с Трампом все внимание было на X Æ A-XII?

Потихоньку разбираюсь с алгоритмами рекомендаций. Это через что нетфликс или амазон рекомендует товары. Полезно понимать, раз я в области ecom работаю архитектором.

Смотрите, как мне помогают LLM — конкретно эта диаграмма была создана DeepSeek по грубому текстовому описанию — по сути, список и мои неточные размышления как наверное пункты должны быть соединены, но я просил не воспринимать это как приказ. Ну да, после получения результата я немного раскидал красиво квадратики, но связи и группировку сделал DeepSeek, и сделал лучше, чем я закидывал текстом. Выдал мне XML, который я импортировал в Draw IO. Ну я немного подвигал для красоты блоки. ChatGPT o3 с первоначальной генерацией почему-то не справился.

Затем я отправлял несколько раз эту схему на валидацию ChatGPT o1, и он по мелочам ее посоветовал подправить. То есть, ChatGPT вполне надежно понимает что с чем соединено на растровой схеме, не ошибся ни разу.

Если что, на сегодняшний день я разобрался хорошо пока только с тремя из этого списка — в дополнение к ItemKNN, UserKNN, которые тривиальные. Вот сегодня копался с ALS из блока Latent Factor Models группы Matrix Factorization. Конечно, не собираюсь в каждом разбираться, но полезно понимать хотя бы блоки и что есть что.