Метка: Mathematics

Противоестественная интуиция высоких размерностей | 2026-04-13T23:17:35

Я сейчас много работаю с векторами большой размерности, и некоторые штуки, которые раньше не осознавал до конца, начинают реально щекотать мозг. Наша 3D-интуиция там не просто не работает — она врет.

Оказывается, любые два случайных вектора в пространстве высокой размерности с огромной вероятностью будут почти перпендикулярны друг другу. Почти всё пространство — это один сплошной «экватор».

Собственно, на этом во многом и построено машинное обучение. Если ваши эмбеддинги внезапно показывают высокую косинусную близость (например, 0.8 — это не статистическая погрешность, а мощнейший сигнал. В 1000-мерном мире «случайно» так сойтись почти невозможно.

В таких пространствах почти вся масса данных сосредоточена в экстремально тонком поверхностном слое. «Внутренности» объектов математически пусты.

Это легко проверить на таком воображаемом примере. Возьмем «кожуру» многомерного шара толщиной всего в 1% от радиуса. Объем шара пропорционален радиусу в степени размерности.

• В трехмерном пространстве мякоть (0.99 радиуса) занимает 97% объема, возводите 0.99 в куб.

• В 1000D мякоть занимает всего 0.000043%.

Можно ещё по другому понять. Чтобы точка оказалась ближе к началу координат, нужно, чтобы по всем осям координаты были близко к началу координат. Стоит одной оси иметь большое значение, и все, точка улетела. Если брать точки случайно, то просто вероятность того, что они все разом будут ниже любого значения падает с ростом размерности, причём падает быстро.

Всё «мясо» данных всегда оказывается в кожуре. Любая выборка в High-D — это, по сути, набор граничных значений.

Для белого шума в высокой размерности расстояние между самым близким и самым дальним соседом становится почти одинаковым. Понятие «близости» просто деградирует.

Метр, маятник и магия числа π | 2026-03-01T17:11:27

Оказалось, что π² ≈ g — это не какое-то мистическое совпадение. Когда первые ученые размышляли над определением метра, было одно элегантное предложение: сделать метр равным длине маятника, которому требуется ровно одна секунда, чтобы качнуться из одной стороны в другую.

Для математического маятника период колебаний рассчитывается по формуле: T = 2π √(L / g). Если мы примем длину L = 1 метр и установим полный период T = 2 секунды (чтобы на один полувзмах уходила ровно 1 секунда), из уравнения следует: g = π² (м/с²).

Позднее определение метра изменили: его привязали к одной десятимиллионной части расстояния от экватора до Северного полюса по меридиану, проходящему через Париж. Но это геодезическое определение было вдохновлено более ранней идеей с маятником. И, что примечательно, оба подхода совпадают с точностью до 1%. По сути, поскольку старое «маятниковое» определение долгое время было основным кандидатом, значения подогнали так, чтобы новый метр был удобен и близок к привычным на тот момент измерениям.

А еще интересно, что число секунд в году примерно соответствует числу пи * 10^7. Орбитальная скорость Земли составляет около v = 30 км/с. Расстояние от Солнца до Земли — примерно r = 150 000 000 км. Таким образом, за год Земля проходит путь около d = 2 * π * r. Тогда период обращения равен T = d/v = π * 2 * r/v = π * 10⁷ секунд.

Математические нотации: хаос под строгим порядком | 2025-12-02T15:30:20

Если вам кто-то говорит, что математика это точная наука — не верьте. Поскольку у меня сейчас хобби data science, я изучаю всякое разное из разных книжек и у меня взрывается мозг, как вообще может такое происходить в науке, где каждая мелочь должна укладываться в систему, иначе она идет лесом. Пока дело не доходит до нотаций. С ними там какой-то дикий бардак. Набор диалектов.

Взять, например, обычные логарифмы. «Стандарт» как обозначать логарифм зависит от того, в какой комнате университета вы находитесь. В матанализе и теории чисел log(x) почти всегда означает натуральный логарифм ln(x) база e. Производная от e^x равна e^x. Это «естественно». Писать ln им лень. Там, же где могут вылезти дясятичные логарифмы (computer science тот же), log(x) внезапно становится десятичным, а ln(x) — по основанию e.

Матожидание E имеет аргумент в квадратных скобках. При этом те же квадратные скобки в computer science используются для степ-фукции 0/1.

Или вот если вы видите вектор — это столбец или строка? В классической математике вектор — это всегда столбец. Чтобы умножить его на веса, мы пишем T после вектора и потом w для весов. Но во многих пейперов векторы мыслятся как строки. И если вы видите y = xW+b , то x — это не столбец, потому что иначе размерности не сойдутся. x тут — строка. но в следующей статье пишут Wx+b. И тут x — столбец 🙂

Угловые скобки . Для скалярного произведения (dot product) используется знак «⋅», но его плохо видно, особенно на доске, и я очень часто вижу, что математики используют угловые для dot product. Вообще по науке угловые используются для обобщенного (generalized) понятия inner product, где скалярное произведение частный случай. означает некий абстрактный способ перемножить a и b и получить число. Причем в квантовой механике это бы записывалось как . А еще для скалярного произведения некоторые используют кружок с точкой или x в кружочке.

Ну и для кучи еще в России тангенс — это tg, а в США — tan. А есть еще tan^-1 и arctan, что одно и то же, хотя x^-1 вообще означает 1/x

Магия фракталов: Метод Хаоса в действии | 2025-10-04T15:32:25

Интересную штуку сегодня прочитал. Про фракталы. Если взять любые три точки, образующие треугольник, и взять любую (четвертую) точку где-нибудь, а затем кидать кубик, граням которого сопоставлены первые три точки. Далее двигаемся от текущей точкина сторону точки, соответствующей выпавшему на кубике, и на полпути ставим точку, она становится текущей. После множества итераций точки начинают образовывать форму треугольника Серпинского — тот, что изображен на приложенной картинке. Интуиция говорит, что треугольник должен быть весь закрашен, ведь это случайные движения в трех направлениях от случайно взятой точки, но вот нет. Причем он получится, если даже в качестве начальной точки взять точку внутри будущего пустого треугольника (да, несколько точек будут портить картину, но и только). Если в начале нашего опыта взять не три точки, а пять или шесть, то фигуры будут образовываться другие — см. приложенную картинку. Этот графический метод называется Метод Хаоса.

Кстати, это вроде очевидно, но вдруг — все изображенные фигуры имеют нулевую площадь.

Если взять два треугольника и с одной вероятностью p двигаться к случайным вершинам первого, а с (1-p) двигаться к случайным вершинам второго, то получится папортник Барнсли (картинка №2).

Люблю такие штуки, потому что они с первого взгляда кажутся магией:)

(Примерно из такого же класса задачка по автосинхронизации метрономов)