Метка: TechStories

Недавно наткнулся на интересное исследование на сайте Timsh org, где автор разобрал, как приложения собирают и передают ваши данные. В эксперименте использовалось старое устройство iPhone и перехват трафика. На телефон было установлено условно некоторое рандомное приложение — для эксперимента это был Stack от KetchApp. Автор перехватывал траффик и смотрел, что передается из приложения во внешний мир. А передавалось очень много всего даже при ответе «нет» на вопрос «Allow tracking?».

В частности, IP-адрес (что позволяет определить ваше местоположение через обратный DNS), приблизительная геолокация (даже с отключенными службами геопозиции),

модель устройства, уровень заряда батареи, уровень яркости экрана, количество свободной памяти и другие параметры.

Данные уходят конечно не в компанию-автор приложения, а неким третьим сторонам. То есть, эти третьи стороны собирают данные с большинства приложений на вашем телефоне, причем потоки идут каждый раз, когда приложение работает.

Автор пишет о двух крупных группах игроков — SSP и DSP.

К SSP (Supply-Side Platforms) относятся те, что собирают данные из приложения — Unity Ads, IronSource, Adjust. Есть также DSP (Demand-Side Platforms), которые управляют рекламными аукционами, это Moloco Ads, Criteo.

Рекламодатели получают доступ к данным через DSP. Брокеры данных — агрегируют и продают данные. Например, Redmob, AGR Marketing Solutions. Причем последний продает базы данных с PII, включая имя, адрес, телефон и даже рекламные идентификаторы (IDFA/MAID).

Какие данные отправляются? Вот к примеру тот Slack от KetchApp слал в Unity Ads геолокацию (широта, долгота), IP-адрес (включая серверные IP, например, Amazon AWS), уникальные идентификаторы устройства: IDFV (идентификатор для конкретного разработчика) и IDFA (рекламный идентификатор), а также такие доп параметры как модель телефона, уровень заряда, состояние памяти, яркость экрана, подключение наушников и даже точное время загрузки системы.

У DSP для продажи информации есть система RTB (real-time bidding). Данные из приложения передаются через SSP (например, Unity Ads), а затем в DSP (например, Moloco Ads), где в реальном времени проводятся аукционы для показа релевантной рекламы. На каждом этапе данные передаются десяткам, а то и сотням компаний.

Да, отвечая «Не хочу делиться данными», вы отключаете только отсылку IDFA (рекламный идентификатор), но при при этом другие данные, такие как IP-адрес, User-Agent и геолокация, и все эти модель телефона и свободная память, все равно передаются. Совместно они являются таким же фингерпринтом в моменте, как и рекламный идентификатор. Приложения при желании все равно могут вас идентифицировать по множеству параметров: IP-адресу, модели устройства, версии ОС, шрифтам, разрешению экрана, уровню батареи, часовому поясу и другим данным, так как получают эту информацию с сотни других мест. Другой вопрос, что «конечным приложениям» это не надо, это не бесплатно же, но тем, кто через них показывает вам рекламу это надо, и у них эта инфа есть. Ну и всякие спецслужбы легко могут получить доступ при необходимости, разумеется.

Если вы используете несколько приложений одного разработчика, идентификатор IDFV позволяет связать данные из всех приложений.

Наверное, это не секрет совсем, но в Facebook (Meta) отправляют данные почти все, при том, что у пользователя никто согласия не спрашивает. То есть, если у вас на телефоне есть фейсбук, то все, бинго, любые данные из любых других приложений начинают быть помеченными вашим профилем, даже, если вы в тех приложениях запретили делиться информацией.

Компании обмениваются пользовательскими данными друг с другом. Например, Facebook обменивается информацией с Amazon, Google, TikTok, а мобильные SDK (например, Appsflyer, Adjust) делают перекрестную привязку пользователей между разными сервисами, потому что такой обмен повышает цену и качество информации сразу у всех участников обмена. Таким образом, удаление одного приложения не мешает вашим данным «путешествовать» между разными платформами.

Заодно выяснилось, что Unity, который вообще-то 3D движками занимается для игр, в основном зарабатывает на продаже вот этих собираемых данных. Конкретно в 2023 году у них был доход с этого направления $2 млрд («Mobile Game Ad Network»). В 2022 году Unity поглотил IronSource — еще одного гиганта мобильной рекламы. IronSource занимается анализом поведения пользователей и оптимизацией монетизации, а также продажей данных рекламодателям. Теперь Unity через LevelPlay может управлять не только размещением рекламы, но и агрегацией данных, продавая их другим компаниям.

Большая часть мобильных игр создается на Unity, особенно free-to-play игры. Это позволяет Unity иметь доступ к данным с миллионов устройств по всему миру, даже без явного согласия пользователя. Разработчики часто не знают, насколько глубоко Unity отслеживает данные в их играх.

Вывод: отключение рекламы или запрет трекинга на уровне ОС — это всего лишь небольшое препятствие. Данные о вас все равно собираются, анализируются и передаются сотням компаний.

Ссылочку смотрите ниже

Длинный пост про то, как достичь успеха! Бесплатно! без регистрации и смс! Я тут просто наткнулся на одну научную работу, которая доказывает, что роль случая в успехе выше, чем роль таланта. И это срезонировало с моим убеждением, что все успешные люди успешные, потому что им повезло, а не потому что они какие-то необыкновенно талантливые, умные, или необычные. Скорее даже наоборот, они такие, потому что им повезло. Заметьте, не потому что они «везунчики», а потому что им повезло. Это разные вещи.

Аргументирую. Есть исследование «Talent vs Luck: the role of randomness in success and failure», авторы Алессандро Плучино, Алессио Эмануэле Биондо и Андреа Рапизарда. Да, ржач в том, что Алессандро за эту работу получил Шнобелевскую премию («символическая награда за научные открытия, «сначала заставившие людей смеяться, а затем задуматься»»). Они использовали агентное моделирование для анализа вклада таланта и удачи в успех.

За исходные данные они взяли вроде как объективные вещи: талант и интеллект распределены среди населения по нормальному (гауссовскому) закону, где большинство людей имеют средний уровень этих качеств, а крайние значения встречаются редко, а богатство, часто рассматриваемое как показатель успеха, следует закону распределения Парето (степенному закону), при котором небольшое число людей владеет значительной частью ресурсов, а большинство — лишь малой долей.

Далее авторы разработали простую модель, в которой агенты (1000) с различным уровнем таланта подвергаются в течение условных 40 лет случайным событиям, которые могут быть как благоприятными (удача), так и неблагоприятными (неудача). Каждое такое событие влияет на «капитал» агента, служащий мерой его успеха.

Результат: Хотя определенный уровень таланта необходим для достижения успеха, наиболее успешными часто становятся не самые талантливые индивиды, а те, кто обладает средним уровнем таланта, но испытывает больше удачных событий. Существует сильная корреляция между количеством удачных событий и уровнем успеха: самые успешные агенты являются и самыми удачливыми.

Мое наблюдение за тем, «как работает мир», полностью с этими выводами согласуется. Нужно просто делать так, чтобы тебе больше везло. Всё. Не надо стараться быть самым умным — это не помогает настолько, насколько помогают следующие вещи:

1) Быть в среде, где случаются важные события. Кремниевая долина для стартаперов. Нью-Йорк для финансистов. Голливуд для актеров. Если окружение повышает вероятность знакомства с «ключевыми» людьми, то логично поместить себя в это окружение.

2) Создавать больше точек касания с миром и поддерживать их. Вести блог, писать статьи, давать интервью. Ходить на конференции, участвовать в сообществах. Звонить и писать знакомым и полузнакомым, особенно, когда такие звонки и письма им потенциально важны. Расширять количество контактов – даже если 99% бесполезны, 1% может изменить жизнь.

3) Увеличивать количество попыток. Чем больше проектов, тем выше шанс, что один из них «выстрелит». Лучший пример – венчурные фонды: они инвестируют в десятки стартапов, зная, что успех принесет лишь один. Художники, писатели, музыканты создают сотни работ, зная, что только одна станет хитом.

К сожалению, для этого пункта надо любить свое дело. Поэтому выбирайте такое дело, где попытки делать приятно.

Организационный психолог Томас Чаморро-Премузик в своей книге «Why Do So Many Incompetent Men Become Leaders?» утверждает, что удача составляет около 55% успеха, включая такие факторы, как место рождения и семейное благосостояние. Это так, но раз вы сидите в фейсбуке на айфончике за чашкой кофе, а не гоняете коров в набедренной повязке в Африке, у вас уже неплохие начальные условия.

Отсюда интересный вывод — нужно ли учиться в университете, чтобы тебя настиг успех в жизни? Смотрим на пункты выше. Быть в среде, создавать больше точек касания, увеличивать число попыток. Из этих трех пунктов два работают лучше в случае очного обучения, а третий работает не очень, потому что университет съедает 4-5 лет жизни (и университет — это одна попытка). Но зато два других критерия очень важны — за время обучения средний студент общается с сотнями сверстников, которые могут оказать существенный вклад в вероятность успеха этого студента.

Но вот сидеть эти пять лет дома с книжками — не соответствует ни одному критерию. Онлайн-образование находится где-то между, смотрите сами, оно разное бывает, но ближе к варианту «сидеть с учебниками».

Авторы исследования подтвердили концепцию «Эффекта Матфея». Это из Библии: «Ибо всякому имеющему дано будет, и приумножится; а у не имеющего отнимется и то, что имеет.» (Евангелие от Матфея, 25:29). Объясняют, почему успех накапливается, даже если он изначально случаен:

Люди, которым повезло на ранних этапах, получают больше ресурсов, возможностей и внимания. Это, в свою очередь, увеличивает их шансы на новые удачные события. В результате те, кто изначально оказался в выгодном положении, продолжают наращивать успех, а остальные остаются позади.

Это объясняет, почему богатые люди чаще получают выгодные инвестиции, популярные артисты становятся ещё популярнее, а менее известные остаются в тени, а компании, которые «попали в струю», привлекают больше клиентов и ресурсов, чем их менее удачливые конкуренты.

Именно поэтому для успеха еще нужно следовать принципу «Fake it till you make it». Успешный человек чаще преувеличивает свои навыки или достижения, а затем подтягивается до заявленного уровня. Общество такие штуки почему-то легко прощает и быстро забывает, но когда они срабатывают (а срабатывают часто), то человек уже в них особо не нуждается. Есть еще self-fulfilling prophecy — самореализующееся пророчество. Идея в том, что если человек заявляет что-то как факт (даже если это преувеличение), он и окружающие начинают вести себя так, будто это правда, и в итоге это действительно становится реальностью.

Есть еще принцип «за спрос денег не берут» (It doesn’t hurt to ask). Принцип в том, что если вероятность успеха поднимает заданный кому-то вопрос («а можете поднять мне зарплату с марта или включить главным вон в тот проект»), то надо спрашивать. You never know unless you ask.

И еще кое-что. Act now, apologize later. Actions speak louder than words. Как вы знаете, быть в нужное время в нужном месте имеет не только нужное место (это первый пункт из моего списка), но и нужное время. Поэтому just do it. Из людей, которые не мечтают, а делают, никогда никто не заканчивает бомжом на улице, потому что поторопился.

И последнее. Время — конечный ресурс. Хорошая идея была про листочек с клеточками — гуглите «90 лет жизни в неделях». Можно закрасить прожитые и посмотреть на оставшиеся.

Итак, резюмирую.

Успех определяется удачей, а не талантом. Талант помогает, но чаще формируется под влиянием успеха. Знания полезны, но опыт полезнее. Время — конечный ресурс. Планирование не работает, работают три вещи:

1) быть в среде, где случаются важные события,

2) создавать больше точек касания с миром и поддерживать их,

3) увеличивать количество попыток, где может сработать удача.

Три принципа:

1) Fake it till you make it

2) It doesn’t hurt to ask

3) Actions speak louder than words

Так интересно наблюдать, что с ростом сложности и со временем софт переходит в состояние «вещь в себе», когда сами разработчики уже толком не понимают, как он работает, точнее, почему иногда и внезапно не работает, и предпочитают минимально его трогать, отчего они со временем еще меньше его понимают, и он застывает в том, как есть на годы. Этот процесс известен как software rot (разложение ПО) или legacy paralysis (паралич легаси-кода).

Но боссы и рынок требуют развития, поэтому вместо того, чтобы что-то по существу менять и улучшать, разработчики навешивают «свистелки и перделки», которые вырастают рядом, а не являются изменением основного продукта. Ведь всем понятно, что если начать лезть в основной продукт, можно встать на путь, который ведет к разочарованиям, срывам сроков, увольнениям и т.д.

Интересно, что с приходом AI эта проблема с одной стороны будет только усугубляться, потому что команда будет еще меньше понимать, как что работает, а с другой — сложность можно взять под контроль, так как для AI анализ сложных штук дается проще, чем для одного биологического мозга.

Например, AI можно использовать для создания тестов к существующему коду, а также выполнять поиск аномалий и потенциальных багов, для создания документации и объяснения структуры кода от простого к сложному, можно частично автоматизировать рефакторинг и обнаруживать узкие места производительности.

Думаю, что такие AI решения для работы с легаси должны быть крупным рынком скоро

Очень интересная лекция Andrej Karpathy про детали LLM/ChatGPT

Два с половиной года назад я напечатал на SLA принтере вот такой держатель для телефона, держатель собственной конструкции. И вот юки лапой его сломал. Я начал склеивать суперклеем, и понял, что склеивается этот пластик не очень (но все-таки склеился после зашкуривания). Начал разбираться почему, нашел много интересного про суперклей.

Как работает суперклей? В тюбике он находится в жидком состоянии и состоит из молекул мономеров этилцианоакрилата. Когда клей наносится на поверхность, он заполняет поры и щели. Они должны быть — иначе не будет работать клей. Поэтому важно грубо зашкурить поверхность. Реакция полимеризации начинается из-за контакта с водой (включая влагу в воздухе). Поэтому смывать клей водой нельзя, он еще быстрее схватится. Ацетоном — можно. Если клей не в глазах. А в глаза он попадает, потому что часто выпускают в упаковке, напоминающей глазные капли. Молекулы начинают соединяться друг с другом, образуя длинные полимерные цепи, превращаясь из жидкости в твёрдое вещество.

Именно благодаря быстрой полимеризации клей схватывается за 10–30 секунд.

Клей также плохо склеивает гидрофобные поверхности, такие как полиэтилен, полипропилен, тефлон. У них нет свободных электронов, с которыми может взаимодействовать клей, а также они не впитывают влагу, необходимую для запуска реакции.

Удары и сдвиги – суперклей отлично работает на растяжение, но очень хрупок при ударах и сдвигах. Это его слабое место.

— Цианоакрилат открыт случайно фотокомпанией Eastman Kodak (конкретно Гарри Куве), который пытался создать прозрачный пластик для оружейных прицелов.

— В отличие от большинства пластиков, которые ухудшаются после переработки, суперклей можно разогреть до 210°C и разложить на мономеры. Затем эти мономеры можно собрать обратно и получить новый, прочный материал. Это позволяет перерабатывать пластик без потери качества.

— Свойства клея заинтересовали армию США, особенно в разгар Вьетнамской войны. Транспортировка раненых занимала считаные минуты, но многие бойцы умирали от неконтролируемого кровотечения. Поэтому в 1966 году армия США отправила в Южный Вьетнам специальную хирургическую бригаду, вооруженную аэрозольными спреями с цианоакрилатом. Хотя этот метод использовался в ограниченном количестве случаев, из 30 задокументированных случаев остановки кровотечения клеем, в 26 он оказался успешным. В 1998 придумали более безопасный хирургический клей.

А зеленый шарик внизу — это интересный объект, тоже печатал. Это сечение гироида шаром. Гироид (gyroid) — непрерывная (без самопересечений) бесконечно повторяющаяся в трех измерениях структура без симметрий отражения. Кстати, единственная, других наука не знает. Вообще, это способ сделать элементы с минимальным весом и максимальной прочностью. Внутри, по сути, это синусоиды по трем координатам.

Думал, как доступно объяснить сегодня утром что такое прохождение собеседования на программиста. Придумал как мне кажется отличную аналогию. Это как если бы при приеме на работу повара в столовую просили бы описать процесс денатурации белков в курином яйце на молекулярном уровне. При приеме на работу продавца обязательно интересовались бы, какой эффект окажет снижение ставки рефинансирования на агрегированный спрос в долгосрочной перспективе?

Нельзя просто так взять на работу сварщика. Нужно, чтобы он знал, сколько валентных электронов у атома железа, и мог вывести уравнение химической реакции при сварке.

Сантехник должен обязательно знать закон Бернулли и мочь рассчитать рассчитать расход воды через трубу по уравнению Навье-Стокса.

Безусловно, невозможно просто так взять на работу парикмахера — нужно, чтобы он в деталях мог объяснить, как работают дисульфидные связи в структуре волоса и почему на молекулярном уровне химическая завивка — это преступление против кератина.

Столяра нужно спрашивать, каково идеальное количество ударов молотка в минуту для фиксации гвоздя с учетом толщины древесины. Даже, если он не сможет назвать точное число, он должен продемонстрировать мыслительный процесс в правильном направлении (в направлении собеседующих).

Конечно, как только программиста взяли на работу, в первой же задаче ему придется переворачивать строку без использования встроенных функций. Через рекурсию. Сразу после того, как он напишет модуль, где будут складываться два 100-значных числа без использования операции сложения. И результат будет выводить в консоли, оформив его ромбиком. Ну и конечно, программист на Java будет использовать volatile, transient, strictfp хотя бы через день.

Брать нужно того, у кого горят глаза, или, если не горят, то кто как танк, уверенно продавливает путь к решению. Кто понимает, в какое место кода обычно надо ударить кувалдой, чтобы заработало, и при этом держит в кармане изоленту, если удар не помог. Кто способен одновременно чинить баг и разъяснять заказчику, почему баг — это «особенность», а не ошибка. Кто вместо фразы «это невозможно» говорит «интересная задачка, надо подумать», и при этом уже гуглит, как это делается. Кто с таким вдохновением пишет костыли, что они выглядят как часть архитектуры. И главное — брать нужно того, кто даже на собеседовании не боится задать контрвопрос: «А зачем мне решать задачи на переворачивание строк, если в жизни у меня есть reverse()? Ну в питоне s[::-1] или ».join(reversed(s)).