Когда работаешь с определенными задачами, насколько велика разница между CPU и GPU просто поражаешься. Например, мне вот нужно создавать много (миллионы) эмбеддингов, модель BGE M3. При запуске на моем совсем не слабеньком 24-ядерном процессоре Intel Core Ultra 9 285K создание 500 эмбеддингов занимает 45.85 секунд, а при использовании GPU NVIDIA 5090 точно такая же работа выполняется за 0.36 секунды. Это настолько быстро, что я специально писал этот бенчмарк, чтобы понять, а у меня вообще GPU привлекается или нет. Просто та программа, которая шлет в TEI запросы, делает это в тестовом режиме недостаточно активно (условно пару раз в секунду), и графики GPU просто около нуля показывают загрузку.
Интересное фото из Ирана. Американский заправщик Lockheed Martin КC-130 Геркулес и вертолеты Sikorsky HH-60 Pave Hawk, подключенные к нему. Если задуматься, это же трындец как сложно. Смотрите, самолет должен лететь на супернизкой для него скорости — близкой к скорости сваливания — в то время как вертолеты наоборот должны выжимать максимум, чтобы удерживаться. Чтобы не свалиться в штопор, самолет вынужден быстро терять высоту, соответственно, вертолеты тоже должны ее специально терять. Вертолеты находятся ниже самолета, поэтому если пилот по любой причине замедлится еще сильнее (хотя куда еще сильнее), а вертолеты не замедлятся, то в лопасти попадет шланг и всё. Вертолеты при заправке тяжелеют на несколько тонн, это тоже добавляет сложности. Почему заправляются сразу два? это же сложнее. На самом деле, это одновременно и сложнее, и проще, потому что нагрузка на крылья распределяется симметрично и самолету проще держать стабильный курс. А еще интересно, как там решается вопрос статического электричества в сухом воздухе.
Хорошее дополнение из комментов (Sergey Snegirev):
1. Пишут, что Геркулес сваливается на 100-110 (зависит от Т воздуха и высоты, что важно в Иране), плюс на фото видны закрылки, с закрылками можно и до 90 узлов держаться. Вертолет же (Pave Hawk) может разгоняться до 190 узлов (но понятно, что никто не проводит AAR на макс.скорости), крейсерская у него 150, так что overlap довольно большой. Полагаю, где-то на 120 узлах происходит AAR на видео.
3. Пишут, что AAR происходит на ровно одной и той же высоте, терять высоту не надо
4. Пишут, что заправщик — как и любой другой самолет — может рассеивать статическое электричество с помощью электростатического разрядника. Заправочный шланг имеет контакт, который уравнивает потенциалы двух ЛА перед подачей топлива.
5. Пишут, что топливо, которым заправляют внешние ЛА находится в цистернах в карго-отсеке самолета и отделено от топливной системы самого самолета. Да и даже если бы откачка шла из топливных баков самого танкера, там подача идет из центрального бака, в который налажена перекачка из боковых.
Пишут, что на крыльях самолётов в отдой с крылом плоскости на флиперонах установлено несколько металлических «антен» задача которых сбрасывать статическое электричество в воздух. Пишут, что то про соединении шланга там проходит провод и потенциалы на корпусах выравниваниются.
Норм вообще, сижу работаю, внезапно стук с бэкярда и выключается свет во всем доме. Смотрю через правое плечо — там за окном У МЕНЯ НА ЗАКРЫТОМ БЭКЯРДЕ мужик какой-то.
Выхожу, говорю, здрасте. Он такой: «я все сделал». Я говорю, я заметил, а ты вообще кто. Он такой- вы подавали заявку на переключение на EV тариф. Ну вот, надо было кнопку тут нажать. Я говорю и вы уже все нажали?
Он говорит — да. Я говорю вы тогда дверь за собой закройте, а то у меня тут собака обалдела.
Тут собак пришел. Сонный. Обалдевшый. Это кто, спрашивает.
Но вообще, неплохо было бы хотя бы предупреждать о визитах и о внезапном отключении света. Я бы комп загасил что-ли.
Зато теперь будет $0.0732 за кВт*ч по ночам, и $0.12694 днем.
Доделал первую версию книги-словаря по «Лолите» Набокова. На графике показано как распределяется сложность лексики по страницам книги. Нижний график усредняет 25 предложений, по вертикали — число сложных слов, цвета означают сложность/редкость (фиолетовые — самые сложные, красные — менее сложные, желтые — еще менее). Но это я уже убрал еще два уровня, и в целом для иностранца там все пять уровней непростые. В книге пунктиром отмечается уровень 3, простой рамкой — уровень 4, а двойной — уровень 5. Всего сейчас 5794 слова, из которых 541 пятого уровня, 1070 — четвертого, 1883 — третьего, 1393 — второго и 54 — первого (самые простые). Учитывая, что в первой версии получилось 1148 страниц, нужно будет очень сильно подчищать словарь, убирая оттуда то, без чего можно обойтись. Это в существенной степени слова первого и второго уровней, и отдельные из третьего и четвертого. Редкость слов рассчитывается тремя способами : через LLM, и через два списка частот слов англ языка в корпусе текстов (300К слов).
Не все слова сложные. Например, в предложении «With the ebb of lust, an ashen sense of awfulness, abetted by the realistic drabness of a gray neuralgic day, crept over me and hummed within my temples.» наверняка знающему неплохо английский не знакомы слова ebb, abet, drabness, а все остальное знакомо, но чуть снизь требования к читателю, и словарь может быть уже не очень полезным для таких.
Или вот предложение:
Homo pollex of science, with all its many sub-species and forms; the modest soldier, spic and span, quietly waiting, quietly conscious of khaki’s viatric appeal; the schoolboy wishing to go two blocks; the killer wishing to go two thousand miles; the mysterious, nervous, elderly gent, with brand-new suitcase and clipped mustache; a trio of optimistic Mexicans; the college student displaying the grime of vacational outdoor work as proudly as the name of the famous college arching across the front of his sweatshirt; the desperate lady whose battery has just died on her; the clean-cut, glossy-haired, shifty-eyed, white-faced young beasts in loud shirts and coats, vigorously, almost priapically thrusting out tense thumbs to tempt lone women or sadsack salesmen with fancy cravings.
У меня даже браузер подчеркивает тут четыре слова.
У меня есть определения слов на английском, немецком, французском, русском. Я столкнулся с тем, что для разных языков разные слова из текста считаются сложными, а они у меня единые. Так что придется отдельно помечать, например, французские слова в английском тексте, чтобы не включались во французскую версию, так как там читатель знает, например, что такое quel mot.
В общем, на выходных буду убирать, видимо, половину, в ручном режиме, и тогда можно делать обложку и выставлять на Amazon.
У нас вчера ночью была гроза. Весь каунти на ушах, потому что все думают, что незадолго от полуночи что-то взорвалось. В соцсетях по несколько сообщений подряд. Короче, это был гром. Но несколько более редкий, чем нормальный. Вызван молнией 401 kA, таким присваивается имя Wild House Shaker. Типичная молния — 30 kA. Если цифрам можно верить, то 401 kA — это прямо очень дохрена. Наверняка скажут, что такой молнии не было десятки лет у нас.
Прикладываю интересную карту.
Точки на карте показывают суперболты — молнии с энергией не менее 1М Дж. Красные точки — особенно мощные суперболты с энергией более 2М Дж. То есть, чаще всего суперболты происходят в северо-восточной части Атлантики и в Средиземном море, а также реже — в Андах, у берегов Японии и возле Южной Африки.
вот что рассказывает та страничка, с которой я взял карту (перевод):
«Новая работа показывает, что суперболты чаще всего возникают над Средиземным морем, северо-восточной Атлантикой и над Андами, а также в меньших количествах — к востоку от Японии, в тропических океанах и у южной оконечности Африки. В отличие от обычных молний, суперболты чаще бьют над водой.
«Девяносто процентов молний происходит над сушей», — сказал Холцворт (это главный чувак по молниям, в универе Вашингтона).
«Но суперболты возникают в основном над водой, вплоть до самой береговой линии. Например, в северо-восточной Атлантике на картах распределения суперболтов хорошо видны очертания берегов Испании и Англии».
«Средняя энергия разряда над водой выше, чем над сушей — это мы знали», — сказал он. «Но это касается обычных уровней энергии. Мы не ожидали такой резкой разницы».
Время года для суперболтов также не совпадает с обычными закономерностями молний. Обычные молнии чаще всего возникают летом — три основных так называемых «дымохода молний» совпадают с летними грозами над Америкой, Африкой к югу от Сахары и Юго-Восточной Азией. Однако суперболты, которые чаще встречаются в Северном полушарии, происходят в обоих полушариях в период с ноября по февраль.
Причина такого распределения пока остаётся загадкой. В некоторые годы суперболтов значительно больше, чем в другие: конец 2013 года стал рекордным, а конец 2014 — вторым по величине, тогда как в другие годы таких событий было намного меньше.
«Мы предполагаем, что это может быть связано с солнечными пятнами или космическими лучами, но оставим это для будущих исследований», — сказал Холцворт.
«Пока что мы лишь показываем, что существует ранее неизвестная закономерность».
Мое творение — инструмент для организации знаний Smartfolio.me — обросло новыми фичами. Прилагаю видос пятиминутный с обзором.
Это как гугл докс, но документы можно вкладывать друг в друга, создавая целую сеть связанных знаний, и такими документами могут быть и PDF, и обычные тексты.
Закидываешь PDF, программа превращает её в картинки, и можно прямо на страницах выделять любые куски, чтобы оставить коммент или задать вопрос.
Если в тексте что-то непонятно, выделяешь область и жмешь «elaborate» — LLM распишет всё подробно, учитывая контекст всего документа, и объяснение останется ссылкой к выделенному фрагменту.
Можно просто вырезать кусок из PDF, а LLM вытащит оттуда чистый текст или готовую формулу.
В окне с PDF теперь есть своя панелька — там сразу видны все комментарии и разъяснения, так что можно быстро прыгать по нужным местам.
Можно вырезать схему или график из PDF, скопировать как картинку и вставить в свой текст. Она сама обрежется «на лету» и сохранится в базу, но не как копия, а как ссылка на страницу с параметрами кропа.
Если удалил ссылку на страницу в тексте, она не пропадет совсем, а попадет в специальный список, откуда её можно привязать в другое место или удалить окончательно. Один и тот же документ можно вставить в несколько мест. Если добавил в него коммент, он обновится везде, где этот документ прилинкован.
Математика поддерживается полностью — формулы на LaTeX можно не только смотреть, но и кликнуть, чтобы подправить их в редакторе.
Можно генерировать формулы по описанию. Просто пишешь словами, что за формула тебе нужна (например, «биномиальное распределение»), и система сама выдает готовый код формулы.
Теперь есть система плагинов — по сути это изолированные от главной программы экспериментальные функции. Например, есть плагин, который рекурсивно собирает все-все дочерние странички в один длинный документ — удобно, если надо всё сразу прочитать или распечатать.
Или вот плагин «Чистка транскриптов YouTube». Если есть грязный текст лекции с YouTube, плагин сам расставит знаки препинания, параграфы и сделает красивые заголовки.
Если вставишь ссылку на сайт, он откроется в колонке рядом — можно читать источник и одновременно делать свои заметки. При этом некоторые сайты не разрешают себя встраивать в чужие страницы. Система такие сайты опознает, и они открываются в новой вкладке.
Левую панель со списком страниц можно скрывать или менять её размер мышкой, чтобы она не отъедала место на экране.
Можно просто скопипастить изображение или скриншот, и он не просто вставится, а еще и зааплоадится в базу данных.
Поддерживается работа с мобильного телефона. На телефоне интерфейс переключается в режим одной колонки, чтобы было удобно читать и комментировать на ходу.
Поддерживаются несколько баз данных — можно переключаться. Можно подключать разные базы данных и разные LLM и переключаться между ними.
Паттерн использования такой: держу телефон в руках. Там в apple books эта и книжка. Видишь незнакомое слово — оно с большой вероятностью будет в списке слов главы. Определение учитывает перевод самого Набокова. Дальше смотришь на пару слов вперёд, убираешь телефон, продолжаешь читать. Встречаешь те слова, и они ещё в кратковременной памяти, и ура, понимаешь. В паузу загружаешь в мозг следующие пару слов. В руках надо держать телефон и перелистывать, каждая страница содержит 4-5 определений.
Сейчас каждое слово имеет определения на английском (толкование), французском, и немецком. Соответственно, я могу издать четыре книжки.
В целом, мой уровень английского совпадает с предположениями моей программки о том , какие слова будут вызывать сложность. Но когда-нибудь мне надо такое для французского, и там понадобится для и каждого слова некоторую оценку уровня сложности, потому что мне будут непонятны и некоторые базовые слова тоже. Не уверен, что книжка с базовыми словами будет удобна. С редкими — точно удобна.
В начале года купил умный замок NFC на входную дверь, за 170 баксов, недавно написал на Амазон отзыв, что батареек хватило на полтора месяца, и если так дальше будет, то почти столько же заплачу за год, и производитель написал, что вернут деньги. Отзыв удалять не просят, да я даже не знаю, можно ли это сделать.
Ради развлечения решил сделать матрицу кто с кем друг и кто с кем враг. Для каждой пары страна-страна я спрашивал у Gemini, в какую из пяти категорий попадают отношения: «на ножах» (фиолетовые), «преимущественно недобрые» (красным), «никакие» (желтым), преимущественно добрые» (голубым), «друзья» (зеленым). Лиза сказала, что «никакие» должны быть фиолетовыми. В целом, качество оценок Gemini неплохое.
Из всех стран выделяются три красные линии. Это страны, у которых не очень с очень много кем. Ну Россию вы правильно угадали. А что за вторая страна? Израиль? Нет, это Беларусь и Венесуэла.
В пятерку стран, с которыми все дружат и которые много с кем дружат, LLM включил США, Великобританию, Канаду, Францию и Германию. Есть антирейтинг — это страны, у которых много с кем очень не ладится («на ножах»). В этом рейтинге на первом месте Россия с 21 страной, и на втором месте Израиль с 18 недругами. Дальше с большим отрывом идут Сирия и США с 9 недругами. Есть отдельный рейтинг Conflict zone — это по сумме красных с фиолетовыми. Россия, Венесуэла, Беларусь, Израиль, США, Иран, Украина.
Есть «клуб пацифистов». Эти те, у которых вообще нет врагов с сортировкой по числу друзей. Рейтинг: Багамы, Ватикан, Люксембург, Ангола, Сингапур, Исландия, Ямайка, Танзания, Замбия.
Мне было интересно, а что если применить формулу: враг моего врага — мой друг? Что поменяется? Это привело к новым краскам на матрице — logic friends.
Самым неожиданным лидером рейтинга Master Pragmatists стал Тайвань (25 логических связей). Почему так? В логике LLM, Тайвань — это страна, которая официально признана немногими, но из-за глобального противостояния с Китаем она автоматически становится «логическим другом» для всех, у кого с Пекином натянутые отношения. Это подтверждается и в разделе Shadow Bridges: у Тайваня 23 связи за пределами своего региона. Он буквально «сшивает» разные части света через общую проблему.
Отчет «Тайные партнеры» — список геополитических оксюморонов. Это пары, которые в официальных новостях «на ножах», но по расчету Gemini вынуждены дружить. Например, Афганистан — США/Великобритания. Несмотря на статус «rather bad relations», логика Gemini видит в них «логических друзей». Вероятно, из-за общих региональных угроз (например, ИГИЛ) или зависимости от гуманитарных и теневых каналов. Или вот странный союз «Беларусь — Венгрия». Номинально — разные лагеря, фактически — схожий стиль риторики и общие «недруги» в Брюсселе. Эритрея — Эфиопия: Статус «на ножах», но при этом они попали в логические друзья.
В отчете «наиболее противоречивые» первые места занимают США, и потом с большим отрывом Россия, и еще с большим — Великобритания, Канада, Украина. Это страны с наибольшим значением произведения Love x Hate. То есть, у которых одновременно много и друзей, и врагов.
Еще один отчет — пофигисты. Про них LLM не смогла много что сказать, видимо, потому, что они никого не волнуют (как в прямом, так и в переносном смысле). Там например Магадаскар и Гаити.
Еще я попробовал кластеризовать по силе друзей и получил четыре группы стран.
Самый масштабный кластер. Ядро: Китай, Россия, Иран, Индия и страны БРИКС+, а также почти весь африканский континент (от Египта до ЮАР) и значительная часть Ближнего Востока (ОАЭ, Саудовская Аравия, Катар).
Во второй кластер попали главным образом европейские страны. Ядро: Франция, Германия, Великобритания. Сюда алгоритм определил Украину и Израиль. Это логично: их выживание зависит от «преимущественно добрых отношений» с европейским ядром. В этом же клубе находятся Армения, Грузия и Сербия. Видимо, несмотря на все политические качели, их связи с Европой Gemini считает более фундаментальными, чем любые другие.
В третий кластер попали США, Канада, Бразилия, Мексика, а также, например, Тайвань. Официально он может быть «логическим другом» для всех врагов Китая, но по «силе друзей» он намертво пришит к американскому блоку. Сюда же попал Ватикан, что делает этот клуб не только экономическим, но и в некотором роде «ценностным».
В четвертый, самый компактный и специализированный клуб, попали страны Океании и Юго-Восточной Азии. Лидеры: Австралия, Япония, Новая Зеландия, Сингапур. Это получился клуб стран, которые пытаются балансировать в самом сложном регионе планеты. Здесь же находятся почти все островные государства (Фиджи, Самоа, Тонга).
Что еще можно попробовать вытащить из этой информации?
