Метка: Software

Преобразование чата в семантический поиск вопрос-ответ | 2026-04-30T04:05:37

За вечер сделал простую утилитку, которая вытаскивает чат Natural Language Processing за полтора года — там 65 тысяч сообщений, и переводит его в пары вопрос-ответ, по которым есть семантический поиск. При клике на результат поиска (слева) открывается диалог в чате. Подсвечиваются те сообщения, которые являются ответами на вопрос. Ну и сверху подсвечивается вопрос а оригинальной формулировке.

Как работает: система предполагает, что люди в основном делают reply to на сообщения, находящиеся относительно близко в прошлом. Если на одно сообщение делается несколько reply-to, то наверняка оно полезное, и зацепило в чате других. Система берет сообщения, начиная с того, на которое многие отвечали, и заканчивая последним в цепочке reply-to — и среди таких берет те, которые имеют минимум 3 reply-to к оригинальному вопросу. То есть, по сути, она вырезает из чата кусок, начинающийся популярным вопросом так, что после нижнего отреза скорее всего уже идет нерелевантное. Такие блоки могут накладываться друг на друга — например, если кто-то спросил, пока другие отвечали на что-то еще.

То есть, если пользователь А спросил какая погода, и ему ответили «хорошая», «плохая», «дождь», и еще было пять сообщений без reply-to, а потом кто-то ответил на «дождь» вопросом «почему дождь», и на этот вопрос ответили еще пятеро, то в систему попадет первый вопрос про погоду — кусок будет заканчиваться 13 сообщениями.

Дальше эти куски суммаризуются в вопрос-ответ.

Получается прикольно.

П. С. На скриншоте поисковый запрос не имеет отношения к результату поиска, потому что я сдуру сделал скриншот, когда запрос ещё поменял, а отправить ещё не нажал

Не та раскладка: когда gremlin стал похуистом | 2026-04-28T20:33:08

Это я набрал слово gremlin, не переключив раскладку. Собрался блин почитать про язык запросов графовых баз данных, по работе надо. Удивляет гугл, удивляет

Сравнение производительности CPU и GPU на примере создания эмбеддингов | 2026-04-11T18:08:07

Когда работаешь с определенными задачами, насколько велика разница между CPU и GPU просто поражаешься. Например, мне вот нужно создавать много (миллионы) эмбеддингов, модель BGE M3. При запуске на моем совсем не слабеньком 24-ядерном процессоре Intel Core Ultra 9 285K создание 500 эмбеддингов занимает 45.85 секунд, а при использовании GPU NVIDIA 5090 точно такая же работа выполняется за 0.36 секунды. Это настолько быстро, что я специально писал этот бенчмарк, чтобы понять, а у меня вообще GPU привлекается или нет. Просто та программа, которая шлет в TEI запросы, делает это в тестовом режиме недостаточно активно (условно пару раз в секунду), и графики GPU просто около нуля показывают загрузку.

— Testing http://localhost:8080/embed — <— CPU version

Requests completed: 500

Total time: 45.85 sec

Throughput: 10.90 req/sec

Average latency (Avg Latency): 4386.11 ms

P95 latency: 5021.88 ms

— Testing http://localhost:8090/embed — <— GPU version (NVIDIA 5090)

Requests completed: 500

Total time: 0.36 sec

Throughput: 1398.69 req/sec

Average latency (Avg Latency): 31.38 ms

P95 latency: 53.18 ms

========================================

RESULT: is 99.22% faster

Smartfolio.me: Революция в организации знаний | 2026-03-19T04:01:04

Мое творение — инструмент для организации знаний Smartfolio.me — обросло новыми фичами. Прилагаю видос пятиминутный с обзором.

Это как гугл докс, но документы можно вкладывать друг в друга, создавая целую сеть связанных знаний, и такими документами могут быть и PDF, и обычные тексты.

Закидываешь PDF, программа превращает её в картинки, и можно прямо на страницах выделять любые куски, чтобы оставить коммент или задать вопрос.

Если в тексте что-то непонятно, выделяешь область и жмешь «elaborate» — LLM распишет всё подробно, учитывая контекст всего документа, и объяснение останется ссылкой к выделенному фрагменту.

Можно просто вырезать кусок из PDF, а LLM вытащит оттуда чистый текст или готовую формулу.

В окне с PDF теперь есть своя панелька — там сразу видны все комментарии и разъяснения, так что можно быстро прыгать по нужным местам.

Можно вырезать схему или график из PDF, скопировать как картинку и вставить в свой текст. Она сама обрежется «на лету» и сохранится в базу, но не как копия, а как ссылка на страницу с параметрами кропа.

Если удалил ссылку на страницу в тексте, она не пропадет совсем, а попадет в специальный список, откуда её можно привязать в другое место или удалить окончательно. Один и тот же документ можно вставить в несколько мест. Если добавил в него коммент, он обновится везде, где этот документ прилинкован.

Математика поддерживается полностью — формулы на LaTeX можно не только смотреть, но и кликнуть, чтобы подправить их в редакторе.

Можно генерировать формулы по описанию. Просто пишешь словами, что за формула тебе нужна (например, «биномиальное распределение»), и система сама выдает готовый код формулы.

Теперь есть система плагинов — по сути это изолированные от главной программы экспериментальные функции. Например, есть плагин, который рекурсивно собирает все-все дочерние странички в один длинный документ — удобно, если надо всё сразу прочитать или распечатать.

Или вот плагин «Чистка транскриптов YouTube». Если есть грязный текст лекции с YouTube, плагин сам расставит знаки препинания, параграфы и сделает красивые заголовки.

Если вставишь ссылку на сайт, он откроется в колонке рядом — можно читать источник и одновременно делать свои заметки. При этом некоторые сайты не разрешают себя встраивать в чужие страницы. Система такие сайты опознает, и они открываются в новой вкладке.

Левую панель со списком страниц можно скрывать или менять её размер мышкой, чтобы она не отъедала место на экране.

Можно просто скопипастить изображение или скриншот, и он не просто вставится, а еще и зааплоадится в базу данных.

Поддерживается работа с мобильного телефона. На телефоне интерфейс переключается в режим одной колонки, чтобы было удобно читать и комментировать на ходу.

Поддерживаются несколько баз данных — можно переключаться. Можно подключать разные базы данных и разные LLM и переключаться между ними.

Словарь Набокова: Мультиязычное путешествие по текстам писателя | 2026-03-15T18:30:39

Читаю Набокова и решил отвлечься и сделать удобную программку «Словарь Набокова» и подумываю продавать его на Амазоне как книгу. По сути, выглядит это так (см скриншот) — определения сложных слов на английском, русском, немецком и французском, идущих в том же порядке, в каком они идут в оригинальной книге.

Вы бы купили такую книжку?

Для того, чтобы корректно сделать их определения, я также написал aligner — программу, которая сопоставляет предложения и абзацы на английском с их переводами (набоковским) на русский. И когда создается определение слова, используется не только знание LLM, но и перевод на русский автора. Отдельно стоит рассказать, как работает алгоритм (я его сам придумал, потому что все, что нашел в сети, не работало как мне надо). Он находит сначала длинные предложения, и находит для самых длинных предложений их пару через косинусное сходство embedding-векторов, созданных через модель multilingual e5. Эти предложения становятся якорями. Затем, предполагая, что для длинных предложений ошибка почти исключена, находится самое длинное предложение уже между якорями, и все повторяется заново рекурсивно. Там много ситуаций, когда у предложения на русском нет аналога на английском и наоборот, когда предложение разбито на два, или наоборот два слиты в одно. Алгоритм как может это обрабатывает. Результат — очень неплохое качество выравнивания. До такой степени, что ошибки выравнивания уже не получается находить (но наверняка они есть). Так или иначе, оно нужно только для контекста для перевода слов, даже если там и есть редкие ошибки, то не страшно.

Вы бы купили такую книжку?

Умный замок с коротким зарядом: производитель возвращает деньги | 2026-03-13T18:49:37

В начале года купил умный замок NFC на входную дверь, за 170 баксов, недавно написал на Амазон отзыв, что батареек хватило на полтора месяца, и если так дальше будет, то почти столько же заплачу за год, и производитель написал, что вернут деньги. Отзыв удалять не просят, да я даже не знаю, можно ли это сделать.

Разгадываем загадку батарейного отсека умного замка | 2026-03-07T22:43:41

Update: разобрался, походу замку нужны 6в + 6в для разных нужд. Может, силовая часть и электроника.

Кто шарит в электронике, помогите разобраться. Красным соединены контакты, которые прозваниваются тестером. Всего 8 батареек. Не могу увидеть тут классическую змейку. Не могу понять, почему прозваниваются правые нижние. Хочу подключить внешний адаптер

С турбо паскаля до CAD для мебели: история Bazis Soft | 2026-03-06T17:43:22

Моя первая работа, программистом, с офисом в Коломне и за деньги. 1993 год, а может еще годом раньше. 10-11 классы школы. И эта компания до сих пор существует, и ребята, с которыми я работал, до сих пор там! Наталья Бакулина, Павел Бунаков, Николай Каскевич. Прикиньте. Причем они вообще начали в 1986 году, то есть 40 лет назад уже! Я с трудом вспомню еще коммерческие компании такого возраста в России. Когда я пришел к ним работать, был MS DOS, писали на Turbo Pascal, но они начинали за много лет до меня еще на ЭВМ СМ-1420, правда, тогда компания была не совсем коммерческой. На момент моего прихода система была конкурентом AutoCAD на рынке, локально еще конкурировали с «Компас». Я делал установщик с дискет 5.25″ и 3.5″ — это чтобы почувствовать дух эпохи. Дальше они перешли на Delphi и Windows. Дальше они сузили тему, и из CAD для машиностроения перешли к CAD для мебели, где до сих пор у них очень неплохие позиции.

Присоединяйтесь к альфа-тестированию Smartfolio: Графовый блокнот для текста и PDF | 2026-03-03T03:02:14

Ищу альфа-тестеров. В рамках R&D и для собственных задач я написал тул для продуктивности (вообще я об этом в прошлом посте писал, но фейсбук сказал, что из-за того, что я ссылку в пост поставил, меня всего 12% увидели). Сейчас хочу проверить, будет ли он полезен кому-то еще. Если идея вам откликнется — дайте знать, и я поделюсь доступом.

Сайт smartfolio точка me. В чем основная идея?

Это онлайн-блокнот для работы с текстом и PDF, организованный в виде графа. Внешне он напоминает Google Docs, но есть важное отличие: вы можете прикреплять «дочерние» документы к конкретным частям основного текста, чтобы раскрыть детали или прояснить концепции. Эти «комментарии» сами по себе являются полноценными документами и могут иметь свои собственные вложенные ветки.

Если в тексте есть непонятный фрагмент, вы можете попросить систему его объяснить (для этого понадобится ваш ключ Google Gemini API).

Система использует полный контекст документа для генерации ответа.

Объяснения навсегда привязываются к конкретному месту в тексте.

Это супер-удобно при чтении сложных научных статей. Например, можно выделить фамилии авторов в PDF и мгновенно получить бэкграунд по ним — информация прикрепится прямо к этому фрагменту на странице.

Типичный воркфлоу

Загружаете сложный текст и читаете его прямо в приложении хоть с мобилы хоть с компа. По ходу дела добавляете ручные или сгенерированные AI заметки к важным или непонятным разделам на будущее.

Я не храню на своих серверах ваши документы, PDF, картинки или API-ключи. Все данные хранятся в Turso DB (SaaS, бесплатно до 5 ГБ).

Лучше всего о проекте расскажут скриншоты — они есть на главной странице сайта.

Как попробовать?

Для регистрации в приложении нужен инвайт-код. Просто напишите мне в комментарии или в личные сообщения, и я его пришлю.

Сайт смартфолио-точка-me

Ловушка щедрости на Strathmore: как не потерять последние места и деньги | 2026-02-20T19:02:49

Вот ж редиски. Если случайно выбираешь ответ на «хотите нам пожертвовать», то дорога к «ой, не хочу пока» занимает минут 10 и сопряжено с риском потерять места. Потому что 1) нет пункта не хочу 2) любой выбор стоит от $5 до $9.60 3) рефреш страницы приводит к ошибке, надо заново выбирать места и стараться не попадать мышью в эти радиокнопки. А места, между прочим, последние два места в зале. Вчера их вообще не было, сегодня появились.