Выложил в open source программу для создания транскриптов встреч (например в Teams), звонков, лекций с автоматическим скриншотированием. И статью о ней (RUS/UKR/EN). Ссылка в комментариях.
Началось всё не с встреч. Хотел инструмент, который слушает, как я вслух комментирую тестирование приложения, и потом вместе со скриншотами превращает это в документ или почти готовые баг-репорты. Но в итоге мои 9 из 10 запусков — это транскрипты звонков и помощник прямо во время разговора. Ну и лекции с YouTube в читаемые статьи со слайдами превращает отлично.
Распознавание полностью локальное. Аудио звонков и скриншоты экрана никуда не уходят. Три движка на выбор — faster-whisper, GigaAM (для русского, в 20 раз быстрее Whisper и без галлюцинаций вроде «Продолжение следует…») и Parakeet для смеси русского с английским.
Что умеет:
— Текст появляется практически в реальном времени, с таймкодами, в процессе дописывается обычный .txt на диске.
— По Ctrl-Shift-S делается скриншот и из него текст через OCR суется прямо в нужное место транскрипта. Есть автоматический режим — скриншотирование каждую секунду, а дальше каскад фильтров оставляет только новые слайды. На тестовом 11-минутном докладе 692 кадра → 10 сцен, ни одного слайда не потеряно.
— Звук звонка можно брать с микрофона, а можно напрямую из приложения (например, Teams или Chrome/Youtube)
— Диаризация по голосу и контексту. Если человек с голосом А назвал человека с голосом Б Васей, то все реплики Б в результирующем транскрипте будут подписаны Васей. Транскрипт самого Teams можно подгрузить вторым источником, тогда оттуда может браться уточненная информация кто говорил что.
— Кнопка Beautify собирает из сырого транскрипта документ: решения, задачи, чистый диалог. Пока запись идёт, можно спрашивать чат — что мы ещё забыли обсудить, например.
Приложение точно работает на MacOS (DMG в релизах, macOS 14+, модели качаются при первом запуске). На остальных платформах многое не заработает, только база.
