Наткнулся в сети на упоминание: у Сбера есть открытая модель, которая обходит Whisper на русскоязычных бенчмарках. Проверил — и оказалось, что она не просто сильнее, а ещё и молниеносная, причём на обычном процессоре, без всякого GPU. Текст появляется раньше, чем успеваешь отпустить клавишу.
Дальше всё завертелось: собрал диктовку для себя, поделился с друзьями, им понравилось, начали пользоваться — и посыпались пожелания. То одно добавь, то другое переделай. За пару недель из этой затеи вырос полноценный продукт.
Как это устроено: зажимаешь правый ⌘ command, говоришь, отпускаешь — и текст с пунктуацией и заглавными уже вставлен в то место, где стоял курсор. Замеры показали такие цифры: фраза длиной 6 секунд вставляется за 0,08 секунды, запись на 30 секунд транскрибируется меньше чем за полсекунды, а модель загружается за 0,22 секунды. Всё работает локально — звук не покидает компьютер. Сама модель занимает 204 МБ, приложение — 32 МБ, крутится на процессоре без видеокарты. Код открыт, лицензия MIT. С названием мудрить не стал: раз пишет под диктовку — пусть будет Писарь.
Почему Писарь, а не Whisper? Whisper — прекрасная модель, но универсальная: под сотню языков, и русский среди них не в приоритете. К тому же она тяжёлая, на процессоре работает медленно, поэтому обёртки гонят её на видеокарту — мак греется, компьютер притормаживает, а текст всё равно появляется с задержкой. С русским у Whisper проблемы: падежи, окончания и пунктуация хромают. GigaAM, на базе которой собран Писарь, обучена Сбером специально под русский, и на нём она заметно точнее, плюс сама расставляет пунктуацию и заглавные. Английские вкрапления в русской речи — термины, названия — она тоже переваривает как надо. Есть и ограничение: диктовать целиком по-английски не выйдет — буквы будут латинские, а написание фонетическое. Для полностью английской речи берите Whisper, мой инструмент — про русскую диктовку.
Когда я раздал первую версию друзьям, реакция была одна: «Ничего себе, как быстро». И сразу пошли хотелки. Первой стала волна у курсора — было непонятно, идёт запись или нет, так появилась плашка с эквалайзером. Потом запилил обновления по воздуху, чтобы не качать архив руками каждый раз: приложение научилось проверять свежую версию и скачивать её с гитхаба. Дальше пошли запросы посерьёзнее: «Я говорю с „ну“ и „короче“, „эээ“, можно, чтобы она причёсывала?» Так в приложении появился Мозг — локальная нейронка, тоже сберовская (6,5 ГБ), а как альтернативу добавил QWEN (2,5 ГБ). Так родились команды над выделенным: во время диктовки можно в конце добавить «Писарь причеши/переведи/сократи» — и получить уже обработанный текст. Или альтернатива: выделяешь абзац, зажимаешь ⌘ command, говоришь команду — и текст меняется прямо на месте. И всё это без выхода в интернет. Первый сторонний разработчик пришёл через несколько дней и с тех пор прислал три пул-реквеста, в основном косметические правки. Так за две недели из утилиты для себя выросло приложение, которым пользуются люди, которых я даже не знаю. Очень хотелось с вами поделиться — уверен, и вам Писарь зайдёт. Ну а если вы видите ссылку на гитхаб, значит, модераторы любезно пропустили мой первый пост в вашем уютном сообществе. Всем, кто прочитал, — спасибо, кто оставил коммент, — низкий поклон. gigapisar.github.io
Загрузка...
