Yandex SpeechKit: ИИ-агент для речи и текстов

Yandex SpeechKit — голосовые технологии: распознавание речи и синтез голосом. Агент расшифровывает разговоры и голосовые сообщения, а на их основе готовит черновики писем и проверяет тексты, но публикацию и звонок оставляет человеку.

Агент — программа, которая делает дело целиком. Не рассказывает, как подключить синтез, а приносит расшифровку разговора и черновик письма.

Три признака. Работает в ваших сервисах: в записях звонков и в почте. Доводит до результата: расшифровка готова, письмо собрано. Работает без вас — по появлению записи.

Чат-бот объяснит, чем потоковое распознавание отличается от файлового. Агент возьмёт запись и вернёт текст с таймкодами.

Коннектор описывает подключение: где взять ключ, что видно, как проверить связь. Работа идёт через API: доступ выдаётся сервисному аккаунту, а в запросе участвует идентификатор каталога, к ресурсам которого обращается агент.

Это не плагин в телефонии и не доработка приложения. Пароль администратора агент не хранит: у него свой сервисный аккаунт с ролями, и доступ закрывается отзывом роли.

Сервис закрывает две задачи. Первая — распознавание: речь в реальном времени и из заранее записанных файлов, с автоматическим определением языка говорящего. Вторая — синтез: озвучивание шаблонных фраз и развёрнутых текстов стандартными голосами и голосами Brand Voice, созданными под конкретную компанию.

Работать можно через два интерфейса — REST и gRPC. В потоковом режиме приходят промежуточные и финальные результаты распознавания, поэтому расшифровка появляется по ходу разговора. Произношением можно управлять разметкой синтезируемого текста, а среди готовых сценариев описаны голосовой робот, голосовой поиск, озвучивание книг и видео, расшифровка голосовых сообщений. Документация сервиса сверена по официальному зеркалу yandex-cloud.

### Черновики текстов: заголовки и структура

Агент расшифровывает записи звонков и голосовых сообщений, делит разговор на смысловые части и собирает из них структуру будущего текста: что просили, что обещали, чем закончилось. На выходе — черновик и список мест, где расшифровка неполная.

### Редактура: факты, цифры и единый стиль

Агент сверяет числа и названия из расшифровки с учётом и помечает расхождения. Отдельно он проверяет текст на слух: синтезирует фрагмент и показывает места, где фраза читается двусмысленно.

### Черновики писем и служебных записок

Из разговора агент собирает письмо: кому, о чём договорились, что приложить. Он же озвучивает короткую версию для внутреннего прослушивания, если сотруднику удобнее слушать, а не читать.

Отправку письма и публикацию подтверждает сотрудник. Он же решает, можно ли записывать разговор и какие голоса использовать в синтезе.

Создайте сервисный аккаунт в каталоге облака и выдайте ему роль для работы с сервисом, затем выпустите API-ключ или возьмите IAM-токен. Идентификатор каталога передаётся в запросе. Проверка связи — короткая фраза на синтез: если аудио вернулось, доступ работает.

Не звонит клиентам и не подменяет живой голос оператора. Не хранит записи разговоров дольше, чем разрешено. Не расшифровывает записи без прав на них.

Что такое агент, если коротко? Программа, которая доводит дело до результата: расшифровывает разговор, собирает по нему черновик и проверяет текст на слух.

Что такое коннектор? Описание подключения: сервисный аккаунт с ролью, его ключ и идентификатор каталога. Пароль администратора агент не хранит.

Что выбрать: REST или gRPC? gRPC удобнее для потоковой работы, REST — для одиночных файлов. Агент использует тот интерфейс, который открыт в проекте.