Как нейросети помогают слушать книги

Как устроен синтез речи в аудиокнигах

Автоматическое чтение книг устроено сложнее. Например, Букмейт внедрил такую функцию в июне этого года. Она позволяет прослушивать электронные книги, для которых нет предзаписанных аудиоверсий — звук генерируется непосредственно в процессе слушания и никуда не записывается. Похожие сервисы предлагают и крупные компании: Apple, Google и Amazon, которые развивают свои инструменты для автоматического озвучивания книг. Существуют также универсальные сервисы, которые готовы озвучить любой текст. Например, Speechify использует компьютерный синтез речи для чтения веб-страниц, PDF-файлов и других документов, а еще позволяет пользователю выбрать подходящий голос из нескольких вариантов (в том числе голос знаменитостей).

Основное отличие синтеза речи в книгах от, например, виртуальных ассистентов или навигаторов, заключается в больших объемах текста. Если чат-боту достаточно произнести одно-два предложения, то аудиокнига длится несколько часов. К тому же там часто встречаются сложные и длинные предложения — даже опытному диктору потребуется разобраться, как правильно его произнести и где поставить паузы. Есть и сложность с диалогами: читатель должен различать, чьи реплики он слышит. Все это особенности, с которыми сталкиваешься только при работе с книгами.

Как это работает

В синтезе речи участвует не одна нейросеть, а сразу несколько моделей машинного обучения, каждая из которых выполняет свою специфическую задачу. Процесс начитки книги состоит из нескольких последовательных этапов:

• Нормализация. Все начинается с подготовки текста: обработки числительных, аббревиатур, синтагм и интонаций. Например, сокращения разворачиваются, а числа и даты преобразуются в текстовый формат. «г. Москва» превращается в «город Москва», а «12.07.2024» — в «двенадцатое июля две тысячи двадцать четвертого года».

• Фонетическая запись. Здесь модель расставляет ударения, а также выявляет омографы — слова, которые пишутся одинаково, но произносятся по-разному. Например, слово «плачу» может означать как «оплачиваю», так и «плачу (от слез)» — нейросеть вычисляет по окружающему контексту нужное значение и, исходя из этого, ставит ударение.

• Контекст. На этом этапе текст разбивается на смысловые и интонационные элементы, а исходя из них определяют места для пауз. Модель анализирует предложения, чтобы понять, где сделать логические остановки — это важно, чтобы текст не звучал монотонно и читатель легко его понимал.

• Акустическая модель. Здесь определяется нужный тон звучания — высота, темп и тип интонации (вопрос, восклицание, сомнение). Также важно правильно расставить смысловые ударения. Например, интонация вопроса требует повышения тона в конце предложения, а восклицание — более выраженной эмоциональной окраски.

• Вокализация. Только на этом этапе происходит непосредственно «озвучка» — генерируется конечный аудиофайл.

Для работы всех этих моделей большое значение имеет обучение. В данном случае нейросеть училась работать с длинными текстами, понимать и воспроизводить сложные языковые структуры. И также важно было, чтобы модель могла говорить голосом конкретного человека. Для этого мы пригласили диктора: специально для нас он записал десятки часов текстов, а нейросеть на их базе училась корректно интонировать. В то же время мы работали с лингвистами, чтобы убедиться, что модель правильно передает смысл текста и его грамматическую структуру.

В чём сложности и чего ждать дальше

Одна из главных сложностей в разработке — определить объективные критерии качества. Совершенствовать технологию можно долго, но важно понимать, на каком этапе её уже можно предоставлять пользователям. Мы анализируем качество по многим метрикам, но важную роль играют асессоры — люди, которые прослушивают сгенерированные книги и оценивают качества звука и интонации, а также выявляют ошибки в произношении. Асессоры помогают корректировать и улучшать модель, обеспечивая качественное звучание конечного продукта.

Текущая технология при озвучке в основном опирается на грамматические правила, синтаксическую структуру предложений, порядок слов и другие языковые аспекты. При этом такого онлайн-рассказчика можно сделать более выразительным. Сейчас модели могут учитывать локальный контекст в книге (то есть определенные эпизоды), чтобы добавлять эмоциональную окраску нужным моментам. Дальше необходима уже работа в рамках глобального контекста, она может влиять на «манеру» повествования — это одно из направлений, в котором могут развиваться технологии синтеза речи.

Кроме того, технологию можно применять и в других сервисах. Например, она может улучшить автоматический перевод видео на разные языки, что расширяет аудиторию контента. Также синтез речи может улучшить взаимодействие с виртуальными ассистентами, делая их речь более естественной и человечной.