В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени
Вскоре она будет интегрирована в «Яндекс.Браузер»
Компания «Яндекс» продемонстрировала прототип машинного перевода видео. Новая технология, которая, как утверждается, не имеет аналогов в мире, объединит в себе машинный перевод, технологии биометрии, распознавания и синтеза речи.
Благодаря этой технологии пользователи «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом. Увидеть, как работает прототип, можно уже сейчас.
Прототип работает только с роликами на английском языке. Разработчики технологии уже опробовали ее на видеозаписях на разные темы. Среди них есть видео про изменение климата, машинное обучение, историю Плутона и так далее.
Над созданием прототипа работало несколько команд. Сейчас в нем применяются технология синтеза речи, разработки «Яндекс.Переводчика» и биометрия. Она позволяет определить пол говорящего и подобрать соответствующий голос. А чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, где-то замедляет, а где-то ускоряет речь. Дело в том, что в оригинале и переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.
Работа над прототипом продолжается. Уже скоро пользователи смогут сами выбирать, какие ролики переводить с помощью новой технологии.
![279747В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени 279747В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени](https://beta.dgl.ru/wp-content/uploads/2024/06/seo-768x432.webp)
![277545В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени 277545В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени](https://beta.dgl.ru/wp-content/uploads/2024/04/prevju-768x512.jpg)
![277361В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени 277361В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени](https://beta.dgl.ru/wp-content/uploads/2024/04/image001-2-768x512.jpg)
![276338В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени 276338В «Яндексе» разработали технологию перевода и озвучки видео в режиме реального времени](https://beta.dgl.ru/wp-content/uploads/2024/04/technology-8676553_1280-768x430.webp)