Яндекс научился переводить с фотографий даже тексты с игрой слов и сохранением вёрстки

Яндекс запустил обновлённую технологию, которая переводит текст на фото с помощью нейросетей. Эта новая функция помогает, например, если вам нужно быстро перевести меню в ресторане или понять сложные термины в иностранной технической документации. Благодаря улучшенной визуализации, переведённый текст теперь легче читается и выглядит ближе к оригиналу. Обновление уже доступно в Переводчике и Браузере, а вскоре появится и в Умной камере.

Новая модель YandexGPT умеет понимать стиль оригинала и сохранять игру слов, что особенно полезно для рекламных слоганов или заголовков газет. Теперь перевод становится более точным и не всегда дословным, что улучшает качество как простых, так и сложных текстов. Эта технология работает для текстов на английском языке и позволяет переводить их на русский, что открывает новые возможности для пользователей.

Чтобы сделать текст на изображениях максимально удобным для чтения, Яндекс значительно улучшил визуализацию перевода. Технология удаляет оригинальный текст с картинки и накладывает переведённый, подбирая шрифт, размер и цвет. Кроме того, алгоритмы устраняют артефакты, благодаря чему переведённые изображения выглядят естественно и контрастно. Даже если на фото видна только часть слова, система может понять его значение, что делает перевод ещё более точным.