La inteligencia artificial permite traducir videos a otros idiomas: conoce cómo

Fragmentos de video que han sido doblados a través de la inteligencia artificial (IA) se viralizaron en redes sociales en 2023. Usuarios de diferentes plataformas utilizaron la IA para traducir a otros idiomas los clips originales. 

Por ejemplo, en septiembre del pasado año, circuló un video del futbolista argentino Lionel Messi hablando en un inglés fluido en una conferencia de prensa de su equipo Inter Miami. Pero, la grabación fue creada con inteligencia artificial, no es real.

También se volvieron virales en Tik ToK videos del expresidente de los Estados Unidos Donald Trump, supuestamente hablando en español; o el también expresidente Barack Obama, hablando en italiano o francés. Además, en X (antes Twitter), el dueño de la compañía, el empresario Elon Musk, apareció aparentemente comentando en japonés o alemán. 

Pero, ¿cómo la inteligencia artificial permite traducir videos a otros idiomas? En Martí Verifica te explicamos. 

Una de las plataformas en línea que usan los usuarios en redes para crear este tipo de contenido es Rask.ai. La herramienta permite la traducción instantánea de audios y videos en unos 130 idiomas, dialectos  y acentos disponibles (como  «español de Argentina» o «español de Costa Rica»), según la información de su página web. 

Una de las opciones más innovadora que ofrece es Voice Clone, que dobla voces a varios idiomas: puede ser la de uno mismo o de diferentes personas. En ambos casos, la herramienta intenta hacer coincidir el acento, timbre y ritmo.

La aplicación también tiene otras funcionalidades como generar una voz que hable en otro idioma, subtitulación automática y transcripción de video a texto, entre otras. Todo ello a cambio de una suscripción mensual que está entre los 49 y los 599 dólares, de acuerdo a los minutos de locución automatizada contratados en cada plan. 

Inicialmente, después de registrarse en la plataforma, se puede probar de manera gratuita. 

«El proceso es realmente sencillo», aseguró Maria Chmir, directora ejecutiva y fundadora de Brask, la empresa de tecnología orientada a revolucionar la creación de contenido de audio y video con IA, que creó Rask.

«Si quieres, como has dicho, deepfakearte a ti misma, sólo necesitas veinte minutos de vídeo con tus emociones, tu identidad, y eso es suficiente para que nuestra red neuronal reemplace tu apariencia y tu voz», añadió. 

¿Cómo es capaz la inteligencia artificial de traducir estos videos? 

Medios como Maldita y Factchequeado han resumido algunos pasos necesarios para este proceso:

• Se convierte el audio a otro formato compatible, como es la palabra escrita. Esto se conoce como conversión de voz a texto (speech-to-text).

• Una vez que la máquina tiene el texto, puede traducirlo a otro idioma, como la que haríamos a través del Traductor de Google. 

• Luego, el texto se debe pasar a un formato de audio manteniendo las características de la voz original. Para ello se utilizan sistemas de conversión de texto a voz (text-to-speech), que transforman la palabra escrita en sonido, y su resultado es lo que se conoce como una voz sintética. Gracias a la AI han surgido las llamadas voces clonadas: grabaciones que suenan con una voz (incluso el acento) muy similar a la de sus protagonistas.

Además de Rask, otras plataformas también han anunciado que implementarán funciones para el doblaje de videos a través de la inteligencia artificial. En junio de 2023, YouTube y la compañía Aloud, informaron de una alianza con para ofrecer una traducción a los videos de la plataforma. Por ejemplo, Daily Dose of Internet comparte sus videos en varios idiomas a través de audios traducidos por IA. Otros servicios como HeyGen ofrecen traducción de videos con sincronización labial. 

Críticas: miedo al «reemplazo»

Actores de doblaje, intérpretes, traductores y locutores han manifestado preocupaciones sobre el uso de la inteligencia artificial.

Desirée Jaimovich, periodista especializada en tecnología y ciencia, explica en una nota para La Nación que «al automatizar el doblaje y la traducción, se reduce la necesidad de contratar a quienes se dedican a hacer este tipo de servicios». «Ese es el gran desafío que hoy presentan las diferentes plataformas de inteligencia artificial generativa», agregó. 

En este sentido, el actor de doblaje argentino, Alejandro Graue, anunció en una publicación de X en enero de 2023  y en YouTube que su empleador había decidido prescindir de sus servicios y usar herramientas que permiten traducir a través de la inteligencia artificial.

Sin embargo, Chmir ha asegurado que su equipo considera a Rask una herramienta para complementar a los actores, no para «sustituirlos». En una entrevista con BNN Bloomberg, la CEO y fundadora de Brask, señaló: «Cuando hablo de IA generativa, me gusta utilizar la metáfora del uranio. En el fondo, es solo un elemento. Y la IA generativa, en su núcleo, puede darte la energía pura para nuevas formas de hacer contenidos creativos fascinantes. Al mismo tiempo, puede ser un arma de malentendidos».