Imágenes que se mueven y salen del cuadro como en Harry Potter: una nueva técnica permite crearlas a partir de cualquier foto fija

De la saga de Harry Potter recordamos que los periódicos y libros tenían fotografías y pinturas animadas, que se movían y podían salir de los propios marcos. J.K Rowling nos decía que los propios personajes estaban atrapados dentro de esa imagen. Pero como muchas veces suele ocurrir, la tecnología y la ciencia nos brinda otra posibilidad.

Estos días se celebra la 'Conferencia de Visión Artificial y Reconocimiento de las Formas' (CVPR 2019) en California y uno de los trabajos más llamativos ha sido el de unos investigadores de la Universidad de Washington, que nos presentan su algoritmo "Photo Wake Up". Una nueva técnica donde a partir de cualquier imagen fija pueden seleccionar a la persona u objeto y hacerle correr, caminar o saltar fuera del marco.

En Xataka

Estas obras de arte han sido creadas por una doble red neuronal y logran gustar más que las pintadas por humanos

"Photo Wake-Up", una elaborada técnica de animación 3D partiendo de una sencilla foto

El sistema también permite ver imágenes en tres dimensiones utilizando las gafas de realidad aumentada, pero lo más llamativo sin duda es el resultado y las posibilidades de animar fotos que hasta entonces permanecían fijas.

El pasado mes de diciembre, los autores presentaron su proyecto en la revista ArXiv pero no ha sido hasta la realización del congreso cuando han dado a conocer el paper científico con el título "Photo Wake-Up: 3D Character Animation from a Single Photo".

Ira Kemelmacher-Shlizerman, profesor de la Universidad de Washington y la Escuela Paul G. Allen de Ingeniería Informática describe así el proyecto: "Este es un problema fundamental muy difícil para la visión por computador. El gran desafío aquí es que la entrada es solo desde una sola posición de la cámara, por lo que parte de la persona es invisible. Nuestro trabajo combina el avance técnico en un problema abierto en el campo con la visualización artística creativa". Y es que hasta la fecha, los investigadores no habían logrado hacer correr y animar a una persona a partir de una única foto.

Entre los ejemplos que nos dan los investigadores tenemos desde una animación de Stephen Curry, jugador de baloncesto de los Golden State Warriors hasta un cuadro de Picasso.

"Las aplicaciones de Photo Wake-Up son muy numerosas", comenta el equipo. Por ejemplo, esta nueva técnica podría terminar permitiendo la generación de avatares más avanzados o por ejemplo una nueva manera de realidad aumentada donde por ejemplo los asistentes a un Museo puedan interactuar con las obras de arte de una forma que hasta la fecha no era posible. "¿Os imagináis tomarse un café con la Mona Lisa?" Es una de las ideas que nos proponen.

La investigación ha sido financiada por la Fundación Nacional de Ciencia de los EE.UU, la UW Animation Research y por empresas como Facebook, Huawei y Google.

Para animar la imagen la técnica consiste en identificar a la persona de la foto y realizar una máscara del contorno del cuerpo. Una vez identificado, lo que se hace es crear una plantilla 3D con la posición de cada parte del sujeto. Y después lo que se hace es deformar al objeto para adaptarlo como si estuviera moviéndose.

¿Cuál es la mayor dificultad? Chung-Yi Weng, coautor del trabajo lo explica de la siguiente manera: "Es muy difícil de manipular en 3D con precisión, por eso tenemos que encontrar una manera de manejar las cosas perfectamente, y es más fácil hacerlo en 2D".

La idea es que la técnica almacena información 3D para cada pixel, pese a que la imagen sea en 2D. Datos como la distancia de la cámara o cómo se conectan las articulaciones. Una vez se tienen esos datos, el algoritmo implementa en el modelado la textura y los colores de la imagen, además de rellenar el fondo. Para este último punto, el algoritmo se basa en el resto de la imagen como suele realizarse en otras técnicas.

Por el momento la técnica tiene algunas limitaciones como por ejemplo que no es capaz de animar imágenes donde las personas tengan las piernas cruzadas o les falten partes del cuerpo, aunque sí entiende que haya elementos que tapen ciertas partes. "Photo Wake-Up es una nueva forma de interactuar con las fotos", explica el autor. "No podemos animar del todo, pero es solo el comienzo". Un punto de partida que muestra el potencial de la animación 3D partiendo de únicamente una sencilla foto fija.

Más información | 'Photo Wake-Up: 3D Character Animation from a Single Photo'