Cuando un coche circula por una calle estrecha de una ciudad, los reflejos de la pintura brillante o los espejos laterales de los vehículos aparcados pueden ayudar al conductor a vislumbrar cosas que de otro modo quedarían ocultas, como un niño jugando en la acera detrás de los coches aparcados.

Basándose en esta idea, investigadores del MIT y la Universidad Rice, ambos en EE UU, han creado una técnica de visión por ordenador que aprovecha los reflejos para obtener imágenes del mundo. Su método utiliza los reflejos para convertir objetos brillantes en ‘cámaras’, lo cual permite que el usuario vea el mundo como si mirara a través de las ‘lentes’ de objetos cotidianos como una taza de café de cerámica o un pisapapeles metálico.

Mediante la utilización de imágenes de un objeto tomadas desde distintos ángulos, la tecnología convierte su superficie en un sensor virtual que capta los reflejos. El sistema de inteligencia artificial (IA) los mapea de forma que pueda estimar la profundidad de la escena y, así, captar nuevas vistas que solo serían visibles desde la perspectiva del objeto. Esta técnica se podría utilizar para ver más allá de las esquinas o de los objetos que bloquean la visión del observador.

El método podría ser especialmente útil en vehículos autónomos. Por ejemplo, podría permitir a un coche autoconducido utilizar los reflejos de los objetos por los que pasa, como farolas o edificios, para ver alrededor de un camión aparcado.

“Hemos demostrado que cualquier superficie puede convertirse en un sensor con esta formulación que convierte los objetos en píxeles y sensores virtuales. Esto puede aplicarse en muchas áreas diferentes”, afirma Kushagra Tiwary, estudiante de posgrado del Grupo de Cultura de la Cámara del Laboratorio de Medios y coautor de un artículo sobre esta investigación.

Reflexionar sobre los reflejos

Los héroes de las series de televisión policíacas suelen “ampliar y mejorar” las imágenes de vigilancia para captar reflejos –quizá los que captan las gafas de sol de un sospechoso– que les ayuden a resolver un crimen.

“En la vida real, aprovechar estos reflejos no es tan fácil como pulsar un botón de mejora. Obtener información útil de ellos es bastante difícil porque nos dan una visión distorsionada del mundo”, explica Akshat Dave, coautor principal del estudio de la Universidad Rice.

Obtener información útil de los reflejos es difícil porque nos dan una visión distorsionada del mundo

Akshat Dave, Investigador de la Universidad de Rice

Esta distorsión depende de la forma del objeto y del mundo que está reflejando, sobre los que los investigadores pueden tener información incompleta. Además, el objeto brillante puede tener su propio color y textura que se mezclan con los reflejos, los cuales son proyecciones bidimensionales de un mundo tridimensional. Esto dificulta juzgar la profundidad en las escenas reflejadas.

El equipo encontró una forma de superar estos retos. Su técnica, conocida como ORCa (Objetos como cámaras de campo de radiación, por sus siglas en inglés), consta de tres pasos. En primer lugar, toman imágenes de un objeto desde varios puntos, captando múltiples reflejos en el objeto brillante.

Después, para cada imagen de la cámara real, ORCa utiliza el aprendizaje automático para convertir la superficie del objeto en un sensor virtual que capta la luz y los reflejos que inciden en cada píxel virtual de la superficie. Por último, el sistema utiliza estos píxeles para modelar el entorno 3D desde el punto de vista del objeto.

Captar los rayos

Captar imágenes del objeto desde muchos ángulos permite a ORCa aglomerar reflejos multivista. El sistema los utiliza para estimar la profundidad entre el objeto brillante y otros en la escena, además de describir la forma del objeto brillante. La tecnología modela la escena como un campo de radiancia 5D, que captura información adicional sobre la intensidad y dirección de los rayos de luz que emanan e inciden en cada punto.

La información adicional contenida en este campo de radiancia 5D también ayuda a ORCa a estimar con precisión la profundidad. En lugar de una imagen 2D, el usuario puede ver características ocultas que, de otro modo, quedarían bloqueadas por esquinas u obstrucciones.

De hecho, una vez que ORCa ha capturado este campo de radiancia 5D, el usuario puede colocar una cámara virtual en cualquier lugar de la escena y sintetizar lo que vería esa cámara, señala Dave. También se pueden insertar objetos virtuales en el entorno o cambiar su aspecto, por ejemplo, de cerámico a metálico.

“Pasar de una imagen en 2D a un entorno en 5D fue especialmente difícil. Tienes que asegurarte de que el mapeado funciona y es físicamente preciso, por lo que se basa en cómo viaja la luz en el espacio y cómo esta interactúa con el entorno. Pasamos mucho tiempo pensando en cómo modelar una superficie”, declara Tiwary.

Estimaciones precisas

Los autores evaluaron su técnica comparándola con otros métodos que modelan los reflejos, una tarea ligeramente distinta de la que realiza ORCa. El suyo funcionó bien a la hora de separar el color real de un objeto de los reflejos, y superó a las líneas de base extrayendo una geometría y unas texturas más precisas.

Compararon las estimaciones de profundidad del sistema con datos reales simulados sobre la distancia real entre los objetos de la escena y comprobaron que las predicciones de ORCa eran fiables.

“ORCa no sólo estima con precisión el entorno como una imagen 5D, sino que, además, en los pasos intermedios hace un buen trabajo estimando la forma del objeto y separando los reflejos de la textura del objeto”, afirma Dave.

A partir de esta prueba, los investigadores quieren aplicar esta técnica a la obtención de imágenes con drones. ORCa podría utilizar los débiles reflejos de los objetos que sobrevuela un dron para reconstruir una escena desde el suelo. También quieren mejorar ORCa para que pueda utilizar otras pistas, como las sombras, para obtener información oculta, o combinar reflejos de dos objetos para captar imágenes de nuevas partes de una escena.

“Estimar los reflejos especulares es muy importante para ver alrededor de las esquinas, y éste es el siguiente paso natural para ver alrededor de las esquinas utilizando los reflejos débiles de la escena”, explica Raskar.

“Normalmente, los objetos brillantes son difíciles de manejar para los sistemas de visión. Este artículo es muy creativo porque convierte en una ventaja el antiguo punto débil del brillo de los objetos. Aprovechando los reflejos del entorno en un objeto brillante, el artículo no sólo es capaz de ver partes ocultas de la escena, sino también de comprender cómo está iluminada”, señala Achuta Kadambi, ingeniero y profesor adjunto de la Universidad de California en Los Ángeles, que no participó en este trabajo.

Kadambi añade que el desarrollo de esta tecnología “permite aplicaciones en la percepción 3D que incluyen, entre otras, la capacidad de componer objetos virtuales en escenas reales de forma que parezcan fluidas, incluso en condiciones de iluminación difíciles”.

“Una de las razones por las que otros no han podido utilizar objetos brillantes de esta manera es que la mayoría de los trabajos anteriores requieren superficies con geometría o textura conocidas. Los autores han derivado una formulación nueva e intrigante que no requiere tales conocimientos», concluye el ingeniero.