Crean inteligencia artificial capaz de «interpretar» obras de arte

Image

El proyecto FrAI Angelico, desarrollado por el Centro Nacional de Supercomputación, busca generar descripciones detalladas de las pinturas del Museo del Prado. Esta herramienta ayudará a entender mejor el patrimonio cultural e histórico. Después de un primer proyecto piloto, el reto será un análisis global de toda la colección, con más de 35.000 obras de arte, de las cuales 8.000 pertenecen a uno de los fondos de pinturas más destacados de Europa con cuadros de Velázquez.

El proyecto FrAI Angelico, desarrollado por el Centro Nacional de Supercomputación, busca generar descripciones detalladas de las pinturas del Museo del Prado. Esta herramienta ayudará a entender mejor el patrimonio cultural e histórico. Después de un primer proyecto piloto, el reto será un análisis global de toda la colección, con más de 35.000 obras de arte, de las cuales 8.000 pertenecen a uno de los fondos de pinturas más destacados de Europa con cuadros de Velázquez.

La IA es una herramienta poderosa que puede ser de gran utilidad para los profesionales del patrimonio cultural por su capacidad para analizar grandes cantidades de datos. Por ello, los investigadores del BSC desarrollaron un modelo de IA de detección de objetos al que entrenaron con descripciones de miles de cuadros para que sea capaz de analizar de manera precisa el contenido de las pinturas, hasta el punto de detectar detalles u objetos que pueden pasar desapercibidos al ojo humano.

FrAI Angelico es un prototipo basado en la tecnología de un proyecto similar anterior, financiado por la Unión Europea, que se denominó Saint George on a Bike, coordinado por el BSC en colaboración con European Foundation.

En la primera fase, se analizarán 25 obras, pero el objetivo es establecer una colaboración más estable que permita realizar un análisis global de todo el fondo del Museo del Prado, considerado como la institución cultural más importante del país con más de 35.000 obras de arte, de las cuales 8.000 pertenecen a la colección de pinturas, una de las más destacadas de Europa, con obras de artistas como Velázquez, Goya, El Greco, Rubens, Tiziano o Rafael, entre otros.

Teléfonos móviles en cuadros del siglo XVI

Los sistemas de reconocimiento de objetos se entrenan con imágenes que muestran los distintos elementos que nos rodean. Una vez entrenados, estos modelos de IA pueden detectar nuevas formas e interpretarlas en su contexto temporal.

Este ha sido uno de los principales retos del proyecto, ya que hasta ahora los sistemas entrenados en un contexto determinado cometían errores de interpretación en entornos diferentes, lo que los llevaba a identificar teléfonos móviles o bates de béisbol en pinturas de los siglos XVI o XVII.

De igual manera, los nuevos modelos son también capaces de detectar objetos que son habituales en representaciones pictóricas del pasado, como una calavera, una corona de espinas, ángeles o demonios.

El siguiente reto es enseñar a estos sistemas de IA a interpretar conceptos abstractos en la pintura clásica europea, como que dos cuerpos desnudos más un ángel probablemente representan a Adán y Eva o una paloma acompañada de un ángel y una persona al Espíritu Santo.

“Con el proyecto FrAI Angelico buscamos también provocar una reflexión sobre el potencial de la IA para reconocer el pasado, la cultura o los símbolos”, asegura Joaquim Moré, investigador del del BSC.

“Comparar el análisis de los nuevos modelos entrenados en el BSC con los resultados de otros sistemas actuales de reconocimiento de objetos es un ejercicio que nos invita a pensar sobre cómo miramos el pasado con los ojos del presente y aviva la fascinación que produce la contemplación de un cuadro y el descubrimiento de lo que no es aparente”, añade.

Obras más accesibles para personas con discapacidad visual

La posibilidad de que los sistemas de IA sean capaces de detectar los objetos que aparecen en los cuadros ayudará al Museo del Prado y a otras instituciones del sector del patrimonio cultural a describir y clasificar sus obras de arte de forma automática, lo que facilitará la interpretación del significado de las pinturas.

Los resultados de FrAI Angelico se podrán utilizar para estudiar las relaciones temáticas entre miles de elementos de diferentes obras simultáneamente, desarrollar la documentación iconográfica sobre las obras del Museo y apoyar la clasificación de las obras por temas y objetos representados.

Todo ello siempre con el objetivo final de incrementar el interés de la ciudadanía en el arte y el patrimonio cultural. También, como ejemplo, esto es especialmente útil para personas con discapacidad visual, que se podrán beneficiar de un formato más accesible de las obras pictóricas gracias a descripciones más detalladas de las imágenes.

“Gracias a esta iniciativa se podrán analizar las pinturas, detectar objetos que el visitante posiblemente no haya percibido, inferir temas, descubrir relaciones entre sus elementos o interpretar su simbolismo con el fin de crear iniciativas culturales y de difusión como exposiciones virtuales con pinturas relacionadas de cualquier parte del mundo”, señala María Cristina Marinescu, investigadora del BSC.

“Este trabajo servirá de base para una nueva forma de estudiar y comprender nuestro patrimonio cultural”, concluye.

Previamente, el Museo Nacional del Prado ya había desarrollado en los últimos años distintos proyectos en el marco de la IA. En 2019 implementó una lectura aumentada sobre los textos descriptivos de las fichas de obras publicadas en la web a través de un motor de Comprensión del Lenguaje Natural (NLU) que permite reconocer las entidades y conceptos tratados en las mismas para facilitar una lectura contextualizada al usuario.