Aplicación de imágenes de reflectancia hiperespectral para investigar las paletas y las técnicas de los pintores

Summary

Los hipercubos de imágenes de reflectancia hiperespectral incluyen información notable en una gran cantidad de datos. Por lo tanto, la solicitud de protocolos automatizados para administrar y estudiar los conjuntos de datos está ampliamente justificada. La combinación de Spectral Angle Mapper, manipulación de datos y un método de análisis ajustable por el usuario constituye un giro clave para explorar los resultados experimentales.

Abstract

La espectroscopia de reflectancia (RS) y la espectroscopia de reflectancia de fibra óptica (FORS) son técnicas bien establecidas para la investigación de obras de arte con especial atención a las pinturas. La mayoría de los museos modernos ponen a disposición de sus grupos de investigación equipos portátiles que, junto con la no invasividad intrínseca de RS y FORS, hace posible la colección in situ de espectros de reflectancia de la superficie de los artefactos. La comparación, realizada por expertos en pigmentos y materiales de pintura, de los datos experimentales con bases de datos de espectros de referencia impulsa la caracterización de las paletas y de las técnicas utilizadas por los artistas. Sin embargo, este enfoque requiere habilidades específicas y lleva mucho tiempo, especialmente si el número de espectros a investigar se vuelve grande, como es el caso de los conjuntos de datos de imágenes de reflectancia hiperespectral (HRI). Las configuraciones experimentales HRI son cámaras multidimensionales que asocian la información espectral, dada por los espectros de reflectancia, con la localización espacial de los espectros sobre la superficie pintada. Los conjuntos de datos resultantes son cubos 3D (llamados hipercubos o cubos de datos) donde las dos primeras dimensiones ubican el espectro sobre la pintura y la tercera es el espectro en sí (es decir, la reflectancia de ese punto de la superficie pintada frente a la longitud de onda en el rango operativo del detector). La capacidad del detector para recopilar simultáneamente un gran número de espectros (típicamente mucho más de 10,000 por cada hipercubo) hace que los conjuntos de datos HRI sean grandes reservas de información y justifica la necesidad de desarrollar protocolos robustos y, posiblemente, automatizados para analizar los datos. Después de la descripción del procedimiento diseñado para la adquisición de datos, presentamos un método de análisis que explota sistemáticamente el potencial de los hipercubos. Basado en Spectral Angle Mapper (SAM) y en la manipulación de los espectros recolectados, el algoritmo maneja y analiza miles de espectros mientras que al mismo tiempo ayuda al usuario a revelar las características de las muestras bajo investigación. El poder del enfoque se ilustra aplicándolo a Quarto Stato, la obra maestra icónica de Giuseppe Pellizza da Volpedo, celebrada en el Museo del Novecento de Milán (Italia).

Introduction

La espectroscopia de reflectancia (RS) y la espectroscopia de reflectancia de fibra óptica (FORS) se basan en la detección de la luz reflejada por superficies una vez iluminadas por una fuente de luz, típicamente una lámpara halógena de tungsteno. La salida del sistema de adquisición está constituida por espectros donde la reflectancia se monitoriza en función de la longitud de onda en un rango que depende de las características de la configuración experimental ^{empleada1,2,3}. Introducidos durante las últimas cuatro ^décadas4,5, RS y FORS se utilizan típicamente en combinación con fluorescencia de rayos X y otras espectroscopias para describir los materiales y las técnicas utilizadas por los artistas para realizar sus obras maestras6,7,8,9. El estudio de los espectros de reflectancia se realiza generalmente comparando los datos de la muestra con un grupo de espectros de referencia seleccionados por el usuario en bases de datos personales o públicas. Una vez identificados los espectros de referencia que cumplen con el período de realización de la muestra y con el modus operandi del artista, el usuario reconoce las principales características de los espectros de reflectancia (es decir, bandas de transición, absorción y reflexión1,2,10,11) y luego, con la ayuda de otras ^{técnicas6,7,8} distinguen los pigmentos que se han utilizado en las pinturas. Finalmente discuten las ligeras diferencias que existen entre las referencias y los espectros ^{experimentales7,9}.

En la mayoría de los casos, los conjuntos de datos experimentales se componen de unos pocos espectros, recogidos de áreas elegidas por expertos en arte y asumidas como significativas para la caracterización de la pintura6,12,13. A pesar de las habilidades y la experiencia del usuario, algunos espectros no pueden agotar completamente las características de toda la superficie pintada. Además, el resultado del análisis siempre dependerá en gran medida de la experiencia del ejecutante. En este escenario, las imágenes de reflectancia hiperespectral (HRI3,14,15) podrían ser un recurso útil. En lugar de unos pocos espectros aislados, las configuraciones experimentales devuelven las propiedades de reflectancia de porciones extendidas o incluso de todo el artefacto bajo ^{investigación16}. Las dos principales ventajas con respecto a la adquisición de los espectros aislados son evidentes. Por un lado, la disponibilidad de la distribución espacial de las propiedades de reflectancia permite la identificación de áreas que esconden características interesantes, aunque no parezcan ^peculiares17. Por otro lado, los hipercubos garantizan un número de espectros lo suficientemente alto como para permitir el análisis estadístico de los datos. Estos hechos apoyan la comprensión de la distribución de pigmentos dentro de la superficie ^pintada18,19.

Con HRI, la comparación de los datos experimentales con las referencias podría ser difícil de ^manejar15. Un detector típico devuelve hipercubos de al menos 256 x 256 espectros. Esto requeriría que el usuario evaluara más de 65.000 espectros de reflectancia contra cada referencia, una tarea casi imposible de realizar manualmente en un tiempo razonable. Por lo tanto, la solicitud de protocolos robustos y, posiblemente, automatizados para gestionar y analizar conjuntos de datos de HRI está más que ^{justificada15,17}. El método propuesto responde a esta necesidad manejando todo el procedimiento analítico con la mínima participación y la máxima flexibilidad.

Un algoritmo que comprende un conjunto de códigos caseros (Tabla de materiales) lee, administra y organiza los archivos devueltos por la configuración experimental. Permite estudiar la selección fina de las porciones de los Campos de Visión (FOVs, un campo de visión es el área de la pintura monitoreada por un solo hipercubo) y realiza el análisis de los datos basado en el método Spectral Angle Mapper (SAM)^20,21 y en la manipulación de los espectros originales. SAM devuelve imágenes en escala de grises en color falso denominadas mapas de similitud. Los valores de los píxeles de estos mapas corresponden a los ángulos espectrales que son los ángulos entre los espectros almacenados en los hipercubos y los llamados Miembros Finales (EMs, un grupo de espectros de referencia que deben describir las características de la superficie monitoreada por los hipercubos)²². En el caso de rs aplicados a pinturas, los EM son los espectros de reflectancia de pigmentos que deben coincidir con la paleta del Maestro. Se eligen en función de la información disponible sobre el artista, el período de realización de la pintura y la experiencia del usuario. Por lo tanto, la salida del SAM es un conjunto de mapas que describe las distribuciones espaciales de estos pigmentos sobre la superficie de la pintura y que ayuda al usuario a inferir los materiales utilizados por el artista y su organización en el artefacto. El algoritmo ofrece la posibilidad de emplear todo tipo de referencias independientemente de su origen. Las referencias pueden ser espectros específicos seleccionados dentro de los hipercubos, provenir de bases de datos, ser adquiridos por un instrumento diferente en una superficie diferente (como muestras de pigmentos o la paleta del artista, por ejemplo), u obtenerse empleando cualquier tipo de espectroscopia de reflectancia, FORS incluido.

SAM ha sido preferido entre los métodos de clasificación disponibles porque se ha demostrado que es eficaz para caracterizar pigmentos (consulte el libro de ^Richard23 para tener una visión general de los principales métodos de clasificación disponibles). En cambio, la idea de desarrollar un protocolo casero en lugar de adoptar una de las muchas herramientas disponibles gratuitamente en la ^red24,25 se basa en una consideración práctica. A pesar de la efectividad y la base científica de las GUI y el software existentes, una sola herramienta apenas satisface todas las necesidades del usuario. Podría haber un problema de entrada/salida (E/S) porque una herramienta no administra el archivo que contiene los datos sin procesar. Podría haber un problema con respecto al análisis de los datos porque otra herramienta no proporciona el enfoque deseado. Podría haber una limitación en el manejo de los datos porque no se admite el análisis simultáneo de múltiples conjuntos de datos. En cualquier caso, no existe una herramienta perfecta. Cada método debe ajustarse a los datos o viceversa. Por lo tanto, se ha preferido el desarrollo de un protocolo casero.

El enfoque presentado no ofrece ni un conjunto completo de métodos analíticos (véase, para la comparación, la herramienta propuesta por Mobaraki y ^Amigo24) ni una interfaz de usuario fácil de administrar (véase, para la comparación, el software empleado por Zhu y sus compañeros ^{de trabajo25}), pero, a cambio, se centra en un aspecto aún subestimado del análisis de datos hiperespectrales: la oportunidad de manipular los espectros detectados. El poder del enfoque se ilustra aplicándolo a la pintura Quarto Stato de Giuseppe Pellizza da Volpedo (Figura 1), un icónico óleo sobre lienzo que se encuentra en el Museo del Novecento en Milán, Italia. Tenga en cuenta que, dado que el enfoque requiere ejecutar códigos caseros, el desarrollador eligió arbitrariamente los nombres de los códigos y las variables de entrada y salida utilizadas en la descripción del protocolo. Los nombres de las variables pueden ser cambiados por el usuario, pero deben proporcionarse de la siguiente manera: las variables de entrada y salida deben escribirse respectivamente entre corchetes y, finalmente, separarse por comas y entre corchetes y, finalmente, separarse por un espacio en blanco. Por el contrario, los nombres de los códigos no pueden ser alterados.

Protocol

1. Establecer la resolución espacial de los hipercubos Realizar una inspección preliminar de la superficie pintada (Figura 1) apoyada por expertos en arte para identificar las principales características de la pintura. Reconocer las técnicas pictóricas empleadas por el artista para crear la pintura. Identifique las diferentes pinceladas de pintura en el lienzo. Estimar, cualitativamente, las características de las pinceladas con especial atenció…

Representative Results

El protocolo propuesto ofrece un conjunto de características interesantes para la gestión y el análisis de los datos de HRI. La E/S (paso 3.1) de los datos sin procesar es siempre el primer problema que debe resolverse antes de aplicar cualquier método de análisis y puede convertirse en un problema crítico cuando se trata de grandes cantidades de datos. En el presente caso, la única tarea con respecto a los datos sin procesar es almacenar los resultados experimentales en una carpeta dedicada y seleccionarlos naveg…

Discussion

Los conjuntos de datos de imágenes de reflectancia hiperespectral son grandes depósitos de información; por lo tanto, el desarrollo de protocolos robustos y, posiblemente, automatizados para analizar los datos es un giro clave para explotar su ^{potencial15,17}. El algoritmo propuesto responde a esta necesidad en el campo del patrimonio cultural con especial atención a la caracterización de los pigmentos de las pinturas. Basado en ^{SAM20,21</su…}

Materials

ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment