Summary

Aplicación de imágenes de reflectancia hiperespectral para investigar las paletas y las técnicas de los pintores

Published: June 18, 2021
doi:

Summary

Los hipercubos de imágenes de reflectancia hiperespectral incluyen información notable en una gran cantidad de datos. Por lo tanto, la solicitud de protocolos automatizados para administrar y estudiar los conjuntos de datos está ampliamente justificada. La combinación de Spectral Angle Mapper, manipulación de datos y un método de análisis ajustable por el usuario constituye un giro clave para explorar los resultados experimentales.

Abstract

La espectroscopia de reflectancia (RS) y la espectroscopia de reflectancia de fibra óptica (FORS) son técnicas bien establecidas para la investigación de obras de arte con especial atención a las pinturas. La mayoría de los museos modernos ponen a disposición de sus grupos de investigación equipos portátiles que, junto con la no invasividad intrínseca de RS y FORS, hace posible la colección in situ de espectros de reflectancia de la superficie de los artefactos. La comparación, realizada por expertos en pigmentos y materiales de pintura, de los datos experimentales con bases de datos de espectros de referencia impulsa la caracterización de las paletas y de las técnicas utilizadas por los artistas. Sin embargo, este enfoque requiere habilidades específicas y lleva mucho tiempo, especialmente si el número de espectros a investigar se vuelve grande, como es el caso de los conjuntos de datos de imágenes de reflectancia hiperespectral (HRI). Las configuraciones experimentales HRI son cámaras multidimensionales que asocian la información espectral, dada por los espectros de reflectancia, con la localización espacial de los espectros sobre la superficie pintada. Los conjuntos de datos resultantes son cubos 3D (llamados hipercubos o cubos de datos) donde las dos primeras dimensiones ubican el espectro sobre la pintura y la tercera es el espectro en sí (es decir, la reflectancia de ese punto de la superficie pintada frente a la longitud de onda en el rango operativo del detector). La capacidad del detector para recopilar simultáneamente un gran número de espectros (típicamente mucho más de 10,000 por cada hipercubo) hace que los conjuntos de datos HRI sean grandes reservas de información y justifica la necesidad de desarrollar protocolos robustos y, posiblemente, automatizados para analizar los datos. Después de la descripción del procedimiento diseñado para la adquisición de datos, presentamos un método de análisis que explota sistemáticamente el potencial de los hipercubos. Basado en Spectral Angle Mapper (SAM) y en la manipulación de los espectros recolectados, el algoritmo maneja y analiza miles de espectros mientras que al mismo tiempo ayuda al usuario a revelar las características de las muestras bajo investigación. El poder del enfoque se ilustra aplicándolo a Quarto Stato, la obra maestra icónica de Giuseppe Pellizza da Volpedo, celebrada en el Museo del Novecento de Milán (Italia).

Introduction

La espectroscopia de reflectancia (RS) y la espectroscopia de reflectancia de fibra óptica (FORS) se basan en la detección de la luz reflejada por superficies una vez iluminadas por una fuente de luz, típicamente una lámpara halógena de tungsteno. La salida del sistema de adquisición está constituida por espectros donde la reflectancia se monitoriza en función de la longitud de onda en un rango que depende de las características de la configuración experimental empleada1,2,3. Introducidos durante las últimas cuatro décadas4,5, RS y FORS se utilizan típicamente en combinación con fluorescencia de rayos X y otras espectroscopias para describir los materiales y las técnicas utilizadas por los artistas para realizar sus obras maestras6,7,8,9. El estudio de los espectros de reflectancia se realiza generalmente comparando los datos de la muestra con un grupo de espectros de referencia seleccionados por el usuario en bases de datos personales o públicas. Una vez identificados los espectros de referencia que cumplen con el período de realización de la muestra y con el modus operandi del artista, el usuario reconoce las principales características de los espectros de reflectancia (es decir, bandas de transición, absorción y reflexión1,2,10,11) y luego, con la ayuda de otras técnicas6,7,8 distinguen los pigmentos que se han utilizado en las pinturas. Finalmente discuten las ligeras diferencias que existen entre las referencias y los espectros experimentales7,9.

En la mayoría de los casos, los conjuntos de datos experimentales se componen de unos pocos espectros, recogidos de áreas elegidas por expertos en arte y asumidas como significativas para la caracterización de la pintura6,12,13. A pesar de las habilidades y la experiencia del usuario, algunos espectros no pueden agotar completamente las características de toda la superficie pintada. Además, el resultado del análisis siempre dependerá en gran medida de la experiencia del ejecutante. En este escenario, las imágenes de reflectancia hiperespectral (HRI3,14,15) podrían ser un recurso útil. En lugar de unos pocos espectros aislados, las configuraciones experimentales devuelven las propiedades de reflectancia de porciones extendidas o incluso de todo el artefacto bajo investigación16. Las dos principales ventajas con respecto a la adquisición de los espectros aislados son evidentes. Por un lado, la disponibilidad de la distribución espacial de las propiedades de reflectancia permite la identificación de áreas que esconden características interesantes, aunque no parezcan peculiares17. Por otro lado, los hipercubos garantizan un número de espectros lo suficientemente alto como para permitir el análisis estadístico de los datos. Estos hechos apoyan la comprensión de la distribución de pigmentos dentro de la superficie pintada18,19.

Con HRI, la comparación de los datos experimentales con las referencias podría ser difícil de manejar15. Un detector típico devuelve hipercubos de al menos 256 x 256 espectros. Esto requeriría que el usuario evaluara más de 65.000 espectros de reflectancia contra cada referencia, una tarea casi imposible de realizar manualmente en un tiempo razonable. Por lo tanto, la solicitud de protocolos robustos y, posiblemente, automatizados para gestionar y analizar conjuntos de datos de HRI está más que justificada15,17. El método propuesto responde a esta necesidad manejando todo el procedimiento analítico con la mínima participación y la máxima flexibilidad.

Un algoritmo que comprende un conjunto de códigos caseros (Tabla de materiales) lee, administra y organiza los archivos devueltos por la configuración experimental. Permite estudiar la selección fina de las porciones de los Campos de Visión (FOVs, un campo de visión es el área de la pintura monitoreada por un solo hipercubo) y realiza el análisis de los datos basado en el método Spectral Angle Mapper (SAM)20,21 y en la manipulación de los espectros originales. SAM devuelve imágenes en escala de grises en color falso denominadas mapas de similitud. Los valores de los píxeles de estos mapas corresponden a los ángulos espectrales que son los ángulos entre los espectros almacenados en los hipercubos y los llamados Miembros Finales (EMs, un grupo de espectros de referencia que deben describir las características de la superficie monitoreada por los hipercubos)22. En el caso de rs aplicados a pinturas, los EM son los espectros de reflectancia de pigmentos que deben coincidir con la paleta del Maestro. Se eligen en función de la información disponible sobre el artista, el período de realización de la pintura y la experiencia del usuario. Por lo tanto, la salida del SAM es un conjunto de mapas que describe las distribuciones espaciales de estos pigmentos sobre la superficie de la pintura y que ayuda al usuario a inferir los materiales utilizados por el artista y su organización en el artefacto. El algoritmo ofrece la posibilidad de emplear todo tipo de referencias independientemente de su origen. Las referencias pueden ser espectros específicos seleccionados dentro de los hipercubos, provenir de bases de datos, ser adquiridos por un instrumento diferente en una superficie diferente (como muestras de pigmentos o la paleta del artista, por ejemplo), u obtenerse empleando cualquier tipo de espectroscopia de reflectancia, FORS incluido.

SAM ha sido preferido entre los métodos de clasificación disponibles porque se ha demostrado que es eficaz para caracterizar pigmentos (consulte el libro de Richard23 para tener una visión general de los principales métodos de clasificación disponibles). En cambio, la idea de desarrollar un protocolo casero en lugar de adoptar una de las muchas herramientas disponibles gratuitamente en la red24,25 se basa en una consideración práctica. A pesar de la efectividad y la base científica de las GUI y el software existentes, una sola herramienta apenas satisface todas las necesidades del usuario. Podría haber un problema de entrada/salida (E/S) porque una herramienta no administra el archivo que contiene los datos sin procesar. Podría haber un problema con respecto al análisis de los datos porque otra herramienta no proporciona el enfoque deseado. Podría haber una limitación en el manejo de los datos porque no se admite el análisis simultáneo de múltiples conjuntos de datos. En cualquier caso, no existe una herramienta perfecta. Cada método debe ajustarse a los datos o viceversa. Por lo tanto, se ha preferido el desarrollo de un protocolo casero.

El enfoque presentado no ofrece ni un conjunto completo de métodos analíticos (véase, para la comparación, la herramienta propuesta por Mobaraki y Amigo24) ni una interfaz de usuario fácil de administrar (véase, para la comparación, el software empleado por Zhu y sus compañeros de trabajo25), pero, a cambio, se centra en un aspecto aún subestimado del análisis de datos hiperespectrales: la oportunidad de manipular los espectros detectados. El poder del enfoque se ilustra aplicándolo a la pintura Quarto Stato de Giuseppe Pellizza da Volpedo (Figura 1), un icónico óleo sobre lienzo que se encuentra en el Museo del Novecento en Milán, Italia. Tenga en cuenta que, dado que el enfoque requiere ejecutar códigos caseros, el desarrollador eligió arbitrariamente los nombres de los códigos y las variables de entrada y salida utilizadas en la descripción del protocolo. Los nombres de las variables pueden ser cambiados por el usuario, pero deben proporcionarse de la siguiente manera: las variables de entrada y salida deben escribirse respectivamente entre corchetes y, finalmente, separarse por comas y entre corchetes y, finalmente, separarse por un espacio en blanco. Por el contrario, los nombres de los códigos no pueden ser alterados.

Protocol

1. Establecer la resolución espacial de los hipercubos Realizar una inspección preliminar de la superficie pintada (Figura 1) apoyada por expertos en arte para identificar las principales características de la pintura. Reconocer las técnicas pictóricas empleadas por el artista para crear la pintura. Identifique las diferentes pinceladas de pintura en el lienzo. Estimar, cualitativamente, las características de las pinceladas con especial atenció…

Representative Results

El protocolo propuesto ofrece un conjunto de características interesantes para la gestión y el análisis de los datos de HRI. La E/S (paso 3.1) de los datos sin procesar es siempre el primer problema que debe resolverse antes de aplicar cualquier método de análisis y puede convertirse en un problema crítico cuando se trata de grandes cantidades de datos. En el presente caso, la única tarea con respecto a los datos sin procesar es almacenar los resultados experimentales en una carpeta dedicada y seleccionarlos naveg…

Discussion

Los conjuntos de datos de imágenes de reflectancia hiperespectral son grandes depósitos de información; por lo tanto, el desarrollo de protocolos robustos y, posiblemente, automatizados para analizar los datos es un giro clave para explotar su potencial15,17. El algoritmo propuesto responde a esta necesidad en el campo del patrimonio cultural con especial atención a la caracterización de los pigmentos de las pinturas. Basado en SAM20,21</su…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Esta investigación fue financiada por regione Lombardia en el marco del proyecto MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.

Los autores agradecen al personal del Museo del Novecento el apoyo durante las sesiones experimentales in situ y a la Associazione Pellizza da Volpedo el acceso al Studio Museo.

Materials

ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
  28. Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Play Video

Cite This Article
Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

View Video