Anwendung der hyperspektralen Reflexionsbildgebung zur Untersuchung der Paletten und Techniken von Malern
Summary
Hyperspectral Reflectance Imaging Hyperwürfel enthalten bemerkenswerte Informationen in einer großen Datenmenge. Daher ist die Forderung nach automatisierten Protokollen zur Verwaltung und Untersuchung der Datensätze weitgehend gerechtfertigt. Die Kombination aus Spectral Angle Mapper, Datenmanipulation und einer vom Benutzer einstellbaren Analysemethode stellt einen Schlüssel für die Erforschung der experimentellen Ergebnisse dar.
Abstract
Reflexionsspektroskopie (RS) und Faseroptik-Reflexionsspektroskopie (FORS) sind etablierte Techniken zur Untersuchung von Kunstwerken mit besonderem Augenmerk auf Gemälde. Die meisten modernen Museen stellen ihren Forschungsgruppen tragbare Geräte zur Verfügung, die zusammen mit der intrinsischen Nicht-Invasivität von RS und FORS die In-situ-Sammlung von Reflexionsspektren von der Oberfläche von Artefakten ermöglichen. Der von Experten für Pigmente und Malmaterialien durchgeführte Vergleich der experimentellen Daten mit Datenbanken von Referenzspektren treibt die Charakterisierung der Paletten und der von den Künstlern verwendeten Techniken voran. Dieser Ansatz erfordert jedoch spezifische Fähigkeiten und ist zeitaufwendig, insbesondere wenn die Anzahl der zu untersuchenden Spektren groß wird, wie dies bei HRI-Datensätzen (Hyperspectral Reflectance Imaging) der Fall ist. Die HRI-Versuchsaufbauten sind mehrdimensionale Kameras, die die spektrale Information, die durch die Reflexionsspektren gegeben wird, mit der räumlichen Lokalisierung der Spektren über der gemalten Oberfläche assoziieren. Die resultierenden Datensätze sind 3D-Würfel (Hyperwürfel oder Datenwürfel genannt), bei denen die ersten beiden Dimensionen das Spektrum über dem Gemälde lokalisieren und die dritte das Spektrum selbst ist (dh die Reflexion dieses Punktes der gemalten Oberfläche gegenüber der Wellenlänge im operativen Bereich des Detektors). Die Fähigkeit des Detektors, gleichzeitig eine große Anzahl von Spektren (typischerweise viel mehr als 10.000 für jeden Hyperwürfel) zu sammeln, macht die HRI-Datensätze zu großen Informationsreservoirs und rechtfertigt die Notwendigkeit der Entwicklung robuster und möglicherweise automatisierter Protokolle zur Analyse der Daten. Nach der Beschreibung des für die Datenerfassung konzipierten Verfahrens stellen wir eine Analysemethode vor, die das Potenzial der Hyperwürfel systematisch ausschöpft. Basierend auf dem Spectral Angle Mapper (SAM) und der Manipulation der gesammelten Spektren verarbeitet und analysiert der Algorithmus Tausende von Spektren und unterstützt gleichzeitig den Benutzer bei der Enthüllung der Merkmale der untersuchten Proben. Die Kraft des Ansatzes wird durch die Anwendung auf Quarto Stato veranschaulicht, das ikonische Meisterwerk von Giuseppe Pellizza da Volpedo, das im Museo del Novecento in Mailand (Italien) aufbewahrt wird.
Introduction
Reflexionsspektroskopie (RS) und Faseroptik-Reflexionsspektroskopie (FORS) basieren auf der Detektion des Lichts, das von Oberflächen reflektiert wird, die einmal von einer Lichtquelle, typischerweise einer Wolfram-Halogenlampe, beleuchtet werden. Die Ausgabe des Erfassungssystems besteht aus Spektren, bei denen der Reflexionsgrad als Funktion der Wellenlänge in einem Bereich überwacht wird, der von den Eigenschaften des verwendeten Versuchsaufbaus abhängt1,2,3. Eingeführt in den letzten vier Jahrzehnten4,5, werden RS und FORS typischerweise in Kombination mit Röntgenfluoreszenz und anderen Spektroskopien verwendet, um die Materialien und Techniken zu beschreiben, die von Künstlern zur Realisierung ihrer Meisterwerke verwendet werden6,7,8,9. Die Untersuchung der Reflexionsspektren erfolgt in der Regel durch Vergleich der Daten aus der Stichprobe mit einer Gruppe von Referenzspektren, die vom Benutzer in persönlichen oder öffentlichen Datenbanken ausgewählt wurden. Sobald die Referenzspektren identifiziert wurden, die der Realisierungsperiode der Probe und dem Modus Operandi des Künstlers entsprechen, erkennt der Benutzer die Hauptmerkmale der Reflexionsspektren (d.h. Übergangs-, Absorptions- und Reflexionsbänder1,2,10,11) und dann mit Hilfe anderer Techniken6,7,8 sie unterscheiden die Pigmente, die in den Gemälden verwendet wurden. Schließlich diskutieren sie die geringfügigen Unterschiede, die es zwischen den Referenzen und den experimentellen Spektren7,9 gibt.
In den meisten Fällen bestehen die experimentellen Datensätze aus wenigen Spektren, die aus von Kunstexperten ausgewählten Bereichen gesammelt wurden und von denen angenommen wird, dass sie für die Charakterisierung des Gemäldes von Bedeutung sind6,12,13. Trotz der Fähigkeiten und der Erfahrung des Benutzers können einige Spektren die Eigenschaften der gesamten lackierten Oberfläche nicht vollständig ausschöpfen. Darüber hinaus wird das Ergebnis der Analyse immer stark von der Expertise des Darstellers abhängen. In diesem Szenario könnte Hyperspectral Reflectance Imaging (HRI3,14,15) eine nützliche Ressource sein. Anstelle einiger isolierter Spektren geben die Versuchsaufbauten die Reflexionseigenschaften ausgedehnter Teile oder sogar des gesamten untersuchten Artefakts zurück16. Die beiden Hauptvorteile in Bezug auf die Erfassung der isolierten Spektren liegen auf der Hand. Auf der einen Seite ermöglicht die Verfügbarkeit der räumlichen Verteilung der Reflexionseigenschaften die Identifizierung von Bereichen, die interessante Merkmale verbergen, auch wenn sie nicht eigenartig erscheinen mögen17. Auf der anderen Seite garantieren die Hyperwürfel eine Anzahl von Spektren, die hoch genug sind, um die statistische Analyse der Daten zu ermöglichen. Diese Tatsachen unterstützen das Verständnis der Verteilung von Pigmenten innerhalb der lackierten Oberfläche18,19.
Mit HRI könnte der Vergleich der experimentellen Daten mit den Referenzen schwierig zu handhaben sein15. Ein typischer Detektor liefert Hyperwürfel von mindestens 256 x 256 Spektren. Dies würde erfordern, dass der Benutzer mehr als 65.000 Reflexionsspektren gegen jede Referenz auswertet, eine Aufgabe, die in angemessener Zeit fast unmöglich manuell ausgeführt werden kann. Daher ist die Forderung nach robusten und möglicherweise automatisierten Protokollen zur Verwaltung und Analyse von HRI-Datensätzen mehr als gerechtfertigt15,17. Die vorgeschlagene Methode erfüllt diesen Bedarf, indem sie das gesamte Analyseverfahren mit minimalem Aufwand und maximaler Flexibilität behandelt.
Ein Algorithmus, der aus einem Satz von selbst erstellten Codes (Table of Materials) besteht, liest, verwaltet und organisiert die dateien, die vom experimentellen Setup zurückgegeben werden. Es ermöglicht die Feinauswahl der Teile der Sichtfelder (FOVs, ein Sichtfeld ist der Bereich des Gemäldes, der von einem einzigen Hyperwürfel überwacht wird) zu untersuchen und führt die Analyse der Daten basierend auf der Spectral Angle Mapper (SAM) Methode20,21 und auf der Manipulation der ursprünglichen Spektren durch. SAM gibt Falschfarben-Graustufenbilder zurück, die als Ähnlichkeitskarten bezeichnet werden. Die Werte der Pixel dieser Karten entsprechen den spektralen Winkeln, die die Winkel zwischen den in den Hyperwürfeln gespeicherten Spektren und den sogenannten End members (EMs, einer Gruppe von Referenzspektren, die die Merkmale der von den Hyperwürfeln überwachten Oberfläche beschreiben sollen)22 sind. Im Falle von RS, die auf Gemälde angewendet werden, sind die EMs die Reflexionsspektren von Pigmenten, die der Palette des Masters entsprechen sollten. Sie werden auf der Grundlage der verfügbaren Informationen über den Künstler, den Realisierungszeitraum des Gemäldes und das Fachwissen des Benutzers ausgewählt. Daher ist die Ausgabe des SAM ein Satz von Karten, der die räumlichen Verteilungen dieser Pigmente über die Malfläche beschreibt und den Benutzer dabei unterstützt, auf die vom Künstler verwendeten Materialien und deren Organisation im Artefakt zu schließen. Der Algorithmus bietet die Möglichkeit, alle Arten von Referenzen unabhängig von ihrer Herkunft zu verwenden. Die Referenzen können spezifische Spektren sein, die innerhalb der Hyperwürfel ausgewählt wurden, aus Datenbanken stammen, von einem anderen Instrument auf einer anderen Oberfläche erfasst werden (z. B. Pigmentproben oder die Palette des Künstlers) oder mit jeder Art von Reflexionsspektroskopie, einschließlich FORS, erhalten werden.
SAM wurde unter den verfügbaren Klassifikationsmethoden bevorzugt, da es sich als wirksam bei der Charakterisierung von Pigmenten erwiesen hat (siehe das Buch von Richard23, um einen Überblick über die wichtigsten verfügbaren Klassifikationsmethoden zu erhalten). Stattdessen beruht die Idee, ein selbst erstelltes Protokoll zu entwickeln, anstatt eines der vielen im Netz frei verfügbaren Tools zu übernehmen24,25, auf einer praktischen Überlegung. Trotz der Effektivität und wissenschaftlichen Fundierung der bestehenden GUIs und Software befriedigt ein einziges Tool kaum alle Bedürfnisse des Anwenders. Möglicherweise liegt ein E/A-Problem (Input/Output) vor, da ein Tool die Datei mit den Rohdaten nicht verwaltet. Es könnte ein Problem bei der Analyse der Daten geben, da ein anderes Tool nicht den gewünschten Ansatz bietet. Es kann eine Einschränkung bei der Verarbeitung der Daten geben, da die gleichzeitige Analyse mehrerer Datensätze nicht unterstützt wird. Ein perfektes Werkzeug gibt es jedenfalls nicht. Jede Methode muss an die Daten angepasst werden oder umgekehrt. Daher wurde die Entwicklung eines hausgemachten Protokolls bevorzugt.
Der vorgestellte Ansatz bietet weder einen vollständigen Satz analytischer Methoden (siehe zum Vergleich das von Mobaraki und Amigo24 vorgeschlagene Tool) noch eine einfach zu verwaltende Benutzeroberfläche (siehe zum Vergleich die von Zhu und Mitarbeitern verwendete Software25), sondern konzentriert sich im Gegenzug auf einen immer noch unterschätzten Aspekt der hyperspektralen Datenanalyse: die Möglichkeit, die erkannten Spektren zu manipulieren. Die Kraft des Ansatzes wird veranschaulicht, indem man ihn auf das Gemälde Quarto Stato von Giuseppe Pellizza da Volpedo (Abbildung 1) anwendet, ein ikonisches Öl auf Leinwand, das im Museo del Novecento in Mailand, Italien, aufbewahrt wird. Beachten Sie, dass der Entwickler, da der Ansatz das Ausführen von selbst erstellten Codes erfordert, willkürlich die Namen der Codes und sowohl die Eingabe- als auch die Ausgabevariablen ausgewählt hat, die in der Beschreibung des Protokolls verwendet werden. Die Namen der Variablen können vom Benutzer geändert werden, müssen jedoch wie folgt angegeben werden: Die Eingabe- und Ausgangsvariablen müssen jeweils in Klammern geschrieben und schließlich durch Komma und eckige Klammern getrennt und schließlich durch ein Leerzeichen getrennt werden. Im Gegenteil, die Namen der Codes können nicht geändert werden.
Protocol
Representative Results
Discussion
Hyperspektrale Reflexionsbildgebungsdatensätze sind große Informationsreservoirs; Daher ist die Entwicklung robuster und möglicherweise automatisierter Protokolle zur Analyse der Daten eine Schlüsselrolle, um ihr Potenzial auszuschöpfen15,17. Der vorgeschlagene Algorithmus beantwortet diesen Bedarf im Bereich des kulturellen Erbes mit besonderem Augenmerk auf die Charakterisierung der Pigmente von Gemälden. Basierend auf SAM20,21<sup…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Diese Forschung wurde von der Region Lombardia im Rahmen des Projekts MOBARTECH finanziert: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.
Die Autoren danken den Mitarbeitern des Museo del Novecento für die Unterstützung während der experimentellen In-situ-Sitzungen und der Associazione Pellizza da Volpedo für den Zugang zum Studio Museo.
Materials
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
Riferimenti
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
- Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
