Tillämpa hyperspektral reflektansavbildning för att undersöka paletter och tekniker för målare
Summary
Hyperspektrala reflektansavbildningshyperkuber innehåller anmärkningsvärd information i en stor mängd data. Därför är begäran om automatiserade protokoll för att hantera och studera datamängderna allmänt motiverad. Kombinationen av Spektralvinkelmapper, datamanipulation och en användarjusterbar analysmetod utgör en nyckelsväng för att utforska de experimentella resultaten.
Abstract
Reflektansspektroskopi (RS) och fiberoptikreflektansspektroskopi (FORS) är väletablerade tekniker för undersökning av konstverk med särskild uppmärksamhet på målningar. De flesta moderna museer ställer till sina forskargruppers förfogande bärbar utrustning som tillsammans med RS och FORS inneboende icke-invasivitet möjliggör insamling av reflektansspektra från artefakternas yta. Jämförelsen, utförd av experter på pigment och målningsmaterial, av experimentella data med databaser med referensspektra driver karakteriseringen av paletterna och av de tekniker som används av konstnärerna. Den här metoden kräver dock specifika färdigheter och det är tidskrävande, särskilt om antalet spektra som ska undersökas blir stort som är fallet med HRI-data uppsättningar (Hyperspectral Reflectance Imaging). HRI:s experimentella inställningar är flerdimensionella kameror som associerar spektralinformationen, som ges av reflektansspektrat, med den rumsliga lokaliseringen av spektrat över den målade ytan. De resulterande datamängderna är 3D-kuber (så kallade hyperkuber eller datakuber) där de två första dimensionerna lokaliserar spektrumet över målningen och den tredje är själva spektrumet (dvs. reflektansen av den punkten på den målade ytan kontra våglängden i detektorns operativa intervall). Detektorns förmåga att samtidigt samla in ett stort antal spektra (vanligtvis mycket mer än 10 000 för varje hypercube) gör HRI-datamängderna till stora informationsreservoarer och motiverar behovet av utveckling av robusta och eventuellt automatiserade protokoll för att analysera data. Efter beskrivningen av förfarandet för datainsamlingen presenterar vi en analysmetod som systematiskt utnyttjar hyperkubers potential. Baserat på Spectral Angle Mapper (SAM) och på manipulering av det insamlade spektrat hanterar och analyserar algoritmen tusentals spektra samtidigt som den stöder användaren att avslöja funktionerna i de prover som undersöks. Kraften i tillvägagångssättet illustreras genom att tillämpa det på Quarto Stato, det ikoniska mästerverket av Giuseppe Pellizza da Volpedo, som hålls i Museo del Novecento i Milano (Italien).
Introduction
Reflektansspektroskopi (RS) och fiberoptikreflektansspektroskopi (FORS) är baserade på detektion av ljuset som reflekteras av ytor som en gång belystes av en ljuskälla, vanligtvis en volfram-halogenlampa. Anskaffningssystemets utdata består av spektra där reflektansen övervakas som en funktion av våglängden inom ett område som beror på egenskaperna hos den använda experimentella installationen1,2,3. RS och FORS introducerades under de senaste fyra decennierna4,5 och används vanligtvis i kombination med röntgenfluorescens och andra spektroskopier för att beskriva materialen och teknikerna som används av konstnärer för att förverkliga sina mästerverk6,7,8,9. Studien av reflektansspektrat utförs vanligtvis genom att jämföra data från provet med en grupp referensspektra som valts av användaren i personliga eller offentliga databaser. När referensspektrat som överensstämmer med provets genomförandeperiod och konstnärens arbetssätt har identifierats, känner användaren igen huvuddragen i reflektansspektrat (dvs. övergångs-, absorptions- och reflektionsband1,2,10,11) och sedan, med hjälp av andra tekniker6,7,8 de skiljer de pigment som har använts i målningarna. Slutligen diskuterar de de små skillnader som finns mellan referenserna och det experimentella spektrat7,9.
I de flesta fall består de experimentella dataseten av några spektra, samlade från områden som valts av konstexperter och antas vara signifikanta för karakteriseringen av målningen6,12,13. Trots användarens färdigheter och erfarenhet kan några spektra inte helt uttömma egenskaperna hos hela den målade ytan. Dessutom kommer resultatet av analysen alltid att vara starkt beroende av den utövandes expertis. I det här scenariot kan hyperspektral reflektansavbildning (HRI3,14,15) vara en användbar resurs. I stället för några enstaka spektra returnerar de experimentella installationerna reflektansegenskaperna hos utökade delar eller till och med av hela artefakten som undersöks16. De två främsta fördelarna med förvärvet av det isolerade spektrat är uppenbara. Å ena sidan gör tillgången till den rumsliga fördelningen av reflektansegenskaperna det möjligt att identifiera områden som döljer intressanta funktioner, även om de kanske inte verkar märkliga17. Å andra sidan garanterar hyperkubenen ett antal spektra som är tillräckligt höga för att möjliggöra statistisk analys av uppgifterna. Dessa fakta stöder förståelsen av fördelningen av pigment inom den målade ytan18,19.
Med HRI kan jämförelsen av experimentella data med referenserna vara svår att hantera15. En typisk detektor returnerar hyperkuber på minst 256 x 256 spektra. Detta skulle kräva att användaren utvärderar mer än 65 000 reflektansspektra mot varje referens, en uppgift som är nästan omöjlig att utföra manuellt inom rimlig tid. Därför är begäran om robusta och eventuellt automatiserade protokoll för att hantera och analysera HRI-data uppsättningar mer än motiverad15,17. Den föreslagna metoden besvarar detta behov genom att hantera hela det analytiska förfarandet med minsta möjliga engagemang och maximal flexibilitet.
En algoritm som består av en uppsättning hemgjorda koder (Table of Materials) läser, hanterar och organiserar filerna som returneras av den experimentella installationen. Det gör det möjligt att studera det fina urvalet av delar av synfälten (FOV, ett synfält är det område av målningen som övervakas av en enda hyperkuber) och utför analysen av data baserat på SAM-metoden (Spectral Angle Mapper)20,21 och på manipulering av det ursprungliga spektrat. SAM returnerar falska gråskalebilder med färg som kallas likhetskartor. Värdena för pixlarna på dessa kartor motsvarar de spektralvinklar som är vinklarna mellan spektrat som lagras i hyperkubenen och de så kallade slutmedlemmarna (EMs, en grupp referensspektra som bör beskriva egenskaperna hos ytan som övervakas av hyperkuben)22. När det gäller RS som tillämpas på målningar är EMs reflektansspektra av pigment som ska matcha Mästarens palett. De väljs baserat på tillgänglig information om konstnären, målningens genomförandeperiod och användarens expertis. Därför är sam-resultatet en uppsättning kartor som beskriver de rumsliga fördelningarna av dessa pigment över målningsytan och som hjälper användaren att härleda de material som konstnären och deras organisation använder i artefakten. Algoritmen erbjuder möjligheten att använda alla typer av referenser oberoende av deras ursprung. Referenserna kan vara specifika spektra som väljs inom hyperkuben, komma från databaser, förvärvas av ett annat instrument på en annan yta (t.ex. prover av pigment eller konstnärens palett, till exempel), eller erhållas med någon form av reflektansspektroskopi, inklusive FORS.
SAM har föredragits bland de tillgängliga klassificeringsmetoderna eftersom det har visat sig vara effektivt för att karakterisera pigment (se boken av Richard23 för att ha en översikt över de viktigaste tillgängliga klassificeringsmetoderna). Tanken på att utveckla ett hemgjort protokoll i stället för att anta ett av de många verktyg som är fritt tillgängligt på nätet24,25 bygger i stället på ett praktiskt övervägande. Trots effektiviteten och den vetenskapliga grunden för de befintliga GUI och programvara, uppfyller ett enda verktyg knappast alla användarens behov. Det kan finnas ett I/O-problem (Input/Output) eftersom ett verktyg inte hanterar filen som innehåller rådata. Det kan finnas ett problem med analysen av data eftersom ett annat verktyg inte ger önskat tillvägagångssätt. Det kan finnas en begränsning i hanteringen av data eftersom samtidig analys av flera data uppsättningar inte stöds. I vilket fall som helst finns inte ett perfekt verktyg. Varje metod måste justeras till data eller vice versa. Därför har utvecklingen av ett hemgjort protokoll föredragits.
Det presenterade tillvägagångssättet erbjuder varken en komplett uppsättning analysmetoder (se för jämförelse det verktyg som föreslagits av Mobaraki och Amigo24) eller ett lätthanterat användargränssnitt (se för jämförelse den programvara som används av Zhu och medarbetare25), men i utbyte fokuserar den på en fortfarande underskattad aspekt av hyperspektral dataanalys: möjligheten att manipulera det upptäckta spektrat. Kraften i tillvägagångssättet illustreras genom att tillämpa den på målningen Quarto Stato av Giuseppe Pellizza da Volpedo (figur 1), en ikonisk olja på duk som hålls i Museo del Novecento i Milano, Italien. Observera att eftersom metoden kräver att du kör hemgjorda koder valde utvecklaren godtyckligt namnen på koderna och både indata- och utdatavariablerna som används i beskrivningen av protokollet. Namnen på variablerna kan ändras av användaren, men de måste anges enligt följande: indata- och utvariablerna måste skrivas inom parentes och så småningom separeras av kommatecken och inom hakparenteser och så småningom separeras av ett tomt utrymme. Tvärtom kan namnen på koderna inte ändras.
Protocol
Representative Results
Discussion
Hyperspektrala reflektansavbildningsdatauppsättningar är stora informationsreservoarer. Därför är utvecklingen av robusta och eventuellt automatiserade protokoll för att analysera data en viktig vändning för att utnyttja deras potential15,17. Den föreslagna algoritmen svarar på detta behov inom kulturarvet med särskild uppmärksamhet på karakteriseringen av målningarnas pigment. Baserat på SAM20,21<sup class="xref"…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Denna forskning finansierades av Regione Lombardia inom ramen för projektet MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.
Författarna är tacksamma mot personalen på Museo del Novecento för stödet under de experimentella sessionerna på plats och till Associazione Pellizza da Volpedo för tillgången till Studio Museo.
Materials
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
- Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
