Anvendelse hyperspektral reflektion imaging til at undersøge paletter og teknikker malere

Summary

Hyperspektrale Reflektion Imaging hypercubes omfatter bemærkelsesværdige oplysninger i en stor mængde data. Derfor er anmodningen om automatiserede protokoller til styring og undersøgelse af datasæt bredt begrundet. Kombinationen af Spectral Angle Mapper, datamanipulation og en brugerjusterbar analysemetode udgør en nøgledrejning til at udforske de eksperimentelle resultater.

Abstract

Reflektionsspektroskopi (RS) og fiberoptikrefleksspektroskopi (FORS) er veletablerede teknikker til undersøgelse af kunstværker med særlig vægt på malerier. De fleste moderne museer stiller til rådighed for deres forskningsgrupper bærbare udstyr, der sammen med den iboende ikke-invasivitet af RS og FORS, gør det muligt in situ indsamling af reflektion spektre fra overfladen af artefakter. Sammenligningen, udført af eksperter i pigmenter og malematerialer, af de eksperimentelle data med databaser med referencespektre driver karakteriseringen af paletterne og af de teknikker, der anvendes af kunstnerne. Denne tilgang kræver imidlertid specifikke færdigheder, og det er tidskrævende, især hvis antallet af det spektre, der skal undersøges, bliver stort, som det er tilfældet med hyperspektrale reflektor imaging (HRI) datasæt. HRI eksperimentelle opsætninger er flerdimensionelle kameraer, der forbinder de spektrale oplysninger, givet af reflektionsspektret, med den rumlige lokalisering af spektret over den malede overflade. De resulterende datasæt er 3D-kuber (kaldet hypercubes eller data-terninger), hvor de to første dimensioner lokalisere spektret over maleriet og den tredje er selve spektret (dvs. reflektionen af dette punkt af den malede overflade versus bølgelængden i den operative rækkevidde af detektoren). Detektorens evne til samtidig at indsamle et stort antal spektre (typisk meget mere end 10.000 for hver hypercube) gør HRI datasæt store reservoirer af information og begrunder behovet for udvikling af robuste og muligvis automatiserede protokoller til at analysere dataene. Efter beskrivelsen af den procedure, der er designet til dataindsamlingen, præsenterer vi en analysemetode, der systematisk udnytter hypercubes potentiale. Baseret på Spectral Angle Mapper (SAM) og på manipulation af det indsamlede spektre håndterer og analyserer algoritmen tusindvis af spektre, samtidig med at det understøtter brugeren til at afsløre funktionerne i de prøver, der undersøges. Kraften i tilgangen illustreres ved at anvende den på Quarto Stato, det ikoniske mesterværk af Giuseppe Pellizza da Volpedo, der blev afholdt i Museo del Novecento i Milano (Italien).

Introduction

Reflektionsspektroskopi (RS) og Fiber Optics Reflectance spektroskopi (FORS) er baseret på påvisning af det lys, der reflekteres af overflader, der engang er oplyst af en lyskilde, typisk en wolfram-halogenlampe. Produktion af anskaffelsessystemet udgøres af spektre, hvor reflektionen overvåges som en funktion af bølgelængden i et interval, der afhænger af egenskaberne ved det anvendte eksperimentelle ^setup1,2,3. RS og FORS, der er indført i løbet af de sidste fire ^årtier4,5, anvendes typisk i kombination med røntgenlyscens og andre spektroskopier til at beskrive de materialer og teknikker, som kunstnere bruger til at realisere deres mesterværker6,7,8,9. Undersøgelsen af reflektionsspektret udføres normalt ved at sammenligne dataene fra stikprøven med en gruppe referencespektre, som brugeren har udvalgt i personlige eller offentlige databaser. Når referencespektret, der er i overensstemmelse med prøvens realiseringsperiode og kunstnerens modus operandi, er blevet identificeret, genkender brugeren hovedtrækkene i reflektionsspektret (dvs. overgangs-, absorptions- og refleksionsbånd1,2,10,11) og derefter ved hjælp af andre ^{teknikker6,7,8} de skelner mellem de pigmenter, der er blevet brugt i malerierne. Endelig diskuterer de de små forskelle, der er mellem referencerne og det eksperimentelle ^spektre7,9.

I de fleste tilfælde består de eksperimentelle datasæt af et par spektre, indsamlet fra områder valgt af kunsteksperter og antages at være signifikante for karakteriseringen af maleriet6,12,13. På trods af brugerens færdigheder og erfaring kan et par spektre ikke fuldt ud udtømme egenskaberne for hele den malede overflade. Desuden vil resultatet af analysen altid være stærkt afhængigt af den udøvende kunstners ekspertise. I dette scenario kan Hyperspektral Reflectance Imaging (HRI3,14,15) være en nyttig ressource. I stedet for et par isolerede spektre returnerer de eksperimentelle opsætninger refleksionsegenskaberne for udvidede dele eller endda af hele artefaktet, der ^{undersøges16}. De to største fordele i forbindelse med erhvervelsen af det isolerede spektre er indlysende. På den ene side gør tilgængeligheden af den rumlige fordeling af reflektionsegenskaberne det muligt at identificere områder, der skjuler interessante træk, selvom de måske ikke virker ^{ejendommelige17}. På den anden side garanterer hypercubes en række spektre, der er høje nok til at muliggøre den statistiske analyse af dataene. Disse kendsgerninger understøtter forståelsen af fordelingen af pigmenter inden for den malede ^{overflade18,19}.

Med HRI kan sammenligningen af de eksperimentelle data med referencerne være svær at ^håndtere15. En typisk detektor returnerer hypercubes på mindst 256 x 256 spektre. Dette ville kræve, at brugeren til at evaluere mere end 65.000 reflektion spektre mod hver reference, en opgave næsten umuligt at blive udført manuelt i en rimelig tid. Derfor er anmodningen om robuste og muligvis automatiserede protokoller til styring og analyse af HRI datasæt mere end ^{berettiget15,17}. Den foreslåede metode opfylder dette behov ved at håndtere hele analyseproceduren med minimal inddragelse og maksimal fleksibilitet.

En algoritme, der indeholder et sæt hjemmelavede koder (Tabel over materialer), læser, administrerer og organiserer de filer, der returneres af eksperimentel opsætning. Det gør det muligt at studere det fine udvalg af dele af synsfelterne (FOVs, et synsfelt er det område af maleriet, der overvåges af en enkelt hypercube), og udfører analysen af dataene baseret på SAM-metoden (Spectral Angle Mapper)^20,21 og på manipulationen af det oprindelige spektre. SAM returnerer falske gråtonebilleder kaldet lighedskort. Værdierne af disse korts pixels svarer til de spektralvinkler, der er vinklerne mellem det spektre, der er gemt i hypercubes, og de såkaldte slutmedlemmer (EMs, en gruppe referencespektre, der skal beskrive overfladens egenskaber, der overvåges af hypercubes)²². I tilfælde af RS anvendes på malerier, EMs er reflektion spektre af pigmenter, der skal matche paletten af Master. De vælges ud fra de tilgængelige oplysninger om kunstneren, maleriets realiseringsperiode og brugerens ekspertise. Derfor er SAM’s output et sæt kort, der beskriver de rumlige fordelinger af disse pigmenter over maleriets overflade, og som understøtter brugeren til at udlede de materialer, der anvendes af kunstneren og deres organisation i artefaktet. Algoritmen giver mulighed for at anvende alle slags referencer uafhængigt af deres oprindelse. Referencerne kan være specifikke spektre udvalgt i hypercubes, kommer fra databaser, erhverves af et andet instrument på en anden overflade (såsom prøver af pigmenter eller paletten af kunstneren, for eksempel), eller fås ved hjælp af nogen form for reflektion spektroskopi, FORS inkluderet.

SAM er blevet foretrukket blandt de tilgængelige klassificeringsmetoder, fordi det har vist sig at være effektivt til at karakterisere pigmenter (se bogen af ^Richard23 for at få et overblik over de vigtigste tilgængelige klassificeringsmetoder). I stedet bygger tanken om at udvikle en hjemmelavet protokol i stedet for at vedtage et af de mange værktøjer, der er frit tilgængelige på ^nettet24,25, af praktiske overvejelser. På trods af effektiviteten og det videnskabelige grundlag af de eksisterende GUI’er og software opfylder et enkelt værktøj næppe alle brugerens behov. Der kan være et I/O-problem (Input/Output), fordi et værktøj ikke administrerer den fil, der indeholder de rå data. Der kan være et problem med hensyn til analysen af dataene, fordi et andet værktøj ikke giver den ønskede tilgang. Der kan være en begrænsning i håndteringen af dataene, fordi den samtidige analyse af flere datasæt ikke understøttes. Under alle omstændigheder findes der ikke et perfekt værktøj. Hver metode skal justeres til dataene eller omvendt. Derfor er udviklingen af en hjemmelavet protokol blevet foretrukket.

Den præsenterede tilgang tilbyder hverken et komplet sæt analysemetoder (se til sammenligning det værktøj, der foreslås af Mobaraki og ^Amigo24) eller en brugervenlig brugergrænseflade (se til sammenligning den software, der anvendes af Zhu og ^kolleger25), men til gengæld fokuserer den på et stadig undervurderet aspekt af hyperspektral dataanalyse: muligheden for at manipulere det fundne spektre. Metodens kraft illustreres ved at anvende den på maleriet Quarto Stato af Giuseppe Pellizza da Volpedo (Figur 1), en ikonisk olie på lærred afholdt i Museo del Novecento i Milano, Italien. Bemærk, at da tilgangen kræver at køre hjemmelavede koder, valgte udvikleren vilkårligt navnene på koderne og både de input- og outputvariabler, der bruges i beskrivelsen af protokollen. Navnene på variablerne kan ændres af brugeren, men de skal leveres som følger: input og ud variabler skal skrives henholdsvis inden for parenteser og i sidste ende adskilt af komma og inden for kantede parenteser og i sidste ende adskilt af et hvidt rum. Tværtimod kan navnene på koderne ikke ændres.

Protocol

1. Indstil hypercubes rumlige opløsning Udfør en indledende inspektion af den malede overflade (figur 1), der understøttes af kunsteksperter for at identificere maleriets hovedtræk. Anerkend de billedteknikker, som kunstneren anvender til at skabe maleriet. Identificer de forskellige penselstrøg af maling på lærredet. Skøn, kvalitativt, egenskaberne ved penselstrøg med særlig vægt på deres størrelse. Efterligne billed…

Representative Results

Den foreslåede protokol indeholder et sæt interessante funktioner til forvaltning og analyse af HRI-data. I/O (trin 3.1) i de rå data er altid det første problem, der skal løses, før der anvendes en analysemetode, og det kan blive et kritisk problem, når der beskæftiger sig med store mængder data. I det foreliggende tilfælde er den eneste opgave med hensyn til de rå data at gemme de eksperimentelle resultater i en dedikeret mappe og vælge det ved at gennemse harddisken, når du kører læsekoden (trin 3.1.1)….

Discussion

Hyperspektrale reflektionsdatasæt er store reservoirer af information; derfor er udviklingen af robuste og muligvis automatiserede protokoller til analyse af dataene en vigtig drejning for at udnytte deres ^{potentiale15,17}. Den foreslåede algoritme opfylder dette behov inden for kulturarv med særlig vægt på karakteriseringen af maleriernes pigmenter. Baseret på ^SAM20,21 understøtter algoritmen bruge…

Materials

ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment