Hyperspectrale reflectie beeldvorming toepassen om de paletten en de technieken van schilders te onderzoeken

Summary

Hyperspectral Reflectance Imaging hyperkubussen nemen opmerkelijke informatie op in een grote hoeveelheid gegevens. Daarom is de vraag naar geautomatiseerde protocollen om de datasets te beheren en te bestuderen breed gerechtvaardigd. De combinatie van Spectral Angle Mapper, datamanipulatie en een door de gebruiker instelbare analysemethode vormt een belangrijke wending voor het verkennen van de experimentele resultaten.

Abstract

Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gevestigde technieken voor het onderzoeken van kunstwerken met bijzondere aandacht voor schilderijen. De meeste moderne musea stellen draagbare apparatuur ter beschikking van hun onderzoeksgroepen die, samen met de intrinsieke non-invasiviteit van RS en FORS, de in situ collectie van reflectiespectra van het oppervlak van artefacten mogelijk maakt. De vergelijking, uitgevoerd door experts in pigmenten en schildermaterialen, van de experimentele gegevens met databases van referentiespectra drijft de karakterisering van de paletten en van de technieken die door de kunstenaars worden gebruikt. Deze aanpak vereist echter specifieke vaardigheden en het is tijdrovend, vooral als het aantal te onderzoeken spectra groot wordt, zoals het geval is bij Hyperspectral Reflectance Imaging (HRI) datasets. De HRI-experimentele opstellingen zijn multidimensionale camera’s die de spectrale informatie, gegeven door de reflectiespectra, associëren met de ruimtelijke lokalisatie van de spectra over het geverfde oppervlak. De resulterende datasets zijn 3D-kubussen (hyperkubussen of datakubussen genoemd) waarbij de eerste twee dimensies het spectrum over het schilderij lokaliseren en de derde het spectrum zelf is (d.w.z. de reflectie van dat punt van het geverfde oppervlak versus de golflengte in het operatieve bereik van de detector). Het vermogen van de detector om tegelijkertijd een groot aantal spectra te verzamelen (meestal veel meer dan 10.000 voor elke hyperkubus) maakt de HRI-datasets grote reservoirs van informatie en rechtvaardigt de noodzaak van de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren. Na de beschrijving van de procedure die is ontworpen voor de gegevensverzameling, presenteren we een analysemethode die systematisch het potentieel van de hyperkubussen benut. Gebaseerd op Spectral Angle Mapper (SAM) en op de manipulatie van de verzamelde spectra, verwerkt en analyseert het algoritme duizenden spectra terwijl het tegelijkertijd de gebruiker ondersteunt om de kenmerken van de onderzochte monsters te onthullen. De kracht van de aanpak wordt geïllustreerd door het toe te passen op Quarto Stato, het iconische meesterwerk van Giuseppe Pellizza da Volpedo, gehouden in het Museo del Novecento in Milaan (Italië).

Introduction

Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gebaseerd op de detectie van het licht dat wordt gereflecteerd door oppervlakken die eenmaal zijn verlicht door een lichtbron, meestal een wolfraam-halogeenlamp. De output van het acquisitiesysteem wordt gevormd door spectra waarbij de reflectie wordt bewaakt als functie van de golflengte in een bereik dat afhankelijk is van de kenmerken van de gebruikte experimentele ^{opstelling1,2,3}. Geïntroduceerd in de afgelopen vier ^decennia4,5, worden RS en FORS meestal gebruikt in combinatie met röntgenfluorescentie en andere spectroscopieën om de materialen en de technieken te beschrijven die door kunstenaars worden gebruikt om hun meesterwerken te realiseren6,7,8,9. De studie van de reflectiespectra wordt meestal uitgevoerd door de gegevens van het monster te vergelijken met een groep referentiespectra die door de gebruiker is geselecteerd in persoonlijke of openbare databases. Zodra de referentiespectra die voldoen aan de realisatieperiode van het monster en aan de modus operandi van de kunstenaar zijn geïdentificeerd, herkent de gebruiker de belangrijkste kenmerken van de reflectiespectra (d.w.z. overgangs-, absorptie- en reflectiebanden1,2,10,11) en vervolgens, met behulp van andere ^{technieken6,7,8} ze onderscheiden de pigmenten die in de schilderijen zijn gebruikt. Ten slotte bespreken ze de kleine verschillen die er bestaan tussen de referenties en de experimentele ^spectra7,9.

In de meeste gevallen zijn de experimentele datasets samengesteld uit enkele spectra, verzameld uit gebieden die door kunstexperts zijn gekozen en waarvan wordt aangenomen dat ze belangrijk zijn voor de karakterisering van het schilderij6,12,13. Ondanks de vaardigheden en de ervaring van de gebruiker, kunnen enkele spectra de kenmerken van het hele geverfde oppervlak niet volledig uitputten. Bovendien zal het resultaat van de analyse altijd sterk afhankelijk zijn van de expertise van de uitvoerder. In dit scenario kan Hyperspectral Reflectance Imaging (HRI3,14,15) een nuttige bron zijn. In plaats van een paar geïsoleerde spectra, geven de experimentele opstellingen de reflectie-eigenschappen van uitgebreide delen of zelfs van het hele artefact dat wordt onderzocht ^terug16. De twee belangrijkste voordelen met betrekking tot de verwerving van de geïsoleerde spectra zijn duidelijk. Aan de ene kant maakt de beschikbaarheid van de ruimtelijke verdeling van de reflectie-eigenschappen het mogelijk om gebieden te identificeren die interessante kenmerken verbergen, ook al lijken ze misschien niet ^{eigenaardig17}. Aan de andere kant garanderen de hyperkubussen een aantal spectra die hoog genoeg zijn om de statistische analyse van de gegevens mogelijk te maken. Deze feiten ondersteunen het begrip van de verdeling van pigmenten binnen het geschilderde ^{oppervlak18,19}.

Met HRI zou de vergelijking van de experimentele gegevens met de referenties moeilijk te hanteren kunnen ^zijn15. Een typische detector retourneert hyperkubussen van ten minste 256 x 256 spectra. Dit zou vereisen dat de gebruiker meer dan 65.000 reflectiespectra evalueert tegen elke referentie, een taak die bijna onmogelijk handmatig kan worden uitgevoerd in een redelijke tijd. Daarom is de vraag naar robuuste en mogelijk geautomatiseerde protocollen voor het beheren en analyseren van HRI-datasets meer dan ^{gerechtvaardigd15,17}. De voorgestelde methode beantwoordt aan deze behoefte door de hele analytische procedure met minimale betrokkenheid en maximale flexibiliteit af te handelen.

Een algoritme dat bestaat uit een set zelfgemaakte codes (Table of Materials) leest, beheert en organiseert de bestanden die door de experimentele installatie worden geretourneerd. Het maakt het mogelijk om de fijne selectie van de delen van de gezichtsvelden (FOV’s, één gezichtsveld is het gebied van het schilderij bewaakt door een enkele hyperkubus) te bestuderen en voert de analyse uit van de gegevens op basis van de Spectral Angle Mapper (SAM) –^methode20,21 en op de manipulatie van de oorspronkelijke spectra. SAM retourneert valse kleuren grijsschaalafbeeldingen die gelijkeniskaarten worden genoemd. De waarden van de pixels van deze afbeeldingen komen overeen met de spectrale hoeken die de hoeken zijn tussen de spectra die zijn opgeslagen in de hyperkubussen en de zogenaamde End Members (EM’s, een groep referentiespectra die de kenmerken van het oppervlak moeten beschrijven die door de hyperkubussen worden bewaakt)²². In het geval van RS toegepast op schilderijen, zijn de EM’s de reflectiespectra van pigmenten die moeten overeenkomen met het palet van de Meester. Ze worden gekozen op basis van de beschikbare informatie over de kunstenaar, de realisatieperiode van het schilderij en de expertise van de gebruiker. Daarom is de output van de SAM een set kaarten die de ruimtelijke verdelingen van deze pigmenten over het schilderoppervlak beschrijft en die de gebruiker ondersteunt om de materialen af te leiden die door de kunstenaar en hun organisatie in het artefact worden gebruikt. Het algoritme biedt de mogelijkheid om onafhankelijk van hun oorsprong allerlei referenties in te zetten. De referenties kunnen specifieke spectra zijn die binnen de hyperkubussen zijn geselecteerd, afkomstig zijn uit databases, worden verkregen door een ander instrument op een ander oppervlak (zoals monsters van pigmenten of het palet van de kunstenaar, bijvoorbeeld), of worden verkregen met behulp van elke vorm van reflectiespectroscopie, inclusief FORS.

SAM heeft de voorkeur gekregen onder de beschikbare classificatiemethoden omdat is aangetoond dat het effectief is voor het karakteriseren van pigmenten (zie het boek van ^Richard23 voor een overzicht van de belangrijkste beschikbare classificatiemethoden). In plaats daarvan is het idee om een zelfgemaakt protocol te ontwikkelen in plaats van een van de vele tools die vrij beschikbaar zijn op het ^net24,25, afhankelijk van een praktische overweging. Ondanks de effectiviteit en wetenschappelijke onderbouwing van de bestaande GUI’s en software, voldoet één tool nauwelijks aan alle behoeften van de gebruiker. Er kan een I/O-probleem (Input/Output) optreden omdat een hulpprogramma het bestand met de onbewerkte gegevens niet beheert. Er kan een probleem zijn met betrekking tot de analyse van de gegevens omdat een andere tool niet de gewenste aanpak biedt. Er kan een beperking zijn in de verwerking van de gegevens omdat de gelijktijdige analyse van meerdere datasets niet wordt ondersteund. In ieder geval bestaat er geen perfect hulpmiddel. Elke methode moet worden aangepast aan de gegevens of omgekeerd. Daarom heeft de ontwikkeling van een zelfgemaakt protocol de voorkeur gekregen.

De gepresenteerde benadering biedt noch een complete reeks analytische methoden (zie ter vergelijking de tool voorgesteld door Mobaraki en ^Amigo24) noch een eenvoudig te beheren gebruikersinterface (zie ter vergelijking de software van Zhu en ^{collega’s25}), maar richt zich in ruil daarvoor op een nog steeds onderschat aspect van hyperspectrale data-analyse: de mogelijkheid om de gedetecteerde spectra te manipuleren. De kracht van de aanpak wordt geïllustreerd door het toe te passen op het schilderij Quarto Stato van Giuseppe Pellizza da Volpedo (figuur 1), een iconische olieverf op doek in het Museo del Novecento in Milaan, Italië. Merk op dat, aangezien de aanpak het uitvoeren van zelfgemaakte codes vereist, de ontwikkelaar willekeurig de namen van de codes en zowel de invoer- als uitvoervariabelen heeft gekozen die worden gebruikt in de beschrijving van het protocol. De namen van de variabelen kunnen door de gebruiker worden gewijzigd, maar ze moeten als volgt worden opgegeven: de invoer- en uitvariabelen moeten respectievelijk tussen haakjes worden geschreven en uiteindelijk worden gescheiden door komma’s en tussen vierkante haken en uiteindelijk worden gescheiden door een witruimte. Integendeel, de namen van de codes kunnen niet worden gewijzigd.

Protocol

1. Stel de ruimtelijke resolutie van de hyperkubussen in Voer een voorlopige inspectie uit van het geschilderde oppervlak (figuur 1) ondersteund door kunstexperts om de belangrijkste kenmerken van het schilderij te identificeren. Herken de picturale technieken die door de kunstenaar zijn gebruikt om het schilderij te maken. Identificeer de verschillende penseelstreken van verf op het canvas. Schat, kwalitatief, de kenmerken van de penseelstreken met bi…

Representative Results

Het voorgestelde protocol biedt een reeks interessante functies voor het beheer en de analyse van HRI-gegevens. De I/O (stap 3.1) van de ruwe gegevens is altijd het eerste probleem dat moet worden opgelost voordat een analysemethode wordt toegepast en het kan een kritiek probleem worden bij het omgaan met grote hoeveelheden gegevens. In het onderhavige geval is de enige taak met betrekking tot de onbewerkte gegevens het opslaan van de experimentele resultaten in een speciale map en deze te selecteren door op de harde sch…

Discussion

Hyperspectrale reflectie imaging datasets zijn grote reservoirs van informatie; daarom is de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren een belangrijke wending om hun potentieel te ^{benutten15,17}. Het voorgestelde algoritme beantwoordt aan deze behoefte op het gebied van cultureel erfgoed met bijzondere aandacht voor de karakterisering van de pigmenten van schilderijen. Op basis van ^{SAM20,21</s…}

Materials

ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment