Aplicando imagens de reflectância hiperespectral para investigar as paletas e as técnicas dos pintores

Summary

Hipercubos hiperespectrais de imagem de reflexão incluem informações notáveis em uma grande quantidade de dados. Portanto, a solicitação de protocolos automatizados para gerenciar e estudar os conjuntos de dados é amplamente justificada. A combinação de Spectral Angle Mapper, manipulação de dados e um método de análise ajustável pelo usuário constitui uma virada fundamental para explorar os resultados experimentais.

Abstract

Espectroscopia reflectance (RS) e Espectroscopia de Reflexão de Fibra Óptica (FORS) são técnicas bem estabelecidas para a investigação de obras de arte com especial atenção às pinturas. A maioria dos museus modernos colocou à disposição de seus grupos de pesquisa equipamentos portáteis que, juntamente com a intrínseca não invasiva do RS e do FORS, possibilita a coleção in situ de espectros de reflexão da superfície dos artefatos. A comparação, realizada por especialistas em pigmentos e materiais de pintura, dos dados experimentais com bancos de dados de espectros de referência impulsiona a caracterização das paletas e das técnicas utilizadas pelos artistas. No entanto, essa abordagem requer habilidades específicas e é demorado especialmente se o número de espectros a serem investigados se tornar grande, como é o caso dos conjuntos de dados Hyperspectral Reflectance Imaging (HRI). As configurações experimentais HRI são câmeras multidimensionais que associam as informações espectrais, dadas pelo espectro de reflexão, com a localização espacial dos espectros sobre a superfície pintada. Os conjuntos de dados resultantes são cubos 3D (chamados hipercubos ou cubos de dados) onde as duas primeiras dimensões localizam o espectro sobre a pintura e a terceira é o próprio espectro (ou seja, a reflexão desse ponto da superfície pintada versus o comprimento de onda na faixa operacional do detector). A capacidade do detector de coletar simultaneamente um grande número de espectros (tipicamente muito mais de 10.000 para cada hipercubo) faz com que os conjuntos de dados HRI grandes reservatórios de informação e justifique a necessidade de desenvolvimento de protocolos robustos e, possivelmente, automatizados para analisar os dados. Após a descrição do procedimento projetado para a aquisição de dados, apresentamos um método de análise que explora sistematicamente o potencial dos hipercubos. Baseado no Spectral Angle Mapper (SAM) e na manipulação do espectro coletado, o algoritmo lida e analisa milhares de espectros e, ao mesmo tempo, suporta o usuário para revelar as características das amostras sob investigação. O poder da abordagem é ilustrado aplicando-a ao Quarto Stato, obra-prima icônica de Giuseppe Pellizza da Volpedo, realizada no Museu do Novecento, em Milão (Itália).

Introduction

Espectroscopia reflectância (RS) e Espectroscopia de Reflexão de Fibra Óptica (FORS) baseiam-se na detecção da luz refletida por superfícies uma vez iluminadas por uma fonte de luz, tipicamente uma lâmpada de tungstênio-halógeno. A saída do sistema de aquisição é constituída por espectros onde a reflexão é monitorada em função do comprimento de onda em uma faixa que depende das características da configuração experimental ^{empregada1,2,3}. Introduzidos durante as últimas quatro ^décadas4,5, RS e FORS são tipicamente usados em combinação com fluorescência de raios-X e outras espectroscopias para descrever os materiais e as técnicas usadas pelos artistas para realizar suas obras-primas6,7,8,9. O estudo do espectro de reflexão é geralmente realizado comparando os dados da amostra com um grupo de espectros de referência selecionados pelo usuário em bancos de dados pessoais ou públicos. Uma vez identificado o espectro de referência que cumpre o período de realização da amostra e com o modus operandi do artista, o usuário reconhece as principais características do espectro de reflexão (ou seja, bandas de transição, absorção e reflexão1,2,10,11) e, em seguida, com a ajuda de outras técnicas6,7,8 eles distinguem os pigmentos que têm sido usados nas pinturas. Por fim, discutem as pequenas diferenças que existem entre as referências e o espectro ^{experimental7,9}.

Na maioria dos casos, os conjuntos de dados experimentais são compostos por alguns espectros, coletados a partir de áreas escolhidas por especialistas em arte e considerados significativos para a caracterização da pintura6,12,13. Apesar das habilidades e da experiência do usuário, alguns espectros não conseguem esgotar totalmente as características de toda a superfície pintada. Além disso, o resultado da análise sempre dependerá fortemente da expertise do artista. Nesse cenário, a Imagem de Reflectância Hiperespectral (HRI3,14,15) pode ser um recurso útil. Em vez de alguns espectros isolados, as configurações experimentais retornam as propriedades de reflexão de porções estendidas ou mesmo de todo o artefato sob ^{investigação16}. As duas principais vantagens em relação à aquisição dos espectros isolados são evidentes. Por um lado, a disponibilidade da distribuição espacial das propriedades de reflexão permite identificar áreas que escondem características interessantes, embora possam não parecer ^peculiares17. Por outro lado, os hipercubos garantem uma série de espectros altos o suficiente para permitir a análise estatística dos dados. Esses fatos sustentam a compreensão da distribuição de pigmentos dentro da superfície ^pintada18,19.

Com o HRI, a comparação dos dados experimentais com as referências pode ser difícil de lidar ^com15. Um detector típico retorna hipercubos de pelo menos 256 x 256 espectros. Isso exigiria que o usuário avaliasse mais de 65.000 espectros de reflexão contra cada referência, tarefa quase impossível de ser realizada manualmente em um tempo razoável. Portanto, a solicitação de protocolos robustos e, possivelmente, automatizados para gerenciar e analisar conjuntos de dados HRI é mais do que ^{justificada15,17}. O método proposto responde a essa necessidade, lidando com todo o procedimento analítico com o mínimo de envolvimento e a máxima flexibilidade.

Um algoritmo composto por um conjunto de códigos caseiros (Tabela de Materiais) lê, gerencia e organiza os arquivos retornados pela configuração experimental. Permite que a fina seleção das porções dos Campos de Visão (FOVs, um campo de visão é a área da pintura monitorada por um único hipercubo) seja estudada e realize a análise dos dados com base no método Spectral Angle Mapper (SAM)^20,21 e na manipulação do espectro original. O SAM retorna falsas imagens em escala cinza chamadas mapas de similaridade. Os valores dos pixels desses mapas correspondem aos ângulos espectrais que são os ângulos entre os espectros armazenados nos hipercubos e os chamados Membros Finais (EMs, um grupo de espectros de referência que devem descrever as características da superfície monitoradas pelos hipercubos)²². No caso do RS aplicado às pinturas, os EMs são os espectros de reflexão de pigmentos que devem combinar com a paleta do Mestre. Eles são escolhidos com base nas informações disponíveis sobre o artista, no período de realização da pintura e na expertise do usuário. Portanto, a saída do SAM é um conjunto de mapas que descreve as distribuições espaciais desses pigmentos sobre a superfície da pintura e que suporta o usuário a inferir os materiais utilizados pelo artista e sua organização no artefato. O algoritmo oferece a possibilidade de empregar todo tipo de referências independentemente de sua origem. As referências podem ser espectros específicos selecionados dentro dos hipercubos, provenientes de bancos de dados, ser adquiridos por um instrumento diferente em uma superfície diferente (como amostras de pigmentos ou a paleta do artista, por exemplo), ou ser obtido empregando qualquer tipo de espectroscopia de reflexão, fors incluído.

O SAM tem sido preferido entre os métodos de classificação disponíveis porque tem sido demonstrado ser eficaz para caracterizar pigmentos (consulte o livro de ^Richard23 para ter uma visão geral dos principais métodos de classificação disponíveis). Em vez disso, a ideia de desenvolver um protocolo caseiro em vez de adotar uma das muitas ferramentas disponíveis livremente na ^rede24,25 depende de uma consideração prática. Apesar da eficácia e da base científica dos GUIs e softwares existentes, uma única ferramenta dificilmente satisfaz todas as necessidades do usuário. Pode haver um problema de Entrada/Saída (I/O) porque uma ferramenta não gerencia o arquivo que contém os dados brutos. Pode haver um problema quanto à análise dos dados porque outra ferramenta não fornece a abordagem desejada. Pode haver uma limitação no manuseio dos dados porque a análise simultânea de múltiplos conjuntos de dados não é suportada. De qualquer forma, uma ferramenta perfeita não existe. Cada método deve ser ajustado aos dados ou vice-versa. Por isso, o desenvolvimento de um protocolo caseiro tem sido preferido.

A abordagem apresentada não oferece nem um conjunto completo de métodos analíticos (ver, para comparação, a ferramenta proposta por Mobaraki e ^Amigo24) nem uma interface de usuário fácil de gerenciar (ver, para comparação, o software empregado por Zhu e colegas de ^trabalho25), mas, em troca, foca-se em um aspecto ainda subestimado da análise de dados hiperespectrais: a oportunidade de manipular o espectro detectado. O poder da abordagem é ilustrado aplicando-o à pintura Quarto Stato de Giuseppe Pellizza da Volpedo (Figura 1), um óleo icônico sobre tela realizado no Museo del Novecento em Milão, Itália. Observe que, uma vez que a abordagem requer a execução de códigos caseiros, o desenvolvedor escolheu arbitrariamente os nomes dos códigos e as variáveis de entrada e saída usadas na descrição do protocolo. Os nomes das variáveis podem ser alterados pelo usuário, mas devem ser fornecidos da seguinte forma: as variáveis de entrada e saída devem ser escritas respectivamente entre parênteses e eventualmente separadas por vírgula e dentro de suportes quadrados e eventualmente separadas por um espaço branco. Pelo contrário, os nomes dos códigos não podem ser alterados.

Protocol

1. Defina a resolução espacial dos hipercubos Realizar uma inspeção preliminar da superfície pintada (Figura 1) apoiada por especialistas em arte para identificar as principais características da pintura. Reconheça as técnicas pictóricas empregadas pelo artista para criar a pintura. Identifique as diferentes pinceladas de tinta na tela. Estimar, qualitativamente, as características das pinceladas com especial atenção ao seu tamanho. <…

Representative Results

O protocolo proposto oferece um conjunto de recursos interessantes para a gestão e a análise dos dados hri. A I/O (etapa 3.1) dos dados brutos é sempre o primeiro problema que deve ser resolvido antes de aplicar qualquer método de análise e pode se tornar um problema crítico ao lidar com grandes quantidades de dados. No presente caso, a única tarefa em relação aos dados brutos é armazenar os resultados experimentais em uma pasta dedicada e selecioná-los navegando no disco rígido ao executar o código de leitu…

Discussion

Conjuntos de dados de imagem de reflectância hiperespectral são grandes reservatórios de informação; portanto, o desenvolvimento de protocolos robustos e, possivelmente, automatizados para analisar os dados é uma virada fundamental para explorar seu ^{potencial15,17}. O algoritmo proposto responde a essa necessidade no campo do patrimônio cultural com especial atenção à caracterização dos pigmentos das pinturas. Com base no ^{SAM20,21</su…}

Materials

ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment