ハイパースペクトル反射イメージを適用してパレットと画家の技法を調査する
Summary
ハイパースペクトル反射率イメージングハイパーキューブは、大量のデータに顕著な情報を含む。したがって、データセットを管理および調査するための自動化プロトコルの要求は広く正当化されます。スペクトル角度マッパー、データ操作、およびユーザー調整可能な分析方法の組み合わせは、実験結果を探索するためのキーターンを構成します。
Abstract
反射率分光法(RS)と光ファイバ反射率分光法(FORS)は、絵画に特に注意を払って芸術作品を調査するための確立された技術です。ほとんどの近代的な博物館は、RSとFORSの本質的な非侵襲性と共に、アーティファクトの表面からの反射スペクトルの現場コレクションを可能にする彼らの研究グループポータブル機器の処分 に 置きます。顔料や絵画材料の専門家によって行われた比較は、参照スペクトルのデータベースを持つ実験データの比較は、パレットの特性とアーティストが使用する技術の特徴を駆動します。ただし、このアプローチには特定のスキルが必要であり、特にハイパースペクトル反射率イメージング(HRI)データセットの場合と同様に、調査対象のスペクトルの数が多くなる場合には時間がかかります。HRI 実験用の設定は、反射スペクトルによって与えられるスペクトル情報を、塗装面上のスペクトルの空間的局在化に関連付ける多次元カメラです。結果として得られるデータセットは 3D キューブ (ハイパーキューブまたはデータ キューブと呼ばれます) で、最初の 2 つのディメンションがペイント上のスペクトルを見つけ、3 つ目のディメンションがスペクトル自体を見つけます (つまり、塗装面のその点の反射率と検出器の操作範囲の波長)。検出器が同時に大量のスペクトル(通常はハイパーキューブごとに10,000をはるかに超える)を収集する機能により、HRIデータセットは情報の大きな貯水池となり、データを分析するための堅牢で、おそらく自動化されたプロトコルの開発の必要性が正当になります。データ収集のために設計された手順の説明の後、ハイパーキューブの可能性を体系的に活用する分析手法を提示する。スペクトル角度マッパー(SAM)と収集したスペクトルの操作に基づいて、アルゴリズムは何千ものスペクトルを処理して分析すると同時に、調査中のサンプルの特徴を明らかにするためにユーザーをサポートします。このアプローチの力は、ミラノ(イタリア)のノヴェチェント国立で開催されたジュゼッペ・ペリッツァ・ダ・ヴォルペドの象徴的な傑作、 クアルト・スタートに適用することによって示されています。
Introduction
反射反射分光法(RS)と光ファイバ反射率分光(FORS)は、光源によって照らされた表面(典型的にはタングステンハロゲンランプ)によって反射される光の検出に基づいています。取得システムの出力は、採用した実験用設定1,2,3の特性に依存する範囲の波長の関数として反射率が監視されるスペクトルによって構成される。過去40年の間に導入されたRSとFORSは、通常、蛍光X線やその他の分光法と組み合わせて使用され、アーティストが傑作6,7,8,9を実現するために使用する材料と技術を記述します。反射スペクトルの研究は、通常、サンプルからのデータを、個人または公共のデータベースでユーザーが選択した参照スペクトルのグループと比較することによって行われます。サンプルの実現期間に準拠する基準スペクトルと、アーティストの手口を持つ基準スペクトルが特定されると、ユーザーは反射スペクトル(すなわち、遷移、吸収、および反射バンド1、2、10、11)の主な特徴を認識し、その後、他の技術の助けを借りて6,7,8 彼らは絵画で使用されている顔料を区別します。最後に、参照と実験スペクトル7,9の間に存在するわずかな違いについて議論します。
ほとんどの場合、実験データセットは、アートの専門家によって選択された領域から収集されたいくつかのスペクトルで構成され、絵画の特徴付けに重要であると仮定される6,12,13。ユーザーのスキルと経験にもかかわらず、いくつかのスペクトルは完全に全体の塗装面の特性を使い果たすことができません。また、分析の結果は、常にパフォーマーの専門知識に大きく依存します。このシナリオでは、ハイパースペクトル反射率イメージング (HRI3,14,15) が有用なリソースである可能性があります。実験設定は、いくつかの単離スペクトルの代わりに、調査中の拡張部分または全体のアーティファクトの反射特性を返す16。分離スペクトルの獲得に関する2つの主な利点は明らかです。一方で、反射特性の空間分布を利用できるため、特異な特徴とは思えない場合でも、興味深い特徴を隠す領域を特定できます。一方、ハイパーキューブは、データの統計分析を可能にするのに十分な高さのスペクトルの数を保証します。これらの事実は、塗装面内の顔料の分布の理解を裏付けている18,19。
HRIを使用すると、実験データと参照の比較は、取り扱いにくい可能性があります15。典型的な検出器は、少なくとも256 x 256スペクトルのハイパーキューブを返します。これにより、ユーザーは各参照に対して65,000以上の反射スペクトルを評価する必要があります。したがって、HRI データセットを管理および分析するための堅牢で、場合によっては自動化されたプロトコルの要求は、15,17 以上になります。提案された方法は、最小関与と最大の柔軟性で全体の分析手順を処理することによって、このニーズに答えます。
一連の自家製コード(表)で構成されるアルゴリズムは、実験用セットアップによって返されるファイルを読み取り、管理、および整理します。視野の部分(FOV、1つの視野は単一のハイパーキューブによって監視される絵画の領域)の細かい選択を研究し、スペクトル角度マッパー(SAM)方法20、21 および元のスペクトルの操作に基づいてデータの分析を行うことを可能にする。SAM は、類似性マップと呼ばれる偽色のグレースケール画像を返します。これらのマップのピクセルの値は、ハイパーキューブに格納されたスペクトルといわゆるエンドメンバー(EM、ハイパーキューブによって監視される表面の特徴を記述する参照スペクトルのグループ)との間の角度であるスペクトル角度に対応する。絵画に適用されるRSの場合、OEMは、マスターのパレットに一致する必要がある顔料の反射スペクトルです。これらは、アーティスト、絵画の実現期間、およびユーザーの専門知識に関する利用可能な情報に基づいて選択されます。したがって、SAMの出力は、絵画表面上のこれらの顔料の空間分布を記述し、アーティストとその組織がアーティファクトで使用する材料を推測することをユーザーにサポートするマップのセットです。アルゴリズムは、その起源から独立してあらゆる種類の参照を採用する可能性を提供します。参照は、ハイパーキューブ内で選択された特定のスペクトル、データベースから来る、異なる表面上の別の機器によって取得される(例えば、顔料のサンプルやアーティストのパレットなど)、または反射率分光法、FORSを採用して得ることができる。
SAMは、顔料の特性化に有効であることが実証されているため、利用可能な分類方法の中でも好まれています(主な分類方法の概要を持つため、Richard23の本を参照)。代わりに、net24,25で自由に利用可能な多くのツールの1つを採用するのではなく、自家製のプロトコルを開発するという考えは、実用的な考慮事項に依存しています。既存のGUIとソフトウェアの有効性と科学的基盤にもかかわらず、単一のツールはほとんどユーザーのすべてのニーズを満たしていません。ツールが生データを含むファイルを管理しないため、入出力 (I/O) の問題が発生する可能性があります。別のツールが目的のアプローチを提供しないため、データの分析に関する問題が発生する可能性があります。複数のデータセットの同時分析がサポートされていないため、データの処理に制限が生じうる場合があります。いずれにせよ、完璧なツールは存在しません。各メソッドは、データに合わせて調整する必要があります。したがって、自家製プロトコルの開発が好ましい。
提示されたアプローチは、分析方法の完全なセット(比較のために、MobarakiとAmigo24によって提案されたツールを参照)も、管理しやすいユーザーインターフェイス(比較のために、Zhuとco-workers25によって採用されたソフトウェアを参照)を提供していませんが、引き換えに、ハイパースペクトルデータ分析のまだ過小評価された側面に焦点を当てています: 検出されたスペクトルを操作する機会。このアプローチの力は、イタリアのミラノにあるノベチェント国立で開催されたキャンバスの象徴的な油であるジュゼッペ・ペリッツァ・ダ・ヴォルペド(図1)の絵画クアルト・スタトに適用することで示されています。このアプローチでは、自家製コードを実行する必要があるため、開発者は任意にコードの名前と、プロトコルの説明で使用される入力変数と出力変数を選択します。変数の名前はユーザーが変更できますが、入力変数と out 変数は、それぞれ括弧内に記述し、最終的にはコンマで区切って角括弧で区切り、最終的には空白で区切る必要があります。逆に、コードの名前は変更できません。
Protocol
Representative Results
Discussion
ハイパースペクトル反射率イメージング データセットは、情報の大きな貯水池です。したがって、データを分析するための堅牢で、おそらく自動化されたプロトコルの開発は、その潜在的な15,17を活用するための重要なターンです。提案されたアルゴリズムは、絵画の顔料の特徴付けに特に注意を払って、文化遺産の分野でこの必要性に答えます?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
この研究は、プロジェクトMOBARTECHの枠組みの中で地域ロンバルディアによって資金提供されました: ウナ・ピアッタフォルマ・モバイル・テクノロジカ, インターアッティバ・エ・パルテシパタ・パー・ロ・スタジオ, ラ・コンセルバツィオーネ・エ・ラ・ヴァロリッツァツィオーネ・ディ・ベニ・ストリコ・アーティスティック – コール・アコーディ・パー・ラ・リセルカ・エ・ラ・イノバツィオーネ.
著者らは、スタジオ・ムセオへのアクセスに関しては、イン・ザ・イン・ザ・実験セッション中の支援と、スタジオ・ムセオへのアクセスに関するアソシアツィオーネ・ペリッツァ・ダ・ヴォルペドの支援に対するノベチェント・ムセオのスタッフに感謝しています。
Materials
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
- Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
