팔레트와 화가의 기술을 조사하기 위해 하이퍼 스펙트럼 반사 영상 적용
Summary
하이퍼스펙트럼 반사도 이미징 하이퍼큐브에는 엄청난 양의 데이터에 놀라운 정보가 포함되어 있습니다. 따라서 데이터 집합을 관리하고 연구하기 위한 자동화된 프로토콜의 요청은 널리 정당화됩니다. 스펙트럼 앵글 매퍼, 데이터 조작 및 사용자 조정 가능한 분석 방법의 조합은 실험 결과를 탐색하기 위한 키 턴을 구성합니다.
Abstract
반사분광법(RS)과 광섬유 반사분광(FORS)은 회화에 특히 주의를 기울여 예술 작품을 조사하는 데 잘 어울리는 기술입니다. 대부분의 현대 박물관은 RS 및 FORS의 본질적인 비 침습성과 함께 유물 표면에서 반사 스펙트럼의 현장에서 수집 할 수있는 연구 그룹 휴대용 장비의 처분에 넣어. 안료 및 페인팅 재료 의 전문가에 의해 수행 비교, 참조 스펙트럼의 데이터베이스와 실험 데이터의 팔레트의 특성과 예술가가 사용하는 기술의 특성을 구동. 그러나 이 방법은 특정 기술이 필요하며, 특히 조사대상 스펙트럼의 수가 하이퍼스펙트럼 반사도 이미징(HRI) 데이터 집합의 경우와 같이 커지면 시간이 많이 소요됩니다. HRI 실험 설정은 반사 스펙트럼스펙트럼에 의해 주어진 스펙트럼 정보를 페인팅된 표면에 스펙트럼의 공간 국소화와 연관시키는 다차원 카메라입니다. 결과 데이터 집합은 처음 두 차원이 페인팅을 통해 스펙트럼을 찾는 3D-큐브(하이퍼큐브 또는 데이터 큐브라고 함)이며 세 번째 차원은 스펙트럼 자체(즉, 검출기의 작동 범위에서 파장의 반사)입니다. 검출기의 기능은 동시에 많은 스펙트럼(일반적으로 각 하이퍼큐브에 대해 10,000개 이상)을 수집하여 HRI 데이터 집합을 대량의 정보 저장소로 만들고 데이터를 분석하기 위한 견고하고 자동화된 프로토콜의 개발의 필요성을 정당화합니다. 데이터 수집을 위해 설계된 절차에 대한 설명 후 하이퍼큐브의 잠재력을 체계적으로 활용하는 분석 방법을 제시합니다. 스펙트럼 앵글 매퍼(SAM)와 수집된 스펙트럼의 조작에 기초하여 알고리즘은 수천 개의 스펙트럼을 처리하고 분석하는 동시에 사용자가 조사 중인 샘플의 기능을 공개하도록 지원합니다. 이 접근법의 힘은 밀라노의 무세오 델 노베센토(이탈리아)에서 열리는 주세페 펠리자 다 볼페도의 상징적인 걸작콰르 토 스타토에 적용함으로써 보여줍니다.
Introduction
반사분광(RS) 및 광섬유 반사분광분면(FORS)은 광원에 의해 조명된 표면에 의해 반사되는 빛의 검출에 기초하여, 일반적으로 텅스텐 할로겐 램프. 획득 시스템의 출력은 채택된 실험 설정의 특성에 따라 달라지는 범위에서 파장의 함수로서 반사도를 모니터링하는 스펙트럼에 의해 구성된다1,2,3. 지난 4년 동안 도입된 RS와 FORS는 일반적으로 X선 형광 및 기타 분광기와 함께 사용되어 예술가들이 걸작6,7,8,9를 실현하는 데 사용하는 재료와 기술을 설명합니다. 반사스펙트럼에 대한 연구는 일반적으로 샘플의 데이터를 개인 또는 공용 데이터베이스에서 사용자가 선택한 참조 스펙트럼 그룹과 비교하여 수행됩니다. 샘플의 실현 기간을 준수하는 참조 스펙트럼과 아티스트의 modus 오페란디와 함께 확인되면, 사용자는 반사 스펙트럼의 주요 특징을 인식 (즉, 전환, 흡수, 반사 밴드1,2,10,11) 다음, 다른 기술의 도움으로6,7,8 그들은 그림에 사용 된 안료를 구별합니다. 마지막으로 그들은 참조와 실험 스펙트럼 사이에 존재하는 약간의 차이점에 대해 설명합니다7,9.
대부분의 경우 실험 데이터 집합은 예술 전문가가 선택한 영역에서 수집한 몇 가지 스펙트럼으로 구성되며 그림6,12,13의 특성화에 중요한 것으로 가정합니다. 사용자의 기술과 경험에도 불구하고, 몇 가지 스펙트럼은 완전히 전체 페인트 표면의 특성을 소진 할 수 없습니다. 또한 분석 결과는 항상 수행자의 전문 지식에 크게 의존할 것입니다. 이 시나리오에서는 하이퍼스펙트럼 반사이미징(HRI3,14,15)이 유용한 리소스가 될 수 있습니다. 몇 가지 격리된 스펙트럼 대신 실험 용 설정은 확장된 부분또는 조사 중인 전체 유물의 반사속성을 반환합니다16. 고립 된 스펙트럼의 인수와 관련하여 두 가지 주요 장점은 분명하다. 한편, 반사 특성의 공간 분포의 가용성은 특이한 보이지 않을 지라도 흥미로운 기능을 숨기는 영역을 식별할 수 있게 해줍니다17. 한편, 하이퍼큐브는 데이터의 통계 분석을 가능하게 할 만큼 높은 스펙트럼을 보장한다. 이러한 사실은 페인팅 된 표면 내에서 안료의 분포의 이해를 지원합니다18,19.
HRI를 사용하면 실험 데이터와 참조를 비교하는 것이 어려울 수 있습니다15. 일반적인 검출기는 최소 256 x 256 스펙트럼의 하이퍼큐브를 반환합니다. 이를 위해서는 사용자가 각 참조에 대해 65,000개 이상의 반사스펙트럼을 평가해야 하며, 합리적인 시간에 수동으로 수행하기가 거의 불가능합니다. 따라서 HRI 데이터 집합을 관리하고 분석하기 위한 자동화된 프로토콜에 대한 요청은 15,17보다 더 높습니다. 제안된 방법은 최소한의 참여와 최대 유연성으로 전체 분석 절차를 처리하여 이러한 필요성에 대한 답을 제공합니다.
집에서 만든 코드 집합(재료 테이블)을 포함하는 알고리즘은 실험 설정으로 반환되는 파일을 읽고 관리하며 구성합니다. 그것은 뷰의 필드 (FOV, 하나의 시야의 영역은 단일 하이퍼 큐브에 의해 모니터링 되는 도장의 영역)의 미세 한 선택을 할 수 있으며, 스펙트럼 앵글 매퍼 (SAM) 방법을 기반으로 데이터의 분석을 수행 (SAM) 방법20,21 원래 스펙트럼의 조작에. SAM은 유사성 맵이라고 하는 잘못된 색상 회색 스케일 이미지를 반환합니다. 이러한 맵의 픽셀 값은 하이퍼큐브에 저장된 스펙트럼과 소위 최종 멤버(EMM, 하이퍼큐브에서 모니터링하는 표면의 특징을 설명해야 하는 참조 스펙트럼 그룹) 사이의 각도인 스펙트럼 각도에 해당합니다. 그림에 적용된 RS의 경우, EMM은 마스터의 팔레트와 일치해야 하는 안료의 반사 스펙트럼입니다. 그들은 작가에 대한 사용 가능한 정보, 그림의 실현 기간, 사용자의 전문 지식을 기반으로 선택됩니다. 따라서 SAM의 출력은 페인팅 표면 위에 이러한 안료의 공간 분포를 설명하고 사용자가 예술가와 그 조직에서 사용하는 자료를 기유할 수 있도록 지원하는 맵 집합입니다. 이 알고리즘은 모든 종류의 참조를 원산지와 독립적으로 사용할 수 있는 가능성을 제공합니다. 참조는 하이퍼큐브 내에서 선택된 특정 분광법일 수 있으며, 데이터베이스에서 나오거나, 다른 표면(예: 안료 샘플 또는 아티스트의 팔레트)에 의해 획득되거나, 임의의 반사 분광법을 사용하여 얻을 수 있거나, FORS가 포함된다.
SAM은 안료를 특성화하는 데 효과적이라는 것이 입증되었기 때문에 사용 가능한 분류 방법 중에서 선호되고 있다(Richard23에 의한 책을 참조하여 주요 사용 가능한 분류 방법에 대한 개요를 갖는). 대신 net24,25에서 자유롭게 사용할 수 있는 많은 도구 중 하나를 채택하는 대신 집에서 만든 프로토콜을 개발하는 아이디어는 실질적인 고려 에 달려 있습니다. 기존 GUI 및 소프트웨어의 효과와 과학적 토대에도 불구하고 단일 도구는 사용자의 모든 요구를 거의 충족하지 않습니다. 도구가 원시 데이터를 포함하는 파일을 관리하지 않기 때문에 입력/출력(I/O) 문제가 있을 수 있습니다. 다른 도구가 원하는 접근 방식을 제공하지 않기 때문에 데이터 분석과 관련하여 문제가 있을 수 있습니다. 여러 데이터 집합의 동시 분석이 지원되지 않기 때문에 데이터 처리에 제한이 있을 수 있습니다. 어쨌든 완벽한 도구가 존재하지 않습니다. 각 메서드는 데이터로 조정해야 하거나 그 반대의 경우도 마찬가지입니다. 따라서 집에서 만든 프로토콜의 개발이 바람직하다.
제시된 접근 방식은 완전한 분석 방법 세트(비교를 위해, 모바라키와 Amigo24가 제안한 도구 참조)와 관리하기 쉬운 사용자 인터페이스(참조, 비교를 위해 주 및 동료가 사용하는 소프트웨어 25 참조)를 제공하지 않지만, 그 대가로 스펙트럼 데이터 분석의 여전히 과소평가된 측면에 초점을 맞추고 있습니다. 이 접근법의 힘은 이탈리아 밀라노의 무세오 델 노베센토(Museo del Novecento)에서 열리는 캔버스의 상징적인 오일인 주세페 펠리자 다 볼페도(그림 1)의 쿼토 스타토(Quarto Stato)에 적용함으로써 이 접근법의 힘을 보여줍니다. 이 접근 방식에는 홈메이드 코드를 실행해야 하기 때문에 개발자는 임의로 코드 이름과 프로토콜 설명에 사용되는 입력 및 출력 변수를 모두 선택했습니다. 변수의 이름은 사용자가 변경할 수 있지만 입력 및 아웃 변수는 괄호 내에서 각각 작성되어야하며 결국 쉼표와 사각형 괄호 내에서 분리되고 결국 공백으로 분리되어야 합니다. 반대로 코드의 이름은 변경할 수 없습니다.
Protocol
Representative Results
Discussion
하이퍼스펙트럼 반사도 이미징 데이터 집합은 정보의 큰 저장소입니다. 따라서 데이터를 분석하기 위한 강력하고 자동화된 프로토콜의 개발은 잠재 잠재력을 악용하는 핵심 전환점입니다15,17. 제안된 알고리즘은 회화의 안료의 특성화에 특히 주의를 기울여 문화유산 분야에서 이러한 필요성에 대한 답을 제시합니다. SAM20,21<s…
Disclosures
The authors have nothing to disclose.
Acknowledgements
이 연구는 프로젝트 MOBARTECH의 프레임 워크에서 지역 롬바르디아에 의해 투자되었다: 우나 피아타 포르마 모바일 tecnologica, 인터아티바 e partecipata lo 스튜디오 당, 라 conservazione e 라 valorizzazione 디 베니 스테리코 – 아티스틱 – 라 라이스 라 카르사 e’l’Innovazione.
저자들은 무세오 델 노베센토의 직원들이 현장에서 실험적인 세션과 스튜디오 무세오에 대한 접근을 위해 아소시아지오네 펠리자 다 볼페도에 대한 지원에 감사드립니다.
Materials
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
- Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
