Применение гиперспектральной отражательной визуализации для исследования палитр и техник художников
Summary
Гиперспектральные рефлекторные гиперкубы визуализации включают замечательную информацию в большой объем данных. Поэтому запрос на автоматизированные протоколы для управления и изучения наборов данных широко обоснован. Сочетание Spectral Angle Mapper, манипулирования данными и настраиваемого пользователем метода анализа представляет собой ключевой поворот для изучения экспериментальных результатов.
Abstract
Спектроскопия отражения (RS) и волоконно-оптическая спектроскопия отражения (FORS) являются хорошо зарекомендовавшими себя методами исследования произведений искусства с особым вниманием к картинам. Большинство современных музеев предоставили в распоряжение своих исследовательских групп портативное оборудование, которое вместе с присущей им неинвазивностью RS и FORS делает возможным коллекцию in situ спектров отражения с поверхности артефактов. Сравнение, проведенное экспертами по пигментам и материалам для рисования, экспериментальных данных с базами справочных спектров приводит к характеристике палитр и методов, используемых художниками. Однако этот подход требует определенных навыков и отнимает много времени, особенно если количество исследуемых спектров становится большим, как в случае наборов данных гиперспектральной отражательной визуализации (HRI). Экспериментальные установки HRI представляют собой многомерные камеры, которые связывают спектральную информацию, задаваемую спектрами отражения, с пространственной локализацией спектров над окрашенной поверхностью. Результирующие наборы данных представляют собой 3D-кубы (называемые гиперкубами или кубами данных), где первые два измерения располагают спектр над картиной, а третье – сам спектр (т. Е. Отражение этой точки окрашенной поверхности по отношению к длине волны в рабочем диапазоне детектора). Способность детектора одновременно собирать большое количество спектров (обычно гораздо более 10 000 на каждый гиперкуб) делает наборы данных HRI большими резервуарами информации и обосновывает необходимость разработки надежных и, возможно, автоматизированных протоколов для анализа данных. После описания процедуры, предназначенной для сбора данных, мы представляем метод анализа, который систематически использует потенциал гиперкубов. Основанный на Spectral Angle Mapper (SAM) и на манипулировании собранными спектрами, алгоритм обрабатывает и анализирует тысячи спектров, в то же время он поддерживает пользователя в раскрытии особенностей исследуемых образцов. Сила подхода иллюстрируется его применением к Quarto Stato, культовому шедевру Джузеппе Пеллицца да Вольпедо, проходящему в Музее Новеченто в Милане (Италия).
Introduction
Спектроскопия отражения (RS) и волоконно-оптическая спектроскопия отражения (FORS) основаны на обнаружении света, отраженного поверхностями, когда-то освещенными источником света, обычно вольфрамово-галогенной лампой. Выход системы сбора состоит из спектров, где отражение контролируется как функция длины волны в диапазоне, который зависит от характеристик используемой экспериментальной установки1,2,3. Введенные в течение последних четырех десятилетий4,5, RS и FORS обычно используются в сочетании с рентгеновской флуоресценцией и другими спектроскопиями для описания материалов и методов, используемых художниками для реализации своих шедевров6,7,8,9. Изучение спектров отражения обычно выполняется путем сравнения данных из образца с группой эталонных спектров, выбранных пользователем в личных или общедоступных базах данных. После того, как эталонные спектры, соответствующие периоду реализации образца и modus operandi художника, были идентифицированы, пользователь распознает основные особенности спектров отражения (т.е. полосы перехода, поглощения и отражения1,2,10,11), а затем, с помощью других методов6,7,8 они различают пигменты, которые были использованы в картинах. Наконец, они обсуждают небольшие различия, существующие между ссылками и экспериментальными спектрами7,9.
В большинстве случаев экспериментальные наборы данных состоят из нескольких спектров, собранных из областей, выбранных экспертами по искусству и предполагаемых значимыми для характеристики картины6,12,13. Несмотря на навыки и опыт пользователя, несколько спектров не могут полностью исчерпать характеристики всей окрашенной поверхности. Более того, результат анализа всегда будет сильно зависеть от экспертизы исполнителя. В этом сценарии гиперспектральная рефлектационная визуализация (HRI3,14,15) может быть полезным ресурсом. Вместо нескольких изолированных спектров экспериментальные установки возвращают свойства отражения расширенных частей или даже всего исследуемого артефакта16. Два основных преимущества в отношении получения изолированных спектров очевидны. С одной стороны, наличие пространственного распределения свойств отражательной способности позволяет идентифицировать области, которые скрывают интересные особенности, даже если они могут показаться необразными17. С другой стороны, гиперкубы гарантируют количество спектров, достаточно высоких, чтобы обеспечить статистический анализ данных. Эти факты подтверждают понимание распределения пигментов внутри окрашенной поверхности18,19.
С HRI сравнение экспериментальных данных со ссылками может быть трудным для обработки15. Типичный детектор возвращает гиперкубы размером не менее 256 x 256 спектров. Это потребует от пользователя оценки более 65 000 спектров отражения против каждого эталона, что почти невозможно выполнить вручную за разумное время. Поэтому запрос на надежные и, возможно, автоматизированные протоколы для управления и анализа наборов данных HRI более чем оправдан15,17. Предлагаемый метод отвечает этой потребности, обрабатывая всю аналитическую процедуру с минимальным участием и максимальной гибкостью.
Алгоритм, содержащий набор самодельных кодов (Таблица материалов), считывает, управляет и упорядочивает файлы, возвращаемые экспериментальной установкой. Он позволяет изучать тонкий выбор участков полей зрения (FOV, одним полем зрения является область картины, контролируемой одним гиперкубом) и выполняет анализ данных на основе метода Spectral Angle Mapper (SAM) 20,21 и манипулирования исходными спектрами. SAM возвращает ложные цветные изображения в оттенках серого, называемые картами подобия. Значения пикселей этих карт соответствуют спектральным углам, которые являются углами между спектрами, хранящимися в гиперкубах, и так называемыми конечными членами (EM, группа эталонных спектров, которые должны описывать особенности поверхности, контролируемые гиперкубами)22. В случае RS, применяемых к картинам, EM – это спектры отражения пигментов, которые должны соответствовать палитре Мастера. Они выбираются на основе имеющейся информации о художнике, периоде реализации картины и опыте пользователя. Таким образом, вывод SAM представляет собой набор карт, которые описывают пространственное распределение этих пигментов по поверхности живописи и которые помогают пользователю сделать вывод о материалах, используемых художником, и их организации в артефакте. Алгоритм предлагает возможность использования всех видов ссылок независимо от их происхождения. Ссылки могут быть конкретными спектрами, выбранными в гиперкубах, поступать из баз данных, быть получены другим инструментом на другой поверхности (например, образцы пигментов или палитра художника) или быть получены с использованием любого вида спектроскопии отражения, включая FORS.
SAM был предпочтительным среди доступных методов классификации, поскольку было продемонстрировано, что он эффективен для характеристики пигментов (см. книгу Richard23, чтобы иметь обзор основных доступных методов классификации). Вместо этого идея разработки самодельного протокола, а не принятия одного из многих инструментов, свободно доступных в сети24,25, опирается на практическое соображение. Несмотря на эффективность и научную основу существующих графических интерфейсов и программного обеспечения, один инструмент вряд ли удовлетворяет все потребности пользователя. Может возникнуть проблема ввода-вывода (I/O), поскольку инструмент не управляет файлом, содержащим необработанные данные. Может возникнуть проблема с анализом данных, поскольку другой инструмент не обеспечивает желаемого подхода. Обработка данных может быть ограничена, поскольку одновременный анализ нескольких наборов данных не поддерживается. В любом случае, идеального инструмента не существует. Каждый метод должен быть адаптирован к данным или наоборот. Поэтому разработка самодельного протокола была предпочтительной.
Представленный подход не предлагает ни полного набора аналитических методов (см., для сравнения, инструмент, предложенный Mobaraki и Amigo24), ни простого в управлении пользовательского интерфейса (см., для сравнения, программное обеспечение, используемое Чжу и коллегами25), но, взамен, он фокусируется на все еще недооцененном аспекте гиперспектрального анализа данных: возможности манипулировать обнаруженными спектрами. Сила подхода иллюстрируется его применением к картине «Quarto Stato » Джузеппе Пеллицца да Вольпедо (рисунок 1), культовому холсту маслом, хранящемуся в Музее Новеченто в Милане, Италия. Обратите внимание, что, поскольку подход требует запуска самодельных кодов, разработчик произвольно выбирает имена кодов и как входные, так и выходные переменные, используемые в описании протокола. Имена переменных могут быть изменены пользователем, но они должны быть предоставлены следующим образом: входные и выходные переменные должны быть записаны соответственно в скобках и в конечном итоге разделены запятой и в квадратных скобках и в конечном итоге разделены пробелом. Напротив, названия кодов не могут быть изменены.
Protocol
Representative Results
Discussion
Наборы данных визуализации гиперспектрального отражения представляют собой большие резервуары информации; поэтому разработка надежных и, возможно, автоматизированных протоколов для анализа данных является ключевым поворотом для использования их потенциала15,17<sup …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Это исследование было профинансировано Regione Lombardia в рамках проекта MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.
Авторы благодарны сотрудникам Museo del Novecento за поддержку во время экспериментальных сессий in situ и Ассоциации Пеллицца да Вольпедо за доступ к Studio Museo.
Materials
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
- Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
