Summary
Hiperspektral Reflectance Imaging hiperkubes, çok miktarda veriye dikkat çekici bilgiler içerir. Bu nedenle, veri kümelerini yönetmek ve incelemek için otomatik protokoller isteği yaygın olarak haklıdır. Spektral Açı Eşleyici, veri manipülasyonu ve kullanıcı tarafından ayarlanabilir analiz yönteminin birleşimi, deneysel sonuçları keşfetmek için önemli bir dönüş oluşturur.
Abstract
Reflektör Spektroskopisi (RS) ve Fiber Optik Reflektör Spektroskopisi (FORS), özellikle resimlere dikkat ederek sanat eserlerinin araştırılması için iyi kurulmuş tekniklerdir. Çoğu modern müze, RS ve FORS'un içsel non-invazivliği ile birlikte, eserlerin yüzeyinden yansıtıcı spektrumların yerinde toplanmasını mümkün kılan araştırma gruplarının taşınabilir ekipmanlarının emrine unmaktadır. Pigmentler ve boyama materyalleri uzmanları tarafından gerçekleştirilen, deneysel verilerin referans spektrum veri tabanları ile karşılaştırılması, paletlerin ve sanatçıların kullandığı tekniklerin karakterizasyonunu yönlendirir. Bununla birlikte, bu yaklaşım belirli beceriler gerektirir ve özellikle araştırılacak spektrum sayısının Hiperspektral Yansıtma Görüntüleme (HRI) veri kümelerinde olduğu gibi büyük olması zaman alıcıdır. HRI deneysel kurulumları, yansıtıcı spektrum tarafından verilen spektral bilgileri, spektranın boyalı yüzey üzerindeki mekansal lokalizasyonu ile ilişkilendiren çok boyutlu kameralardır. Elde edilen veri kümeleri, ilk iki boyutun spektrumu boyama üzerinde bulduğu 3B küplerdir (hiperkubes veya veri küpleri olarak adlandırılır), üçüncüsü spektrumun kendisidir (yani, boyalı yüzeyin bu noktasının dedektörün çalışma aralığındaki dalga boylarına karşı yansıması). Dedektörün aynı anda çok sayıda spektrum (genellikle her hiperkübe için 10.000'den fazla) toplama yeteneği, HRI veri kümelerini büyük bilgi rezervuarları haline getirir ve verileri analiz etmek için sağlam ve muhtemelen otomatik protokollerin geliştirilmesi ihtiyacını haklı çıkarır. Veri toplama için tasarlanan prosedürün açıklamasından sonra, hiperkubelerin potansiyelini sistematik olarak sömüren bir analiz yöntemi sunuyoruz. Spektral Açı Eşleyicisi'ne (SAM) ve toplanan spektrumların manipülasyonuna dayanarak, algoritma binlerce spektrumu işler ve analiz eder, aynı zamanda kullanıcının incelenmekte olan örneklerin özelliklerini ortaya çıkarmasını destekler. Yaklaşımın gücü, Giuseppe Pellizza da Volpedo'nun Milano'daki (İtalya) Museo del Novecento'da düzenlenen ikonik başyapıtı Quarto Stato'ya uygulanarak gösterilmiştir.
Introduction
Reflektör Spektroskopisi (RS) ve Fiber Optik Yansıtma Spektroskopisi (FORS), genellikle bir tungsten-halojen lamba olan bir ışık kaynağı tarafından aydınlatılan yüzeyler tarafından yansıtılan ışığın algılanmasına dayanır. Alım sisteminin çıktısı, yansıtıcılığın, kullanılan deneysel kurulumun özelliklerine bağlı bir aralıkta dalga boyunun bir işlevi olarak izlendiği spektra tarafından oluşturulmuştır1,2,3. Son 40 yıl içinde tanıtılan RS ve FORS, tipik olarak X-ışını floresan ve diğer spektroskopilerle birlikte sanatçıların başyapıtlarını gerçekleştirmek için kullandıkları malzemeleri ve teknikleri tanımlamak için kullanılır6,7,8,9. Yansıtma spektrumunun incelenmesi genellikle örnekteki veriler ile kullanıcı tarafından kişisel veya genel veritabanlarında seçilen bir referans spektrum grubu karşılaştırılarak gerçekleştirilir. Numunenin gerçekleşme süresine ve sanatçının modus operandisine uygun referans spektrumu belirlendikten sonra, kullanıcı yansıtma spektrumunun ana özelliklerini (yani, geçiş, emilim ve yansıma bantları1,2,10,11) ve daha sonra diğer tekniklerin yardımıyla tanır6,7,8 resimlerde kullanılan pigmentleri ayırt ederler. Son olarak, referanslar ve deneysel spektra7,9 arasında var olan küçük farklılıkları tartışıyorlar.
Çoğu durumda, deneysel veri kümeleri, sanat uzmanları tarafından seçilen alanlardan toplanan ve tablonun karakterizasyonu için önemli olduğu varsayılan birkaç spektrumdan oluşur6,12,13. Kullanıcının becerilerine ve deneyimine rağmen, birkaç spektrum tüm boyalı yüzeyin özelliklerini tamamen tüketemez. Ayrıca, analizin sonucu her zaman sanatçının uzmanlığına güçlü bir şekilde bağlı olacaktır. Bu senaryoda, Hiperspektral Yansıtma Görüntüleme (HRI3,14,15) yararlı bir kaynak olabilir. Birkaç yalıtılmış spektrum yerine, deneysel kurulumlar genişletilmiş bölümlerin ve hatta inceleme altındaki tüm eserin yansıtıcı özelliklerini döndürür16. İzole tayfın kazanılmasıyla ilgili iki ana avantaj açıktır. Bir yandan, yansıtıcı özelliklerin mekansal dağılımının mevcudiyeti, tuhaf görünmeseler de ilginç özellikleri gizleyen alanların tanımlanmasını sağlar17. Öte yandan, hiperkubeler, verilerin istatistiksel analizini sağlayacak kadar yüksek bir dizi spektrumunu garanti eder. Bu gerçekler, pigmentlerin boyalı yüzey içindeki dağılımının anlaşılmasını desteklemez18,19.
HRI ile deneysel verilerin referanslarla karşılaştırılması zor olabilir15. Tipik bir dedektör en az 256 x 256 spektrumda hiperkubes verir. Bu, kullanıcının her referansa karşı 65.000'den fazla yansıtma spektrumunu değerlendirmesini gerektirir, bu da makul bir sürede manuel olarak gerçekleştirilmesi neredeyse imkansızdır. Bu nedenle, HRI veri kümelerini yönetmek ve çözümlemek için sağlam ve büyük olasılıkla otomatik protokoller isteği haklı 15,17'den daha fazladır. Önerilen yöntem, tüm analitik prosedürü minimum katılım ve maksimum esneklikle ele alarak bu ihtİyaka cevap verir.
Ev yapımı kodlar kümesini (Malzeme Tablosu) içeren bir algoritma, deneysel kurulum tarafından döndürülen dosyaları okur, yönetir ve düzenler. Görüş Alanlarının bölümlerinin (FOV'lar, bir görüş alanı, tek bir hiperkube tarafından izlenen resmin alanıdır) ince seçilmesine izin verir ve Spektral Açı Eşleyici (SAM) yöntemi20,21'e ve orijinal spektrumun manipülasyonuna dayalı verilerin analizini gerçekleştirir. SAM, benzerlik eşlemeleri adı verilen yanlış renkli gri ölçekli görüntüler döndürür. Bu haritaların piksellerinin değerleri, hiperkubelerde depolanan spektrumlar ile Son Üyeler (EM'ler, hiperkübeler tarafından izlenen yüzeyin özelliklerini tanımlaması gereken bir referans spektrum grubu) arasındaki açılara karşılık gelir 22. Resimlere uygulanan RS durumunda, EM'ler, Ana paletle eşleşmesi gereken pigmentlerin yansıtıcı spektrumlarıdır. Sanatçı hakkındaki mevcut bilgilere, resmin gerçekleşme süresine ve kullanıcının uzmanlığına göre seçilirler. Bu nedenle, SAM'in çıktısı, bu pigmentlerin boyama yüzeyi üzerindeki mekansal dağılımlarını açıklayan ve kullanıcının sanatçı ve organizasyonu tarafından eserde kullanılan malzemeleri çıkarmasını destekleyen bir harita kümesidir. Algoritma, her türlü referansı kökenlerinden bağımsız olarak kullanma imkanı sunar. Referanslar hiperkubeler içinde seçilen belirli bir spektrum olabilir, veritabanlarından gelebilir, farklı bir yüzeyde farklı bir enstrüman tarafından edinilebilir (örneğin pigment örnekleri veya sanatçının paleti gibi) veya fors dahil her türlü yansıtıcı spektroskopi kullanılarak elde edilebilir.
SAM, pigmentleri karakterize etmek için etkili olduğu gösterildiğinden mevcut sınıflandırma yöntemleri arasında tercih edilmiştir (mevcut ana sınıflandırma yöntemlerine genel bir bakış için Richard23'ün kitabına bakın). Bunun yerine, net24,25'te serbestçe bulunan birçok araçtan birini benimsemek yerine ev yapımı bir protokol geliştirme fikri pratik bir değerlendirmeye dayanmaktadır. Mevcut CE'lerin ve yazılımın etkinliğine ve bilimsel temeline rağmen, tek bir araç kullanıcının tüm ihtiyaçlarını neredeyse hiç karşılamaz. Bir araç ham verileri içeren dosyayı yönetmediği için bir Giriş/Çıkış (I/O) sorunu olabilir. Başka bir araç istenen yaklaşımı sağlamadığı için verilerin analiziyle ilgili bir sorun olabilir. Birden çok veri kümesinin eşzamanlı çözümlemesi desteklenmediği için verilerin işlenmesinde bir sınırlama olabilir. Her durumda, mükemmel bir araç yoktur. Her yöntem verilere göre ayarlanmalıdır veya tam tersi. Bu nedenle ev yapımı bir protokolün geliştirilmesi tercih edilmiştir.
Sunulan yaklaşım, ne tam bir analitik yöntem kümesi (bkz. karşılaştırma için Mobaraki ve Amigo24 tarafından önerilen araç) ne de yönetilmesi kolay bir kullanıcı arayüzü (bkz. karşılaştırma için, Zhu ve iş arkadaşları tarafından kullanılan yazılım25), ancak karşılığında, hiperspektral veri analizinin hala hafife alınmış bir yönüne odaklanır: tespit edilen spektrumları manipüle etme fırsatı. Yaklaşımın gücü, İtalya'nın Milano kentindeki Museo del Novecento'da tutulan tuval üzerine ikonik bir yağ olan Giuseppe Pellizza da Volpedo'nun Quarto Stato tablosuna (Şekil 1) uygulanarak gösterilmiştir. Yaklaşım ev yapımı kodları çalıştırmayı gerektirdiğinden, geliştiricinin kodların adlarını ve protokolün açıklamasında kullanılan giriş ve çıkış değişkenlerini keyfi olarak seçtiğini unutmayın. Değişkenlerin adları kullanıcı tarafından değiştirilebilir, ancak aşağıdaki gibi sağlanmalıdır: giriş ve çıkış değişkenleri sırasıyla köşeli ayraçlar içinde yazılmalı ve sonunda virgülle ve köşeli ayraçlar içinde ayrılmalı ve sonunda beyaz bir boşlukla ayrılmalıdır. Aksine, kodların adları değiştirilemez.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Hiperkübelerin uzamsal çözünürlüğünü ayarlayın
- Resmin ana özelliklerini belirlemek için sanat uzmanları tarafından desteklenen boyalı yüzeyin (Şekil 1) ön incelemesini gerçekleştirin.
- Resmi oluşturmak için sanatçı tarafından kullanılan resimsel teknikleri tanıyın.
- Tuvaldeki farklı fırça darbelerini tanımlayın.
- Nitel olarak, fırça darbelerinin özelliklerini boyutlarına özellikle dikkat ederim.
- Fırça darbelerinin sanatçı tarafından uygulananlara benzer özellikler gösterdiği geçici test örnekleri oluşturarak sanatçının kullandığı resimsel tekniği taklit edin.
NOT: Pellizza da Volpedo Bir Tümen ressamıydı. Bir restorardan, ilgi çekici tuvalin fırça darbelerini niteliksel olarak yeniden üreten bazı test örnekleri hazırlaması istendi (Şekil 2, sütun A). - İnceleme altındaki yüzey ile satın alma ekipmanı arasındaki mesafeyi ayarlayın.
NOT: Mesafe, hiperkubes26'nın uzamsal çözünürlüğünü ve dolayısıyla boyalı yüzeyin görüntülerdeki fırça darbelerini ve SAM haritalarını ayırt etme olasılığını belirler.- Hiperspektral kamera26'nın (Malzeme Masası) özelliklerini ve test örneklerinde çizilen fırça darbelerinin boyutunu dikkate alarak numunenin yüzeyi ile alım ekipmanı arasındaki mesafeyi değerlendirin.
- Satın alma aşamasını ve hiperspektral kamerayı önceki adımda değerlendirilen mesafeye koyun. Test örneklerini sahnede düzenleyin ve numunelerin yüzeyinin düzgün bir şekilde aydınlatılmasını sağlayın.
- Hiperspektral kamera ile birlikte verilen beyaz standart referansı kullanarak beyaz bir kalibrasyon gerçekleştirin. Hiperkubeleri alın.
NOT: Her FOV için hiperspektral kamera hem ham hem de kalibre edilmiş görüntüler döndürür. İkincisi analiz için kullanılmıştır. - Cihaz tarafından döndürülen dosyaları indirin ve özel bir klasöre kaydedin.
- Hiperkübelerin uzamsal çözünürlüğünün, boyalı yüzeyin görüntülerdeki ve SAM haritalarındaki farklı fırça darbelerini ayırt edip etmediğini kontrol edin.
- Test örneklerini gerçekleştirmek için kullanılan fırça darbelerinin tanınabildiğine emin olmak için hiperspektral kamera tarafından döndürülen RGB resimlerini inceleyin (Şekil 2, sütun A). Öyleyse, sonraki adımlara geçin; aksi takdirde 1.3.1 adımına geri dönün ve yeniden başlatın.
- Veri okuma kodunu çalıştırarak hiperspektral verileri ve FOV'lerin RGB görüntülerini içeren dosyaları listeleyin, HS_FileLister. Kodları geliştirmek için kullanılan dilin terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[HS_DataList HS_ImageList] = HS_FileLister;- Giriş gerekmez ve iki çıkış vardır: hiperkübeleri, HS_DataList içeren dosyaların listesi ve hiperspektral kamera tarafından döndürülen görüntülerin listesi , HS_ImageList.
NOT: Her hiperkübenin boyutu 512 x 512 x 204 vokseldir, burada 204 yansıtma sinyalini izlemek için kullanılan kanal sayısıdır. Kanallar dalga boyu aralığını FWHM26'da 7 nm spektral çözünürlükle 400 ila 1.000 nm arasında kapsar.
- Giriş gerekmez ve iki çıkış vardır: hiperkübeleri, HS_DataList içeren dosyaların listesi ve hiperspektral kamera tarafından döndürülen görüntülerin listesi , HS_ImageList.
- Kırpma kodu, HS_Crop_png çalıştırarak analiz edilmesi gereken hiperkübelerin 3B bölümünü tanımlayın. Her hiperkübe tarafından izlenen FOV'un 2B, RGB görüntüsünü gösteren etkileşimli bir pencere üzerinde bir alan seçerek her veri küpünün istenen bölümünü tanımlayın. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[HS_ImageList] = HS_Crop_png(HS_ImageList);- Bir giriş (hiperspektral kamera tarafından döndürülen görüntülerin listesi, HS_ImageList) ve bir çıktı (sonunda hiperkübeleri kırpmak için uzamsal koordinatlarla eklenen giriş listesi).
- CIE (Uluslararası Aydınlatma Komisyonu) standartlarından D65 aydınlatma ve 1931 gözlemcisini, FOV'ların RGB görüntülerini yeniden oluşturma kodunu çalıştırarak yansıtma spektrumundan almak için hiperkübelere uygulayın, HS_RGB_rebuild. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);- İki giriş (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList ve hiperkubes içeren dosyaların listesi, HS_DataList) ve bir çıkış (yansıtıcılık spektrumundan alınan hiperkübelerin yüzeylerinin RGB görüntüleriyle eklenen hiperspektral kamera tarafından döndürülen görüntüleri içeren giriş listesi).
NOT: HS_RGB_Rebuild , Jeff Mather27 tarafından CIE'den D65 illuminant ve 1931 gözlemcisini verilere uygulamak için geliştirilen işlevlerden yararlanır.
- İki giriş (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList ve hiperkubes içeren dosyaların listesi, HS_DataList) ve bir çıkış (yansıtıcılık spektrumundan alınan hiperkübelerin yüzeylerinin RGB görüntüleriyle eklenen hiperspektral kamera tarafından döndürülen görüntüleri içeren giriş listesi).
- Yalıtılmış ölçüm noktaları seçim kodu PointSel'i çalıştırarak test örneklerinin yüzeylerinde (Şekil 2'deki Beyaz Daireler ve Sayılar, sütun A) bazı referans spektrumlarını el ile seçin. FOV'ların 2D, RGB görüntülerini tek tek gösteren etkileşimli bir pencereyi tıklatarak ölçüm noktalarını seçin. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[Kaynaklar] = PointSel(HS_DataList, HS_ImageList);- İki giriş (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList ve hiperkubeleri içeren dosyaların listesi, HS_DataList) ve bir çıktı (FOV'lar içinde referans olarak seçilen spektrumları içeren bir değişken, Başvurular) vardır.
- İsterseniz, özel kod SaveImPoint'i çalıştırarak örneklerin yüzeyi üzerindeki başvuruların konumunu bir resim kümesinde saklayın. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
SaveImPoint(Başvurular, HS_ImageList);- İki giriş vardır (başvuru spektrumunu içeren değişken, Başvurular ve hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList) ve çıkış yoktur (kod geçerli çalışma klasörüne .png görüntüler kaydeder).
- Dönüştürme kodu RefListToMatrix'i çalıştırarak başvuruları bir matris halinde düzenleyin. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[References_Matrix] = RefListToMatrix(Başvurular, HS_ImageList(1). WaveL);- İki giriş vardır (referans spektrumunu, Referansları ve spektranın veri alımı sırasında dedektörün fotonları saydığı dalga boylarının listesini içeren değişken , HS_ImageList(1). WaveL) ve bir çıktı (matris olarak düzenlenmiş aynı referans spektrumları, References_Matrix).
NOT: SAM eşlemelerini değerlendiren kod, başvuru spektrumlarının bir matris halinde düzenlenmesini gerektirdiğinden, bu adım zorunludur. İkinci girişin sözdizimi HS_ImageList(1). WaveL, WaveL değişkenini listeden geri çağırmak için gereklidir HS_ImageList. Köşeli ayraçlar içindeki 1 sayısı, listenin HS_ImageList olarak adlandırılan ilk öğesine başvurur; ancak, tüm hiperkübeler aynı dalga boyu aralığına sahip olduğundan, küçük veya listelenen toplam görüntü sayısına eşit olan her sayıyla değiştirilebilir.
- İki giriş vardır (referans spektrumunu, Referansları ve spektranın veri alımı sırasında dedektörün fotonları saydığı dalga boylarının listesini içeren değişken , HS_ImageList(1). WaveL) ve bir çıktı (matris olarak düzenlenmiş aynı referans spektrumları, References_Matrix).
- Standart SAM eşlemeleri değerlendirme kodunu çalıştırarak tüm spektrumları kullanarak SAM haritalarını ayıklayın , SAM_Standard. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);- Üç giriş vardır (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList; hiperkubes, HS_DataList içeren dosyaların listesi; ve referans spektrumunun matrisi, References_Matrix) ve çıktı yoktur: kod SAM haritalarını geçerli çalışma klasöründe .png görüntüler olarak kaydeder.
- Elde edilen benzerlik haritalarının (Şekil 2, B - E sütunları) test örneklerini gerçekleştirmek için kullanılan fırça darbelerinin ayrıntılarını görüntüleyip görüntülemediğini kontrol edin. Bu durumda, protokolün bir sonraki adımına geçin; aksi takdirde 1.3.1 adımına geri dönün ve yeniden başlatın.
2. Deneysel parametreleri resme ayarlayın
- Çalışılacak tablonun İlgi Alanlarını, yatırım getirilerini tanımlayın ( Şekil 3A'daki kırmızı dikdörtgenler).
NOT: Tek bir yatırım getirisini kapsamak için birden fazla FOV'un gerekli olması yaygındır. - Alım kurulumunu ve boyamayı önceki adımlarda tanımlanan mesafede düzenleyin ve hiperspektral kamera ile birlikte verilen beyaz standart referansı kullanarak beyaz kalibrasyonu gerçekleştirin.
NOT: Kullanıcıların yerinde bir satın alma yapmaları gerekiyorsa (yani, bir müzede veya sergide açıkta kalan bir tabloyu incelemeleri gerekir), yalnızca kamerayı yönetebilirler. Bu, İtalya'nın Milano kentindeki Museo del Novecento'da özel bir alanda kalıcı olarak açığa çıkan Quarto Stato'nun durumudur. - Hiperspektral verileri her yatırım getirisinin ( Şekil 3A'daki kırmızı dikdörtgenler içindeki gölgesiz alanlar) kenarındaki en az bir FOV'dan alın.
- Cihaz tarafından döndürülen dosyaları indirin ve özel bir klasöre kaydedin.
- Hiperspektral kamera tarafından döndürülen RGB görüntülere bakarak resmin yüzeyinin aydınlatmasının düzgün bir şekilde ayarlanıp ayarlanmadığını kontrol edin. Bu durumda, sonraki adımlara geçin, aksi takdirde 2.2 adımına geri dönün ve yeniden başlatın.
NOT: Şekil 4 bu denetimin önemini göstermektedir (ayrıntılar için Tartışma bölümüne bakın). - 1.4 adımının alt adımlarını yineleyin.
- FOV'ler içinde seçilen referans spektrumlarıyla (Şekil 3B'deki yeşil daireler) ilgili FOV'lerin RGB resimlerini (Şekil 3B) ve SAM haritalarını (Şekil 3C) gözlemleyerek verilerin fırça darbelerini ayırt edecek kadar yüksek bir uzamsal çözünürlüğe sahip olup olmadığını kontrol edin.
- Aydınlatma ve uzamsal çözünürlük uygun şekilde ayarlanmışsa, yatırım getirilerini kapsamak için gerekli diğer FOV'ları edinen verilerin toplanmasını tamamlayın; aksi takdirde 2.2.
NOT: Bir yatırım getirisinin birden fazla FOV'un kapsanmasını gerektirdiğinde, elde eden haritaları kolayca dikmek için bitişik FOV'lar arasında belirli bir dereceye kadar süperpozisyon sağlayın3,15. Üst üste binmenin boyutu, hiperspektral kamera ile örnek arasındaki çeviriye ve dedektörün yatay görüş açısına bağlıdır28. Quarto Stato'ya yapılan deneysel kampanya durumunda, çakışma FOV'lerin en az% 40'ı olarak ayarlanmıştır.
3. Hiperkubes ve referans spektrum yönetimi
- Ham verilerin kullanıcı/ç'sini gerçekleştirin: hiperkübeleri düzenleyin, okuyun ve yönetin.
- Hiperkübeleri ve ilgili bilgileri içeren dosyaların listesini algoritmanın emrinde iki değişkende depolamak için HS_FileLister kodunu çalıştırın (pratik ayrıntılar için adım 1.4.2'ye bakın).
NOT: Hiperspektral kamera, kodun Jarek Tuszinsky29 tarafından geliştirilen komut dosyasının yeniden ziyaret edilen bir sürümünden yararlanarak yönettiği HDR (yüksek dinamik aralık) dosyalarını döndürür. - Verilerin analizinde kullanılacak her FOV bölümünü seçmek için HS_Crop_png kodunu çalıştırın (pratik ayrıntılar için adım 1.4.3'e bakın).
- FOV'lerin RGB görüntülerini yansıtma spektrumundan almak için HS_RGB_Rebuild kodunu çalıştırın (pratik ayrıntılar için adım 1.4.4'e bakın).
- Hiperkübeleri ve ilgili bilgileri içeren dosyaların listesini algoritmanın emrinde iki değişkende depolamak için HS_FileLister kodunu çalıştırın (pratik ayrıntılar için adım 1.4.2'ye bakın).
- Başvuru spektrumunu düzenleyin, okuyun (gerekirse) ve yönetin.
NOT: Referans spektrumları SAM yönteminde son üyelerin rolünü oynayacaktır20,21. Algoritmanın bu bölümü tek yönlü olarak belirlenmez, ancak seçim moduna ve başvuru spektrumunun kaynağına bağlıdır.- PointSel kodunu çalıştırın ve referans spektrumunu izlenen alanların yüzeyi üzerinde yalıtılmış ölçüm noktaları olarak tanımlamak için görüntülenen etkileşimli pencerenin içini tıklatın (Şekil 5A) (pratik ayrıntılar için adım 1.4.5'e bakın).
- Retiküler seçim kodu ReticularSel 'i (Şekil 5B) çalıştırarak, izlenen alanların yüzeyine bindirilen ölçüm noktalarının düzenli bir retikülü olarak referans spektrumunu otomatik olarak seçin. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[Kaynaklar] = ReticularSel(HS_DataList, HS_ImageList, n_pixel);- Üç giriş (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList; hiperkubes içeren dosyaların listesi, HS_DataList; ve reticulum'un aralıkları, n_pixel, piksel sayısıyla ifade edilir) ve bir çıktı vardır: FOV'ler, Başvurular içinde referans olarak seçilen spektrumları içeren bir değişken.
- Quarto Stato'da alınan hiperkübelerden bağımsız veri kümelerinden ve veritabanlarından başvurular içeren bir değişken oluşturmak için dış başvurular alma kodunu Spectra_Importer çalıştırın. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
[ExtReferences] = Spectra_Importer(file_extension);- Bir giriş (apices arasında yazılmış bağımsız başvuru spektrumunu içeren dosyanın uzantısı, file_extension) ve bir çıktı (dış başvuruları içeren bir değişken, ExtReferences).
NOT: Harici referans içe aktarıcı kodu tmr dosyalarını içe aktarmak için optimize edilmiştir, ancak gerekirse, her türlü metin dosyasıyla başa çıkmak için kolayca değiştirilebilir.
- Bir giriş (apices arasında yazılmış bağımsız başvuru spektrumunu içeren dosyanın uzantısı, file_extension) ve bir çıktı (dış başvuruları içeren bir değişken, ExtReferences).
- Sam eşlemelerini değerlendiren kodun gerektirdiği şekilde başvuruları bir matrise, References_Matrix veya ExtReferences_Matrix koymak için RefListToMatrix kodunu çalıştırın (pratik ayrıntılar için adım 1.4.7'ye bakın).
- RefListToMatrix kodunun hem dalga boyu aralığını hem de hiperkübelerin ve başvuruların spektral çözünürlüğünü (yani bileşen sayısını) eşitlemesini bekleyin.
NOT: Kod, hem hiperkübelerin hem de başvuruların dalga boyu aralıklarını tanımlar. Kod dalga boyu aralıklarını karşılaştırır ve hem hiperkübeler hem de başvurular tarafından izlenmeyen dalga boyu aralıklarını keser. Kod, eşitlenmiş dalga boyu aralığındaki daha düşük sayıda bileşen (yani, alt spektral çözünürlük ile karakterize edilir) tarafından oluşan hiper vektör grubunu (hiperkubeler veya başvurular) tanımlar. Kod, daha uzun hiper vektörlerin (başvurular veya hiperkübeler) bileşenlerinin sayısını daha kısa olanların (hiperkubes veya başvurular) sayısına azaltır. Bu, daha kısa hiper vektörlerin her dalga boyu için, yalnızca daha kısa hiper vektörlerin en yakın dalga boylarına karşılık gelen daha uzun hiper vektörlerin değerlerini tutarak yapılır.- Kod otomatik olarak eşitleme gerçekleştirir. Başvurular hiperkubeler içinde seçilmişse, dalga boyu aralığının ve spektral çözünürlüğün eşitleştirilmesi gerekmez ve değişmeden kalırlar.
- İsterseniz, özel kodu çalıştırarak örneklerin yüzeyi üzerindeki başvuruların konumunu bir resim kümesinde saklayın (pratik ayrıntılar için adım 1.4.7'ye bakın).
NOT: Bu seçenek yalnızca başvurular hiperkübeler içinde seçilmişse kullanılabilir (adım 3.2.1 ve 3.2.2).
4. SAM analizi
- Benzerlik eşlemelerini değerlendirmek için SAM_Complete kodunu çalıştırın. Terminal penceresine aşağıdaki komut satırını (noktalı virgül dahil) yazın ve kodu çalıştırmak için Enter tuşuna basın:
SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);- Üç giriş vardır (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList; hiperkubes, HS_DataList içeren dosyaların listesi; ve referans matrisi, References_Matrix veya ExtReferences_Matrix) ve çıktı yoktur (kod SAM eşlemelerini geçerli çalışma klasöründe .png dosyaları olarak kaydeder).
NOT: Açıklanan üç giriş değişkeni dışında, analiz protokolünü kullanıcının tercihlerine göre uyarlamak için SAM_complete kodu birkaç ek parametreyle beslenmelidir (sonraki adımlara bakın).
- Üç giriş vardır (hiperspektral kamera tarafından döndürülen görüntüleri içeren liste, HS_ImageList; hiperkubes, HS_DataList içeren dosyaların listesi; ve referans matrisi, References_Matrix veya ExtReferences_Matrix) ve çıktı yoktur (kod SAM eşlemelerini geçerli çalışma klasöründe .png dosyaları olarak kaydeder).
- Gerektiğinde, istediğiniz ön işleme işlemine bağlı olarak iletişim kutusuna 0 veya 1 sayısını yazarak kodu ön işleme seçeneğiyle besleyin ve devam etmek için Enter tuşuna basın.
- Ön işleme seçeneği 0 olarak ayarlanır: her yansıtma spektrumu tarafından alt edilen alan 1 olarak normalleştirilir.
- Ön işleme seçeneği 1 olarak ayarlanır: her yansıtma spektrumu tarafından alt edilen alan 1 olarak normalleştirilir ve daha sonra normalleştirilmiş spektrum bir kez türetilir.
NOT: Hem hiperkubes hem de başvurular aynı ön işleme seçeneğinden geçer.
- Kodu istenen spektruma karşılık gelen sütunların numaralarıyla besleyerek referans matrisi arasında SAM analizi için kullanılacak son üyeleri seçin. Gerektiğinde, sayıları beyaz bir boşlukla ayırarak istediğiniz sütunlara karşılık gelen sayıların sırasını iletişim kutusuna girin. Devam etmek için Enter tuşuna basın.
NOT: [1 2 3] dizisi, referans matrisinin ilk üç sütununun seçimine karşılık gelir; boş bir vektör, başvuru matrisinin tüm sütunlarının seçimine karşılık gelir. - Kodu, kaydedilecek eşleme kümelerini tanımlayacak adın ilk bölümünü içeren bir dizeyle besleyin (örneğin, SAM_Complete tarafından döndürülen .png dosyalarının adının ortak bölümü). Gerektiğinde, dizeyi iletişim kutusuna ekleyin. Devam etmek için Enter tuşuna basın.
NOT: Kullanıcı test türüne sahipse, tüm çıktı .png görüntülerin adı testle başlar. - Gerektiğinde, istediğiniz tanıtıcı yöntemine bağlı olarak iletişim kutusuna 0, 1 veya 2 sayısını yazarak verileri işlemek için seçilen yöntemle kodu besleyin ve devam etmek için Enter tuşuna basın.
- Verilerin hiçbir şekilde manipüle olmaması için yöntemi 0 olarak ayarlayın.
- Analize başlamadan önce dikkate alınacak spektrumların dalga boyu aralıklarının manuel olarak seçilmesini gerektirecek şekilde yöntemi 1 olarak ayarlayın (Şekil 6).
- SAM eşlemelerinin değerlendirilmesinden önce algoritmanın verileri belirli bir ölçüte göre sıralamasını gerektirmek için yöntemi 2 olarak ayarlayın (Şekil 7).
- Protokolün verileri işlemesini ve SAM eşlemelerini geçerli çalışma klasörüne .png dosyaları olarak kaydetmesini bekleyin.
NOT: Tanıtıcı yöntemi 0 veya 2 olarak ayarlanmışsa, kullanıcının beklemesi gerekir. 1 olarak ayarlanmışsa, kullanıcı etkileşimli bir pencereye tıklayarak SAM haritalarını değerlendirmek için kullanılacak spektrumların bölümlerini seçmelidir (Şekil 6).
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Önerilen protokol, HRI verilerinin yönetimi ve analizi için bir dizi ilginç özellik sunar. Ham verilerin I/O'su (adım 3.1) her zaman herhangi bir analiz yöntemi uygulanmadan önce çözülmesi gereken ilk sorundur ve büyük miktarda veriyle uğraşırken kritik bir sorun haline gelebilir. Mevcut durumda, ham verilerle ilgili tek görev, deneysel sonuçları ayrılmış bir klasörde depolamak ve okuma kodunu çalıştırırken sabit diske göz atarak seçmektir (adım 3.1.1). Bundan sonra, kırpma ve RGB yeniden oluşturma kodları, analiz edilecek verilerin seçiminin iyileştirilmesine izin verir (adım 3.1.2) ve hiperkubelerin alınması sırasında deneysel koşulların düzgün bir şekilde ayarlanıp ayarlanmadıklarına bakar (adım 3.1.3, daha fazla ayrıntı için Şekil 4 ve Tartışma bölümüne bakın).
Veri küplerinin doğru şekilde elde edildiği doğrulandıktan sonra, algoritma SAM analizi20,21 için son üyeleri seçmek için farklı olanaklar sunar20,21 (adım 3.2). İlk iki seçenek (adım 3.2.1 ve 3.2.2), bazı yalıtılmış ölçüm noktalarını (Şekil 5A) manuel olarak seçerek veya bir veya daha fazla FOV içindeki ölçüm noktalarının retiküler seçimini sağlayarak resmin yüzeyini otomatik olarak örnekleyerek hiperkubeler arasındaki referansları alır (Şekil 5B). İzole ölçüm noktalarına dayanan analiz, retiküler tabanlı olandan daha hızlıdır, ancak önemli spektrumları tanımlamak için FOV'ların dikkatli ve muhtemelen bilgilendirilmiş bir gözlemini ima eder; bu, pigmentler ve boyalı yüzeylerle başa çıkma konusunda iyi bir deneyim anlamına gelir. Retiküler seçim algoritmayı zaman alıcı hale getirir ve kullanıcıyı bir avuç yararlı benzerlik eşlemesi almak için çok sayıda çıktı görüntüsü gözlemlemeye zorlar. Bununla birlikte, retiküler seçim hiperkubelerin tam bir taramasını sağlar ve çoğunlukla deneysel bağlamı deneyimlemeden gerçekleştirilebilir. Prensip olarak, n_pixel örnekleme mesafesi karar verildikten sonra, kullanıcı ayrıntıları kaybetme olasılığı çok düşük olan FOV'ların gözlemini ihmal edebilir.
Hiperkubes içindeki referans spektrumunun seçimine ek olarak, algoritma incelenerek örnekten elde edilen verileri diğer kaynaklara ait referanslarla karşılaştırma fırsatı sunar (adım 3.2.4). Dış başvuru spektrum içe aktarıcı kodu, tablonun yüzeyine ait olmayan başvuruların I/O'larını yönetir. Matris dönüştürücü kodu dalga boyu aralıklarını ve hem hiperkübelerin hem de dış başvuruların spektral çözünürlüğünü eşitler (adım 3.2.4). Bu olasılık, kullanıcının örneğin karakterizasyonu ile ilgili yeteneklerini genişletir. Gerçekten de, kullanıcı yansıtma verileri açısından mevcut her türlü kaynaklardan yararlanabilir. Hiperkübeler, genel veritabanlarıyla, kullanıcının spektral arşivleriyle, özel olarak hazırlanmış örnekler veya hatta yazara veya diğer sanatçılara ait diğer nesneler (resimler, paletler, tonlar veya her neyse) üzerinde toplanan yeni verilerle karşılaştırılabilir. Ayrıca, dış referanslar her türlü yansıtma tekniğinden yararlanarak elde edilebilir, böylece Şekil 6 ve Şekil 7'de gösterilen referanslar HRI verileri için kullanılan kamera tarafından değil, taşınabilir bir FORS minyatür spektrometresi (Malzeme Tablosu) tarafından elde edilmiştir.
Veri yönetiminin ötesinde, algoritma veri analizine de özgün bir yaklaşım sunar. SAM haritalarını değerlendirmeden önce spektrumun manipülasyonunu sağlar (adım 4.1-4.5). Bu olasılık, pigmentlerin dağılımlarını araştırmak için SAM yönteminin seçiminde rasyonelliğini bulur. Aslında, SAM yansıtma spektrumunu çok boyutlu bir alanda vektör olacakları için (yani, alım kanallarınınkine eşit bir dizi bileşene sahip hiper vektörler) olarak kabul eder. Bu nedenle, analizin temel amacı, sanatçı tarafından kullanılan pigmentlerle en iyi eşleşeni ayırt etmek için farklı ancak benzer referansları karşılaştırmaksa, referans spektrumunun neredeyse aynı bileşenleri (yani, hiper vektörlerdeki hemen hemen aynı değerlere karşılık gelen dalga boyları) özellikle yararlı olmamalıdır ve algoritma bu bileşenleri analizden dışlamaya izin verir.
Protokol, verileri işlemek için iki seçeneği destekler (adım 4.5): kullanıcı, manuel olarak (Şekil 6) veya otomatik olarak analiz edilecek yansıtma verilerinin dalga boyu bölümlerini tanımlayabilir (Şekil 7). Manuel seçim basittir. Önceden işlenmiş referans spektrumu veya ilk türevleri, seçilen ön işleme seçeneğine (adım 4.2) bağlı olarak, etkileşimli bir pencerede görünür, Şekil 6A ve kullanıcı grafik yüzeyine tıklayarak bir veya daha fazla dalga boyu aralığı olan Şekil 6B'yi seçer. Otomatik seçim, seçilen ön işleme seçeneğine (adım 4.2) bağlı olarak, önceden işlenmiş referans spektrumlarına veya ilk türevlerine uygulanan maksimum varyans matematiksel kriterine dayanır. Algoritma, seçilen başvurular içindeki varyansı (normalleştirilmiş ve Şekil 7A'da Kesik çizgi olarak görüntülenir) hesaplar ve tüm spektrumları (hem başvurular hem de hiperkuplar) bu ölçüte göre sıralar (Şekil 7B'deki Kesikli Çizgi normalleştirilmiş ve sıralı varyansı temsil eder). Başka bir deyişle, maksimum fark n. dalga boylarına karşılık geliyorsa, önceden işlenmiş her spektrumun (referanslar ve hiperküskler) n. bileşeninin içeriği yeniden düzenlenmiş bir hiper vektörün ilk konumuna taşınır ve benzeri (Şekil 7A ve Şekil 7B'deki arka planın renkli bölümleri verilerin yeniden düzenlenmesini grafiksel olarak açıklar). Pratik olarak, önceden işlenmiş spektrumun bileşenleri ana bileşen analizine benzer şekilde sipariş edilir30.
Spektrum manipüle edildikten sonra, algoritma SAM haritalarını değerlendirir. El ile manipülasyonu takiben (Şekil 6), protokol üç harita kümesi döndürür: ikisi seçilen ve reddedilen dalga boyları gruplarına karşılık gelir ve biri tüm spektrumu kullanarak elde edilir. Aksi takdirde, otomatik düzenlemenin (Şekil 7) ardından, algoritma varyans değerlerine kayan bir eşik uygular ve SAM eşlemelerini, hem üst eşiğe karşılık gelen yeniden düzenlenmiş hiper vektör bileşenleri için eşiğin artırılmasında (yani, otomatik olarak seçilen) hem de farkın eşik (yani otomatik olarak reddedilen) değerlerine değerlendirir. Bu harita kümeleri, tüm spektrumdan elde edilenlerle birlikte (her zaman algoritma tarafından döndürülür), N'nin eşik tarafından kabul edilen değer sayısı olduğu toplam (2N + 1) harita kümesiyle sonuçlanır. Eşiğin artmasıyla elde edilen benzerlik haritaları kümeleri (Şekil 8), veri manipülasyonunun içeriği değiştirmediğini, aksine eşlenen alanların ayrıntıları hakkında yeni içgörüler sağladığını ve sonuç olarak, örnekler ve referanslar arasındaki benzerlikleri ve farklılıkları ayırt etmeye yardımcı olabileceğini göstermektedir.
Şekil 1: Quarto Stato. Resmin resmi, 1899-1901, 293 x 545 cm, tuval üzerine yağlıboya, Giuseppe Pellizza da Volpedo, Museo del Novecento, Milan, İtalya. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: Deneysel koşulların tanımı. (A) Geçici olarak hazırlanan test örnekleri; Beyaz Daireler ve Sayılar, referans olarak seçilen spektruma karşılık gelen ölçüm noktalarını tanımlar. (B) Referans spektrum numarası 1, (C) sayısı 2, (D) sayı 3 ve (E) sayısı 4 ile ilgili olarak değerlendirilen SAM haritaları. Gri Renk Çubuğu spektral açıların değer aralığını gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Tanımlanan deneysel koşulların Quarto Stato'ya uygulanması. (A) Deneysel kampanya için seçilen ROI'ler (Kırmızı Dikdörtgenler); Her dikdörtgende yatırım getirisini kapsamak için gerekli olanların bir FOV'u vurgulanmıştır (Gölgesiz Alanlar). (B) Panelin dört Gölgesiz Alanının RGB resimleri A. (C) Her FOV (Yeşil Daireler) içinde seçilen bir referans spektrumu ile ilgili olarak değerlendirilen SAM haritaları. Gri Renk Çubuğu spektral açıların değer aralığını gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 4: Numunenin yüzeyinin uygun ve yanlış aydınlatılması. (A) Boyalı yüzeyin küçük bir kısmının (Kırmızı Daire) yanlış aydınlatma nedeniyle değiştirilmiş reflektör özelliklerinden etkilendiği FOV'un bir kısmı. (B) FOV düzgün bir şekilde aydınlatıldığında ortaya çıktıkça resmin aynı küçük kısmı (Mavi Daire). (C) FOV yanlış ve düzgün aydınlatıldığında dairelerin ortasındaki ölçüm noktasının yansıtıcı spektrumları (sırasıyla Kırmızı ve Mavi Çizgi ). (D) Referans olarak yanlış aydınlatılmış ölçüm noktasının spektrumu kullanılarak elde edilen FOV'un SAM haritası. (E) Referans olarak uygun aydınlatmalı ölçüm noktasının spektrumu kullanılarak elde edilen FOV'un SAM haritası. Gri Renk Çubuğu (D) ve (E) değerlerini ifade eder ve seçilen FOV hiperkübe spektrasının spektrasının ilk türevlerini ve (A) ve (B) renkli dairelerin merkezindeki ölçüm noktası spektrumunun ilk türevini karşılaştırarak elde edilen spektral açıların değerlerinin aralığını gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 5: Hiperkübeler içindeki başvuru seçimi. (A) Yalıtılmış ölçüm noktaları seçim modu; Yeşil Daireler , gösterilen FOV'da manuel olarak seçilen referans spektrumunun konumunu gösterir. (B) Retiküler seçim modu; Yeşil Daireler , gösterilen FOV'a örnekleme aralığı (n_pixel) beş piksel olarak ayarlanmış bir retikülum uygulanarak seçilen referans spektrumunun konumunu gösterir. Hem (A) hem de (B) olarak bildirilen görüntü, CIE standartlarından D65 aydınlatma ve 1931 gözlemcisini hiperkübe uygulayan yansıtıcı spektrumdan alınan FOV'un RGB görüntüsünün gri tonlamalı dönüştürülmesidir; Gri Renk Çubuğu , bu görüntünün normalleştirilmiş yoğunluğunu ifade eder. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 6: El ile veri işleme modu. (A) Etkileşimli pencerenin, kullanıcının referans spektrumunu seçilen ve reddedilen dalga boyları kesirlerine bölmesini sağlayan yönü. (B) SAM haritalarını değerlendirmek için seçilen veri bölümlerinin pembe bir arka plan tarafından vurgulandığı (A) ile aynı referanslar. (A) ve (B) referansların önceden işlenmiş spektrumunu görüntüler. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 7: Otomatik veri işleme modu. (A) Şekil 6'da (Renkli Çizgiler) bildirilen dört normalleştirilmiş referansın ilk türevleri ve normalleştirilmiş maksimum varyansları (Siyah Kesik çizgi). (B) Maksimum varyans kriterini takiben sıralanan (A)'nın aynı türevleri; normalleştirilmiş maksimum varyans sıralanmış değerleri de bildirilmiştir (Siyah Kesikli Çizgi). Arka planın bazı bölümleri, hiper vektörlerin yeniden düzenlenmesini görsel olarak göstermek için farklı tonlarla renklendirilmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 8: Otomatik veri işleme modu tarafından elde edilen SAM haritaları. (A-C) Şekil 7'nin referans spektrumunun ilk türevleri içinde değerlendirilen normalleştirilmiş maksimum varyansların sıralanmış değerleri; eğrinin Yeşil ve Kırmızı Bölümleri sırasıyla seçili (eşik değerlerin üzerinde) ve reddedilen veri kesirini (eşik değerlerin altında) gösterir. Paneller eşiğin artmasında ne olduğunu gösterir (Siyah Noktalı Segment); her panel, Şekil 7 spektrumunun dört türevi için elde edilen her iki değer grubu için SAM haritalarını raporlar; Yeşil Kenarlı Haritalar eşik üstü kesirlere, Kırmızı Kenarlı Haritalar ise eşik altındaki kesirlere başvurur. Gri Renk Çubukları spektral açıların değer aralığını gösterir. Bu örnekte, eşiğin artışını belirleyen adım, normalleştirilmiş maksimum farkın% 0,5'ine eşittir; (C) olarak bildirilen eşik değerleri 0,09'dur ve daha fazla artış hiper vektörlerin seçilen bileşenlerinin sayısını keyfi olarak sabitlenmiş alt sınır olan 20 değerin altına, yani hiperspektral kameranın toplam alma kanallarının toplam sayısının% 10'una düşüreceğinden, son kabul edilen eşik değeridir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Hiperspektral yansıtma görüntüleme veri kümeleri büyük bilgi rezervuarlarıdır; bu nedenle, verileri analiz etmek için sağlam ve muhtemelen otomatik protokollerin geliştirilmesi, potansiyellerinden yararlanmak için önemli bir dönüştür15,17. Önerilen algoritma, kültürel miras alanındaki bu ihtİyara, resim pigmentlerinin karakterizasyonuna özellikle dikkat şekilde cevap verir. SAM20,21'e dayanarak, algoritma deneysel koşulların ayarlanmasından pigmentlerin dağılımının değerlendirilmesine kadar tüm analiz sürecinde kullanıcıyı destekler. Algoritma hala tam bir grafik arayüze sahip olmasa ve sonuçları görüntülemek için bir araç sağlamasa da (bu amaçla açık kaynaklı bir yazılım kullanılmıştır31 ve tavsiye edilir, Bkz. Malzeme Tablosu), veri analizine yaklaşımı modüle etmek için uygulanan olasılıklar kümesi bu dezavantajları kapsamlı bir şekilde dengeler.
Protokol, alım sistemini hem numunenin hem de dedektörün özelliklerine göre ayarlar. Bir yandan, Pellizza Da Volpedo tarafından Quarto Stato'yu oluşturmak için kullanılan Bölümcü teknik, hiperkübelerin yan yana yerleştirilmiş farklı pigmentlerin küçük fırça darbelerini ayırt etmesini gerektirir. Öte yandan, hiperspektral kamera, hedefe 1 m mesafede 1.07 mm26 uzamsal çözünürlüğe sahip 0.55 x 0.55 m'lik bir alanı algılayan manuel ayarlama sistemi ile 150 mm ile sonsuz arasında bir odak aralığına sahiptir. Algoritmanın test örneklerinde elde edilen az sayıda hiperkübe uygulanması (Şekil 2), veri toplama için uygun bir çalışma mesafesi oluşturulmasına yardımcı olur. Ölçümlerin gözlemlenmesi, deneysel kampanya için çalışma mesafesini hedefte 0,31 mm çözünürlüğe karşılık gelen 30 cm olarak ayarlamaya izin verir. Quarto Stato'da yapılan deneysel seanslarda da bu çalışma mesafesi başarıyla benimsenmiştir (Şekil 3). Çalışma mesafesi tanımlandıktan sonra, numunenin yüzeyinin aydınlatılması kritik bir sorun olmaya devam etmektedir3,15. Bir FOV'un bir kısmı tekdüze aydınlatma yerine düzensiz (Şekil 4A'da Kırmızı Daire) gösterdiğinde (Şekil 4B'deki Mavi Daire), yansıtma özellikleri önemli ölçüde değişir (Şekil 4C) ve tüm prosedür tehlikeye girer (Şekil 4D ve Şekil4E). Protokol, verilerin alınması sırasında (RGB döndürerek) düzensiz aydınlatmayı (ve genel olarak izlenen alanlardaki eserlere karşı) önler, adım 1.4.1 ve SAM haritaları, adım 1.4.9, kullanıcı tarafından kontrol edilebilir) ve fovların tehlikeye atılmış kısımlarını kırpma kodu (adım 1.4.2 ve 3.1.2) ile analizden hariç tutarak bir posteriori.
Protokol, kullanıcının referansları (örneğin, SAM haritalarının değerlendirilmesi için kullanılan son üyeler) maksimum özgürlükle seçmesine izin verir. Bir yandan, EM'ler hiperkubelerin kenarlarında iki şekilde seçilebilir: yalıtılmış ölçüm noktaları seçimi (Adım 1.4.5 ve 3.1.2'de Şekil 5A ) veya retiküler ölçüm noktaları seçimi (Adım 3.1.3'te Şekil 5B ). Birincisi bilinçli seçim olarak tanımlanabilir, çünkü önemli ölçüm noktalarını manuel olarak tanımlamak için kullanıcıda biraz uzmanlık gerektirir. İkincisi kör seçim olarak tanımlanabilir, çünkü FOV'lerin retiküler örneklemesi yalnızca örnekleme aralığının değerini gerektirir. Öte yandan, EM'ler incelenerek tablonun dışından alınabilir (adım 3.1.4). Quarto Stato'da yürütülen deneysel kampanya sırasında, sanatçıya ait taslak örneklerden spektra toplamak için taşınabilir bir minyatür FORS spektrometresi (Malzeme Masası) kullanıldı ve şu anda Volpedo'da bulunan Stüdyo Müzesi'nde tutuldu (Pellizza da Volpedo Studio Museo, Volpedo (AL), İtalya). Bu yansıtma verileri SAM haritalarının değerlendirilmesi için kullanılmış dır ve bazıları Şekil 6 ve Şekil 7'de bildirilmiştir. Mutlak yoğunluğun ve spektrumun taban çizgisinin önemini sınırladığı için, özellikle biraz farklı kurulumlardan veya çalışma koşullarından elde edilmişlerse, ön işleme hem hiperkubeler hem de EM'ler için zorunludur32.
Protokolün son ana özelliği deneysel verileri manipüle etme şansıdır. Manipülasyon için, EM'lerin en önemli bileşenlerinin tanımlanmasının (yani, son üyelerin spektrumlarının bu kısımlarının sanatçı tarafından kullanılan materyalleri karakterize etmesine yardımcı olması gerektiği) amaçlanmaktadır. Bu görev el ile (Şekil 6) veya otomatik olarak gerçekleştirilebilir (Şekil 7). İlk durumda, algoritma sanatçının uzmanlığından yararlanırken, ikinci durumda, zaman zaman SAM haritalarını değerlendirmek için kullanılacak bileşenleri belirleyen istatistiksel bir kriterdir. Her iki durumda da, manipülasyon ortaya çıkan benzerlik haritalarının sayısını artırır ve sonuç olarak hiperkubes tarafından taşınan bilgileri açıklama yeteneğini genişletir. Özellikle, kritere dayalı seçim boyalı yüzeyin çok sayıda içgörüsünü oluşturur (Şekil 8).
Tek tek ele alındığında, numaralandırılmış özellikler yalnızca teknik faydalar olarak görünebilir, ancak birlikte en az iki ana anahtar noktayı ima eder. Algoritma her türlü kullanıcı tarafından başarıyla uygulanabilir ve analizin senaryosunu önemli ölçüde genişletebilir. Aslında, protokolün ana adımları (yani, referansların seçimi ve verilerin manipülasyonu) kullanıcının becerileri ve deneyimi göz ardı edilerek otomatik olarak gerçekleştirilebilir. Analizi hiperkubelerin dışından spektra ile yönlendirme imkanı ile, araştırmacıların bertarafındaki tüm yansıtma verileri, incelenen örneğin karakterizasyonu için kullanılabilir.
Özetle, protokol son derece esnek bir araç olabilir. Grafik arayüz ve desteklenen analiz yöntemlerinin sayısı ile ilgili bazı iyileştirmeler ile boyalı yüzeylerden elde edilen verilerin hiperspektral yansıtıcı görüntüleme ile işlenmesi ve analizi ile ilgili olarak son teknolojinin ötesinde bir adım olabilir.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarların açıklayacak bir şeyi yok.
Acknowledgments
Bu araştırma Regione Lombardia tarafından MOBARTECH Projesi çerçevesinde finanse edildi: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.
Yazarlar, yerinde deneysel oturumlar sırasında destek için Museo del Novecento'daki personele ve Studio Museo'ya erişim için Associazione Pellizza da Volpedo'ya minnettardır.
Materials
| Name | Company | Catalog Number | Comments |
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
- Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
