$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Bu bölüm, kızılötesi termografik görüntüler kullanılarak termal durum değerlendirmesi için fizik kısıtlı derin öğrenme sürecinin tamamını açıklar. Çerçeve, (i) sıcaklık alanı çıkarımını, (ii) temel CNN regresyonunu, (iii) difüzyon tabanlı fizik düzenlemesini, (iv) uyarlanabilir parametre öğrenmesini ve (v) belirsizlik nicelenmesini entegre eder. Bu çalışmada kullanılan tüm araçlar Materyaller Tablosu'nda açıklanmıştır.
Termal görüntü alımı ve sıcaklık alanı inşası
Yüksek voltajlı güç ekipmanlarının kızılötesi (IR) görüntüleri, kalibre edilmiş termografik kamera kullanılarak alındı. Her görüntü, kamera radyometrik kalibrasyon parametreleri kullanılarak piksel yoğunluklarının fiziksel sıcaklık değerlerine (°C) eşlenmesiyle T(x, y) ∈ RH×W mekansal sıcaklık matrisine dönüştürüldü. Şekil 1A–C sıcaklık görselleştirmesini gösterir. Orijinal IR görüntüsü, fiziksel olarak anlamlı bir sıcaklık haritasına dönüştürülür. Histogram, 50–90 °C arasında konsantrasyon olan eğik bir sıcaklık dağılımı göstermektedir. Yerel yüksek sıcaklık bölgeleri (sıcak noktalar) açıkça görülebilir. Şekil 2 , sıcaklık alanının 3D termal yüzey yükseltme temsilini göstermektedir. 3D yüzey yüksekliği grafiki, sıcak nokta bölgeleri etrafında dik gradyanlar gösteriyor. Sıcaklık zirveleri ~120 °C'ye yaklaşır. Termal alan mekansal olarak düzgündür, ancak enerjili iletkenler ve bağlantı bağlantılarının yakınında yer alır. Bu özellikler, fiziksel düzgünlüğü sağlamak için difüzyon tabanlı düzenleme teriminin kullanılmasını haklı çıkarır; ancak yerel yüksek gradyan fenomenleri korur.

Şekil 1: Sıcaklık görselleştirme. (A) Gözlemlenen termal deseni gösteren incelenen yüksek voltajlı ekipmanın orijinal kızılötesi (IR) termografik görüntüsü. (B) Yüzey sıcaklıklarının mekânsal dağılımını ve ilgili termal gradyanları gösteren termografik görüntüden elde edilen sıcaklık haritası. (C) Çıkarılan sıcaklık alanı içindeki sıcaklık değerlerinin frekans dağılımını gösteren sıcaklık dağılımı histogramı. Bu şekil, bir termografik görüntünün nicel bir sıcaklık temsiline dönüştürülmesini gösterir ve sonraki model geliştirme ve analizinde kullanılan temel sıcaklık dağılımını özetler. Kısaltmalar; IR = kızılötesi. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 2: Sıcaklık alanının 3D termal yüzey yükseltme temsili. Yüzey yüksekliğinin sıcaklık büyüklüğüne karşılık geldiği ve yerel termal sıcak noktaları vurguladığı sıcaklık dağılımının üç boyutlu görselleştirilmesi. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Problem formülasyonu
Bırakalım

RGB kızılötesi termografik görüntünü gösterir; burada H ve W mekânsal boyutları temsil eder ve C = 3 gökkuşağı termal paletine eşdeğer renk kanallarına karşılık gelir. Kızılötesi görüntü görsel olarak termal bilgiyi temsil etse de, doğrudan sayısal bir sıcaklık matrisi değildir çünkü gösterilen renkler palet eşleme, ölçeklendirme, enterpolasyon ve görüntüleme koşullarına bağlıdır.
Bırakalım

kızılötesi görüntüleme sisteminden radyometrik kalibrasyon ve sıcaklık çıkarımı yoluyla elde edilen karşılık gelen yer-gerçeklik sıcaklık alanını belirtir.
Öğrenme amacı, eşlemeyi yaklaşık olarak gerçekleştirmektir

burada θ , CNN'in yönlendirilebilir parametrelerini, T̂ ise tahmin edilen sıcaklık alanını temsil eder. Bu denetli haritalamanın amacı sadece doğrudan radyometrik dönüşümü yeniden üretmek değil, aynı zamanda render edilmiş termografik görüntülerden mekansal olarak tutarlı bir sıcaklık regresyon modeli öğrenmektir. Doğrudan piksel bazında renk-sıcaklık çıkarımın aksine, CNN komşu bölgelerde bağlamsal termal yapıyı kullanabilir, gürültü duyarlılığını azaltabilir, sıcak nokta özelliklerini koruyabilir ve uygulanan difüzyon kısıtlamaları altında daha akıcı fiziksel olarak makul sıcaklık alanları üretebilir. Temel hedef fonksiyonu, tahmin edilen ve kalibre edilmiş sıcaklık alanları arasındaki piksel bazında regresyon hatasını en aza indirir:

burada Tij ve T̂ij , piksel konumunda (i, j) yer gerçeği ve tahmin edilen sıcaklıkları gösterir. Buna göre, çerçeve doğrudan radyometrik kalibrasyonun yerine fizik düzenli termografik regresyon modeli olarak yorumlanmalıdır.
Kızılötesi görüntü alma koşulları
Kızılötesi termografik görüntüler, açık hava trafo istasyonu çalışma koşullarında FLIR termal görüntüleme kamerası kullanılarak alındı. Veri seti, FLIR gökkuşağı renk paleti kullanılarak kaydedilmiş 640 × 480 piksel uzamsal çözünürlüğe sahip RGB termografik görüntülerden oluşuyordu. Her görüntü, alım çerçevesiyle ilişkili sıcaklık aralığını gösteren gömülü bir termal ölçek çubuğu içeriyordu. Termografik inceleme, transformatörler, burçlar, yalıtmacılar, konnektörler ve terminal yapıları dahil olmak üzere birçok yüksek gerilim ekipman kategorisini kapsadı. Görüntüler, hem standart termal davranışı hem de durum izleme uygulamalarıyla ilgili yerel sıcak nokta desenlerini içeren normal çalışma koşullarında çekildi. Görüntü alımı, genellikle saha termografisinde kullanılan pratik inceleme bakış açılarından gerçekleştirildi. Kamera yönü ve izleme açısı, ekipman erişilebilirliği ve trafo istasyon düzenine bağlı olarak değişiyordu. Termal görüntüler, hedef ekipmanının net bir şekilde gözlemlenebilir kalması ve sıcak nokta bölgelerinin arka plandan ayırt edilmesi için görsel olarak tarandı. Veri seti, ekipman kategorisi ve termal duruma göre etiketlenmiş klasörler halinde düzenlendi. Model geliştirmeden önce, görüntüler segmentlere ayrılmış ve sıcaklık alanı çıkarımı ile CNN eğitimi için tutarlı bir mekansal formata dönüştürülmüştür. Termografik görüntüler, sıcak nokta tespiti, hata tanımlama, anomalinin yerini belirleme ve sıcaklık alanı tahminini içeren bilgisayar görüşü ve derin öğrenme çalışmaları için uygun termal dağılımlar içerir. Mevcut çalışmada, kızılötesi görüntülerden çıkarılan termal profiller, fizik kısıtlı sıcaklık tahmini ve belirsizlik farkında termal değerlendirme için kullanılmıştır.
Termografik veri seti ve veri bölümleme
Bu çalışmada kullanılan veri seti, FLIR termal görüntüleme sistemi kullanılarak yüksek voltajlı trafo merkezi ekipmanlarından alınan 174 kızılötesi termografik görüntüdenoluşuyordu 15. Veri seti, pratik dış koşullarda çalışan transformatörler, burçlar, yalıtmacılar, konnektörler ve yüksek voltajlı terminal yapıları dahil olmak üzere çeşitli güç sistemi bileşenlerini içeriyordu. Her termografik görüntü, kızılötesi kameranın sağladığı radyometrik bilgilerle mekansal sıcaklık alanına dönüştürüldü. Veri seti, normal çalışma koşullarından yüksek termal stresle ilişkili yerel sıcak nokta bölgelerine kadar uzanan termal değişimler içerir. Veriler, eğitim, doğrulama ve test alt kümelerine bölündü; 70:15:15 bölünmesi ile sırasıyla 121, 26 ve 27 görüntü elde edildi. Bölünme, veri setinin farklı çalışma koşulları ve bakış açıları altında toplanmış bağımsız olarak yakalanan termografik sahnelerden oluşması nedeniyle görüntü düzeyinde gerçekleştirildi. Veri sızıntısı riskini azaltmak ve değerlendirme adaletini artırmak için alt kümeler arasında neredeyse tekrarlanan çerçevelerden kaçınmaya özen gösterildi. Tüm görüntüler eğitimden önce tekiz bir mekansal çözünürlüğe dönüştürüldü. Sıcaklık normalizasyonu, koşul değerlendirmesi için önemli olan göreceli termal gradyanları ve sıcak nokta özelliklerini korurken optimizasyonu stabilize etmek amacıyla uygulanmıştır.
Temel CNN mimarisi
Kızılötesi termografik görüntülerden sıcaklık alanı tahmini sırasında mekânsal çözünürlüğü korumak için tam konvolüsyon kodlayıcı–kodlayıcı regresyon mimarisi benimsenmiştir. Tüm giriş kızılötesi görüntüler eğitimden önce 256 × 256 × 3 arasında eşit bir çözünürlükle yeniden boyutlandırıldı. Kodlayıcı bölümü, özellik derinliği giderek artan dört konvolüsyon bloktan oluşuyordu. Her blok, 3 × 3 konvolüsyon katmanı içerir, ardından toplu normalizasyon ve ReLU aktivasyonu gelirdi. Mekansal aşağı örnekleme, yerel termal yapıları ve hotspot bilgilerini daha iyi korumak için maksimum havuzlama yerine çizgili konvolüsyonlar kullanılarak gerçekleştirildi. Kodlayıcı kanal ilerlemesi şuydu:
32 → 64 → 128 → 256
Kod çözücü bölümü, ters özellik ilerlemesi ile yukarı sümpsiyon için transpozize konvolüsyon katmanları kullanarak mekansal sıcaklık alanını yeniden inşa etti:
256 → 128 → 64 → 32
Her dekoder bloğu benzer şekilde transpozize edilmiş konvolüsyon, parti normalizasyonu ve ReLU aktivasyonu kullandı. Son 1 × 1 konvolüsyon katmanı, tahmin edilen tek kanallı sıcaklık haritasını oluşturdu:
T̂ ∈ R256×256
Bu nedenle ağ, kızılötesi giriş görüntüsüne karşılık gelen tam çözünürlüklü bir uzaysal sıcaklık alanı üretir. Belirsizlik niceliğini desteklemek için, p = 0.2 olasılıklı dropout katmanları darboğaz ve dekoder aşamalarına yerleştirildi. Çıkarım sırasında, kesinti aktif kaldı; bu da öngörücü belirsizlik tahmini için Monte Carlo örneklemesini mümkün kılmıştır. Tüm konvolüsyon ağırlıklar He-normal başlangıldama kullanılarak başlangıllaştırılırken, önyargı terimleri sıfıra başlatılır. Model, Adam optimizatörü kullanılarak 1 × 10−3 öğrenme oranı, parti büyüklüğü 8 ve ağırlık düşüşü 1 × 10−5 ile eğitilmiştir. Eğitim, RMSE doğrulamasına dayalı olarak kosinüs öğrenme hızı azalması ve erken durma kullanılarak 100 dönem boyunca gerçekleştirildi.
Temel hedef fonksiyonu şu şekilde tanımlanır:

burada Lverisi , tahmin edilen ve gerçek sıcaklık alanları arasındaki piksel ortalama kare hatasını gösterir.
Performans şu yöntemlerle değerlendirildi: R2, RMSE ve MAE.
Temel CNN genel termal yapıyı ve sıcak nokta dağılımını başarıyla yakalamış olsa da, zaman zaman düşük gradyanlı bölgelerde fiziksel olmayan artefaktlar ve keskin termal sınırlar yakınında hafif aşırı düzleşme üretmiştir. Bu sınırlamalar, sonraki model formülasyonunda difüzyon tabanlı fizik düzenlemesinin getirilmesini teşvik etti.
Fizik kısıtlı öğrenme difüzyon yoluyla
Yönetici ısı denklemi
Tahmin edilen sıcaklık alanında termal tutarlılığı sağlamak için, ısı denklemine difüzyon tabanlı bir fizik öncesi dahil edilmiştir. Yarı-sabit koşullarda, yüzey sıcaklığı yaklaşık olarak yetiştirir

burada T sıcaklığı gösterir, α termal difüzyonet, S ise yerel ısı oluşumunu temsil eder. Mevcut termografik örnekler, zaman çözünçüsüyle belirlenmiş diziler yerine tek denetim anlık görüntüleri olduğundan, zamansal türev doğrudan değerlendirilemez. Buna göre, model yerel yarı-sabit iletkenliği varsayır ve zorunlu kılar

aktif ısıtma bölgelerinden uzakta.
2D Laplacian, standart sonlu fark şablonu kullanılarak ayrıştırıldı:

Fizik kalıntısı daha sonra tahmin edilen sıcaklık haritası üzerinden şu şekilde hesaplandı

Görüntü sınırlarında belirsizlik önlemek için, Laplacian kalıntısı yalnızca geçerli iç piksellerde değerlendirildi; burada şablon tarafından gerekli tüm komşu değerler mevcuttur. Sıcak nokta bölgelerine açıkça maskeleme uygulanmadı, çünkü fizik teriminin amacı, termal olarak aktif bölgeleri bastırmak yerine tam uzaysal alanı düzenlemekti. Bu nedenle hotspot yapısı veri terimi aracılığıyla öğrenilirken, Laplacian cezası tahmin edilen harita boyunca yayılma tutarlı düzgünlüğü teşvik etti.
Son hedef fonksiyonu, veri kaybı ile fizik kaybını şu şekilde birleştirdi

burada λphys , fizik düzenlemenin gücünü kontrol eder. Ablasyon çalışmasında, fiziksel kısıtlama kuvvetinin artmasının etkisini değerlendirmek için λphys ∈ {0, 10−4, 10−3, 10−2, 10−1} incelendi. Orta dereceli veriler genellemeyi iyileştirirken, aşırı güçlü ağırlıklandırma keskin sıcak nokta gradyanlarını aşırı yumuşatıyordu. Bu davranış, fiziksel olarak düzgün bölgelerin lokal yüksek sıcaklık konsantrasyonlarıyla birlikte bulunduğu kızılötesi görüntülerde gözlemlenen termal yapılarla tutarlıdır.
Bu çalışmada kullanılan sabit durum difüzyon formülasyonunun, yüksek voltajlı ekipmanlarda sıcak nokta oluşumunu yöneten tam ısı transfer mekanizmasını temsil etmeyi amaçlamadığı vurgulanmalıdır. Pratikte, yerel aşırı ısınma, Joule ısıtması, temas direnci ve yalıtım bozulması gibi iç ısı üretim süreçlerinden kaynaklanır. Mevcut veri seti, zamansal bilgi veya kaynak ölçümleri olmayan anlık termografik görüntülerden oluştuğu için, difüzyon kısıtlaması fizikten esinlenen bir mekânsal düzenleme terimi olarak kullanılır. Rolü, yerel olarak pürüzsüz, fiziksel olarak makul sıcaklık alanlarını teşvik ederken hotspot özelliklerinin verilerden öğrenilmesine olanak sağlamaktır. Bu nedenle, önceki difüzyon öncesi, temel termal fiziğin kapsamlı bir modeli yerine uzamsal düzgünlük kısıtlaması olarak yorumlanmalıdır.
Öğrenilebilir termal dağılım ve kaynak-terim artırımı
Fiziksel yorumlanabilirliği artırmak için, etkili termal difüzyonite, eğitilebilir bir skaler parametre olarak ele alınmıştır. T̂(x, y) tahmin edilen sıcaklık alanını, α > 0 ise öğrenilebilir termal difüzyofeti belirtsin. Pozitifliği sağlamak için α, kısıtlamamış bir değişken ile parametre yapıldı β

Bu formülasyonda, fizik öncesi, R(x, y) etkin kalıntı zorlama alanı R(x, y) olarak yazılmıştır; burada R(x, y), modellenmemiş ısınma etkileriyle indüklenen saf difüzyondan yerel sapmayı temsil eder. Bu nedenle uyarlanabilir-dağılış ilişkisi şu şekilde ifade edilir:

Burada, ∇2T̂(x, y) tahmin edilen sıcaklık alanının Laplasienidir ve R(x, y) termografik verilerden örtük olarak çıkarılan etkili kalıntı kaynak terimidir. Mevcut örnekler zamanla çözülen termal diziler yerine anlık görüntüler olduğundan, R(x, y) ayrı olarak denetlenmez ve optimizasyon sırasında yalnızca gizli bir fizik büyüklüğü olarak hizmet eder. İlgili fizik kaybı şu şekilde tanımlanmıştır

Kaynak terimi artırılmış deney için, uzamsal kaynak haritası Ŝ(x, y)'yi tahmin etmek için yardımcı bir CNN başlığı eklenmiştir. Bu durumda, Ŝ(x, y) öngörülen yerel ısı üretim alanını temsil eder ve yönetici ilişki şöyle olur

Kaynak başlık, kodlayıcı darboğazına bağlanmıştı ve ortak gizli özellikleri tek kanallı çıkış haritası Ŝ(x, y)'ye eşleyen küçük bir konvolüsyon daldan oluşuyordu. Gerçek kaynak etiketleri mevcut değildi; bu nedenle, Ŝ(x, y) yalnızca ortak hedef aracılığıyla öğrenildi

burada Lveri sıcaklık regresyon kaybıdır, λphys difüzyon kısıtlamasını kontrol eder ve λs kaynak tahminini düzenleyerek önemsiz yüksek büyüklüklü kaynak haritalarını caydırır. Burada ele alınan anlık tabanlı ortamda, kaynak-terim formülasyonu yeterince belirlenmemiş ve tahmin doğruluğunu artırmamıştır.
Monte Carlo terk edilme belirsizlik niceliği için
Tahmin edilen sıcaklık alanında epistemik belirsizliği tahmin etmek için, çıkarım sırasında Monte Carlo dropout uygulanmıştır. 0.2 oranına sahip dropout katmanları, darboğaz bloğundan sonra ve CNN'in kod çözücü aşamalarına yerleştirildi. Test sırasında bu dropout katmanları aktif tutuldu ve her kızılötesi görüntü için 30 stokastik ileri geçiş yapıldı. k-y-nci stokastik geçiş için, tahmin edilen sıcaklık alanı şu şekilde gösterilir

burada X , giriş kızılötesi görüntüdür ve θk , kesilme sonucu indüklenen örneklenmiş ağ parametrelerini temsil eder. Öngörücü ortalama şu şekilde hesaplandı

ve piksel bazında öngörücü varyans şu şekilde elde edildi

K = 30 ile birlikte. Ortaya çıkan varyans haritası, daha düşük tahmin güvenine sahip uzamsal bölgeleri tanımlamak için kullanıldı. Termografik regresyon için gerçek belirsizlik etiketleri mevcut olmadığından, belirsizlik, kalibrasyona dayalı metrikler yerine piksel bazında varyans haritaları ve hotspot ile arka plan bölgeleri üzerinden hesaplanan özet istatistikler kullanılarak değerlendirildi. Nicel analiz, ortalama öngörücü standart sapmanın 13,046 °C olduğunu, sıcak nokta bölgesinin ise arka plan bölgesindeki 12,743 °C ile karşılaştırıldığında 15,934 °C ile daha yüksek standart sapma gösterdiğini gösterdi. Bu, arka plana göre sıcak nokta bölgelerinde belirsizlikte yaklaşık %25 artışa karşılık gelir. Bu sonuçlar, modelin özellikle sıcak nokta sınırları ve dik sıcaklık gradyanları çevresinde, termal yüzey görselleştirmelerinde gözlemlenen yapıyla tutarlı olan termal olarak karmaşık bölgelerde daha fazla belirsizlik ifade ettiğini göstermektedir. İş akışı, Şekil 3 ve 4'te özetlenmiştir ve genel CNN tabanlı işlem hattını gösterir.

Şekil 3: İş Akışı. Önerilen metodolojinin genel görünümü; termografik görüntü alımı, ön işleme, sıcaklık alanı çıkarımı, CNN eğitimi, fizik kısıtlı öğrenme ve belirsizlik ölçüsünü belirleme gibi yöntemler. Kısaltmalar; CNN = konvolüsyon sinir ağı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 4: Genel CNN tabanlı işleme hattı. Önerilen CNN çerçevesinin mimarisi, kızılötesi termografik görüntülerin mekânsal sıcaklık alanı tahminlerine dönüşümünü göstermektedir. Kısaltmalar; CNN = konvolüsyon sinir ağı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.