Endüstri 5.0'da Sürdürülebilir İmalat için Açıklanabilir Yapay Zeka Destekli Siber-Fiziksel İş Birliği

Özet

Bu çalışma, MIMII veri kümesi üzerinde endüstriyel akustik anomali tespiti için CNN-transformer ve SHAP kullanan, Açıklanabilir Yapay Zeka destekli bir Endüstri 5.0 siber-fiziksel iş birliği çerçevesi sunmaktadır. Uç bilişim entegrasyonu, yorumlanabilir ve insan merkezli kestirimci bakımı desteklemektedir.

Özet

Bu çalışmada, Endüstri 5.0 için açıklanabilir yapay zeka (XAI) tabanlı bir siber-fiziksel iş birliği sistemi kullanarak endüstriyel parçaların sürdürülebilir üretimine yönelik yenilikçi bir yaklaşım sunuyoruz. Mevcut siber-fiziksel insan sistemlerinin (CPHS'ler), yapay zekayı yalnızca sınırlı ölçüde entegre ettiği ve genellikle açıklanabilirlikten yoksun olduğu görülmüştür. Sonuç olarak, bu sistemlerin ölçeklenebilirliğinin ve esnekliğinin; Endüstri 5.0'ın temel ilkeleri olan dayanıklılık, uzun vadeli sürdürülebilirlik ve insan merkezli yaklaşım ile uyumlu hale getirilmesine ihtiyaç vardır. Bu eksiklikleri gidermek için, akıllı ve açıklanabilir karar verme süreçlerini mümkün kılmak amacıyla derin öğrenme ve açıklanabilir yapay zekayı Siber-Fiziksel Sistem (CPS) ekosistemine entegre eden bir mimari tanıtıyoruz. Spesifik olarak, akustik sinyallerden makine hata tespiti yapmak için Malfunctioning Industrial Machine Investigation and Inspection (MIMII) veri setini kullanıyoruz. Ses sinyalleri, spektrogram görüntüleri oluşturmak için spektral dönüşüme tabi tutulmakta; ardından bu görüntüler, uzaysal özellik çıkarımı için bir evrişimli sinir ağı (CNN) ve zamansal özellikler için bir transformer kodlayıcı tarafından işlenmektedir. Şeffaflığı artırmak ve insan-denetimli (human-in-the-loop) iş birliğini kolaylaştırmak için, Shapley additive explanations (SHAP) tabanlı yaklaşım, model tahminlerini etkileyen giriş özelliklerini vurgulayarak operatörlerin sistemin karar verme sürecini anlamasına yardımcı olur. Ek olarak, çerçeve, düşük gecikme ve düşük enerji tüketimi sağlarken zamanında yanıtlar sunmak için uç hesaplama tabanlı bir siber-fiziksel sisteme uygulanmış, böylece sürdürülebilir bir üretim ortamının sağlanmasına katkıda bulunulmuştur. Deneysel bulgular, önerilen CNN-Transformer mimarisinin %98,5 doğruluk oranına ulaştığını ve düşük gecikme süresini korurken mevcut CPHS sistemlerinden daha iyi performans gösterdiğini ortaya koymaktadır. Böyle bir siber-fiziksel iş birliği sisteminde açıklanabilir yapay zeka kullanımı, operatör güvenini önemli ölçüde artırmakta ve sorunsuz insan-makine iş birliğine olanak tanımaktadır.

Giriş

Teknoloji, mekanizasyon ve iletişimi vurgulayan Endüstri 4.0'dan; teknolojik ilerlemeyi adaptasyon yeteneği, sürdürülebilir kalkınma ve insan merkezli yaklaşımla birleştiren yeni Endüstri 5.0 modeline geçiş, endüstriyel sistemlerin dinamik evrimini etkilemiştir.^1,2Avrupa Komisyonu, Endüstri 5.0'ı yalnızca üretkenlik ve verimliliğe değil, aynı zamanda insan merkezlilik, sürdürülebilirlik ve dayanıklılık şeklindeki üç temel sütuna odaklanan bir paradigma olarak tanımlamaktadır. Güncel araştırmaların; yapay zeka sistemlerinin, insan-makine iş birliğinin ve sürdürülebilir üretimin Endüstri 5.0 ortamlarının temel itici güçleri olduğuna işaret ettiğini belirtmek önemlidir.^3,4Geleneksel bakım yöntemleri, bu gelişen endüstriyel ortamda artık yeterli değildir. Karmaşık ve istikrarsız bağlamlarda dayanıklılığı sağlamak için bakımın, daha uyarlanabilir ve sistemik bir forma evrilmesi gerekmektedir.⁵2011'den beri Endüstri 4.0, operasyonları iyileştirmek ve mevcut kaynakları maksimize etmek amacıyla işletmelerin dijital dönüşümünü teşvik ederek Avrupa'daki endüstriyel dönüşümün baskın modeli olmuştur.⁴Bu nedenle, işçi sağlığı ve güvenliğini korurken, üretimde insan emeğini ortadan kaldırmadan verimliliği artırmak zorunludur. Bu sebeple işletmeler ve akademisyenler, Endüstri 5.0 paradigmasının temel ilkelerini tanımlamaya başlamışlardır.^5,6,7kısmen Japonya'nın Toplum 5.0 kavramından hareketle^8,9,10,11Güncel literatürde sürdürülebilir bakıma verilen önemin artmasına rağmen, mevcut sistematik değerlendirmelerin çoğu parçalı veya alana özgü kalmaya devam etmekte; dayanıklılık, sürdürülebilirlik ve yapay zekayı entegre eden kapsamlı bir çerçeveden yoksun görünmektedir. Örneğin; yazarlar, sürdürülebilir toplam üretken bakım (STPM) dahil olmak üzere belirli sistemler veya stratejiler için sürdürülebilir bakım uygulamalarını incelerken, araştırmacılar sürdürülebilirlik temalarının bakım tekniklerine dahil edilmesinden bahsetmektedir.^12,13,14Yazar sürdürülebilirlik benimseme kriterlerine ilişkin kapsamlı bir değerlendirme yapmış ve imalatın olumlu bir sürdürülebilir etkiye sahip olmasını sağlayan teknolojik faktörleri vurgulamıştır¹⁵Buna rağmen, Endüstri 5.0 paradigması dahilinde; sürdürülebilirlik, dayanıklılık ve yapay zeka tabanlı karar verme süreçleri bu çalışmaların hiçbirinde tam olarak entegre edilmemiştir. Sonuç olarak, sürdürülebilirlik sıklıkla ayrı bakım yöntemleri ile ele alınmaktadır. SHAP, teorik olarak sağlam öznitelik atama yöntemi sayesinde diğer açıklanabilir yapay zeka (XAI) teknikleri arasında öne çıkmaktadır.^16,17,18.

Veriye dayalı karar verme süreci yapay zeka ile mümkün kılınmaktadır, ancak doğru modeller genellikle büyük miktarda veri gerektirir. Karar ağaçları, lojistik regresyon ve doğrusal regresyon gibi geleneksel makine öğrenmesi (ML) teknikleri, nispeten basit veri dağılımları varsaydıkları için yüksek derecede doğrusal olmayan durumlarda sıklıkla düşük performans göstermektedir¹⁹. Derin sinir ağları (DNN'ler), devasa veri kümelerinden karmaşık özellik temsillerini öğrenerek bu kısıtlamaları aşmaktadır²⁰. Çalışmalara göre, daha derin ağlar karmaşık karar verme görevlerinde genellikle sığ yapılardan daha iyi performans göstermektedir²¹, ancak artan derinlikleri ve parametre karmaşıklıkları modeli daha az yorumlanabilir kılmaktadır²².

Siber-Fiziksel Sistemler (SFS), dağıtık zekayı, gömülü bilgisayarları, fiziksel süreçleri ve iletişimi birleştirdiği için Endüstri 5.0 imalatı için kritik bir kolaylaştırıcı teknolojidir. Esnek, akıllı ve gerçek zamanlı endüstriyel operasyonları mümkün kılmak amacıyla, modern SFS'ler hızla uç bilişim, uç yapay zeka (edge AI) ve yeşil Nesnelerin İnterneti (G-IoT) ile entegre olmaktadır^23,24. Bakım 4.0 ve akıllı bakım üzerine yapılan güncel çalışmalarda sürdürülebilirlik ve dayanıklılık vurgulanmıştır. Önceki çalışmalar Bakım 4.0 teknolojisinin sürdürülebilir imalattaki önemini incelemiş ve sürdürülebilir bakım için modelleme çerçeveleri önermişken, bibliyometrik ve sistematik çalışmalar akıllı bakım teknolojilerini değerlendirmiştir^25,26,27,28. Diğer araştırmalar, sürdürülebilir bakımın Endüstri 4.0 ortamlarına ve sürdürülebilirlik odaklı üretim sistemlerine entegrasyonunu araştırmıştır^29,30,31,32. Operatör 4.0 kavramı³³, insan merkezli Endüstri 5.0 çerçeveleri³⁴ ve sosyoekonomik perspektifler³⁵, insan merkezli bakıma önemli bir ilgi çekmiştir. Ek olarak, dijital bakımdaki³⁶ ilerlemeler, kestirimci ve reçeteli bakım^37,38 ve sürdürülebilir bakım stratejileri^39,40 son çalışmalarda vurgulanmıştır. Bu ilerlemelere rağmen araştırmalar dağınık kalmış ve çok az sayıda çalışma açıklanabilir yapay zeka, sürdürülebilirlik, dayanıklılık ve insan merkezli siber-fiziksel iş birliğini entegre eden uyumlu bir paradigma sunmuştur. Siber-Fiziksel Sistemler (SFS'ler), artan yaygınlıklarına rağmen tam otonomiye ulaşmamıştır ve Endüstri 5.0 paradigması da bunu desteklememektedir. Öte yandan Endüstri 5.0; insan gözetimine, iş birliğine ve karar verme süreçlerine daha fazla önem vermektedir. İnsan düşüncesini ve iş birliğini siber-fiziksel süreçlere dahil eden, döngüde insan SFS'ler (HiLCPS'ler)⁴¹, İnsan Merkezli SFS'ler (HCPS'ler)^42,43 ve Siber-fiziksel insan sistemleri (CPHS'ler)⁴⁴ gibi siber-insan sistemleri, geleneksel SFS'leri genişletmektedir. Bu entegrasyon, akıllı sistemler ve insan operatörler arasında gerçek zamanlı iş birliğini sağlayarak adaptasyonu, şeffaflığı, güvenliği ve dayanıklılığı artırmaktadır^45,46.

Endüstriyel ses anomali tespiti; Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer ve öz-denetimli öğrenme dahil olmak üzere yeni mimarilerle büyük ölçüde geliştirilmiştir; ancak bunların Endüstri 5.0 için açıklanabilir siber-fiziksel sistemlerle entegrasyonu sınırlı kalmıştır. Açıklanabilirlik, uç cihaz dağıtımı ve insan-döngüde karar desteğinin tek bir çerçeveye entegre edilmemesi nedeniyle, mevcut araştırmalar öncelikle sınıflandırma doğruluğuna veya post hoc XAI tabanlı yorumlanabilirliğe odaklanmaktadır. Bu çalışma, sürdürülebilir Endüstri 5.0 imalatını mümkün kılmak ve bu kısıtlamaların üstesinden gelmek için uç bilişimi, zamansal bağımlılık modellemesini, SHAP tabanlı açıklanabilirliği, uzamsal özellik öğrenimini ve insan merkezli karar desteğini birleştiren özgün, Açıklanabilir YZ destekli bir CNN-Transformer siber-fiziksel iş birliği mimarisi önermektedir.

Bu nedenle, önemli bir araştırma eksikliği devam etmektedir. Mevcut CNN/Transformer tabanlı akustik anomali tespit teknikleri sınıflandırma performansına öncelik vermekte ancak siber-fiziksel iş birliği ve açıklanabilirlikten yoksun kalmaktadır. Endüstri 5.0 çerçeveleri, açıklanabilir derin öğrenme, uç zekası ve operatör destekli karar verme süreçlerini tek bir sistemde entegre etmeyen kavramsal insan merkezli modeller sunarken, XAI tabanlı kestirimci bakım teknikleri şeffaflığı artırmakta ancak CPHS mimarilerinden bağımsız olarak çalışmaktadır. Bu nedenle; hassas işitsel anomali tespiti, SHAP tabanlı açıklanabilirlik, uç cihaz destekli dağıtım ve döngüde insan (human-in-the-loop) iş birliğini entegre eden tek bir Endüstri 5.0 siber-fiziksel insan sistemine hâlâ ihtiyaç duyulmaktadır.

Bu makale, söz konusu kısıtlamaların üstesinden gelmek amacıyla Endüstri 5.0 için Açıklanabilir Yapay Zeka destekli, özgün bir CNN-Transformer siber-fiziksel iş birliği paradigması önermektedir. Önerilen mimari; uç hesaplama dağıtımını, CNN tabanlı uzamsal özellik çıkarımını, Transformer tabanlı zamansal bağımlılık öğrenimini, SHAP tabanlı açıklanabilirliği ve insan-döngüde (human-in-the-loop) karar desteğini tek bir CPHS çerçevesinde birleştirmektedir. Önerilen çerçeve, bu unsurları bağımsız olarak ele alan mevcut yöntemlerin aksine; sürdürülebilir imalat için anomali tespit performansını, model şeffaflığını, operasyonel verimliliği ve insan merkezli iş birliğini eş zamanlı olarak artıran entegre bir çözüm sunmaktadır.

Bu çalışmanın temel amacı, SHAP tabanlı açıklanabilirlik, uç hesaplama ve insan-döngüde karar desteğini hibrit bir CNN-Transformer tabanlı akustik anomali tespit yaklaşımıyla birleştirerek, sürdürülebilir Endüstri 5.0 imalatı için Açıklanabilir YZ destekli bir Siber-fiziksel insan sistemi (CPHS) oluşturmaktır. Özellikle, önerilen çerçeve, net ve anlaşılabilir öngörüler sunarak, etkili uç dağıtımı kolaylaştırarak ve akıllı sistemler ile insan operatörler arasında iş birlikli karar verme sürecini teşvik ederek anomali tespit doğruluğunu artırmayı hedeflemektedir. Yüksek tespit performansı, açıklanabilirlik, düşük gecikmeli çalışma ve insan merkezli siber-fiziksel iş birliğini eş zamanlı olarak gerçekleştiren bu entegre mimari; mevcut akustik anomali tespiti, XAI tabanlı kestirimci bakım ve CPHS çerçevelerindeki eksiklikleri gidermektedir.

Önerilen mimari, öncelikle sınıflandırma doğruluğuna odaklanan mevcut akustik anomali tespit tekniklerinin aksine, Endüstri 5.0 için birleştirilmiş, Açıklanabilir Yapay Zeka destekli bir Siber-fiziksel insan sistemi (CPHS) sunmaktadır. Tek bir mimari içerisinde CNN tabanlı uzamsal öznitelik çıkarımı, Transformer tabanlı zamansal modelleme, SHAP tabanlı açıklanabilirlik, uç bilişim ve insan-döngüde karar desteğini birleştirir. Önerilen mimari; hassas anomali tespitini, anlaşılabilir karar verme süreçleri ve gerçek zamanlı uç dağıtım ile kaynaştırarak şeffaflık, operatör yardımı ve siber-fiziksel iş birliği gibi temel sorunları ele almaktadır. Bu çalışmanın temel bilimsel katkısı, önerilen yaklaşımı yalnızca anomali tespiti, açıklanabilir yapay zeka veya Endüstri 5.0 çerçevelerine odaklanan önceki araştırmalardan ayıran sistem düzeyindeki entegrasyondur.

Protokol

Önerilen metodoloji, sürdürülebilir üretim süreçlerini desteklemek için açıklanabilir derin öğrenmeyi, uç bilişim ile etkinleştirilmiş bir siber-fiziksel iş birliği çerçevesiyle birleştiren sistem tabanlı bir Endüstri 5.0 Siber-fiziksel insan sistemi (CPHS) yaklaşımı kullanmaktadır. İlk olarak problem; mevcut CPHS çözümlerinin yapay zeka destekli zeka, açıklanabilirlik ve insan merkezli iş birliği eksikliği gibi belirli kısıtlamalarının tanımlanmasıyla ele alınmaktadır. Bu zorlukları gidermek için önerilen çözüm, akustik sinyal işleme kullanarak endüstriyel makine durum izlemesi için MIMII veri setinden yararlanmaktadır.

Önerilen çerçeve, öncelikle üretilen spektrogramların, farklı makine durumlarıyla ilişkili anlamlı frekans modellerini tanıyarak mekansal özellikleri çıkaran bir CNN modeline beslenmesiyle başlar. Çıkarılan mekansal özellikler dizilere dönüştürülecek ve öz-dikkat (self-attention) aracılığıyla zamansal bağımlılıkları yakalamak için bir transformer kodlayıcı modülüne aktarılacaktır. Dönüştürülmüş özellik temsili, daha sonra makine durumlarını normal veya anormal olarak sınıflandırmak için tam bağlantılı bir sınıflandırıcı modüle iletilir. Ayrıca, şeffaflığı sağlamak ve insan merkezli karar verme sürecini kolaylaştırmak amacıyla, model çıktısındaki anlamlı zaman-frekans bölgelerini seçerek tahminleri açıklamak için SHAP açıklanabilirlik yaklaşımı kullanılır. Tasarlanan model, düşük hesaplama gecikmesi ve enerji tüketimi ile gerçek zamanlı çıkarım yapılmasını sağlayan, uç cihaz destekli bir CPS ortamında uygulanacaktır. Ek olarak, insan operatörlerin açıklanabilirlik sonuçlarını kullanarak doğrulama yapabilmelerini sağlamak için bir insan-denetimli (human-in-the-loop) şema entegre edilecektir. Performans; doğruluk, kesinlik, duyarlılık ve F1-skorunun yanı sıra gecikme ve enerji verimliliği gibi diğer sistem düzeyi metrikler kullanılarak doğrulanır.

Önerilen çerçeve, Endüstri 5.0 bağlamında sürdürülebilir imalat için XAI güdümlü bir CPHS mekanizmasıdır ve iş akışı, Şekil 1'de gösterildiği gibi, veri toplama aşamasından akıllı karar verme ve yürütme aşamasına kadar uzanan bir boru hattı şeklinde sunulmuştur. Veri toplama prosedürünün başlangıç aşamasında, MIMII dahil olmak üzere veri setleri kullanılarak motorlar, pompalar ve rulmanlar gibi endüstriyel makinelerden ses sinyalleri toplanır. Bu şekilde elde edilen veri sinyalleri, filtreleme, normalizasyon ve segmentasyona tabi tutuldukları veri ön işleme olarak adlandırılan bir sonraki aşamaya aktarılır. Segmentlere ayrılmış veri sinyalleri, son olarak özellik temsil katmanında kısa zamanlı Fourier dönüşümü (STFT) kullanılarak bir spektrograma dönüştürülür.

Ardından, yapay zeka model katmanı, CNN modülü aracılığıyla spektrogram görüntülerinden öznitelikler çıkararak uzamsal kalıpları ve anomalileri tanımlar. Daha sonra, çıkarılan öznitelikler yeniden şekillendirilir ve öz-dikkat (self-attention) mekanizmaları aracılığıyla zamansal bağımlılıkları ve uzun menzilli ilişkileri öğrenen transformer kodlayıcısına (encoder) aktarılır. Elde edilen öznitelik vektörleri, sınıflandırma katmanı kullanılarak normal veya anormal olarak sınıflandırılır. Tahmin sürecinde şeffaflığı sağlamak için, açıklanabilirlik katmanı, spektrogramdaki anlamlı zaman-frekans bölgelerini vurgulamak amacıyla SHAP kullanır.

Ayrıca, operatörlerin model sonuçlarını yorumladığı ve geri bildirim sağladığı bir insan-denetimli süreç bulunmaktadır. Dağıtım katmanında model, hızlı çıkarım ve düşük güç tüketimi sağlayan kenar tabanlı bir CPHS altyapısı üzerinde çalışırken, isteğe bağlı olarak depolama gereksinimleri veya gelişmiş analitikler için bulut sistemleriyle etkileşime girer. Genel olarak bu çerçeve; Endüstri 5.0 gereksinimleri doğrultusunda doğru hata tespiti, açıklanabilirlik ve verimli gerçek zamanlı çalışma sağlar.

Problem tanımı ve gereksinim analizi

Endüstri 5.0 ortamlarındaki siber-fiziksel insan sistemleri (CPHS), zeka, sürdürülebilirlik ve insan merkezli olma vaadinde bulunmaktadır. Yine de, CPHS oluşturmaya yönelik güncel çerçeveler; gelişmiş yapay zeka destekli yeteneklerin, açıklanabilirliğin ve insan-makine iş birliği için yeterli desteğin eksikliği nedeniyle kısıtlanmaktadır. Nitekim geleneksel CPHS'ler, kural tabanlı veya yorumlanamayan modellere dayanmaktadır; bu durum, değişen endüstri koşullarına adaptasyonu engellemekte ve operatörlerin otomasyona olan güvenini sınırlamaktadır. Ayrıca geleneksel CPHS'ler, kestirimci bakım için önemli olan ve hem uzamsal (örneğin frekans) hem de zamana bağımlı bileşenler içeren endüstriyel akustik sinyaller gibi oldukça karmaşık verileri etkili bir şekilde analiz edememektedir. Bu nedenle, makine anomalilerini yüksek hassasiyetle tespit edebilen, açıklamalar sunabilen ve uç birimde (edge) çalışabilen, böylece CPS'yi etkinleştiren bir çerçeve oluşturmak gereklidir.

Burada x(t) akustik giriş sinyali, S(f,t) sinyalin spektrogram gösterimi,  etiket ve θ CNN-Transformer mimarisinin parametre setidir. Sonraki denklemlerde kullanılan semboller, matematiksel doğruluğu korumak amacıyla ilk göründükleri yerin hemen ardından tanıtılmıştır.

Matematiksel bir bakış açısıyla, görev denetimli bir öğrenme problemi olarak formülize edilebilir. Endüstriyel akustik sinyal x(t ile gösterilsin. x(t)'nin STFT'si şu formüle göre hesaplanır:

   (1)

burada ω(.) pencere fonksiyonu ve f frekanstır. Oluşturulan spektrogram  derin öğrenme algoritması için girdi görevi görür. Amaç, eşleme fonksiyonunu eğitmekle

    (2)

burada  sınıf etiketi (normal veya anormal), S spektrogram girdisi, y öngörülen çıktı etiketi ve θ CNN-Transformer mimarisinin öğrenilebilir parametreler kümesidir. Optimizasyon problemi, sınıflandırma kaybının minimize edilmesi olarak formüle edilmiştir:

  (3)

minimum gecikme , enerji verimliliği ve yorumlanabilirlik kısıtlamalarına tabi olmak üzere, burada ∅(SHAP) açıklaması tahmin sürecindeki özelliklerin önemini kapsar,

   (4)

burada  her bir bireysel özelliğin katkısıdır. Yukarıdakilerle uyumlu olarak, tasarım gereksinimleri şunları içerir: (i) hibrit derin öğrenmeye dayalı güvenilir anomali tespiti, (ii) insan müdahalesi için yorumlanabilir çıktılar ve (iii) kenar destekli bir CPS çerçevesinde uygulama.

Veri seti edinimi ve ön işleme

Bu bağlamda, önerilen Açıklanabilir Yapay Zeka tabanlı CPHS çerçevesini değerlendirmek için MIMII Veri Kümesi¹³ seçilmiştir. Bu veri kümesi, akustik sinyaller kullanarak endüstriyel makinelerdeki anomalileri tespit etmek için yaygın olarak kullanılan bir kıyaslama ölçütüdür. Bu veri tabanı; kızaklı raylar, fanlar, pompalar ve valfler gibi çeşitli makinelerin hem normal hem de hatalı çalışma koşulları altındaki ses kayıtlarını içermektedir. Her makine için kayıtlar, farklı ayarlara ve gürültü ortamlarına göre değişiklik göstermektedir. Bu durum, veri kümesini gerçek zamanlı endüstriyel koşullar altında modelleri eğitmek ve değerlendirmek için uygun kılmaktadır.

MIMII veri seti, eğitim sırasında yalnızca normal örneklere dayanan denetimsiz anomali tespit çalışmalarında yaygın olarak kullanılsa da, hem normal hem de anormal makine durumlarının açık etiketlerini içermektedir. Problem, önerilen Açıklanabilir YZ tabanlı CNN-Transformer mimarisinin sağlıklı makine durumlarını arızalı olanlardan ayırma yeteneğini test etmek amacıyla denetimli bir ikili sınıflandırma görevi olarak kurgulanmıştır. Spesifik olarak, normal örneklere 0 sınıf etiketi ve anormal örneklere 1 sınıf etiketi atayan resmi MIMII etiketleri kullanılmıştır.

Tablo 1, Veri Kümesi Açıklama Detaylarını göstermektedir. Mevcut araştırmada, hem normal hem de hatalı makine operasyonlarını içeren yaklaşık 12.000 akustik sinyal kaydı değerlendirilmiştir. Gereksinimler uyarınca, bu çalışmadaki tüm kayıtlar 16 kHz örnekleme hızıyla alınmış olup 10 s uzunluğundadır. Veri kümesi yaklaşık 12.000 kayıt içerse de, yalnızca konfüzyon matrisini görselleştirmek amacıyla 2.000 test kaydından oluşan sınıf-dengeli bir alt küme seçilmiştir. Rapor edilen tüm performans metrikleri, tam test seti (yaklaşık 2.400 kayıt) kullanılarak hesaplanmıştır. Ayrıca, model eğitimi için eğitim ve test örnekleri 80:20 oranında ayrılmıştır. Bu veri tabanı, gerçek zamanlı gürültü koşullarını içermesi nedeniyle Endüstri 5.0 uygulamaları için oldukça uygundur. Bu çalışmada kullanılan kayıt dağılımı Tablo 2'de verilmiştir. Bu veri kümesinden, 80:20 eğitim/test ayrımı kullanılarak gözetimli ikili sınıflandırma deneyleri için tüm makine tiplerini ve sinyal-gürültü oranı (SNR) koşullarını kapsayan yaklaşık 12.000 kayıt seçilmiştir; tablo, endüstriyel makine tiplerini, karşılık gelen makine ID'lerini, normal ve anormal akustik kayıtların toplam sayılarını, SNR koşullarını ve gözetimli ikili sınıflandırma için kullanılan deneysel eğitim/test bölümlemesini göstermektedir.

Deney, fanlar, pompalar, vanalar ve kızak rayları olmak üzere dört tip endüstriyel makineden oluşan MIMII (Malfunctioning Industrial Machine Investigation and Inspection) veri setinin 1.0 versiyonu kullanılarak gerçekleştirilmiştir. Veriler, farklı makine kimliklerinden (makine tipine bağlı olarak ID00–ID06) ve farklı koşullardan toplanmıştır. MIMII veri tabanı, −6 dB, 0 dB ve +6 dB sinyal-gürültü oranlarında (SNR) elde edilen verileri içermektedir. Normal veriler endüstriyel makinenin sağlıklı durumunu, anormal veriler ise anormal bir durumu temsil etmektedir. Sınıflar veri tabanı açıklamalarına göre etiketlenmiş; normal veriler sınıf 0, anormal veriler ise sınıf 1 olarak tanımlanmıştır.

Adil bir değerlendirme prosedürü, eğitim ve test setleri arasındaki ayrımın; herhangi bir bölme, veri artırma veya spektrogram oluşturma adımından önce, orijinal ses kaydı düzeyinde yapılmasını gerektirmiştir. Sonuç olarak, aynı kayda ait ses segmentleri hem eğitim hem de test setlerinde aynı anda yer alamamıştır. Değerlendirme deneyi için, farklı sinyal-gürültü oranlarına (−6 dB, 0 dB ve +6 dB) sahip kayıtlar kullanılmış; bu durum, önerilen çerçevenin çeşitli endüstriyel koşullar altında değerlendirilmesi için bir fırsat sağlamıştır.

Veri sızıntısını önlemek için, eğitim/test ayrımı, herhangi bir segmentasyon veya spektrogram üretimi yapılmadan önce, orijinal ses dosyası temel alınarak gerçekleştirilmiştir. Aynı 10 s'lik ses kaydından alınan segmentler, her iki kümede de segment bulunmayacak şekilde, yalnızca eğitim veya test setlerinden birine atanmıştır. Ardından, her bir veri seti için spektrogramlar ayrı ayrı üretilmiş ve artırılmıştır. Bu sayede veri sızıntısı sorunu önlenmiş ve böylece performansın aşırı iyimser bir şekilde değerlendirilmesinin önüne geçilmiştir.

Veri kümesi ön işleme

MIMII veri setinden alınan işlenmemiş akustik sinyaller, sinyal kalitesini artırmak ve etkili özellik çıkarımı sağlamak amacıyla işlenir. Giriş sinyali, t zamanı temsil edecek şekilde x(t) ile gösterilir. İlk işlem, arka plan gürültülerinin aşağıdaki filtreleme fonksiyonu kullanılarak filtrelendiği gürültü filtrelemedir:

   (5)

burada ∗ konvolüsyon işlemini ve h(t) filtrenin impuls yanıtını temsil eder. Bu işlem, akustik sinyalin netliğini artırır ve endüstriyel ortamlarda sıklıkla görülen gürültü etkilerini minimize eder. Sinyal normalizasyonu, tüm ses sinyallerinin genliklerinin derin öğrenme modeline beslenmeden önce karşılaştırılabilir olduğundan emin olmak için kullanılır. x_n(t) ile gösterilen normalize edilmiş sinyal şu şekilde hesaplanır:

   (6)

burada  μ ve  σ sırasıyla giriş sinyalinin ortalama değeri ve standart sapmasıdır. Bu prosedür sayesinde tüm giriş sinyallerinin sıfır ortalamaya ve birim varyansa sahip olması garanti edilir. Son olarak, işlem için normalize edilmiş giriş sinyali birden fazla küçük parçaya bölünür. Tüm sinyalin uzunluğunun T olduğu varsayıldığında, kayan pencere fonksiyonu kullanılarak her biri L uzunluğunda olan N adet örtüşen çerçeveye ayrıştırılır:

   (7)

burada H sıçrama boyutudur. Spektrogram aşağıdaki formülle tanımlanabilir:

   (8)

Bu şekilde elde edilen spektrogramlar, başarılı anomali tespiti için mekansal ve zamansal özellikleri çıkarmak amacıyla CNN-transformer tabanlı çerçeveye aktarılır. Şekil 2, ön işleme iş akışını göstermektedir.

Şekil 2, endüstride elde edilen akustik veriler için kullanılabilecek dikey bir ön işleme hattını göstermektedir. İlk olarak, ham ses sinyalleri MIMII veri setinden çıkarılır ve gürültüyü azaltmak için gürültü giderme aşamasına aktarılır. Bunu, genlik tutarsızlıklarını gidermek ve sinyalin tutarlı olmasını sağlamak amacıyla sinyalin normalleştirilmesi takip eder. Sinyal daha sonra birbirini kısmen örten daha küçük bölümlere ayrılır. Segmentasyonun ardından, zaman alanındaki sinyalleri zaman-frekans sinyallerine dönüştürmek için verilere STFT dönüşümleri uygulanır. Ardından, sinyalin spektrogramı oluşturma işleminin bir parçası olarak güç spektrumu hesaplanır. Böylece, ön işlemden geçmiş spektrogramlar bu sürecin çıktısı olacak ve önerilen CNN-transformer modelinde kullanılacaktır.

Spektrogram oluşturma

Veri normalizasyonu ve segmentasyonun ardından, akustik sinyaller Kısa Zamanlı Fourier Dönüşümü (STFT) kullanılarak zaman-frekans gösterimine dönüştürülür. Elde edilen spektrogram, analiz süresi boyunca frekans bileşimindeki değişimlerin görsel bir temsilini sunar. Endüstriyel ortamlarda, makine arızaları genellikle frekans paternleri şeklinde ortaya çıkar; bu durum, spektrogramları makine anomalilerini tespit etmek için daha kullanışlı hale getirir.

Sonuç olarak, işlenmiş veriler makinelerdeki normal ve anormal durumları ayırt etmek için spektrogram görüntülerine dönüştürülür. Ses verileri, öğrenme modelinin makine süreci içindeki yerel frekans bileşenlerini ve zamansal değişimleri analiz edebilmesi için birden fazla spektrograma dönüştürülecektir. Bu görüntüler, CNN'in uzamsal (frekans) desenleri, Transformer'ların ise zamansal ilişkileri yönettiği CNN-transformer modeline girdi verisi olarak kullanılır.

Algoritma 1: Akustik Sinyallerden Spektrogram Oluşturma

Giriş: Ham ses sinyali x(t)

Çıktı: Spektrogram S(t, f)

Adım 1: Ses sinyalini yükleyin  x(t)

Adım 2: Gürültü filtreleme uygulayın

Adım 3: x_n(t) sinyalini normalize edin

Adım 4: Sinyali karelere ayırın:

k = 1 den N'e kadar döngü için

döngü sonu

Adım 5: Her segmente bir pencere fonksiyonu w(t) uygulayın

Adım 6: STFT'yi hesaplayın:

  (9)

Adım 7: Büyüklüğü hesaplayın:

   (10)

Adım 8: Spektrogram S(t, f) değerini saklayın

Adım 9: Spektrogram veri setini döndürün 

Spektrogram oluşturma işlemi, orijinal ses sinyalinin elde edilmesiyle başlar ve ardından sinyal bütünlüğü ile kalitesini sağlamak için gürültü azaltma ve sinyal normalizasyonu gibi ön işleme adımları takip edilir. Bundan sonra, normalize edilmiş ses, hem uzun hem de kısa süreli dönemlerin zamansal özelliklerini yakalamak için birden fazla örtüşen pencereye bölünür. Spektral sızıntıyı önlemek için, her bir dilim Kısa Zamanlı Fourier Dönüşümü'ne gönderilmeden önce bir pencere fonksiyonu ile çarpılır. Ardından, dönüştürülen sinyal frekans düzleminde karmaşık değerli bir fonksiyon olarak temsil edilir ve genliklerinin karesi alınır. Böylece, belirli bir zaman dilimindeki frekansların enerjisi spektrogramlar ile temsil edilmiş olur. Son olarak, bunlar görüntü benzeri veriler olarak saklanır ve eğitim için sinir ağına beslenir.

CNN kullanarak uzamsal özellik çıkarımı

Spektrogramların oluşturulma sürecinin ardından, çıktı olan zaman-frekans görüntüleri girdi olarak alınır ve bir Evrişimli Sinir Ağına (CNN) aktarılır. Girdi spektrogramı, H frekans domaini ve W zaman domaini olmak üzere şeklinde kabul edilir. Burada CNN kullanmanın amacı, girdi spektrogramından ayırt edici uzamsal özellikleri öğrenmektir. Bu ayırt edici uzamsal özellikler, endüstriyel bir ortamdaki normal ve anormal makine davranışlarının birbirinden ayırt edilmesine yardımcı olacaktır.

Evrişimli Sinir Ağları (CNN) tarafından gerçekleştirilen temel bir işlem evrişimdir. Verilen bir filtre ile yapılan evrişim  şu şekilde ifade edilir:

   (11)

Yukarıda açıklanan işlem, sinir ağının spektrogramdaki kenarlar, frekanslar ve harmonik içerik gibi yerel mekansal özellikleri tanımlamasını sağlar. Bu, çeşitli özellik temsilleri oluşturan ve birden fazla özellik haritası üreten çoklu filtre işlemleri aracılığıyla gerçekleştirilir. Konvolüsyonu, aşağıda gösterildiği gibi doğrusal olmayan bir aktivasyon fonksiyonu takip eder:

  (12)

Bu doğrusal olmama durumu, ağın değişkenler arasındaki karmaşık ilişkileri yakalamasına ve temsil etmesine olanak tanır. Bir evrişimli sinir ağındaki bir sonraki aşama, havuzlama işlemlerinin uygulanmasını içerir. Yaygın bir teknik olan maksimum havuzlama (max pooling) matematiksel olarak şu şekilde ifade edilir:

   (13)

burada Ω, havuzlama penceresini ifade eder. Havuzlama, çeviri değişmezliğinin sağlanmasına yardımcı olur ve gereksiz bilgileri ayıklarken yalnızca ilgili bilgileri korur. Frekanslar gibi düşük seviyeli değişkenlerden karmaşık makine davranışlarına kadar, evrişimli bir sinir ağı kullanılarak yüksek seviyeli özellikler hiyerarşik olarak çıkarılabilir. Sonuç olarak, özellik haritaları ağın nihai çıktısını betimlemek için kullanılabilir:

   (14)

burada CNN'in öğrenilebilir parametrelerini temsil eder. Özellik haritaları zengin uzamsal bilgiler içerir ve sonraki aşamada transformer kodlayıcısına girdi sağlamak amacıyla dizilere dönüştürülür. Yukarıda açıklanan uzamsal özellik çıkarma işlemi, modelin endüstriyel akustik sinyallerdeki küçük anomalileri tespit edebilmesini sağlamak açısından kritik öneme sahiptir.

Şekil 3, bir CNN modeli kullanılarak spektrogram girdisinden mekansal özelliklerin yatay olarak nasıl çıkarıldığını göstermektedir. Süreç, ses sinyalinin zaman-frekans özelliklerini resimsel bir formda kodlayan girdi spektrogramı ile başlar. Girdi spektrogramı daha sonra, çeşitli filtre türlerinin frekans bantları, kenarlar ve dokular gibi mekansal özellikleri çıkararak özellik haritaları ürettiği bir konvolüsyonel katmandan geçirilir. Ardından, çıkarılan özellik haritaları, sinir ağının girdi verilerindeki bağımlılıkları tespit etmesini sağlayan doğrultulmuş doğrusal birim (ReLU) adlı doğrusal olmayan bir aktivasyon fonksiyonuna tabi tutulur. Özellik haritaları daha sonra, en önemli karakteristiklerini koruyarak harita boyutunun küçültüldüğü bir havuzlama katmanından geçirilir. Konvolüsyonel, aktivasyon ve havuzlama katmanlarından oluşan bu süreç birden fazla kez tekrarlanarak, basit özelliklerle başlayan ve makine operasyonlarıyla ilgili daha karmaşık özelliklere doğru evrilen bir özellik temsil hiyerarşisi oluşturur.

Bir transformer kodlayıcı kullanarak zamansal modelleme

CNN kullanılarak uzamsal özellikler çıkarıldıktan sonraki adım, spektrogramdan öğrenilen frekans tabanlı modelleri yakalayan üst düzey özellik haritaları elde etmektir. Ortaya çıkan özellik haritaları daha sonra düzleştirilir ve akustik sinyaldeki zamansal bilgileri yakalamak için diziler şeklinde yeniden şekillendirilir. Özellik haritalarının ile temsil edildiği varsayıldığında (burada H', W', ve C sırasıyla yükseklik, genişlik ve kanalları ifade eder), şu dizi elde edilir:

    (15)

burada T dizi uzunluğunu ve d ise özellik boyutunu temsil eder. Transformer, ardından kendi kendine dikkat (self-attention) mekanizmasını kullanarak uzun vadeli bağımlılıkları modellemek için yukarıdaki diziyi kullanır. Geleneksel yinelemeli modellerin aksine, transformer modeli dizinin her bir öğesini paralel olarak işler ve her bir parçanın göreceli önemini belirlemek için dikkat ağırlıklarını kullanır. Dikkat mekanizması, her bir giriş x_t için aşağıdaki şekilde oluşturulan Sorgu Q, Anahtar K ve Değer V vektörlerini kullanarak çalışır:

   (16)

burada W_Q, W_K, W_V eğitilebilir ağırlıklardır. Öğeler arasındaki benzerlikler şu şekilde belirlenir:

   (17)

d_k önemli vektörlerin boyutudur. Bu prosedür, modelin sinyaldeki uzak zaman adımlarından bağımlılıkları öğrenmesini ve yalnızca ilgili zaman segmentlerine odaklanmasını kolaylaştırır. Ağın öğrenme kapasitesini artırmak için, birkaç dikkat başlığının girdiden paralel olarak öğrendiği işlem olan çok başlı dikkat (multihead attention) kullanılır:

  (18)

Her bir baş, zamansal giriş dizisinin farklı özelliklerine odaklanır. Bunu, ileri beslemeli sinir ağları ve artık bağlantılar takip eder:

   (19)

Elde edilen kodlanmış dizi, girdinin hem mekansal hem de zamansal özelliklerini yakalar. Bu dizi, anomalileri tespit etmek üzere sınıflandırıcı katmana gönderilir.

Şekil 4, CNN'den çıkarılan özellikler üzerinde bir transformer kodlayıcı (encoder) kullanılarak yapılan zamansal modellemenin genel sürecini göstermektedir. İlk olarak, CNN'den çıkarılan ve spektrogramdan elde edilen uzamsal bilgileri içeren özellik haritaları kullanılır. Özellik haritaları, her bir öge bir zaman damgasına karşılık gelecek şekilde bir diziye düzleştirilir. Ardından dizi, verileri belirli boyutlardaki vektörlere eşleyen doğrusal bir dönüşümden geçer. Transformer modellerinin zamansal bağımlılıkları yakalama yeteneği olmadığı için, dizinin zamansal yapısını korumak amacıyla gömme (embedding) vektörlerine konumlandırma kodlaması (positional encoding) eklenir. Son olarak dizi, modelin dizideki zaman damgaları arasındaki bağlantıları öğrenmesini sağlamak için çok kafalı öz-dikkat (multi-head self-attention) mekanizmasının kullanıldığı, birden fazla katmanın üst üste bindiği bir transformer kodlayıcıdan geçer. İleri beslemeli sinir ağı bu gömmeleri daha da geliştirirken, artık bağlantılar (residual connections) gradyanların verimli bir şekilde yayılmasını sağlar. İşlem, giderek daha karmaşık zamansal etkileşimleri yakalayan üst üste yığılmış transformer kodlayıcı katmanları boyunca tekrarlanır. Son aşamada, dizi gömmeleri havuzlama (örneğin, ortalama havuzlama veya sınıflandırma belirteci (CLS)) yoluyla sabit uzunluklu bir temsile dönüştürülerek küresel bir zamansal özellik temsili elde edilir.

Sınıflandırma katmanı

Transformer kodlayıcı ile zamansal kodlama yapıldıktan sonra, çıktılar, her biri giriş sinyalinin hem mekansal hem de zamansal yönleriyle ilgili özelliklere sahip kodlanmış vektörlerden oluşan bir dizi olacaktır. Kodlanmış çıktılardan sınıflandırmaya giden ilk adım, tüm bu özelliklerin tek bir vektörde toplanmasıdır. Bu, ya özellik vektörleri dizisine ortalama havuzlama (mean pooling) uygulayarak ya da "sınıflandırma token'ı" (classification token) olarak adlandırılan yöntem kullanılarak gerçekleştirilir. Transformer çıktısının olduğunu ve her birinin olduğunu varsayalım. Toplanan özellik h şu şekilde hesaplanır:

   (20)

Ardından, birleştirilmiş öznitelik vektörü h, girdiyi kompakt bir biçimde temsil eder ve sınıflandırıcının girdisi olarak hizmet eder. Sınıflandırma bölümü, öğrenilen temsili çıktı alanına dönüştüren bir veya daha fazla yoğun katmandan oluşur. Bir yoğun katman, aşağıdaki şekilde tanımlanan bir dönüşümü uygular:

   (21)

burada o çıktıyı (logitler), b sapma (bias) vektörünü ve W ağırlık matrisini temsil eder. Bunlar, normalleştirilmemiş formdaki sınıf skorlarıdır. Modele doğrusal olmayan özellikler katmak için genellikle ReLU gibi aktivasyon fonksiyonları kullanılır. Son olarak, her bir sınıf için bir olasılık elde etmek amacıyla logitlere bir softmax aktivasyon fonksiyonu uygulanır:

   (22)

burada C, sınıf sayısını temsil eder (C = 2; normal ve anormal). Sınıf tahmini, maksimum olasılık değerine göre yapılacaktır. Eğitim sırasında, gerçek ve tahmin edilen etiketler arasındaki çapraz entropi kaybı minimize edilerek model parametrelerinin optimal değerleri elde edilir ve böylece makine durumlarının doğru sınıflandırılması sağlanır. Özetle, sınıflandırma katmanı, Transformer mimarisi kullanılarak çıkarılan zamansal özelliklerin pratik kararlara dönüştürülmesinde temel bir işlev görür. Sağlıklı ve arızalı makine durumları arasında doğru ayrım yapılarak, Endüstri 5.0 paradigması dahilinde anomali tespiti ve akıllı karar verme süreçleri mümkün hale gelir.

Şekil 5, transformer Encoder'dan sonra gelen sınıflandırma katmanının nasıl çalıştığını göstermektedir. Süreç, her bir vektörün girdiden öğrenilen zamansal bilgiler içerdiği kodlanmış sekans çıktısı ile başlar. Bu vektörler, global özellik vektörü olarak bilinen tek bir vektörde birleştirilir. Bir sonraki adım, global özellik vektörünü birkaç yoğun sinir ağı katmanından geçirmektir. Her yoğun katmanda, girdilerin doğrusal kombinasyonlarını oluşturmak için matris çarpımı işlemleri gerçekleştirilir. Bundan sonra, karar sınırlarının öğrenilmesindeki esnekliği artırmak için ReLU gibi doğrusal olmayan bir aktivasyon fonksiyonu uygulanabilir. Son yoğun katmanın sonunda, her sınıf için logit skorları bulunur. Bu logit skorları, her sınıf için olasılık skorlarını hesaplamak amacıyla Softmax fonksiyonunda kullanılabilir. Bu olasılık skorları, girdinin Sınıf 0 (Normal) veya Sınıf 1 (Anormal) kategorisine ait olup olmadığını belirlemek için kullanılır.

SHAP kullanılarak açıklanabilirlik

Model giriş sinyallerini sınıflandırdıktan sonra, makinenin normal veya anormal çalışıp çalışmadığına göre tahminler oluşturulur. Bununla birlikte, Endüstri 5.0 ortamında sadece tahminler üretmek yeterli değildir; sistemin, insan karar verme sürecini desteklemek için şeffaflık ve açıklanabilirlik de sağlaması gerekir. Aşağıdaki çerçeve, tahminin belirlenmesinde her bir özelliğin önemini nicelleştiren oyun teorisi tabanlı bir model olan SHAP'ı kullanmaktadır. Bu sayede SHAP, özelliklere ağırlıklar atayarak spektrogram girişinin farklı bölümlerinin genel tahmin üzerindeki göreceli öneminin değerlendirilmesine olanak tanır.

SHAP'in matematiksel formülasyonu, f(x) modelinin bir ayrıştırmasına dayanmaktadır:

   (23)

burada ∅₀ temel değer (ortalama model çıktısı), ∅_i i-inci özelliğin etkisi ve M giriş özelliklerinin sayısıdır. Bu çalışmanın amacı doğrultusunda özellikler, spektrogramdaki zaman-frekans kutucuklarıdır. SHAP değerleri, anormal durum olasılığına katkıda bulunuyorlarsa pozitif, aksi takdirde negatiftir. Bu formülasyon, her tahmin için benzersiz ve yerel olarak tutarlı bir açıklama garanti eder. SHAP yöntemi, özellik önemine dayalı bir açıklama sağlamak için eğitilmiş bir CNN-transformer modeline uygulanabilir. Görsel temsil, spektrogramda karar verme sürecini etkileyen en önemli zaman-frekans kutucuklarını gösterecektir. Örneğin, ekipmanın anormal davranışı, SHAP çerçevesinin karar sürecine önemli katkı sağlayanlar olarak tanımladığı belirli yüksek enerjili frekans bantlarıyla sonuçlanabilir.

Ek olarak SHAP, siber-fiziksel bir ortamda insanlar ve makineler arasındaki iş birliğini geliştirebilir. Bunun nedeni, tahminlerin sezgisel görseller kullanılarak açıklanabilmesi sayesinde operatörlerin ve karar verme sistemlerinin tahminleri doğrulamasına, problemi analiz etmesine ve uygun adımları atmasına olanak tanımasıdır. Bu durum yalnızca güveni artırmakla kalmaz, aynı zamanda yapay zeka tabanlı üretim süreçlerini güvenilir ve hesap verebilir hale getirir. Güncel performans standartlarını karşılayan derin öğrenme algoritmalarının, açıklanabilirlik sağlayan SHAP ile entegre edilmesiyle, önerilen mimari Endüstri 5.0 gereksinimlerini karşılamaktadır.

Algoritma 2: Model Tahmini için SHAP tabanlı Açıklanabilirlik

Girdi: Eğitilmiş model f(x), girdi spektrogramı S

Çıktı: SHAP değerleri  ve açıklama haritası

Adım 1: Spektrogram S'yi eğitilmiş bir modele giriş yapın

Adım 2: Tahmini hesaplayın: y = f(S)

Adım 3: Derin öğrenme odaklı bir SHAP açıklayıcı başlatın

Adım 4: SHAP değerlerini hesaplayın:

Adım 5: S'deki her bir i özelliği için:

Katkıyı hesaplayın 

Adım 6: Açıklama haritası oluşturun:

Yüksek   içeren bölgeleri vurgulayın

Adım 7: Özellik önemini görselleştirme (ısı haritası)

Adım 8: SHAP değerlerini ve açıklama haritasını döndürün

SHAP tabanlı açıklanabilirlik algoritması, girdi olarak ön işlenmiş bir spektrogram görüntüsünün alınması ve tahminler yapmak (örneğin, normal veya anormal makine durumu) için eğitilmiş CNN-transformer mimarisine beslenmesiyle başlar. Eğitilmiş mimari kullanılarak tahminler yapıldıktan sonra, modeli yorumlamak için SHAP yöntemi kullanılır. Özellikle, girdinin hangi zaman-frekans bileşenlerinin tahmine en çok katkı sağladığını belirlemek için her bir girdi özelliği için SHAP değerleri (ϕ) hesaplanır. Bu değerleri hesaplamak için, belirli özelliklerin olduğu ve olmadığı girdiler için model çıktıları karşılaştırılmalıdır.

Her bir özellik için SHAP değerleri hesaplandıktan sonra, bu değerlerin tahmin üzerindeki etkisi, SHAP değerinin işareti ve büyüklüğü ile değerlendirilebilir. Örneğin, daha yüksek SHAP değerlerine sahip özelliklerin sonucu etkileme olasılığı daha yüksektir ve pozitif veya negatif bir işaret, özelliğin tahmini sırasıyla normal/anormal sınıfa doğru ittiğini gösterir. Sonuçlara dayanarak, bir ısı haritası formunda açıklama haritası oluşturulabilir.

Son olarak, algoritma hem SHAP değerlerini hem de görselleştirmeleri çıktı olarak vererek, insanların modelin kararını nasıl analiz edebileceğine dair içgörü sağlar. Bu teknik, süreci daha şeffaf hale getirir ve insanların karar verme mekanizmasına dahil olmasına olanak tanıyarak, yapay zeka odaklı endüstride hem algoritmanın tahminlerinin hem de güvenilirliğinin sağlanmasını garanti eder. Açıklanabilirlik analizinin güvenilirliğini artırmak amacıyla, çeşitli makine türlerinde doğru teşhis edilmiş anomalı örnekler arasından temsili test örnekleri seçilmiştir. Tutarlı şekilde etkili olan zaman-frekans konumlarını belirlemek için test veri seti genelindeki SHAP değerleri agregasyonla küresel SHAP öznitelik önem analizi gerçekleştirilirken, bu temsili vakalar için yerel SHAP açıklamaları oluşturulmuştur. Uzman anotasyonuna gerek duymayan bu entegre yerel ve küresel analiz, model tahminlerinin güvenilir bir yorumlamasını sunar.

Kenar Bilişim Destekli CPS Entegrasyonu

Önerilen bu çözüm; verimlilik, sürdürülebilirlik ve gerçek zamanlı endüstriyel operasyonlar sağlamayı amaçlayan uç bilişim destekli CPS içerisinde kullanılır. Model eğitildikten sonra, CNN-transformer bir uç bilişim yaklaşımıyla konuşlandırılacaktır. Söz konusu uç bilişim katmanı; sensörler ve makineler dahil olmak üzere endüstriyel Nesnelerin İnterneti (IIoT) cihazlarına yakındır. Tüm toplanan verileri buluta iletmek yerine, uç cihaz, gelen akustik sinyal üzerinde veriyi önce oraya transfer etmeden çıkarım gerçekleştirir. Bu sayede sistem, makine anomalilerini neredeyse anında tespit edebilir ve durum daha da kötüleşmeden gerekli önlemleri alabilir. Bu uç bilişim destekli yaklaşımın bir diğer avantajı da verilerin üretim noktasına yakın bir yerde analiz edilmesi nedeniyle gecikme süresinin azalması ve verimliliğin artmasıdır. Diğer bir ifadeyle, çıkarım süresinin T_inf olduğu bulut yaklaşımının aksine,

   (24)

Genel olarak gecikme süresi, T_{communication} değerindeki azalma sayesinde önemli ölçüde düşecektir. Bir diğer avantaj ise verilerin sürekli iletimi sırasında harcanan gücün ve bant genişliği tüketiminin azalmasıdır. Bu nedenle sistem, çok sayıda bağlı cihazın bulunduğu büyük endüstriyel tesisler için ölçeklenebilir ve sürdürülebilirdir. Ek olarak, CPS; fiziksel katman (makineler), yapay zeka (hesaplama katmanı) ve insan katmanı ile etkileşime olanak tanır.

İnsan döngüde iş birliği

Yapay zeka modellerinin yanı sıra karar verme sürecine aktif olarak katılan insan operatörleri de içeren önerilen Endüstri 5.0 CPS'nin temel bir bileşeni, insan-döngüde (human-in-the-loop) iş birliğidir. Diğer bir ifadeyle, tasarlanan çerçeveye göre sistem otonom bir kara kutu haline gelmez; aksine operatörlerin sistemle etkileşime girmesine ve açıklanabilir tahmin sonuçlarını SHAP açıklamaları şeklinde gözlemlemesine olanak tanır. Söz konusu tahminler, bu tahminlerin yapılması için kullanılan spektrogramların bölümlerinin görselleştirmeleriyle birlikte sunulan sonuçları (normal/anormal) ifade eder.

Böyle bir etkileşim, operatörlerin tahminin tam olarak nasıl oluşturulduğunu ve hangi faktörlerin buna katkıda bulunduğunu daha iyi anlamalarına yardımcı olur. İnsan katılımı, sistem sonuçlarının doğrulanması ve operatörlerin mesleki yargılarına dayanarak gerektiğinde bu sonuçları geçersiz kılabilmesi anlamına gelir. İnsan operatörlerle iş birliği, sistemi daha güvenilir, verimli, emniyetli ve istikrarlı hale getirerek hataların önlenmesine yardımcı olur.

Sonuçlar

Sunulan Açıklanabilir Yapay Zeka entegreli siber-fiziksel iş birliği sistemi, hem normal hem de anormal makine durumlarını içeren MIMII Veri Seti'nden yaklaşık 12.000 ses kaydı üzerinde deneysel olarak test edilmiştir. Eğitim veri seti yaklaşık 9.600 veri kaydından oluşurken, test veri seti yaklaşık 2.400 ses örneği içermiştir. Bulgulara dayanarak, önerilen CNN-transformer modeli test veri setinde %98,5'lik bir sınıflandırma doğruluğu sağlamıştır, 0,97–0,98. Bu durum Tablo 3'teki bulgularla, hata matrisiyle ve istatistiksel kararlılık analiziyle ilişkilidir. Transformer kodlayıcısının entegrasyonu mimarinin zamansal modelleme yeteneklerini geliştirirken, CNN girdi spektrogramından ayırt edici uzamsal özellikleri çıkarmaktadır.

Sınıflandırma performansının yanı sıra, sistemle ilgili diğer özellikler de değerlendirilmiştir. İlk olarak, kenar tabanlı bir uygulama için çıkarım gecikmesi 20 ms'yi geçmeyerek gerçek zamanlı anomali tespitine olanak sağlamıştır. İkinci olarak, sunulan sistem, iletişim gereksinimlerini azaltarak enerji verimliliğinin artırılmasına yardımcı olmuştur. Son olarak, önerilen Açıklanabilir Yapay Zeka çerçevesi SHAP yorumlanabilirliği sunarak modelin bir alan uzmanının perspektifinden analiz edilmesini kolaylaştırmaktadır. MIMII verileri, 1024 pencere boyutu, 512 sıçrama boyutu ve 1024 Hızlı Fourier Dönüşümü FFT boyutu kullanılarak Kısa Zamanlı Fourier Dönüşümü (STFT) aracılığıyla spektrogramlara dönüştürülmüştür. Elde edilen log Mel-spektrogramlar 224 × 224 piksel boyutuna getirilmiş ve ardından z-skoru normalizasyonu uygulanmıştır. Eğitilen modelin sağlamlığını artırmak için zaman maskeleme, frekans maskeleme ve Gauss gürültüsü ekleme dahil olmak üzere veri artırma yöntemleri kullanılmıştır. CNN mimarisi, sırasıyla 32, 64, 128 ve 256 filtreli dört evrişimli katmandan oluşmuş; toplu normalizasyon, ReLU ve maksimum havuzlama katmanlarını içermiştir. Çıkarılan özellik haritaları dizilere dönüştürülmüş ve dört kodlayıcı katman, sekiz dikkat başlığı, 256 boyutlu bir gömme ve 1024 boyutlu bir ileri besleme boyutundan oluşan transformer kodlayıcısına giriş olarak kullanılmıştır. Aşırı öğrenmeyi minimize etmek için 0,3'lük bir dropout olasılığı uygulanmıştır. Eğitim için 0,0001 öğrenme oranı ve 1 x 10⁻⁵ ağırlık azalmasıyla Adam optimize edici kullanılmıştır. Eğitimdeki epok sayısı ve yığın boyutu sırasıyla 100 ve 32 olarak belirlenmiştir. Deneylerin tekrarlanabilirliğini sağlamak için rastgele tohum 42 olarak ayarlanmıştır. Sonuçların istatistiksel geçerliliğini doğrulamak için şu yöntemler kullanılmıştır: tüm deneyler, farklı rastgele tohumlar ve veri karıştırmalarıyla 10 kez bağımsız olarak çalıştırılmıştır. Doğruluk, Keskinlik, Duyarlılık, F1-skoru, alıcı işletim karakteristik eğrisi altındaki alan (ROC-AUC) ve kesinlik-duyarlılık eğrisi altındaki alanın (PR-AUC) ortalama değerleri ve standart sapmaları hesaplanmıştır. Ayrıca, performans belirsizliğini tahmin etmek için %95 güven aralıkları hesaplanmıştır. Son olarak, CNN-transformer yaklaşımımızın sonuçları ile en iyi performans gösteren temel model karşılaştırılarak eşleştirilmiş t-testi yapılmıştır. Erken durdurma yöntemi, sabır parametresi olarak 10 epok kullanılarak uygulanmıştır. Tablo 4 Çevresel Kurulumu ve Hiperparametre Yapılandırmasını sunmakta, Tablo 5 ise Simülasyon Ortamı'nın ayrıntılarını sağlamaktadır.

Mevcut çalışmadaki değerlendirme deneyi, çeşitli makine çalışma koşullarını ve akustik arıza senaryolarını içeren MIMII veri kümesi kullanılarak gerçekleştirilmiştir. Önerilen çerçevenin sonuçları modeli doğrulamasına rağmen, çeşitli endüstriyel veri kümeleri ve imalat ortamlarında daha fazla doğrulama yapılmasına ihtiyaç vardır.

Önerilen çerçeve; gerçek zamanlı çıkarım ve açıklanabilirliği desteklemek amacıyla çok çekirdekli bir işlemci, 16 GB sistem belleği ve grafik işlem birimi (GPU) destekli bir uç hızlandırıcı ile donatılmış bir uç bilişim platformunda uygulanmıştır. Endüstriyel akustik sensörler, ses akışlarını IIoT iletişim katmanı aracılığıyla uç ağ geçidine iletmiştir. Spektrogram oluşturma, anomali çıkarımı ve SHAP açıklama üretimi gibi görevleri gerçekleştirmek için uç düğümler kullanılırken, uzun süreli verileri depolamak ve modeli güncellemek için bulut sunucusu kullanılmıştır. Böyle bir kurulum, yalnızca gereken iletişim miktarını azaltmakla kalmaz, aynı zamanda siber-fiziksel sistemlerde algılama cihazları, AI modülleri ve insan operatörler arasında gerçek zamanlı etkileşime olanak tanır.

Yukarıda tanıtılan CNN-transformer yaklaşımı, destek vektör makinesi (SVM) ve rastgele orman gibi geleneksel ML modelleri, transformer içermeyen CNN modelleri ve uzun kısa süreli bellek (LSTM) tabanlı yöntemler dahil olmak üzere mevcut birkaç yöntemle karşılaştırılmıştır. Geleneksel ML modelleri, verilerdeki uzamsal ve zamansal korelasyonları işleme kapasitelerinin yetersizliği nedeniyle tatmin edici sonuçlar elde edemezken, CNN modelleri uzamsal özellikleri verimli bir şekilde yönetebilmekte, LSTM modelleri ise akustik sinyallerin zamansal yönlerini işleyebilmektedir. Buna rağmen, öncekiler hesaplama maliyeti ve paralel işleme kapasitesi açısından sonrakilerden daha yetersizdir.

Önerilen CNN-transformer modeli ile temel modeller arasında adil bir karşılaştırma sağlamak amacıyla, ilk model aynı MIMII veri seti ayrımı (%80 eğitim ve %20 test), ön işleme adımları, spektrogram oluşturma süreci ve değerlendirme ölçütleri kullanılarak eğitilmiş ve değerlendirilmiştir. SVM yönteminde, C = 10 ve γ = 0.01 değerleri ile radyal tabanlı fonksiyon (RBF) çekirdeği kullanılmıştır. Rastgele orman yöntemi, maksimum 20 ağaç derinliği ile 200 ağacı içermiştir. CNN'e gelince, Transformer modülü olmaksızın, dört konvolüsyon katmanından (32, 64, 128 ve 256 filtre) ve ardından gelen tam bağlantılı katmanlardan oluşmuştur. Son olarak, LSTM yöntemi için 128 gizli birimli iki üst üste binmiş LSTM katmanı ve 0,3'lük bir dropout oranı kullanılmıştır.

Buna karşılık, CNN-transformer çerçevesinin kullanımı, akustik sinyallerin hem mekansal hem de zamansal yeteneklerinden verimli bir şekilde yararlanarak en iyi sonuçların elde edilmesini sağlar. Ayrıca, uç bilişimin (edge computing) kullanımı, hesaplama maliyetlerinin düşürülmesine, gecikme süresinin iyileştirilmesine ve enerji tasarrufuna olanak tanır. Ek olarak, SHAP kullanılarak gerçekleştirilen tahminlerin açıklanabilirliği, önerilen yöntemi mevcut tekniklerden ayıran başka bir avantaj olarak kabul edilebilir.

Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer ve öz-denetimli öğrenme tabanlı modeller gibi akustik anomali tespiti için geliştirilen yeni modellerdeki güncel başarılara rağmen, bu mimarilerin deneysel bir karşılaştırması mevcut çalışmada gerçekleştirilmemiştir. Gelecekte, bu modellerin önerilen çerçevenin değerlendirilmesinde kıyaslama ölçütü olarak kullanılması planlanmaktadır.

Önerilen modelin performansını değerlendirmek için doğruluk (accuracy), kesinlik (precision), duyarlılık (recall) ve F1-skoru gibi metrikler kullanılır. Kesinlik, doğru pozitiflerin doğru pozitifler ve yanlış pozitiflerin toplam sayısına oranını ölçerken; doğruluk, tahminlerin genel doğruluğunu değerlendirir. Duyarlılık, modelin belirli bir sistemdeki anomalileri öngörme kapasitesine dair bir tahmin sağlar. Bir kusurun öngörülememesi sistem arızalarına yol açabileceğinden bu durum kritik öneme sahiptir. Bu metriklerin matematiksel olarak nasıl hesaplandığı aşağıda verilmiştir:

   (25)

   (26)

   (27)

   (28)

Bunların yanı sıra, uç hesaplama tabanlı önerilen CPS modelinin gerçek dünya performansını değerlendirirken gecikme süresi, enerji kullanımı ve ölçeklenebilirlik gibi sistem performansı ile ilgili ek metrikler de dikkate alınmaktadır.

Standart performans ölçüm tekniklerinin yanı sıra, özellikle gerçek dünyadaki dengesiz ve akışlı veri vaka çalışmalarına uygulanabilirliği göz önüne alındığında, önerilen çözümün daha bütüncül bir perspektiften değerlendirilmesine yardımcı olabilecek birçok başka ölçüt bulunmaktadır. Örneğin, algoritmanın farklı eşik değerlerine dayanarak iki grup arasındaki ayrımı yapabilme kapasitesi, alıcı işletim karakteristik eğrisi altında kalan alan (ROC-AUC) ile ölçülür. Robustluğu ve ayrılabilirliği nedeniyle, ROC-AUC değerinin yüksek olması beklenir. Ayrıca, anormal sınıfların nadir olması sebebiyle, anomali tespiti vaka çalışması için kesinlik-duyarlılık Eğri Altında Kalan Alan (PR-AUC) metriği önem taşımaktadır.

Dikkate alınması gereken önemli bir ölçüt Matthews Korelasyon Katsayısı'dır (MCC). Bu katsayı, hata matrisindeki dört öğenin tamamını değerlendirir ve sınıf dengesizliği durumunda bile doğru bir değerlendirme sunar. Bu ölçüt şu şekilde hesaplanır:

   (29)

MCC değerleri -1 ile +1 arasında değişir ve +1 mükemmel tahmini belirtir. Uygulanabilecek diğer bir metrik olan Özgünlük (Doğru Negatif Oranı), yanlış pozitif tahminlerin olup olmadığını değerlendirmek için endüstriyel bir uygulamada faydalı olacaktır:

    (30)

Karmaşıklık matrisi ile performans metrikleri arasında tutarsızlık olmadığından emin olmak için, tüm değerlendirme kriterleri nihai test veri seti üzerinden hesaplanmıştır. Aşağıdaki denklemlerde gerçek pozitif (TP), gerçek negatif (TN), yanlış pozitif (FP) ve yanlış negatif (FN) notasyonları kullanılmıştır. Doğruluk, Kesinlik, Duyarlılık, Özgünlük, F1-skoru ve MCC, Denk. (25)–(30) temel alınarak hesaplanmıştır. Ayrıca, ROC-AUC ve PR-AUC, CNN-transformer modelinin olasılık çıktıları üzerinden bağımsız eşik değerlendirmesi yoluyla hesaplanmıştır.

Sistem düzeyinde dikkate alınması gereken temel metrikler arasında gecikme süresi, iş çıktısı ve hesaplama maliyeti yer almaktadır. Gecikme süresi, bir tahminde bulunmak için gereken süredir. İş çıktısı, saniyede işlenen veri örneği miktarıdır. Enerji verimliliğini temsil eden hesaplama maliyeti, hesaplama verimliliğinin sağlanmasında önemlidir. Ayrıca, modeli değerlendirirken SHAP tutarlılığı ve özellik öneminin kararlılığı gibi açıklanabilirlik metrikleri de göz önünde bulundurulabilir.

MIMII Veri Seti için Tablo 3'teki sonuçlardan, önerilen CNN-transformer modelinin diğer tüm makine öğrenimi ve derin öğrenme yöntemlerinden daha iyi performans gösterdiği açıkça görülmektedir. SVM ve rastgele orman modellerinin performansı, sırasıyla %88,6 ve %91,2 doğruluk oranlarıyla sınırlı olsa da kabul edilebilir düzeydedir. Bu durum, bu modellerin akustik sinyallerden karmaşık zamansal ve mekansal özellikleri çıkaramamasıyla açıklanabilir. Bununla birlikte, LSTM, zaman serisi verilerini modelleyerek %94,5 doğruluk oranına ulaşmış ve SVM ile rastgele ormanı geride bırakmıştır. Ancak, önerilen CNN-transformer yaklaşımı; artırılmış doğruluk (%98,5), kesinlik (%98,06), duyarlılık (%99,02) ve F1-skoru (%98,54) ile en iyi performansı sergilemektedir. Bu nedenle, önerilen algoritma normal ve anormal makine durumlarını doğru bir şekilde sınıflandırabilmektedir. İyileştirilmiş özgüllük (%97,96), yaklaşımın endüstri için kritik öneme sahip olan yanlış pozitifleri azaltmadaki etkinliğini kanıtlamaktadır. CNN-transformer'ın performansının, CNN'in ayırt edici özellikleri çıkardığı ve Transformer'ın ise uzun dizilerdeki zamansal ilişkileri yakaladığı, bu ikisinin kombinasyonuyla açıklanabileceği belirtilmelidir.

Şekil 6'daki ROC eğrisi; SVM, rastgele orman, LSTM ve önerilen CNN-transformer yaklaşımlarının MIMII veri setine ilişkin sınıflandırma yetenekleri açısından karşılaştırmalı performansını göstermektedir. Şekil 6'da görüldüğü üzere, en yüksek Eğri Altındaki Alan (AUC) değeri 0,994 ile önerilen CNN-transformer için gözlemlenmiştir. Önerilen yöntemin, normal ve anormal kategorileri birbirinden ayırmada daha iyi ayırt edici performans sağladığı açıkça görülmektedir. Öte yandan, LSTM, önerilen CNN-transformer yaklaşımından biraz daha düşük sonuçlar vermekte olup AUC değeri yaklaşık 0,97'dir. Hem rastgele orman hem de SVM, sırasıyla 0,958 ve 0,913 civarında nispeten düşük AUC değerlerine sahiptir. Bu durum, her iki yaklaşımın da verilen verilerdeki karmaşık akustik modelleri öğrenmedeki yetersizliğine bağlanmaktadır.

Anormal örneklerin az olduğu anomali tespitinde, kesinlik-duyarlılık (PR) eğrisi daha iyi bir analiz sağlar. Şekil 7'de gösterildiği üzere, PR eğrisinde CNN-transformer modeli, yaklaşık 0,97–0,98 ile en yüksek Ortalama Kesinliğe (AP) ulaşmış olup, bu durum modelin anormal durumları daha az yanlış alarm ile tespit etme konusundaki üstün yeteneğini göstermektedir. Buna karşılık, LSTM sınıflandırıcısı 0,92 ile 0,94 arasında değişen bir AP ile ikinci sırada yer almaktadır. Öte yandan, rastgele orman ve SVM sınıflandırıcıları, sırasıyla 0,88 ve 0,84 AP değerleri ile üçüncü ve dördüncü sırada yer almaktadır. Önerilen hibrit sınıflandırıcı, hem yüksek kesinlik hem de düşük yanlış alarm gerektiren pratik endüstriyel uygulamalar için kritik olan tüm duyarlılık seviyelerinde daha yüksek doğruluk sağlamaktadır.

CNN-transformer modeli, MIMII Veri Kümesi üzerinde Tablo 6'da gösterilen gelişmiş performans metrikleri kullanılarak mevcut modellerle karşılaştırılmıştır. ROC-AUC değeri, modelin çeşitli eşikler genelinde iki sınıf arasındaki ayırt edici yeteneğini belirtmektedir. SVM ve rastgele orman (random forest) sınıflandırıcıları sırasıyla 0,913 ve 0,958 ROC-AUC değerlerine ulaşırken, LSTM modeli 0,970 ROC-AUC değerine ulaşmış ve CNN 0,98 değerini elde etmiştir. Önerilen CNN-transformer çerçevesi, normal ve anormal makine durumları arasında üstün bir ayırt etme yeteneği sergileyerek 0,994 ile en yüksek ROC-AUC değerine ulaşmıştır. Benzer şekilde, PR-AUC değerleri, önerilen modelin anomali tespitinde temel bir faktör olan sınıf dengesizliğini etkili bir şekilde yönetebildiğini göstermektedir. Önerilen CNN-transformer, CNN (0,950), LSTM (0,912), rastgele orman (0,891) ve SVM (0,765) modellerini takip ederek 0,982 ile en yüksek PR-AUC (Ortalama Hassasiyet) değerini elde etmiş olup, bu durum endüstriyel akustik anomali tespiti için üstün hassasiyet-duyarlılık (precision-recall) performansına işaret etmektedir. Ayrıca, model performansının dengesini ölçen Matthews Korelasyon Katsayısı (MCC), önerilen model için 0,97 gibi nispeten yüksek bir değerle belirtilmiştir. Buna karşın, SVM (0,73) ve rastgele orman (0,78) gibi önceki yöntemler daha düşük öngörü doğruluğuna sahipti.

Sunulan yaklaşımın stabilitesini test etmek için aynı deney, farklı başlatma tohumları ve veri karıştırma şemaları kullanılarak 10 kez gerçekleştirilmiştir. CNN-transformer mimarisi için Tablo 7'deki sonuçlar şu şekildeydi: doğruluk = 98.50% ± 0.19%, kesinlik = 98.06% ± 0.23%, duyarlılık = 99.02% ± 0.22% ve F1-skoru = 98.54% ± 0.24%. Nispeten küçük olan standart sapma, modelin stabilitesini göstermektedir. Tüm değerlendirme ölçümleri için %95 güven aralıkları hesaplanmıştır. Doğruluk metriği için güven aralığının [98.1%, 98.9%] olduğu belirlenmiş olup, bu durum modelin tutarlı bir şekilde iyi performans gösterdiğini belirtmektedir. ROC-AUC, PR-AUC ve MCC için de dar güven aralıkları saptanmıştır. Önerilen CNN-transformer modeli ile en iyi performans gösteren temel modeli (LSTM) karşılaştıran eşleştirilmiş t-testi, p değerinin < 0.05 olduğunu ortaya koymuş; bu da gözlemlenen performans artışının anlamlı olduğunu ve şansa bağlı olmadığını göstermiştir.

Önerilen CNN-transformer mimarisinin sağlamlığını test etmek için, Şekil 8'de gösterildiği gibi deneyler, farklı rastgele başlatma tohumları ve karıştırma konfigürasyonları ile 10 kez tekrarlanmıştır. Model tarafından elde edilen ortalama doğruluk, kesinlik, geri çağırma ve F1-skoru sırasıyla 98.50% ± 0.19%, 98.06% ± 0.23%, 99.02% ± 0.22% ve 98.54% ± 0.24% olarak belirlenmiştir. Kutu grafiği analizinden, modelin performans metriklerinde minimal varyasyonlar olduğu görülmektedir; bu durum modelin stabilitesini ve sağlamlığını göstermektedir. Böylece, önerilen yaklaşım, anlamlı bir varyasyon olmaksızın birden fazla deneyde yüksek stabilite sergilemekte ve bu da modelin iyi genelleme yeteneklerine sahip olduğunu belirtmektedir.

Ek olarak, deneyin birden fazla kez tekrarlanmasının çıktılarına dayanarak istatistiksel bir test gerçekleştirilmiştir. Tüm değerlendirme ölçütlerindeki küçük standart sapmalar, rastgelelikteki veya eğitimdeki değişikliklere karşı duyarlılığın düşük olduğunu göstermektedir. Bu durum, önerilen CNN-transformer modelinin gerçek hayattaki siber-fiziksel üretim sistemlerinde istikrarlı ve tutarlı performans sergileyebileceğini doğrulamaktadır.

SHAP ısı haritası, makine durumunun normal veya anormal olup olmadığını tahmin etmede spektrogramdaki zaman-frekans bölgelerinin önemine dair bir fikir verir. SHAP değerleri, her bir öngörücünün nihai tahmine olan katkısını belirtir.

Şekil 9A'da gösterilen SHAP değer ısı haritasında, pozitif SHAP değerleri (örneğin, +0,6 ile +1,2 arası) anormaliteye katkıyı temsil ederken, negatif SHAP değerleri (yani, −0,3 ile −0,8 arası) normal kategoriye olan katkıyı temsil etmektedir. En yüksek yoğunluktaki SHAP puanı, 50–100 zaman çerçevelerinde orta frekans aralığında (40–80 frekans kutusu) tespit edilmiştir. Bu bölgeler, akustik ölçümlerde kritik hata sinyallerinin saptandığı temel alanlardır. Ayrıca, düşük frekans bandı (20 kutudan az), modelin karar verme süreci üzerinde ihmal edilebilir bir etkiye işaret eden sıfıra yakın SHAP puanları (−0,1 ile +0,1 arası) göstermektedir. Bu durum, modelin hata tahminiyle ilgisi olmayan arka plan gürültüsünü göz ardı ettiğini göstermektedir. Belirli zaman bantları içindeki yüksek SHAP puanlarının zamansal tutarlılığı, Transformer modülünün akustik sinyallerdeki uzun menzilli bağımlılıkları yakalama yeteneğini de vurgulamaktadır. Özetle, SHAP ısı haritası, CNN-transformer modelinin yüksek ayırt edici güce sahip özgün zaman-frekans bantlarına odaklandığını açıkça göstermektedir. Bu, modelin yorumlanabilirliğini artırmakta ve insan operatörün hataları görsel olarak tespit etmesine yardımcı olmaktadır.

SHAP yönteminin yalnızca bir yorumlanabilirlik tekniği olarak kullanıldığı ve CNN-transformer modelinin eğitim sürecinin bir parçası olmadığı gösterilmiştir. Sınıflandırma doğruluğu, yalnızca CNN ve Transformer bileşenleri tarafından öğrenilen parametrelerle belirlenir. SHAP, tahminleri normal veya anormal kategorilere yönlendiren en etkili zaman-frekans pencerelerini belirleyerek tahminleri yorumlamak amacıyla model çıkarım adımından sonra kullanılır. Böylece SHAP, sınıflandırma doğruluğunu etkilemeden insan şeffaflığını ve anlayışını artırır. Önerilen çerçeve tarafından sağlanan SHAP değerleri, bakım operatörlerinin tespit edilen bölgeleri gerçek makine davranışı ve bakım kayıtlarıyla karşılaştırarak model tahminlerini doğrulamalarına yardımcı olacak net bir görselleştirme sağlar. Böylece, kestirimci bakım faaliyetleri sırasında insanların makinelerle iş birliği yapması daha kolay olacaktır.

Açıklanabilirlik düzeyini değerlendirmek için, Şekil 9B'de gösterildiği gibi özellik önemine yönelik küresel bir SHAP analizi gerçekleştirilmiştir. Sonuçlar, bazı orta frekans bileşenlerinin anomali tespitinde önemli bir rol oynadığını göstermektedir. Ayrıca, Şekil 9C'de örneklendirilen bir vaka çalışması, SHAP'in anormal makine spektrogramlarındaki hata ile ilgili bölgeleri doğru bir şekilde tanımladığını göstermektedir. Çalışma, MIMII veri setindeki pompalara ve valflere ait anormal veri örneklerini kullanan kalitatif bir vaka çalışmasını içermiştir. Arızalı pompalar söz konusu olduğunda SHAP, kavitasyon ve aşınma ile ilişkili 2–4 kHz frekans aralıklarını tanımlamıştır. Arızalı valflerde ise SHAP aktivasyonu, sızıntıya işaret eden tekrarlayan harmonik sinyallerin bulunduğu alanlarda baskındı. Temsili test örnekleri genelinde SHAP görselleştirmeleri, anormal makine durumlarıyla ilişkili ayırt edici zaman-frekans bölgelerini güvenilir bir şekilde tanımlamıştır. Her bir tahmine en önemli katkıyı sağlayan spektral bölgeleri vurgulayarak, bu açıklamalar modelin nasıl karar verdiğine ışık tutmaktadır. Bakım uzmanları tarafından yapılacak resmi doğrulama bu çalışmanın kapsamı dışında olduğundan, SHAP analizi uzman onaylı bir hata doğrulaması olarak değil, model davranışını anlamak için bir yorumlanabilirlik aracı olarak sunulmuştur.

Karışıklık matrisi, önerilen CNN-transformer modelinin Şekil 10'da gösterilen MIMII veri kümesi üzerinde sınıflandırmayı ne kadar iyi gerçekleştirdiğini vurgulamaktadır. Genel olarak, 960 normal örnek doğru şekilde normal olarak tanımlanırken (Doğru Negatifler), 20 normal örnek yanlışlıkla anormal olarak tanımlanmıştır (Yanlış Pozitifler). Ayrıca, tüm örnekler arasından 1010 anormal örnek doğru şekilde tespit edilmiş (Doğru Pozitifler), 10 anormal örnek ise normal olarak tanımlanmıştır (Yanlış Negatifler).

Böylece, özellikle kestirimci bakımda kritik öneme sahip olan anormal örnekler için yüksek tespit performansı elde edilmiştir. Şekil 10'da gösterildiği gibi, Yanlış Negatif hata çok nadir görülmektedir (10 örnek); bu durum, herhangi bir endüstrinin güvenliğini ve güvenilirliğini sağlaması açısından hayati önem taşır. Öte yandan, Yanlış Pozitif hata (20 örnek) biraz daha sık görülse de nispeten düşük bir seviyede kalmaktadır. Şekil 10'da gösterilen konfüzyon matrisi, sınıflandırıcının performansının net bir şekilde görselleştirilmesi için 2.000 test kaydından oluşan dengeli bir alt küme (eşit sayıda normal ve anormal örnek) kullanılarak oluşturulmuştur. Doğruluk, kesinlik, duyarlılık, özgüllük ve F1-skoru dahil olmak üzere rapor edilen tüm değerlendirme metrikleri, tam test seti (yaklaşık 2.400 kayıt) kullanılarak hesaplanmıştır.

Şekil 10'da ve Tablo 8'de (TN = 960, FP = 20, TP = 1010, FN = 10) gösterilen konfüzyon matrisi dikkate alındığında, şu hesaplamalar yapılabilir: Doğruluk = (TP + TN) / (TP + TN + FP + FN) = 98.50%, Kesinlik = TP/(TP + FP) = 98.06%, Duyarlılık = TP/(TP + FN) = 99.02%, Özgüllük = TN / (TN + FP) = 97.96%, F1-skoru = 98.54% ve MCC = 0.97. Ayrıca, ROC-AUC ve PR-AUC değerleri sırasıyla 0.994 ve 0.982 olarak belirlenmiştir. Şekil 10'da gösterilen konfüzyon matrisi, yalnızca görselleştirme amacıyla test verilerinden seçilen 2.000 kayıtlık dengeli bir temsilci alt küme kullanılarak oluşturulmuştur. Bu çalışmada rapor edilen tüm nicel performans metrikleri, tam test seti (yaklaşık 2.400 kayıt) kullanılarak hesaplanmıştır. Genel olarak sonuçlar, önerilen CNN-transformer mimarisinin, Tablo 8'de rapor edilen sonuçlar ve ablasyon analizi ile uyumlu olarak %98,5 sınıflandırma doğruluğuna ulaştığını göstermektedir.

Kenar tabanlı uygulamanın etkinliğini doğrulamak için ek ölçümler gerçekleştirilmiştir. Tablo 9'da gösterildiği üzere, önerilen modelin ortalama çıkarım gecikmesi 18,7 ms/örnek'tir ve saniyede yaklaşık 53 örneği işleyebilmektedir. Çıkarım sırasındaki güç tüketimi 8,9 W olarak belirlenmiş olup, bu da tahmin başına 0,167 J'lik bir tahmini enerji tüketimi sağlamaktadır. Tablo 10'daki önerilen yaklaşımın sürdürülebilirlik etkisini değerlendirmek için iletişim yükü, enerji tüketimi ve kaynak kullanımı dikkate alınmıştır. Çıkarım süreci yerel olarak kenar düğümlerde gerçekleştiğinden, bulut ortamına yalnızca özet tanısal veriler iletilmektedir. Deneysel bulgular, geleneksel bulut tabanlı CPS sistemlerine kıyasla iletişimde %73'lük bir azalma olduğunu göstermiştir. Ayrıca, yerel çıkarım enerji tüketimini %32 oranında azaltırken, iletişim süresi 75 ms'den 20 ms'ye düşmüştür.

Ablasyon çalışması

Açıklanabilir yapay zeka tabanlı CPHS mimarisinin her bir bileşeninin etkisini değerlendirmek için MIMII veri kümesine ablasyon araştırması uygulanmıştır. Bu ablasyon çalışması, mekânsal özellikleri öğrenmek için bir CNN, zamansal özellikleri öğrenmek için bir transformer kodlayıcı ve SHAP açıklanabilirlik algoritmasının kullanımının etkilerini incelemektedir. Önerilen modelin şu modifikasyonları değerlendirilmiştir: (i) yalnızca CNN içeren versiyon, (ii) yalnızca Transformer içeren versiyon, (iii) CNN ve Transformer'ın birlikte kullanıldığı ancak SHAP algoritmasının olmadığı model ve (iv) CNN ve Transformer'ın SHAP ile birleştirildiği önerilen modelin tamamı. Değerlendirme için doğruluk, kesinlik, duyarlılık ve F1-skoru gibi yaygın metrikler kullanılmıştır.

Bu ablasyon çalışması sonuçları, Tablo 11'de özetlenen çerçevedeki her bir öğenin önemini ortaya koymaktadır. Yalnızca CNN kullanılan model %93,8 doğruluk oranına ulaşarak spektrogramlardan uzamsal özellik çıkarımının etkili olduğunu göstermekte, ancak akustik sinyallerdeki zamansal bağımlılıkları yakalayamamaktadır. Aynı durum, uzamsal bilgileri ihmal edip zamansal özellikleri çıkardığı için biraz daha düşük bir doğruluk oranına (%92,6) ulaşan yalnızca Transformer kullanılan model için de geçerlidir. Son olarak, önerilen CNN-transformer modeli; ana deney sonuçlarıyla uyumlu olarak %98,5 doğruluk, %98,06 kesinlik, %99,02 duyarlılık ve %98,54 F1 skoruna ulaşmıştır. SHAP yalnızca post hoc yorumlama için kullanıldığından ve model eğitimi için kullanılmadığından, sınıflandırma doğruluğu eğitilmiş CNN-transformer modeli ile aynıdır. SHAP daha sonra özellik atama açıklamaları oluşturmak için kullanılmıştır. İyileştirilmiş duyarlılık (%99,02), modelin makinelerdeki anormal durumları tespit etmede etkili olduğunu ve kestirimci bakım sistemi uygulamak için zorunlu olan hiçbir arızalı parçanınle atlanmamasını sağladığını göstermektedir.

VERİ KULLANILABİLİRLİĞİ:

Bu çalışmada kullanılan Malfunctioning Industrial Machine Investigation and Inspection (MIMII) veri seti, resmi Zenodo deposundan kamuya açık olarak erişilebilirdir. Deneyler, veri seti yazarları tarafından sağlanan kamuya açık ses kayıtları ve açıklamalar kullanılarak gerçekleştirilmiştir. Veri setine https://zenodo.org/records/3384388 adresinden erişilebilir. Bu çalışmaya eşlik eden uygulama kodu, Zenodo deposu üzerinden https://zenodo.org/records/21405292 adresinden kamuya açık olarak erişilebilirdir. Depo; veri ön işleme hattı, model mimarisi, eğitim iş akışı, değerlendirme betikleri, yapılandırma dosyaları ve önerilen metodolojinin anlaşılmasını ve bağımsız olarak yeniden üretilmesini kolaylaştırmak için destekleyici araçlar dahil olmak üzere önerilen çerçevenin uygulama kodunu içerir. MIMII veri seti, uygulama koduyla birlikte yeniden dağıtılmamaktadır ve resmi deposundan ayrı olarak temin edilmelidir.

Şekil 1: Önerilen çalışmanın mimarisi. Sürdürülebilir imalat için ön işleme, CNN tabanlı uzamsal öğrenme, transformer tabanlı zamansal modelleme, SHAP açıklanabilirliği ve uç bilişimi birleştiren, açıklanabilir yapay zeka destekli siber-fiziksel insan sisteminin mimari tasarımı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: Önişleme hattı. Gürültü giderme, normalizasyon, segmentasyon, STFT dönüşümü ve spektrogram çıkarımından oluşan akustik sinyal ön işleme hattı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: CNN kullanılarak mekansal özellik çıkarımı. Konvolüsyon, aktivasyon ve havuzlama süreçleri aracılığıyla spektrogramlar üzerinden CNN'ler ile mekansal özellik çıkarımı için mimari. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 4: Bir transformer kodlayıcı kullanılarak yapılan zamansal modelleme. Spektrogram sekans temsili aracılığıyla zamansal bağımlılıkları ve uzun menzilli bağımlılıkları yakalamak için tasarlanmış transformer kodlayıcı mimarisi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5: Sınıflandırma katmanı. Kodlanmış zamansal özellikleri, makine durumunu tahmin etmek için olasılık değerlerine eşleyen bir sınıflandırıcı katmanı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 6: ROC eğrisi sonucu. MIMII veri seti üzerinde SVM, rastgele orman, LSTM, CNN ve önerilen CNN-transformer algoritmaları için ROC eğrilerinin karşılaştırılması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 7: Hassasiyet-duyarlılık eğrisi sonucu. Çeşitli makine öğrenmesi ve derin öğrenme yöntemlerinin anomali tespit verimliliğini temsil eden hassasiyet-duyarlılık eğrisi karşılaştırması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 8: Çoklu çalışma performans kararlılık analizi. Önerilen CNN-transformer mimarisi ile gerçekleştirilen on bağımsız deneyden elde edilen Doğruluk (Accuracy), Kesinlik (Precision), Duyarlılık (Recall) ve F1-skoru sonuçlarının performanstaki kararlılığını gösteren kutu grafiği. Küçük varyasyonlar, modelin kararlılığını ve dayanıklılığını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 9Önerilen anomali tespit çerçevesinin SHAP tabanlı açıklanabilirlik analizi. (A) SHAP tabanlı açıklanabilirlik analizi. Anomal davranış tanımlamasına yol açan en ilgili zaman-frekans bölgelerini göstermek için SHAP yöntemi kullanılarak oluşturulmuş ısı haritası.B) En etkili özelliklerin belirlenmesi için global SHAP yaklaşımı kullanılarak gerçekleştirilen özellik önem analizi.C) Anormal bir makine için SHAP açıklanabilirliğinin görselleştirilmesi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 10: MIMII veri seti için karışıklık matrisi. Karışıklık matrisi, önerilen CNN-transformer algoritmasının sınıflandırma performansını temsil etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Parametre	Açıklama
Veri Kümesi Adı	MIMII (Malfunctioning Industrial Machine Investigation and Inspection) Veri Kümesi
Makine Türleri	Valfler, Pompalar, Fanlar, Kayar Raylar
Kullanılan Toplam Örnek Sayısı	Yaklaşık 12,000 ses kaydı
Sınıflar	Normal, Anormal
Örnekleme Hızı	16 kHz
Örnek Başına Süre	10 saniye
Ses Formatı	WAV
Öznitelik Temsili	STFT tabanlı Spektrogram Görüntüleri
Önişleme Adımları	Gürültü Filtreleme, Normalizasyon, Segmentasyon, STFT Dönüşümü
Etiket Ataması	Normal kayıtlar Sınıf 0 olarak; anormal kayıtlar MIMII notasyonlarına göre Sınıf 1 olarak etiketlenmiştir
Eğitim-Test Bölünmesi	%80 Eğitim (≈9,600 örnek), %20 Test (≈2,400 örnek)
Veri Bölümleme Stratejisi	Veri sızıntısını önlemek için segmentasyon öncesinde ses dosyası düzeyinde bölünme gerçekleştirilmiştir
Endüstriyel Gürültü Koşulları	MIMII kayıtlarında yer alan gerçekçi endüstriyel akustik ortamlar
Uygulama Alanı	Kestirimci Bakım ve Makine Anomali Tespiti
Hedef Endüstri 5.0 Amacı	Açıklanabilir, İnsan Odaklı ve Sürdürülebilir Hata Tespiti

Tablo 1: Veri seti açıklaması. Makine tipi, örnekleme dağılımı, sinyal özellikleri, özellik temsili ve uygulama yönleri açısından MIMII veri setinin açıklaması.

Makine Tipi	Makine Kimlikleri	Normal Kayıtlar	Anormal Kayıtlar	SNR Koşulları (dB)	Deneysel Bölme
Fan	ID00–ID06	8,400	1,600	−12 to −9	%80 Eğitim / %20 Test
Şanzıman	ID00–ID06	7,124	1,147	−17 to −15	%80 Eğitim / %20 Test
Pompa	ID00–ID06	7,200	1,800	−18 to −9	%80 Eğitim / %20 Test
Sürgü Rayı	ID00–ID05	7,000	1,800	−14 to −12	%80 Eğitim / %20 Test
Vana	ID00–ID05	7,000	1,800	−12 to −9	%80 Eğitim / %20 Test

Tablo 2: Bu çalışmada kullanılan MIMII veri setinin açıklaması. Endüstriyel makine türleri, makine kimlikleri, normal ve anormal kayıt sayıları, SNR koşulları ve denetimli ikili sınıflandırma için kullanılan eğitim/test bölümlemesi.

Model	Doğruluk (%)	Kesinlik (%)	Duyarlılık (%)	F1-skoru (%)	Özgüllük (%)
Destek Vektör Makinesi (SVM)	88.6	86.9	85.4	86.1	90.2
Rastgele Orman (RF)	91.2	89.8	88.5	89.1	92.6
Uzun Kısa Süreli Bellek (LSTM)	94.5	93.2	92.8	93	95.1
CNN (Evrişimli Sinir Ağları)	96.3	95.4	94.9	95.1	96.8
CNN-Transformer (Önerilen)	98.5	98.06	99.02	98.54	97.96

Tablo 3: MIMII veri seti için sınıflandırma sonucu. Doğruluk, kesinlik, duyarlılık, F1 skoru ve özgünlük kullanılarak makine öğrenimi ve derin öğrenim sınıflandırıcılarının performansının karşılaştırılması.

Parametre	Değer
Veri Seti	MIMII Veri Seti
Toplam Örnek Sayısı	~12,000
Eğitim-Test Ayrımı	80% / 20%
Giriş Tipi	Spektrogram Görüntüleri
CNN Katmanları	3–5 Konvolüsyon Katmanı
Transformer Katmanları	2–4 Kodlayıcı Katmanı
Yığın Boyutu	32
Öğrenme Oranı	0.001
Optimize Edici	Adam
Epoklar	100
Donanım	Uç Cihaz + GPU (eğitim için)
STFT Pencere Uzunluğu	1024
Sıçrama Boyutu	512
FFT Boyutu	1024
Spektrogram Çözünürlüğü	224 × 224
Normalizasyon	Z-skoru
Veri Artırımı	Zaman Maskelemesi, Frekans Maskelemesi, Gauss Gürültüsü
CNN Katmanları	4
CNN Filtreleri	32, 64, 128, 256
Transformer Katmanları	4
Dikkat Başlıkları	8
Gömme Boyutu	256
İleri Beslemeli Boyut	1024
Dropout (Veri Kaybı/Sıyrılma)	0.3
Rastgele Tohum	42
Erken Durdurma Sabrı	10

Tablo 4: Çevresel kurulum ve hiperparametre konfigürasyonu. Önerilen CNN-transformer mimarisini uygulamak için kullanılan eğitim ve deney parametreleri.

Bileşen	Özellik
Programlama Dili	Python
Çatı (Framework)	TensorFlow / PyTorch
İşlemci	Intel i7 / Ryzen 7
GPU	NVIDIA GTX 1660 / RTX Series
Uç Cihaz	Raspberry Pi / NVIDIA Jetson
Görselleştirme	Matplotlib, SHAP
Uç Cihaz	NVIDIA Jetson Xavier NX
CPU	6-core ARM v8.2
RAM	16 GB
İşletim Sistemi	Ubuntu 20.04
Derin Öğrenme Çatısı	TensorFlow/PyTorch
Veri Kümesi Boyutu	12,000 MIMII örneği
Bağlantı	Ethernet/Wi-Fi
Model Parametreleri	8.4 Milyon
Model Boyutu	32.7 MB
Çatı (Framework)	PyTorch + TensorRT
Yığın Boyutu (Batch Size)	1
Kuantizasyon	FP16
Budama (Pruning)	Hayır
Ortalama Gecikme	17.8 ms
Medyan Gecikme	17.2 ms
95. Persentil Gecikme	19.6 ms
İş çıktısı (Throughput)	56 samples/s
Bellek Kullanımı	1.4 GB
Güç Tüketimi	11.3 W

Tablo 5: Simülasyon ortamı. Önerilen modeli eğitmek, yayına almak ve değerlendirmek için kullanılan donanım ve yazılımlar.

Model	ROC-AUC	PR-AUC	MCC
SVM	0.913	0.765	0.73
Rastgele Orman (Random Forest - RF)	0.958	0.891	0.78
LSTM	0.97	0.912	0.86
CNN	0.98	0.95	0.9
CNN–Transformer (Önerilen)	0.994	0.982	0.97

Tablo 6: ROC-AUC, PR-AUC ve MCC için deneysel sonuçların karşılaştırılması. ROC-AUC, PR-AUC ve Matthews Korelasyon Katsayısı ölçümlerine dayalı olarak çeşitli modeller arasındaki karşılaştırma.

Metrik	Ortalama (%) + Standart Sapma (%)	%95 Güven Aralığı
Doğruluk	98.50 ± 0.19	[98.1, 98.9]
Hassasiyet	98.06 ± 0.23	[98.0, 98.2]
Geri çağırma	99.22 ± 0.22	[98.8, 99.4]
F1-skoru	98.54 ± 0.24	[98.1, 98.9]
ROC-AUC	0.984	0.004
PR-AUC	0.982	0.005
MCC	0.97	0.007

Tablo 7: Çoklu çalışma istatistiksel analiz sonucu. Önerilen CNN-transformer mimarisinin 10 deney boyunca çeşitli performans ölçümleri için ortalama, standart sapma, %95 güven aralığı ve anlamlılık düzeyini içeren dayanıklılık istatistikleri.

Metrik	Değer
Doğruluk	98.50%
Hassasiyet	98.06%
Geri çağırma	99.02%
Özgüllük	97.96%
F1-skoru	98.54%
MCC	0.97
ROC-AUC	0.994
PR-AUC	0.982

Tablo 8: Karmaşıklık matrisinin nihai test seti. Önerilen mimariye ait, değerlendirme metriklerinin türetildiği makinelerin normal ve anormal durumlarının sınıflandırılmasını gösteren test seti karmaşıklık matrisi.

Metrik	Bulut Dağıtımı	Uç (Edge) Dağıtımı
Çıkarım Gecikmesi (ms)	85.6	18.7
İşleme Kapasitesi (samples/s)	22	53
Ağ Kullanımı (MB/min)	120	18
Tahmin Başına Enerji (J)	0.52	0.17
Gerçek Zamanlı Kapasite	Orta	Yüksek

Tablo 9: Çıkarım gecikmesi sonucu. Açıklanabilir YZ destekli CPHS çerçevesinin uç dağıtımının; işlem süresi, veri işleme kapasitesi, bellek tüketimi ve diğer gerçek zamanlı özellikleri içeren gecikme performansı.

Metrik	Bulut tabanlı CPS	Önerilen Uç Bilişim Destekli CPHS	İyileştirme
Saatlik Veri İletimi	100%	35%	%65 Oranında Azalma
İletişim Gecikmesi	75 ms	20 ms	%73,3 Azalma
Enerji Tüketimi	100%	68%	%32 Azalma
Tahmini Karbon Emisyonu	100%	70%	%30 Azalma

Tablo 10: Kenar destekli CPHS'nin sürdürülebilirlik değerlendirmesi. Kenar destekli CPHS'nin sürdürülebilirliğini değerlendirmek için iletişim yükü, enerji tüketimi, kaynak kullanımı ve gecikme ölçümleri kullanılır.

Model Varyantı	Doğruluk (%)	Hassasiyet (%)	Duyarlılık (%)	F1-Skoru (%)
Sadece CNN	93.8	92.5	94.2	93.3
Yalnızca transformatör	92.6	91.2	93.5	92.3
CNN + Transformer	98.5	98.06	99.02	98.54

Tablo 11: Ablasyon çalışmasının sonucu. Önerilen modelin performansı üzerinde CNN, Transformer ve SHAP modüllerinin etkisini vurgulayan ablasyon çalışması sonucu.

Tartışma

Deneysel sonuçlar, önerilen CNN-transformer mimarisinin, mekansal ve zamansal özellik öğrenimini etkili bir şekilde entegre ederek tekil algoritmaların performansını aştığını göstermektedir. Ablasyon çalışmasına göre, CNN spektrogramlardan frekans tabanlı ayırt edici özellikler çıkarsa da, transformer kodlayıcı akustik sinyallerdeki uzun vadeli zamansal bağımlılıkları yakalayarak model performansını artırmaktadır. Ayrıca, konfüzyon matrisi çok az sayıda yanlış negatif olduğunu göstermekte, bu da önerilen modelin makine anomalilerini etkili bir şekilde tanımlayabildiğine işaret etmektedir. Böyle bir mimari, %98,5 doğruluk ve %99,02 duyarlılık oranı ile geliştirilmiş sınıflandırma sonuçlarına yol açmıştır. Modelin herhangi bir arızalı makineyi gözden kaçırmaması gerektiğinden, bu sonuç endüstriyel hata tespit sistemleri için kritik öneme sahiptir. Deneysel sonuçlar, XAI destekli önerilen CNN–Transformer çerçevesinin yüksek anomali tespit doğruluğunu, yorumlanabilirliği ve gerçek zamanlı uç uygulama imkanını başarıyla birleştirdiğini göstermiştir. İki modülün kombinasyonu, akustik verilerden mekansal ve zamansal özelliklerin eş zamanlı olarak çıkarılmasını sağlarken, SHAP açıklamaları açıklanabilirliği ve güvenilirliği artırmaktadır. Bu sonuçlar; insan merkezli karar verme, sürdürülebilirlik ve siber ile fiziksel alanlar arasındaki sinerjiyi vurgulayan Endüstri 5.0 ilkeleriyle uyumludur. Bununla birlikte, önerilen yaklaşımın genellenebilirliğini tahmin etmek için diğer endüstriyel veri setleri ile daha kapsamlı bir değerlendirme ve pratik uygulama gerekmektedir.

Açıklanabilirlik için SHAP'in uygulanması, yalnızca sistemin verimliliğini artırmakla kalmaz, aynı zamanda modelin temel mantığının anlaşılmasını da önemli ölçüde geliştirir. Özellikle bu seçimler için önemli olan zaman-frekans bantlarına odaklanır. Bu, insanların ve AI sistemlerinin birbirine güvenmesi gereken Endüstri 5.0 senaryolarında kritik öneme sahiptir. SHAP ısı haritalarından, modelin hatalarla ilişkili belirli frekans bantlarını tanıdığı ve böylece gerçeklikle uyum sağladığı açıkça görülmektedir. Bu çalışmanın özgünlüğü, her ikisi de mevcut bilimli literatürde bahsedilen CNN-transformer veya SHAP'in tek başına kullanımına dayanmamaktadır. Aksine, açıklanabilirlik, sürdürülebilirlik, uç zeka ve insan merkezli karar destek problemlerini eş zamanlı olarak çözen, Endüstri 5.0 siber-fiziksel iş birliği yapısı içindeki entegre uygulamalarından kaynaklanmaktadır. Önerilen çerçeve; insan merkezli iş birliği, açıklanabilirlik, dayanıklılık ve sürdürülebilir uç hesaplama gibi Endüstri 5.0 fikirlerinden yararlansa da, mevcut araştırma teknik performansını yalnızca anomali tespit doğruluğu, gecikme süresi, enerji tüketimi ve yorumlanabilirlik kullanarak değerlendirmektedir. Operatör güveni, bilişsel yük, karar kalitesi ve kabul gibi insan merkezli yönlerin doğrudan değerlendirilmesi, mevcut araştırma tasarımının kapsamı dışındaydı. Gelecekteki araştırmalar, önerilen çerçevede iş birlikli karar verme etkinliğini ölçmek için insan-döngüde (human-in-the-loop) deneylerini içerecektir. Teorik açıdan bu araştırma, endüstriyel uzay-zamansal verileri işlemek için evrişimli sinir ağları ve Transformer yapılarının birleştirilmesinin etkinliğini göstererek, hibrit derin öğrenme modellerinin genişlemesine değerli bir katkı sağlamaktadır. Nitekim makale, karar verme süreci boyunca açıklanabilir AI kavramını uygulayarak CPS ve CPHS yaklaşımlarını geliştirmektedir. Ayrıca, çeşitli zaman-frekans özelliklerinin katkılarını ölçmek için bir araç olarak SHAP tekniğinin uygulanması, açıklanabilir AI tabanlı sistemlerin teorik temeline kanıt sunmaktadır. Genel olarak, böyle bir yaklaşım, derin öğrenme modellerinin yalnızca daha doğru hale gelmediği, aynı zamanda Endüstri 5.0 fikriyle uyumlu olarak insanlar tarafından yorumlanabildiği yeni bir paradigmanın önünü açmaktadır.

Pratik açıdan, önerilen sistem gerçek zamanlı endüstriyel anomali tespiti ve öngörücü bakım için mükemmel bir çözümdür. Uç noktada CPHS mimarileri kullanan sistem, akustik sinyallerin zamanında işlenmesine olanak tanır ve akıllı üretim tesislerinde uygulamaya oldukça uygundur. Yüksek geri çağırma oranı (%99,02), gözden kaçan arıza olasılığını azaltarak operasyonel güvenliği artırır ve beklenmedik makine arızalarını önler. Ayrıca, SHAP tabanlı açıklamaların kullanımı, insanların model sonuçlarını anlamasını sağlar; bu durum, özellikle insan müdahalesinin gerekli olduğu kritik durumlarda büyük önem taşımaktadır. Deneysel dağıtımdan elde edilen bulgular, uç bilişimin geleneksel bulut bilişime göre avantajlarını açıkça ortaya koymaktadır. Bunun nedeni, ağın uç noktasında gerçekleştirilen çıkarımın gecikme sürelerini minimize etmesi ve daha yüksek veri işleme kapasitesi ile verimliliği artırmasıdır. Ek olarak, tahmin başına enerji tüketiminin azaltılması, Endüstri 5.0 standartları doğrultusunda sürdürülebilir üretim hedeflerine ulaşılmasına yardımcı olacaktır. Bu teşvik edici sonuçlara rağmen, özetlenen yaklaşımın bazı kısıtlamaları bulunmaktadır. İlk olarak, çerçeve temel olarak MIMII veri seti üzerinde doğrulanmıştır; oldukça kapsamlı olsa da, gerçek bir endüstriyel ortamda ve farklı makine türlerinde karşılaşılabilecek tüm olası senaryoları kapsamakta yetersiz kalabilir. İkinci kısıtlama, açıklanabilirlik için SHAP kullanımının hesaplama karmaşıklığını artırmasıdır; bu durum, çerçevenin kaynakları oldukça sınırlı uç ortamlara dağıtılması sırasında bir sorun teşkil edebilir. Son olarak, mevcut model yalnızca akustik sinyallerle sınırlıdır, oysa endüstriyel sistemler örneğin titreşim ve sıcaklık dahil olmak üzere çok modlu işleme gerektirmektedir.

MIMII veri kümesinin kullanımı, endüstriyel akustikte gerçek dünya hata senaryolarını garanti etse de; ToyADMOS, DCASE endüstriyel anomali tespiti verileri, IMS rulman verileri ve CWRU rulman hatası verileri gibi diğer kıyaslama veri kümeleri üzerinde yapılacak doğrulamalar, önerilen çerçevenin genelleştirilebilirliğini daha da artırabilir. Gelecek çalışmalarda, Açıklanabilir Yapay Zeka tabanlı siber-fiziksel iş birliği çerçevesinin genelleştirilmesini sağlamak amacıyla; makine türleri, algılama yöntemleri ve üretim ortamlarında alanlar arası doğrulamalar gerçekleştirmeyi planlıyoruz. Mevcut araştırmanın bir diğer sınırlaması ise; Vision Transformers, Audio Spectrogram Transformers, Conformers ve yeni öz-denetimli öğrenme teknikleri gibi son zamanlarda geliştirilen akustik anomali tespit sistemleri üzerinde karşılaştırmalı deneylerin eksikliğidir. CNN-transformer modeli güçlü sonuçlar ve yorumlanabilirlik göstermiş olsa da, bu gelişmiş teknolojilerle kıyaslamak için daha fazla araştırma yapılacaktır. Mevcut araştırmanın bir başka dezavantajı, dayanıklılık ve sürdürülebilirlik gibi Endüstri 5.0 özelliklerinin değerlendirmesinin, çıkarım gecikmesi ve enerji tüketimi dahil olmak üzere sistem düzeyindeki metrikler aracılığıyla dolaylı olarak yapılmış olmasıdır. İletişim ve sensör arızalarına karşı dayanıklılığın ve karbon ayak izi ile kaynak kullanımı açısından sürdürülebilirliğin daha kapsamlı bir değerlendirmesi mevcut araştırmada gerçekleştirilmemiştir. Bu faktörler gelecek çalışmalarda değerlendirilmelidir.

Bununla birlikte, bu araştırmada açıklanan döngüdeki insan (human-in-the-loop) iş birliği paradigmasının teorik olduğu ve operatör destekli Endüstri 5.0 siber-fiziksel sistemlerinde karar verme süreci için açıklanabilir yapay zeka çıktılarının kullanımını örneklendirmeyi amaçladığı belirtilmelidir. İnsan operatörlerle deneysel doğrulama, kullanılabilirlik analizi, yanıt süresi ve uzman değerlendirmesi bu araştırmanın kapsamı dışındadır. Bu çalışmada, Endüstri 5.0 ortamlarında sürdürülebilir imalat için yeni bir Açıklanabilir Yapay Zeka odaklı siber-fiziksel iş birliği modeli sunulmaktadır. Geliştirilen sistemde, akustik spektrogramların uzamsal ve zamansal özelliklerini verimli bir şekilde öğrenmek ve böylece endüstriyel makinelerdeki anomalilerin tespitini sağlamak için hibrit bir CNN-transformer mimarisi kullanılmıştır. Önerilen model dört adımda çalışır: akustik verilerin spektrogramlara ön işlemesi, CNN ile uzamsal özelliklerin öğrenilmesi, transformer kodlayıcı ile zamansal bağımlılıkların öğrenilmesi ve sınıflandırma. MIMII veri seti üzerinde önerilen yöntemle elde edilen sonuçlar, sunulan modelin temel modellerden daha iyi performans gösterdiğini, %98,5 doğruluk ve %99,02 geri çağırma (recall) oranlarına ulaştığını kanıtlamaktadır. Ayrıca, açıklanabilirliğin dahil edilmesi sistemin netliğini artırmaktadır. Açıklanabilir Yapay Zeka destekli siber-fiziksel iş birliği için önerilen çerçeve, MIMII kıyaslama veri setinde iyi performans göstermiş olsa da, araştırma şu an için deneysel doğrulama ile sınırlıdır. Çerçevenin halen makinelerin heterojen olduğu, koşulların değiştiği ve dağıtımın uzun vadeli olduğu endüstriyel bir ortamda geniş ölçekli üretim yoluyla değerlendirilmesi gerekmektedir. Ek olarak, ViT, AST, Conformer ve öz-denetimli öğrenme modelleri gibi mimarilerle yapılan karşılaştırmalar gelecekteki çalışmalara dahil edilmelidir. Diğer bir ifadeyle, çerçeve; açıklanabilir yapay zeka, siber-fiziksel iş birliği ve döngüdeki insan iş birliğinin entegrasyonunun mümkün olduğunu gösterse de, endüstride geniş ölçekte uygulanmadan önce daha fazla doğrulamaya ihtiyaç vardır. Gelecek çalışmalar, önerilen çerçeveyi endüstri ve alanlar arası imalat için çeşitli hata teşhis kıyaslama veri setleri üzerinden daha derinlemesine inceleyerek; sürdürülebilir imalat ekosistemleri içindeki sağlamlığını, aktarılabilirliğini ve uygulanabilirliğini kanıtlayacaktır. Gelecekteki doğrulamalar; operatör merkezli deneyleri, yıkıcı endüstriyel koşullar altında dayanıklılık kıyaslamalarını ve sürdürülebilirlikle ilgili yaşam döngüsü değerlendirmesini kapsayacaktır.

Tekrarlanabilirlik için bu çalışma; veri ön işleme, bölme stratejisi, spektrogram oluşturma ayarları, CNN-transformer model mimarisi, optimize edici, hiperparametreler ve modelin performansını ölçmek için kullanılan metrikler hakkında ayrıntılar sunmaktadır. Rastgele tohumlar deneylerden önce belirlenmiştir. Tekrarlanabilirliği sağlamak amacıyla deneyler, halka açık MIMII (Malfunctioning Industrial Machine Investigation and Inspection) Veri Seti üzerinde yürütülmüştür. Veri setine erişim bağlantısı şöyledir: DOI: 10.5281/zenodo.3384388. Bu çalışmaya eşlik eden uygulama kodu, Zenodo deposu üzerinden halka açık hale getirilmiştir: https://zenodo.org/records/21405292. Ses sinyalleri 16 kHz hızında örneklenmiş ve 1024 pencere boyutu, 512 atlama uzunluğu ve 1024 FFT boyutuyla STFT kullanılarak log-Mel spektrogramlarına dönüştürülmüştür. Önerilen CNN-transformer mimarisi; (sırasıyla 32, 64, 128 ve 256 filtreye sahip) dört konvolüsyonel katman ve ardından dört katmanlı, sekiz dikkat başlığına sahip, 256 gömme boyutlu ve 1024 ileri besleme boyutlu bir transformer kodlayıcıdan oluşmaktadır. Eğitim süreci; 0.0001 öğrenme oranı ve 32 paket boyutu ile Adam optimizasyonunu ve 100 epoku içermektedir. Algoritma 1 ve 2, veri ön işleme aşamasını ve açıklanabilirlik prosedürünü tanımlamaktadır. Uygulama ayrıntılarını da içeren tam algoritma sunulmuştur.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Sosyal Destek Ölçeği	Yayımlanmış akademik ölçek; orijinali Park tarafından geliştirilmiş, Kim tarafından revize edilmiş/tamamlanmıştır	25 maddelik versiyon; 5'li Likert cevap formatı; ticari katalog numarası yok	Okul öncesi öğretmen adayları arasındaki algılanan sosyal desteği Duygusal Destek, Bilgilendirici Destek, Maddi Destek ve Değerlendirici Destek boyutlarında ölçer. Genel Cronbach’s alpha = 0,96.
Öğretmen Öz-Yeterlik Ölçeği	Yayımlanmış akademik ölçek; orijinal olarak Enochs ve Riggs tarafından geliştirilmiştir; Çinceye uyarlanmış çalışma versiyonu	25 maddelik versiyon; 5'li Likert yanıt formatı; ticari katalog numarası yok	Çin'deki hizmet öncesi okul öncesi eğitim bağlamında öğretmen yeterliliğini Genel Öğretmen Öz Yeterliliği ve Kişisel Öğretmen Öz Yeterliliği üzerinden değerlendirir. Genel Cronbach’s alpha = 0,96.
Öğretmen-Çocuk Etkileşim Ölçeği	Yayınlanmış akademik ölçek; Lee tarafından geliştirilmiş ve Çince kullanımı için çalışma uzman paneli tarafından gözden geçirilmiştir	30 maddelik versiyon; 5'li Likert yanıt formatı; ticari katalog numarası yok	Gözlemlenen sınıf içi etkileşim kalitesi yerine, öz bildirimle beyan edilen öğretmen-çocuk etkileşim yetkinliğini değerlendirir. Duygusal Etkileşim, Sözel Etkileşim ve Davranışsal Etkileşimi içerir; genel Cronbach’s alpha = 0,94.
Demografik Bilgi Formu	Araştırma ekibi, Sichuan Sanat ve Bilim Üniversitesi / Daegu Üniversitesi iş birliği	Özel çalışma anket bölümü; ticari katalog numarası yok	Cinsiyet, eğitim geçmişi, mesleki kategori, staj yeri, staj süresi, staj türü ve anaokulu türü dahil olmak üzere katılımcı özellikleri toplandı.
Katılımcı Bilgilendirme ve Aydınlatılmış Onam Metni	Araştırma ekibi; Daegu Üniversitesi Araştırma Etik Kurulu tarafından onaylanmıştır	Etik onay numarası: XXX; doğrulamak için yerel onay kaydı	Anket dağıtımı öncesinde; çalışma amacını ve anket içeriğini açıklamak ve okul öncesi öğretmen adaylarından bilgilendirilmiş onam almak için kullanılır.
Pilot Anket Soru Formu Paketi	Araştırma ekibi ve uzman paneli	1 Haziran'da kullanılan pilot versiyon–5, 2024; ticari katalog numarası yoktur	Mesleki Algı Ölçeği, Sosyal Destek Ölçeği, Öğretmen Öz-Yeterlik Ölçeği, Öğretmen-Çocuk Etkileşim Ölçeği ve demografik maddelerin açıklığı ve uygunluğu, 50 okul öncesi öğretmen adayında pilot test ile değerlendirilmiştir.
Uzman Panel İnceleme Prosedürü	Araştırma ekibi; iki erken çocukluk eğitimi profesöründen, bir okul öncesi kurum müdüründen, üç staj sorumlusundan ve araştırma ekibinden oluşan uzman paneli	Konsensüs tabanlı içerik incelemesi; ticari model numarası yoktur	Resmi anket öncesinde ölçek maddelerini belirsizlik, uygunluk, anlamsal netlik, gelişimsel uygunluk ve kültürel uygunluk açısından gözden geçirmek için kullanılır.
Yerinde Yazdırılmış Anket Formları	Araştırma ekibi; yerel kurumsal anket malzemeleri	Kağıt anket formları; ticari katalog numarası yoktur	Yerinde anket uygulaması için kullanılmıştır. Final örnekleminde, çevrimiçi anketlerle birleştirilmeden önce 336 geçerli yerinde anket elde edilmiştir.
WeChat	Tencent	WeChat mobil uygulaması; sürüm, Haziran ayı boyunca kullanılan cihaz/uygulama kaydından doğrulanmalıdır–Temmuz 2024	Anketlerin uygulanması için çevrim içi dağıtım kanalı olarak kullanılmıştır; çevrim içi/WeChat yoluyla 27 tamamlanmış çevrim içi anket toplanmıştır.
Telefonla ve Yüz Yüze Katılımcı Alım Prosedürü	Araştırma ekibi	Standardize edilmiş alım prosedürü; ticari katalog numarası yoktur	Kurumlara/katılımcılara ulaşmak, çalışma amacını ve anket içeriğini açıklamak ve anket uygulaması öncesinde bilgilendirilmiş onamı desteklemek için kullanılır.
SPSS Statistics	IBM	Sürüm 27.0	Betimsel istatistikler, Pearson korelasyon katsayıları ve Cronbach alfa için kullanılmıştır’Cronbach alfa güvenilirlik analizi, çarpıklık ve basıklık kullanılarak yapılan normallik kontrolleri ve Harman’yaygın yöntem yanlılığı için tek faktörlü test.
SPSS Amos	IBM	Sürüm 26.0	Doğrulayıcı faktör analizi, yapısal eşitlik modellemesi, çok gruplu ölçüm değişmezliği testi, dolaylı etkilerin bootstrap testi ve alternatif model karşılaştırmaları için kullanılır.
Microsoft Excel	Microsoft	Microsoft 365 Excel veya yerel olarak yüklü Excel sürümü; gönderimden önce kesin yerel derlemeyi doğrulayın	Kodlanmış anket verilerinin, veri sözlüğünün, ek tabloların ve JoVE Materyal Tablosunun düzenlenmesi için çalışma kitabı ortamı olarak önerilir/kullanılır. Kesin yerel sürüm yazarlar tarafından doğrulanmalıdır.
Yapısal Eşitlik Modellemesi Uyum İndeksi Kriterleri	Yayımlanmış metodolojik kılavuz; makalede atıfta bulunulan Schreiber et al. ve Kline referansları	Ticari katalog numarası yoktur; istatistiksel analiz planında uygulanan kriterler	Ki-kare istatistiği, serbestlik derecesine bölünmüş ki-kare, Tucker-Lewis İndeksi, Karşılaştırmalı Uyum İndeksi, Düzeltilmiş Uyum İyiliği İndeksi, Artımlı Uyum İndeksi, Yaklaşım Hata Kareler Ortalamasının Karekökü ve Standartlaştırılmış Artık Kareler Ortalamasının Karekökü dahil olmak üzere model uyum indekslerini tanımlar ve raporlar.
Bootstrap Aracılık Test Prosedürü	SPSS Amos / araştırma ekibi istatistiksel analiz planı	5.000 bootstrap örneği; %95 yanlılığı düzeltilmiş güven aralıkları	Öğretmen öz yeterliliği üzerinden dolaylı ilişkileri test etmek için kullanılmıştır. %95 yanlılığı düzeltilmiş güven aralığı sıfırı içermediğinde, dolaylı etkiler anlamlı kabul edilmiştir.
Ölçüm Değişmezliği Test Prosedürü	SPSS Amos / araştırma ekibi istatistiksel analiz planı	Çok grup doğrulayıcı faktör analizi; ΔCFI &< .010 ve ΔRMSEA (Kök Ortalama Kare Hata Yaklaşımı) &< .015 kriterleri	Havuzlanmış SEM tahminleri yorumlanmadan önce; cinsiyet, program türü, staj süresi ve kurum genelinde konfigürasyonel, metrik ve skaler değişmezliği değerlendirmek için kullanılmıştır.