Yerel özelliklere dayalı karmaşık asansör senaryolarında elektrikli bisikletler için geliştirilmiş parçalanmış görüntü notlama yöntemi

Summary

EBike-DET veri seti ve ana nesne algılama modelleri kullanılarak karmaşık asansör senaryolarında elektrikli bisiklet algılamayı geliştirmek için yerel özelliklere dayalı parçalanmış bir görüntü açıklama yöntemi sunulmaktadır.

Abstract

Konut asansörleri gibi dar ortamlarda elektrikli bisikletlerin (EBikes) artan kullanımı, özellikle sık tıkanmalar nedeniyle otomatik nesne algılamada ciddi güvenlik endişeleri yaratmış ve ciddi zorluklar yaratmıştır. Geleneksel algılama yaklaşımları, esas olarak bütünsel açıklamalara dayanırken, görsel olarak karmaşık sahnelerde kısmen kapatılmış EBikleri doğru şekilde tanımamaktadır. Bu sınırlamaları aşmak için, bu çalışma yerel özelliklere dayalı yeni bir parçalı notasyon yöntemi önerir ve daha yorumlanabilir bir açıklama stratejisi sunar. Bir EBike'yi bağımsız etiketleme için birden fazla anahtar bölgeye ayırarak, önerilen yöntem, tespit modellerinin ince taneli yapısal bilgileri öğrenmesini sağlar ve böylece tıkanma ağırlıklı koşullarda dayanıklılığı artırır. Ayrıca, gerçekçi asansör senaryolarında tespit görevlerini desteklemek için EBike-DET adlı özel bir veri seti geliştirilmiştir. Parçalanmış yaklaşımla açıklamalı ve simüle edilmiş çevresel koşullarla desteklenen veri seti, hem model performansını hem de uyum sağlamayı artırır. Önerilen yöntem, nesne tespitini daha şeffaf ve yapısal olarak yorumlanabilir hale getirerek açıklanabilir yapay zekanın (XAI) geliştirilmesini teşvik eder; bu özellik özellikle güvenlik açısından kritik uygulamalarda değerlidir. Üç ana akım model (YOLOv5, YOLOv10 ve SSD) kullanılarak kapsamlı deneyler yapılmıştır. Sonuçlar, YOLOv5'in EBike-DET'te parçalanmış notasyonlarla eğitildiğinde, hassasiyette %3,7, hatırlamada %5,3, F1 puanında %4,5 ve mAP'de %4,4 iyileşmeler elde ettiğini göstermektedir. Kamuya açık veri setlerine kıyasla, EBike-DET kapanma altında daha fazla istikrar ve sağlamlık gösterir. Bu çalışma, sadece tespit doğruluğunu ilerletmekle kalmıyor, aynı zamanda gerçek dünya güvenlik izleme sistemlerinde kullanıma yönelik daha yorumlanabilir ve açıklanabilir yapay zeka çözümlerine doğru bir adım sunuyor.

Introduction

Özellikle Çin'de, 2022 yılına kadar toplam sayı 350 milyonu aşan Çin'de, elektrikli bisikletlerin (EBikes) hızla yayılmasıyla, EBike'ler kısa mesafeli ulaşımda baskın bir araç haline gelmiştir. Ancak, konut asansörleri gibi dar alanlarda sık kullanılması, anormal titreşimler, ekipman hasarı, hoş olmayan kokular ve yangın tehlikeleri gibi ciddi güvenlik riskleri yaratır. Yakın tarihli bir çalışma, EBike ile ilgili yangın olaylarının yaklaşık %1,44 olasılığıyla gerçekleştiğini tahmin ^etmektedir. Bu riskler, asansör ortamlarında güvenliği artırmak için verimli ve doğru EBike tespit yöntemlerine acil ihtiyaç olduğunu vurguluyor.

Bilgisayar görme ve derin öğrenmedeki ilerlemelere rağmen, asansörlerde EBike tespiti hâlâ zordur. Kamuya açık veri setleri azdır ve genellikle EBike modelleri, renkleri ve tıkanma koşullarında çeşitlilikten yoksundur, bu da model genellemesini^{sınırlar. 2}. Ayrıca, asansör senaryolarında genellikle karmaşık tıkanmalar bulunur; burada EBikler yolcular veya yapısal bileşenler tarafından kısmen gizlenir ve bu da tespit^{hassasiyetini 3,4,5} daha da azaltır. EBike'leri tek bir sınırlayıcı kutu olarak ele alan mevcut bütünsel açıklama yöntemleri bu koşullarda genellikle başarısız olur ve bu da daha iyi notalama ve tespit stratejilerinin gerekliliğini gösterir. Tablo 1'de gösterildiği gibi, bütünsel açıklama performansın belirgin şekilde azalmasına yol açar; Birlik (IoU) eşiği üzerinde Ortalama Hassasiyette ortalama hassasiyet %21,5'e kadar azalır; parçalanmış açıklamaya kıyasla mAP@0%21,5'e kadar azalır.

Derin öğrenme tabanlı tespit alanındaki gelişmeler

Derin öğrenme yöntemleri, özellikle konvolüsyon sinir ağları (CNN'ler), nesne tespitinde yaygın olarak uygulanmıştır. You Only Look Once (YOLO) ailesi güçlü gerçek zamanlı performans sergiliyor. Ancak, örtülü veya üst üste binen nesneler tespit edilirken, YOLO modelleri genellikle gereksiz sınırlayıcı kutular üretir. Örneğin, YOLOv5, derin konvolüsyon ve özellik piramit^{ağları 6,7} ile çok ölçekli özellik çıkarımı artırırken, YOLOv10 maksimum olmayan bastırmayı ortadan kaldırır ve hızı ve çok ölçekli^{füzyon 8,9'u} artırmak için yol toplama ağları kullanır. Bu iyileştirmelere rağmen, gereksiz sınır kutuları ve tıkanma ağırlıklı ortamlarda azalan dayanıklılık hâlâ çözülmemiş sorunlar olarak kalmaktadır. Ancak her ikisi de temel EBike yapıları kısmen engellendiğinde zarar görür, çünkü bütünsel annotasyon sınırlı yerel ipuçları sağlar. Şekil 1A-C'de gösterildiği gibi, bu sınırlama orta veya ağır tıkanma altında gereksiz sınırlayıcı kutulara ve kararsız algılama güvenine yol açar. Buna karşılık, parçalı açıklama bu sorunu azaltır; modelin tekerlekler veya arka alan gibi ayrı bölgeleri tespit etmesini sağlar; böylece örtülen kutular altında yedek sınırlayıcı kutuları azaltır. Şekil 1D-F, parçalı açıklamanın özellik lokalizasyonunu iyileştirdiğini ve yalnızca kısmi EBike bileşenleri görünür kaldığında algılama kararlılığını koruduğunu göstermektedir.

Benzer şekilde, VGG-16 omurgasına dayanan Tek Atışlı Çok Kutulu Dedektör (SSD)^{modelleri 10,11}, ölçekler arasında verimli algılama sağlar ve küçük nesnelerde iyi performans^{gösterir 12}. Ancak, SSD özellik sürekliliği yoğun tıkanma nedeniyle bozulduğunda da zorlanır; bu da algılamaların kaçırılmasına veya kararsız kutu regresyonuna yol açar - dikkat mekanizmaları^{eklendiğinde bile 13}. Parçalanmış notlama burada da bir avantaj sağlar: model hâlâ görünür yerel parçalara dayanabilir, bu da çok ölçekli ve kapalı koşullarda tespit kararlılığını artırır.

Açıklama stratejileri ve yerel özellik öğrenimi

Günümüzdeki çoğu tespit yöntemi, notasyonu basitleştiren ancak esas olarak küresel^{özelliklere dayanan} bütünsel açıklamayı benimser. Bu yaklaşım, tekerlekler, ön veya arka alan gibi kritik EBike bölgeleri kısmen eksikte olduğunda zorlanıyor. Yakın tarihli^{bir çalışma 16}, nesneleri birden fazla notlanmış parçaya ayıran yerel özellik öğreniminin, zorlu senaryolarda sağlamlığı ve hassasiyeti artırabileceğini göstermiştir. Bununla tutarlı olarak, Tablo 2'deki sonuçlar, özellikle tekerlekler, ön ve arka alan notlanması sırasında en az %40-60 önemli EBike bileşenlerinin görünürlüğü devam ettiğinde parçalı notasyonun etkili kaldığını göstermektedir. Buna karşılık, holistik sınırlayıcı kutular düşük tıkanma senaryolarında (örneğin, <%20 kapatma) veya görüntü çözünürlüğü ≥1280 x 720 olduğunda, tam siluet korunduğunda yeterli kalır. Parçalanmanın faydası, örtülme %≈70'i geçtiğinde veya özellik düzeyindeki bölgeler ayırt edici mekânsal bilgi sağlayamayacak kadar küçük olduğunda azalır.

Harris Köşe Tespitinin Metodolojik Gerekçesi

Harris köşe algılama, deterministik davranışı, hesaplama verimliliği ve eğitimsiz özelliği nedeniyle yerel özellik çıkarımı için seçilmiştir; bunlar asansör ortamlarında güvenilir notalama için vazgeçilmezdir. SuperPoint ve LoFTR gibi öğrenilmiş anahtar nokta dedektörlerinin aksine, ek eğitimden kaçınır ve sınırlı notasyonlu veri ile yoğun tıkanma altında alan kaymasını azaltır. Canny ve Sobel gibi kenar tabanlı operatörlerle karşılaştırıldığında, Harris köşeleri, gürültülü arka plan kenarları yerine geometrik anlamlı birleşimlere vurgu yapar; bu da tekerlekler ve çerçeve kesişmeleri dahil olmak üzere EBike yapılarının kararlı yerelleştirilmesini sağlar. Ayrıca, Harris köşe algılama yorumlanabilir hiperparametreler sağlar. Ampirik sabit k köşe hassasiyeti ve stabilitesini kontrol eder. Bölüm 2.6.2.4 ve Şekil 2'de gösterildiği gibi, k ayarlaması sağlamlık ile aşırı algılama arasında kontrollü bir denge sağlar ve bu da önerilen kural tabanlı parçalı notasyon stratejisiyle iyi uyum sağlar.

Dayanıklılık için veri artırma

Veri artırılması, tespit modellerinin çeşitliliğini ve uyum sağlamlığını artırmada etkili olduğunu kanıtlamıştır. Yaygın teknikler arasında geometrik dönüşümler (örneğin, rotasyon, ölçeklendirme, kırpma) ve renk ayarlamaları (örneğin, gri ölçeklendirme, parlaklık değişiklikleri) bulunur; bunlar gerçek dünya koşullarını ve aydınlatma varyasyonlarını simüle^eder 17,18,19. Bu stratejilerin dahil edilmesiyle, tespit modelleri değişkenliğe karşı daha dayanıklı hale gelir ve gerçek dünyada kullanıma daha uygun hale gelir.

Yukarıda bahsedilen sınırlamaları gidermek için, bu çalışma yerel özelliklere dayalı geliştirilmiş bir parça notasyon yöntemi önermektedir. Bu yöntem, EBike'leri birden fazla bağımsız açıklamalı parçaya bölerek özellik öğrenmesini ve dayanıklılığını artırır; böylece karmaşık kapatma altında daha etkili bir tespit sağlar. Ayrıca, model uyum sağlamayı artırmak için asansör ortamlarına özel bir Elektrikli Bisiklet Tespiti (EBike-DET) veri seti oluşturulmuştur; bu veri geliştirmelerle çeşitli veri geliştirmelerle zenginleştirilir. Son olarak, yöntem YOLOv5, YOLOv10 ve SSD üzerinde doğrulanmış olup, Tablo 3'te özetlendiği üzere +%5,69 ile +%39,81 mAP arasında tutarlı performans artışları gösterilmiştir. Katkılar şu şekilde özetlenebilir: Oklüzyon koşullarında özellik öğrenimini güçlendiren geliştirilmiş parçalı notasyon yöntemi, asansör senaryoları için özel bir EBike-DET veri seti oluşturulması, çoklu artırma tekniklerinin dahil edilmesi ve ana akım tespit modellerinde deneysel doğrulama, bütünsel açıklamaya kıyasla daha yüksek hassasiyet ve dayanıklılık göstermek.

Protocol

Bu çalışmada kullanılan EBike-DET veri seti, yazarlar tarafından asansör, otopark ve sokak ortamlarında yapılan yerinde fotoğraf çekimleriyle toplanan görüntüler ile web tabanlı platformlardan elde edilen halka açık EBike görüntülerinden oluşmaktadır. Tüm yerüstü görüntü toplama, EBike tespiti için güvenlik ile ilgili teknik araştırmalar için özel olmayan ortamlarda gerçekleştirilmiştir. Görüntüler kasıtlı olarak bireyleri hedef almaz ve tesadüfen yakalanan kişiler, mesafe, tıkanma, arkaya dönük görünümler veya yüz özellikleri ile diğer kişisel tanımlayıcıları ortadan kaldıran uygun işlem nedeniyle tanımlanamaz. Web kaynaklı görüntüler yalnızca akademik araştırmalar için yeniden kullanıma izin veren platformlardan veya açık lisanslar altında yayımlanan kaynaklardan elde edilmiştir. Tüm görseller yalnızca ticari olmayan araştırma ve eğitim amaçları için kullanılır. Tanımlanabilir kişisel veriler toplanmadığı ve insan deneklerle doğrudan etkileşim gerçekleşmediği için, bu çalışma yazarın kurumsal yönergelerine uygun olarak kurumsal etik komitesinden onay gerektirmedi.

1. Veri seti oluşturma

1. Görüntü çözünürlüğü, renk uzayı ve dosya formatları
   1. Görüntülerin doğal çözünürlüğünü 1280 x 720 piksele ayarlayarak çeşitli sahnelerde EBike'lerin yüksek kaliteli detaylarını yakalayın.
   2. Standartlaştırma sonrasında, hesaplama verimliliği ve özellik kalıcılığını dengelemek için görüntüleri 640 x 480 piksele yeniden boyutlandırın.
   3. Renk alanını RGB'ye ayarlayarak tam renk bilgisini koruyarak farklı aydınlatma koşullarında doğru özellik tanıma sağlanır.
   4. Görüntüleri JPEG formatında kaydederek depolama kalitesini önemli ölçüde azaltmadan optimize edin.
2. Eğitim, doğrulama ve test veri setlerinin tanımlanması ve bölünmesi
   1. Veri setini, 7:2:1 oranında eğitim, doğrulama ve test setlerine ayırın; böylece veri seti model eğitimi, hiperparametre ayarlaması ve performans değerlendirmesi için uygun şekilde bölünür.
   2. Farklı deneyler arasında paylaşılmış verilerin tekrarlanabilirliğini sağlamak için rastgele tohumu 42'ye ayarlayın.
   3. Her veri seti bölünmesinde EBike modelleri ve oklüzyon seviyelerinin tutarlı dağılımını korumak için tabakalı örnekleme uygulanır, böylece kümeler arasında sınıf dengesizliği olmaz.
   4. Eğitim, doğrulama ve test setleri arasında sızıntı olmamasını sağlamak için birden fazla sette EBike görüntüsü görünmediğinden emin olun.
3. Kamu veri seti oluşturma
   1. Açık kaynak^{platformu 20,21,22,23'ten} halka açık EBike tespit veri setini seçin; bu veri seti panoramik ve kısmen kapatılmış sahnelerde 210 EBikes fotoğrafını içerir.
   2. Tek kamera açısı, düşük çözünürlük ve basit arka plan sahneleri gibi kamuya açık veri setinin sınırlamalarını fark edin; bu durum, özellikle karmaşık kapatma senaryolarında modelin genelleme yeteneğini kısıtlayabilir.
4. EBike-DET veri seti oluşturma
   1. Sahne kapsamasını ve örnek çeşitliliğini artırmak için EBike-DET veri setini oluşturun; web tabanlı platformlardan ve saha içi fotoğraflardan 1.680 yüksek kaliteli görüntüden oluşuyor.
   2. Asansörler, otoparklar ve sokaklar gibi çeşitli ortamların dahil edilmesini sağlayarak EBikes'ın içinde olabileceği çeşitli koşulları yakalamayı unutmayın.
   3. EBike görünümlerinin tam yelpazesini yakalamak için çeşitli kamera açıları (ön, yan ve üst görünüm) dahil ederek tespit modelleri için sağlam eğitim sağlar.
   4. Örneklem çeşitliliğini artırmak için birden fazla EBike markası ve modeli ekleyerek, rengi, boyut ve aksesuar farklılıklarıyla veri setini zenginleştirin.
   5. Yayalar ve araçlar tarafından kısmen kapatılan ekleksiyon senaryolarının dahil edilmesini sağlayın; bu durum asansör gibi dar alanlarda gerçek dünya koşullarını simüle eder.
   6. EBike-DET veri setinin çeşitli ve karmaşık örnekler içerdiğini, karmaşık tıkanma koşullarında hedef tespit için güvenilir bir veri seti yaptığını doğrulamak.
5. Web ve sitedeki görseller için dahil etme ve dışlama kuralları
   1. Web görüntüleri: Yalnızca halka açık olan, çeşitli ortamlarda çekilen, yüksek çözünürlüklü ve çeşitli aydınlatma koşullarına sahip olanları ekleyin. Düşük çözünürlüklü veya basit arka planlı görüntüleri hariç tutun.
   2. Yerüstü görüntüler: Gerçek dünya ortamlarında, özellikle asansörler, otoparklar veya sokaklar gibi yerlerde çekilen görüntüleri ekleyin. Görüntülerin, örtüklük, arka plan karmaşıklığı ve hava koşullarında farklılıklarla gerçekçi EBike senaryolarını temsil ettiğinden emin olun. Aşırı gürültü, bozulma veya gerçekçi olmayan ayarlara sahip görüntüleri hariç tutun.
   3. Veri seti boyunca tutarlılığı korumak için hem web hem de site içi görüntülerin aynı çözünürlük ve renk alanı standartlarını takip ettiğinden emin olun.
6. Veri artırma yapısı
   1. Örnek çeşitliliğini artırmak ve çeşitli ışık koşulları ile kamera yönelimlerini simüle etmek için gri tonlama ve döndürme gibi temel artırma işlemlerini uygulayın.
   2. EBike hedefini, tekerlek alanı, ön alan ve arka alan dahil olmak üzere birkaç bağımsız yerel bölgeye ayırarak yerel özellik öğrenimini geliştirin.
   3. Her bölgeyi bağımsız olarak açıklama yapın; böylece oklüzyon altında tespit doğruluğunu artırın ve farklı EBike parçalarında sağlam model performansı sağlanın.
   4. Tüm artırılmış görüntüler ve parçalanmış notasyonların EBike özellikleriyle yapısal tutarlılığı sakladığını doğrulayın, böylece eşleşmemiş veya geçersiz eğitim verilerini önleyin.

2. Yerel özellik parçalı açıklama

NOT: Karmaşık tıkanma senaryolarında EBike'lerin tespit hassasiyetini artırmak için, geliştirilmiş yerel özelliklere dayalı parçalı bir notasyon yöntemi önerilmiştir. Bu yöntem, EBike bölgesini yerel özellik noktalarını çıkararak segmentler ve ilgili özellik bölgesindeki tıkanma derecesine göre bir bölgenin notlandırılıp yapılmamasını belirler. Detaylı deneysel süreç Şekil 3'te gösterilmiştir.

1. Daha önce oluşturulmuş eğitim, doğrulama ve test veri setlerini kullanarak.
2. Manuel açıklama: Manuel açıklama için Python ortamındaki LabelImg aracını kullanın. Tüm görselleri yalnızca EBikes olarak etiketleyin, böylece negatif örneklerden en az parazit^{sağlanır 24,25}.
3. Veri işleme ve artırma
   1. Yongjiang ve ^ark.22 tarafından önerilen yöntemi, veri setinde eşit boyut sağlamak için görüntülerin gürültü azaldılması ve standartlaştırılması için uygulanır.
   2. Örnek çeşitliliğini artırmak için veri artırma işlemlerini (örneğin, döndürme, parlaklık ayarlama, gri tonlama) gerçekleştirin. Tüm artırılmış görüntülerin görüntü kalitesini korumasından ve modelin çeşitli arka planlara dayanıklılığını artırdığından emin olun.
4. EBike alan kırpımı
   1. ROI yerelleştirmesinin tekrarlanabilirliğini sağlamak için, YOLOv10 için Tablo 4'teki çıkarım parametrelerini uygulayın (yolov10x.pt önceden eğitilmiş ağırlık dosyası kullanılarak). Çıkış sınırlayıcı kutu koordinatları aşağıdaki gibidir:
      ROI = [x₁, y₁, x₂, y₂] (1)
      Denklem (1), ROI²⁶ sınırlayıcı kutu koordinatlarını [x₁, y₁, x₂, y₂] tanımlar, burada :_{x 1}, y₁ =EBike ROI'nin sol üst köşe koordinatları; x₂, y₂ =EBike ROI'nin sağ alt köşe koordinatları. Bu koordinatlar, YOLOv10'un ham çıktısından türetilmiştir; bu çıktı, tespit edilen her nesne için [c_x, c_y, w, h] formatında sınırlayıcı kutuları tahmin eder. Dönüşüm formülleri şunlardır:
      (2)
      (3)
      (4)
      (5)
      Burada c_x, c_y Tahmin edilen sınırlayıcı kutunun normalize yatay/dikey merkez koordinatları (giriş görüntü boyutu 640 x 480 olarak ölçeklendirilmiştir).  w, h, tahmin edilen sınırlayıcı kutunun normalize edilmiş genişliği/yüksekliğidir (giriş görüntü boyutuna ölçeklendirilmiştir).
   2. YOLOv10'un çıkışını güven eşiği (0.5) ile filtreleyin, böylece yalnızca EBike ile ilgili algılar (elektrikli bisiklete karşılık gelen sınıf kimliği) korunur, ardından NMS (IoU=0.45) ile işlem yaparak gereksiz kutuları kaldırın. Kalan sınırlayıcı kutuyu ROI kırpımı için [x₁, y₁, x₂, y₂] olarak dönüştürün.
   3. Çoklu tespitlerin yönetimi
      NOT: Asansör senaryolarında (EBike-DET veri setinin temel hedefi), EBike'ler genellikle tek örnek olur (alan kısıtlamaları nedeniyle). Birden fazla EBike tespit edilen vakalar için (örneğin, iki EBike ile kalabalık asansörler) aşağıdaki kurallar geçerlidir.
      1. En yüksek güven önceliği: Maksimum güven puanına sahip sınırlayıcı kutuyu seçin (YOLOv10'un çıktı güveni, modelin nesnenin EBike olduğuna dair kesinliğini yansıtır).
      2. Mekânsal geçerlilik kontrolü: Birden fazla tespit >0.7 güven puanına sahipse, asansör yapısal sınırlarıyla mekânsal örtüşmeyi doğrulayın (örneğin, asansör duvarlarının ötesine uzanan kutuları sınırlamaktan kaçının). Merkez noktası c_{x, c y} görüntü merkezine en yakın olan tespiti korun (asansörler genellikle öne dönük kameralarla izlenir ve hedefler ortadadır).
      3. Kenar durum yönetimi: Geçerli bir tespit güven eşiğini karşılamazsa (örneğin, şiddetli tıkanma), görüntüyü manuel ROI düzeltmesi için işaretle işaretle (EBike-DET veri setinin %<3'ünü oluşturur).
5. Gri tonlu dönüşüm ve normalizasyon
   1. Kırpılmış RGB görüntüde ROI'den gri ton dönüşümü yapın. Dönüşüm için ağırlıklı ortalama yöntemini kullanın, formülü takip ederek:
      I_gra = 0.299 × R + 0.587 × G + 0.114 × B (6)
      burada R, G ve B, sırasıyla kırmızı, yeşil ve mavi kanallardaki piksel değerlerini temsil eder. Bu yöntem, farklı renklerde parlaklık algısıyla uyumludur.
   2. Gri tonlu görüntünün piksel değerlerini [0, 1] aralığına normalize edin, [0, 255]'ten doğrusal ölçeklendirme yapın. Bu normalizasyon, sayısal hesaplamaların kararlılığını artırır ve sonraki gradyan hesaplamaları ile eşik belirlemenin değişken aydınlatma koşullarında tutarlı şekilde çalışmasını sağlar.
6. Harris köşe tespiti
   1. Harris köşe algılamasını gri tonlamaya uygulayın ve EBike bölgesini normalize ederek yerel özellik noktalarını çıkarın.
      NOT: Harris köşe algılamasının temel prensibi, görsel olarak Şekil 4B'de gösterildiği gibi, görüntüdeki köşeleri doğru şekilde konumlandırmak için otokorelasyon matrisinin hesaplanmasını içerir. Bu tespit edilen virajlar genellikle tekerlekler, ön alan ve arka alan gibi önemli EBike bileşenleriyle ilişkilendirilir ve genellikle net köşe özellikleri gösterir.
   2. Aşağıda açıklandığı gibi önemli yoğunluk değişikliklerine sahip alanları belirlemek için görüntünün gradyanını hesaplayın.
      1. Görüntü yumuşatma: Gürültüyü bastırmak için gri tonlu görüntüye Gauss filtreleme uygulayarak yumuşatılmış görüntü aşağıdaki şekilde elde edilir:
         I_s = G_σ*I (7)
         burada * konvolüsyon işlemini temsil eder ve G_σ, σ standart sapmaya sahip 2D bir Gauss çekirdeğidir ve bu da düzleştirme seviyesini kontrol eder. Tipik bir değer 1.0'dır.
      2. Görüntü gradyanı hesaplayın: Düzleştirilmiş görüntünün yatay (x) ve dikey (y) gradyanlarını hesaplamak için bir gradyan operatörü (örneğin Sobel operatörü gibi) kullanın:
         I_x = K_{x *} I_s , I_y=K_{y *} I_y (8)
         burada_{I x} ve I_y, sırasıyla x ve y yönlerindeki gradyan haritalarıdır ve Gx ile Gy, Sobel operatörü için konvolüsyon çekirdekleridir:
         , (9)
      3. Daha önce hesaplanan gradyanlara dayanarak, her piksel (x,y) üzerinde ortalanmış 3 x 3 yerel bir pencere W kullanarak otomatik korelasyon matrisi M oluşturun:
         (10)
         Formülde W, (x,y) konumundaki yerel bir pencereyi ifade eder ve ∑W, bu pencere içindeki tüm görüntü elemanlarının toplamını temsil eder; A = ∑W I_x² , W penceresindeki x yönündeki kare gradyanların toplamını temsil eder ve x yönündeki değişikliklerin yoğunluğunu yansıtır; B=∑W I_y², W penceresindeki y yönünde karelenmiş gradyanların toplamını temsil eder ve y yönündeki değişimlerin yoğunluğunu yansıtır; C = ∑W I_xI_y , W penceresi içindeki x ve y yönlerindeki gradyanların çarpımının toplamını temsil eder ve bu iki yön arasındaki değişimlerin korelasyonunu tanımlar.
      4. Her iki yöndeki değişimlerin yoğunluğunu yansıtmak için hem x hem de y yönlerindeki kare gradyanların toplamını hesaplayın. I_{x I y} gradyanları arasındaki çapraz terim, x ve y yönleri arasındaki korelasyonu yakalar.
      5. Köşe yanıt fonksiyonu: Köşe yanıt fonksiyonu R'yi, otokorelasyon matrisinin determinantı ve izine dayanarak köşe noktalarını tespit etmek için hesaplayın. Her piksel için yanıt değerini hesaplayın ve Şekil 2'de gösterildiği gibi son köşeler olarak daha yüksek yanıt değerlerine sahip noktaları seçin. Köşe yanıt fonksiyonu şu şekilde verilir:
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (iz(M)⁾² (13)
         burada det(M), M'nin determinanıdır ve yerel özellik bölgesindeki genel değişimi yansıtır; trace(M) ise bölgedeki toplam gradyan yoğunluğunu yansıtan matriksin izidir. Ampirik sabit k genellikle 0.04 ile 0.06 arasında ayarlanır.
         NOT: Deneylere dayanarak, k seçiminin sonuçları önemli ölçüde etkilediği bulundu:
         k=0.04 olduğunda, yanıt değerleri çok yüksek olur ve yanlış tespit edilen köşe noktalarının aşırı olmasına yol açar.
         k=0.05 olduğunda, yanıt değerleri daha dengelidir ve gerçek köşeleri doğru şekilde tespit eder.
         k=0.06 olduğunda, yanıt değerleri çok düşüktür ve köşe noktalarını güvenilir şekilde tespit etmeyi zorlaştırır.
   3. Harris köşe noktası tespit sonuçlarını kullanarak EBike'nin yerel alanlarının kaba taneli bölünmesini gerçekleştirin. EBike'yi, Şekil 4C'de gösterildiği gibi geometrik yapı ve köşe nokta dağılımına göre bölgelere ayırarak karmaşık tıkanma senaryolarında modelin dayanıklılığını ve algılama performansını artırın.
   4. Tekerlek alanı: Bölge, dairesel bir şekil boyunca simetrik olarak dağılmış en az 15 köşe noktası içeriyorsa ve simetri puanı en az 0.85 değilse geçerli sayılır. Simetri puanı Denklem 11'de gösterilmiştir. Tekerlek bölgesinin genişlik-yükseklik oranı yaklaşık 1:1 olmalı, böylece tekerleğin geometrik özelliklerini doğru yansıtmalıdır.
   5. Ön alan: Bölge en az 10 köşe noktası içeriyorsa ve simetri puanı 0,80'den az olmayan bir alana sahipse ve genişlik-yükseklik oranı 1,2:1 ile 1,5:1 arasında yer alıyorsa, ön alanın beklenen yapısal özelliklere karşılık gelmesini sağlayacaksa dahil edin.
   6. Arka alan: En az 12 köşe noktası varsa, simetri puanı en az 0.75 olmadıkça ve genişlik-yükseklik oranı 1.5:1 ile 2:1 arasında değişiyorsa, arka alanın beklenen geometrik özelliklere uymasını sağlamak için bölgeyi dahil edin.
7. Kritik EBike alanlarının sınırlayıcı kutularla temsili
   1. Köşe noktalarını dikdörtgen sınırlı kutulara dönüştürmek için DBSCAN kümeleme algoritması kullanılır. Bu yöntem, yakın köşe noktalarını kümelere gruplarak gruplarak bir bölge oluşturan köşe noktalarının bir arada gruplanmasını sağlar. Bir küme içindeki noktalar arasındaki maksimum mesafeyi 30 piksele ayarlayın.
   2. Her köşe noktası kümesi için, minimum ve maksimum x ve y koordinatlarını belirleyin. Bu koordinatlar, sınırlayıcı kutunun kenarlarını temsil eder.
   3. Tüm ilgili özelliklerin dahil edilmesi için sınırlayıcı kutunun etrafına 10 piksel kenar ekleyin. Bu marj, köşe noktası algılamadaki olası hizalanma veya piksel yanlışlıklarını telafi eder.
   4. Sınırlayıcı kutu koordinatlarını en yakın tam sayıya yuvarlayarak görüntü işleme için doğru piksel hizasını sağlanır.
   5. Aşağıda açıklandığı gibi i-ci bileşenin (örneğin, tekerlek, ön alan, arka alan) son sınırlama kutusu koordinatlarını temsil et.
      1. Tanımlanmış bölgeleri (tekerlek alanı, ön ve arka alan) birleştirin ve EBike'ın tüm kritik alanlarını dikdörtgen sınırlayıcı kutular kullanarak temsil edin.
      2. i bileşeni için sınırlayıcı kutu koordinatlarını (örneğin, tekerlek, ön alan, arka alan) şu şekilde tanımlayın:
         (14)
         burada B_i , i-ci bileşenin sınırlayıcı kutusunu temsil eder ve ve sırasıyla sol üst ve sağ alt köşelerin koordinatlarıdır.
8. Kısmi tıkanmanın yönetimi
   1. Her bölge için köşe simetri puanını değerlendirin. Simetri puanı 0.7'den büyük veya eşitse bir bölgeyi kabul edin.
   2. Tıkanma kontrolü için köşe noktalarının görünürlüğünü ölçün. Köşelerin en az %50'si görünürse bir bölgeyi kabul edin. Köşelerin %30-%50'si görünürse, bölgeyi daha fazla inceleme için işaretleyin. Köşelerin %30'undan azı görünürse, doğru tespit için yeterli görüş eksikliği nedeniyle bölgeyi reddedin.
9. Yerel özellik bölgelerinin doğruluk yargısı
   1. Her yerel özellik bölgesinin doğruluğunu üç nicel operasyonel metrik kullanarak değerlendirin: bir simetri metriği S, bir kontur sürekliliği metriği C ve bir bağlantı yapısı metriği L. Bu metrikleri tekerlek alanı, ön alanı ve arka alanına eşit şekilde uygulayın.
   2. Bir bölgeyi yalnızca tüm metrikler önceden tanımlanmış eşikleri karşıladığında kabul edin. Bir metrik tolere edilebilir aralıkta başarısız olursa, yatırım getirisi genişletin ve yeniden değerlendirin. İki veya daha fazla metrik başarısız olursa, bölgeyi güvenilmez olarak işaretleyin.
10. Tekerlek bölgesi özellik doğruluk analizi
    1. Ön görüş operasyonel kontrol noktası
       1. Simetri metriğini hesaplayın:
          (15)
          burada nL ve nR, sol ve sağ köşe sayımlarını gösterir.
       2. S 0.85 ≥ bölgeyi kabul edin. Şekil 5A'da gösterildiği gibi, tekerlek simetri içeren dairesel bir şekil sergiler ve çevre boyunca Harris köşe noktaları simetrik bir desen oluşturur. Yani, tüm tekerlek alanını not edin.
       3. Eğer 0.70 ≤ S<0.85, ROl'yi 10-20 piksel genişletin ve değerlendirmeyi tekrarlayın, böylece daha fazla gerçek özellik hesaplama alanına yeniden girebilir ve ardından tekrar değerlendirin. Şekil 5D'de gösterildiği gibi, tekerleğin kısmi tıkanması gerçekleşir, bu nedenle kırpma aralığı Ebike'in daha fazla özelliğini değerlendirmek üzere genişletilmelidir.
       4. Eğer S<0.70 ise, bölgeyi güvenilmez olarak etiketleyin. Şekil 5G'de gösterildiği gibi, dairesel şekil bozulmuştur; Bu bölgeyi açıklamadan çıkarır.
    2. Yan görüş operasyonel kontrol noktası
       1. Kontur sürekliliğini şu yöntemlerle ölçmek gerekir:
          (16)
       2. C 0.75 ≥ kabul et. Şekil 5B'de gösterildiği gibi, gerçek sürekli yay uzunluğunun beklenen yay uzunluğuna oranı gereksinimleri karşılar, kontur kenara tam olarak uyur ve belirgin bir kırılma yoktur.
       3. 0.55 ≤ C < 0.75 ise, kontur çıkarımı incelen ve tekrar kontrol edilsin. Şekil 5E'de gösterildiği gibi, sürekli ark uzunluğunun beklenen ark uzunluğuna olan akım oranı kritik aralıktadır; Konturu daha tam hale getirmek için çıkarma algoritmasının eşiğini ayarlamak gereklidir.
       4. Eğer C 0.55 <, yetersiz geometrik süreklilik nedeniyle bölgeyi reddeder. Şekil 5H'de gösterildiği gibi, analiz gereksinimleri karşılanamaz.
    3. Üst görünüm operasyonel kontrol noktası
       1. Yapısal bağlantıyı şu yöntemlerle değerlendirin:
          (17)
       2. L 0.70 ≥ kabul et. Şekil 5C'de gösterildiği gibi, gözlemlenen mesafe ile beklenen mesafe arasındaki sapma etkili bir şekilde dengelenmiş, yapısal bağlantı gereksinimleri karşılamış ve araç ile asansör ortamı arasındaki göreli konum bağlantısı tamamlanmıştır.
       3. L 0.70 < gelirse, yatırım getirisini genişletin ve yeniden değerlendirin. Şekil 5F'de gösterildiği gibi, gözlemlenen mesafe ile beklenen mesafe arasındaki akım sapması nispeten büyüktür; Bağlantı değerlendirmesinin doğruluğunu artırmak için analiz kapsamının genişletilmesi ve çevredeki yapıların daha fazla dahil edilmesi gereklidir.
       4. Bağlantı tutarsız kalırsa, bölgeyi güvenilmez olarak sınıflandırın. Şekil 5I'de gösterildiği gibi, etkili bir analiz alanı olarak kullanılamaz.
11. Ön alan özellik doğruluk analizi
    1. EBike ön alanının özellik doğruluğu değerlendirmesi için, Bölüm 2.10'da tanımlanan birleşik kural tabanlı çerçeveyi takip edin; bunlar arasında Denklem 15'te tanımlanan metrik S ile ön görünüm altında simetri değerlendirmesi, Denklem 16'da tanımlandığı gibi C metrik ile yan görünüm altında kontur sürekliliği değerlendirmesi ve Denklem 17'de tanımlandığı gibi L metrik kullanılarak üst görünüm altında yapısal bağlantı doğrulaması yer alır.
    2. Ön bölgede geometrik değişkenlik ve sık sık kısmi tıkanma nedeniyle, tekerlek bölgesine kıyasla orta derecede gevşek eşikler benimsenmelidir. Ön alan bölgesi, S ≥0.80, C ≥ 0.70 ≥L 0.65 olduğunda kabul edilir. Şekil 6A-C'de gösterildiği gibi, bu kriterleri karşılayan bölgeler dengeli sol-sağ özellik dağılımları, tutarlı konturlar ve kararlı yapısal bağlantı sergiler.
    3. Herhangi bir metrik Bölüm 2.10'da belirtilen ara aralık içinde yer alıyorsa, ilgi alanını genişletin ve Şekil 6D-F'de gösterildiği gibi ek bağlamsal özellikler dahil etmek üzere yeniden değerlendirin. Yeniden değerlendirmeden sonra minimum kriterleri karşılayamayan bölgeler, Şekil 6G-I'de gösterildiği gibi güvenilmez olarak sınıflandırılır.
12. Arka Alan Özellik Doğruluk Analizi
    1. Arka alan özellik doğruluğu analizi için, Bölüm 2.10'da tanımlanan değerlendirme protokolüne uyun; Denklem 15'te tanımlanan S metrikleri, Denklem 16'da tanımlanan C ve Denklem 17'de ön, yan ve üst görünümlerde tanımlanan L metrikleri kullanılır.
    2. Arka alan, yolcular, taşınan nesneler veya asansör yapıları nedeniyle oluşan tıkanmaya daha yatkındır. Bu nedenle, güvenilmez açıklamalardan kaçınmak için daha sıkı reddetme koşulları uygulayın. Arka alan bölgesi S ≥ 0.75, C ≥ 0.70 ve L ≥ 0.65 olduğunda kabul edilir. Yeterli simetri, kontur sürekliliği ve bağlantıya sahip temsil kabul edilen durumlar Şekil 7A-C içinde gösterilmiştir.
    3. Sınırda metrik değerlere sahip bölgeler için, Şekil 7D-F'de gösterildiği gibi ROI genişletme ve yeniden değerlendirme gerçekleştirin. Geometrik ilişkiler belirsiz kalırsa veya metrikler kabul kriterlerini karşılamazsa, bölgeyi Şekil 7G-I'de gösterildiği gibi güvenilmez olarak işaretleyin.
13. Arka Alan Özellik Doğruluk Analizi
    1. Arka alan özellik doğruluğu analizi için, Bölüm 2.10'da tanımlanan değerlendirme protokolünü takip edin; Denklem 15'te tanımlanan aynı metrikler S, Denklem 16'da tanımlanan C ve Denklem 17'de tanımlanan L metrikleri ile ilgili bakış açıları altında.
    2. Ön alana kıyasla, arka alan yolcular, taşınan nesneler ve asansör iç yapıları nedeniyle oluşan tıkanmaya daha yatkındır. Bu nedenle, güvenilmez açıklamaları önlemek için biraz daha katı reddetme kriterleri uygulayın. Arka alan bölgesi S ≥ 0.75, C ≥ 0.70 ve L ≥ 0.65 olduğunda kabul edilir. Şekil 7A-C'de gösterildiği gibi, kabul edilen bölgeler yeterli simetri, kontur tutarlılığı ve yapısal bağlantı sağlar.
    3. Sınırda metrik değerlere sahip bölgeler için, Figür 7D-F'de gösterildiği gibi 2.10. Bölüm uyarınca ROI'yi genişletin ve yeniden değerlendirin. Yeniden değerlendirildikten sonra geometrik tutarlılık yetersiz kalırsa, bölgeyi Şekil 7G-I'de gösterildiği gibi güvenilmez olarak işaretleyin.
14. Boru hattının uygulanması
    1. Dosya ve klasör yapısı: Uygulama, tespit etme, yerel özellik çıkarımı ve açıklama yargısını ayıran modüler bir dizin yapısı izler. Aşağıda gösterilen temsilci klasör organizasyonuna bakınız. Tüm ara sonuçları özel alt klasörlerde saklayarak her işlem adımının bağımsız incelenmesine olanak tanır.
       project_root/
       │
       ├── data/
       │ ├── görüntüler/
       │ │ ├── tren/
       │ │ ├── val/
       │ │ └── test/
       │ └── Açıklamalar/
       │
       ├── Tespit/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── ROI/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── Harris/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configs/
       └── thresholds.yaml
    2. Yürütme boru hattı ve örnek komut satırları
       1. EBike algılama ve ROI yerelleştirme: Önceden eğitilmiş bir nesne algılama modeli kullanarak EBike bölgelerini yerelleştirin. Tespit sonuçlarını sınırlayıcı kutu koordinatları olarak sakla.
          python algılama/detect_ebike.py \
          --girin verisi/görüntüleri/test/ \
          --Çıkış ROI/detections.json
       2. ROI kırpma: Tespit edilen sınırlayıcı kutuları kullanarak orijinal görsellerden EBike bölgelerini kırpın.
          python ROI/crop_roi.py \
          --Tespit ROI/detections.json \
          --görüntüler, veriler/görseller/test/ \
          --çıkış ROI/cropped_images/
          Her kırpılmış görseli isimlendirme formatıyla kaydedin: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. Harris köşe çıkarma: Gri tonlama dönüşümünden sonra her kırpılmış ROI'ya Harris köşe algılaması uygulanır. Köşe tepki haritalarını ve görsel üst katmanları inceleme için saklayın.
          Python Harris/harris_corner.py \
          --girin ROI/cropped_images/ \
          --çıkış Harris/corner_visualization/ \
          --config configs/thresholds.yaml
       4. Kaba taneli bölme ve parça açıklaması: Yerel özellik bölgelerini köşe noktalarının mekânsal dağılımına göre tekerlek, ön ve arka alanlara ayırın. Geometrik ve özellik temelli kriterler kullanarak geçerlilik yargısı uygulan.
          python chunk_annotation/region_partition.py \
          --köşeler Harris/corner_visualization/ \
          --çıkış chunk_annotation/final_annotations/
    3. Beklenen ara çıktılar ve görsel kontrol noktaları: Her işlem aşamasında üretilen ve görsel kontrol noktaları olarak hizmet veren ara çıktıları saklayın. Bu ara çıktılar, ROI yerelleştirmesi, köşe çıkarma kalitesi, bölge bölümlendirmesi ve nihai açıklama kararlarının adım adım doğrulanmasını sağlar.
       1. ROI kırpma çıktısı: Kırpılmış EBike görüntüleri roi/cropped_images/'da kaydedilir. Her görüntü, orijinal çerçeveden çıkarılan tek bir EBike bölgesi içerir.
       2. Harris köşe görselleştirmesi: Harris/corner_visualization/'da köşe üstlemelerini kaydet. Geçerli tekerlek bölgeleri için, dairesel jant yapısı boyunca yoğun bir köşe noktası gözlemlenebilir. Köşe yanıtlarının yetersiz olduğu bölgeler bu aşamada tanımlanabilir.
       3. Bölge bölünmesi sonuçları: Bölünmüş bölgeleri (tekerlek, ön alan, arka alan) bağımsız olarak görselleştirin. Yalnızca önceden tanımlanmış geçerlilik kriterlerini karşılayan bölgeleri (örneğin, yeterli köşe yoğunluğu ve geometrik tutarlılık) elde edin.
       4. Son annotasyon çıktısı: Kabul edilen bölgeleri chunk_annotation/final_annotations/ içinde yapılandırılmış açıklama dosyaları olarak depolayın. Geçerlilik kararı veremeyen bölgeleri hariç tutun ve bunları sonraki aşamalara yaymayın.
          NOT: Köşe tespiti ve bölge geçerliliği değerlendirmesi için kullanılan tüm eşikler, yapılandırma dosyalarında merkezileştirilmiştir. Boru hattı, zamansal bağımlılık olmadan tek kare girişleriyle çalışır ve her görüntü için sonuçların bağımsız olarak yeniden üretilmesine olanak tanır. Aynı giriş görüntüleri, yapılandırma dosyaları ve yürütme sırası verildiğinde, üretilen ara çıktılar ve nihai açıklamalar deterministik kalır.
15. Nihai aşamalar ve veri seti yayımlanması
    NOT: Protokolün net ve tekrarlanabilir bir uç noktayla sonlanmasını sağlamak için, notasyon kaydı, kalite doğrulama, veri seti paketleme ve sürüm dokümantasyonu birleştirmek için bir nihai aşama tanımlanmıştır.
    1. Son notasyonların kaydedilmesi: Bölge geçerliliği kararından sonra, kabul edilen tüm açıklamaları YOLO metin formatı kullanılarak chunk_annotation/final_annotations/ formatında kaydedin ve her görse karşılık gelen bir açıklama dosyası ile kaydedin. Son annotasyon setinde yalnızca önceden tanımlanmış geometrik ve özellik tabanlı kriterleri karşılayan bölgeleri saklayacak ve reddedilen veya güvenilmez bölgeleri daha fazla kullanımdan hariç tutun.
    2. Annotasyon kalitesi doğruluğu: Bölge değerlendirmesinde kullanılan aynı geçerlilik kriterlerini, simetri, kontur sürekliliği ve yapısal bağlantı metriklerini yeniden uygulayarak nihai annotasyon kalitesini doğrulamak. Bu doğrulama aşamasında bu kriterleri karşılamayan açıklamaları kaldırın, böylece notasyon üretimi ile kalite kontrolü arasında tutarlılık sağlanır.
    3. Veri seti paketleme: Doğrulamadan sonra, tanımlı veri seti bölümüne göre sabit eğitim, doğrulama ve test bölmelerine görüntüler ve notlar düzenlenir. Bu aşamada dizin yapısı ve dosya listeleri dondurulur ve paketlenmiş veri seti daha fazla değişiklik yapılmadan eğitim ve değerlendirmeye hazırlanır.
    4. Sürüm ve tohum dokümantasyonu: Köşe algılama parametreleri ve bölge geçerlilik eşikleri dahil olmak üzere yapılandırma dosyaları, paketlenmiş veri setiyle birlikte korunur. Veri bölmesi için rastgele tohumlar kullanın, algoritmanın yürütülmesini düzeltin ve kaydedin. Ayrıca, model ağırlıkları, yapılandırma dosyaları ve annotasyon araçları sürümlerini belgeleyin. Aynı giriş verileri, yapılandırma dosyaları ve kayıtlı tohumlar verildiğinde, nihai açıklamalar ve veri seti bölünmeleri deterministik kalır.

3. Veri artırma

NOT: Daha önceki bir çalışma, yeterli ön işleme ve veri artırımı eksikliği olan eğitim veri setlerinin genellikle model performansının düşmesine yol^{açtığını göstermiştir 22}. Bu zorlukları ele almak için aşağıdaki prosedür uygulandı.

1. Aydınlatma
   1. Asansörlerin içindeki aydınlatma değişimlerini simüle ederek sık ışıklandırma değişikliklerini karşılamak için parlaklık faktörünü 0,6–1,4 aralığında 0,8 olasılıkla ayarlayın.
   2. Aydınlık ortamlardan loş ortamlara geçiş yapmak için ışık yoğunluğu ayarlamaları uygulayın; EBike hareketinden kaynaklanan bulanıklığı simüle edin. Bu işlem için 0.7 olasılık kullanın.
   3. Aydınlatma koşullarını ayarlayarak artırılmış örnekler üreterek farklı aydınlatma seviyelerinde stabil görünürlüğü sağlar.
   4. Bu aydınlatma işlemlerini çevrimdışı uygulayın ve sonraki işlem için depolayın. Yükseltme sürecinin tekrarlanabilirliğini sağlamak için rastgele tohumu 42'ye ayarlayın.
2. Tıkanma
   1. Kalabalık asansör koşullarını yansıtacak sentetik oklüzyon senaryoları oluşturun. Oklüzyon maskeleri (örneğin, insan silüetleri, nesne blokları) 0,6 olasılıkla uygulanır.
   2. Asansör giriş-çıkışında EBikes'in kısmi tıkanıklığını taklit etmek için mozaik tıkanıklıklar uygulayın. Kapatma yüzdeleri %30, %50 veya %70 olarak kullanın ve kapatmanın görüntünün herhangi bir dörtlüğinde (üst, alt, sol, sağ) rastgele uygulandığından emin olun.
   3. Kısmi görüş altında tespit sağlamlığını ve stabilitesini artırmak için kapatılmış örnekler ekleyin; böylece en az bir anahtar bileşenin (örneğin, tekerlek, ön alan, arka alan) görünür kalmasını sağlayın.
   4. Oklüzyon artırma işlemi çevrimdışı yapın ve temel EBike özelliklerinin korunduğundan emin olmak için örnekleri doğrulayın. Tekrarlanabilirlik için rastgele tohumu 42'ye ayarlayın.
3. Bakış açıları
   1. Farklı asansör ortamlarında çeşitli kamera açılarını simüle etmek için önceden tanımlanmış ±15° aralığında izleme açılarını ayarlayın. Bu işlem 0,7 olasılıkla uygulanmalıdır.
   2. Farklı kamera yerleşimlerini (örneğin, yükseltmiş, yan ve eğik bakış açıları) taklit etmek için 0.0 ile 0.2 arasında bozulma katsayılarıyla perspektif dönüşümleri uygulanır.
   3. EBike bölgesini 0,8–1,2 kat ölçeklendirin ve kameranın hedefe olan mesafesindeki değişiklikleri simüle edin. Bu dönüşümü 0.8 olasılıkla uygulayın.
   4. Tüm bakış açısı dönüşümlerinin EBike'nin geometrik bütünlüğünü koruduğunu ve kritik özelliklerin bozulmadığını doğrulayın.
   5. Bakış açısı dönüşümlerini çevrimdışı yapın ve artırılmış görüntüleri depolayın. Tekrarlanabilirlik için rastgele tohumu 42'ye ayarlayın.
4. Geliştirme
   1. Düşük ışık koşullarında parlaklık kaynaklı varyasyonlar oluşturmak ve modelin dayanıklılığını artırmak için %30'a gri tonlama uygulanarak 0.3 olasılıkla uygulanın.
   2. Zorlu aydınlatma koşullarında EBike'nin temel özelliklerinin kontrast ve görünürlüğünü artırmak için örneklerin %20'sinde histogram eşitleme kullanın.
   3. Aydınlatma, oklüzyon ve bakış açısı artırma stratejilerini sıralı olarak birleştirerek yüksek çeşitlilikli örnekler oluşturun. Bu çok adımlı süreç için 0.9 olasılıkları kullanın.
   4. Genişletilmiş örnekleri gözden geçirerek EBike yapısal bütünlüğünü koruyup nihai veri setine entegre edin.
   5. Geliştirme işlemlerini çevrimdışı yapın ve görüntüleri sonraki eğitim kullanımı için depolayın. Tüm artırma sürecinin tekrarlanabilirliğini sağlamak için rastgele tohumu 42'ye ayarlayın.

4. Deneysel ortam

1. Model eğitimi ve test sırasında hesaplama verimliliği ve istikrarını sağlamak için deneysel ortamı yapılandırın.
2. Modern bir çok çekirdekli işlemci, derin öğrenme hızlandırması için özel bir GPU, yeterli bellek ve büyük ölçekli EBike görüntü veri işlemesini destekleyecek kararlı bir depolama sistemi kullanın.
3. Derin öğrenme çerçevesi, GPU sürücüleri ve hızlandırma kütüphanelerinin uyumlu sürümlerini yükleyerek yazılım ortamını donanım yapılandırmasıyla eşleştirerek eğitim hızını ve çıkarım performansını optimize edin.
4. Tekrarlanabilirliği sağlamak için ayrıntılı donanım özellikleri, yazılım ortamı, model bağımlılıkları ve görüntüleme ekipmanı ayarları için Tablo 5, Tablo 6, Tablo 7 ve Tablo 8'e bakınız.
5. Hesaplamalı ek yük ve çalışma zamanı analizi
   1. Parçalanmış annotasyon stratejisiyle ilgili hesaplama yükünü annotasyon karmaşıklığı ve çalışma süresi verimliliği açısından analiz edin. Bütünsel açıklamaya kıyasla, parçalı notasyon, tekerlek alanı, ön ve arka alan gibi kısmi seviye bölgeleri kullanan bir EBike temsil eder. Bu bölgeleri yalnızca görünür olduklarında ve önceden tanımlanmış geometrik ve özellik tabanlı geçerlilik kriterlerini karşıladığında not edin, her örnek için uygulanmaz.
      NOT: Açıklama açısından, etiket sayısındaki artış sınırlı ve yapısal olarak kısıtlıdır. Bir EBike örneği en fazla üç parça seviyesinde açıklama sağlarken, kısmi tıkanma durumunda (örneğin, sadece ön alan görünürse) daha az bölge annotlanır. Sonuç olarak, görüntü başına etiket sayısı sahne görünürlüğü ve kapanma koşullarına göre değişir ve ortalama etiket sayısı, Tablo 9'da özetlendiği gibi orta düzeyde artar. Bu tasarım, yerel özellik temsili ile annotasyon karmaşıklığını dengeler. Çıkarım açısından bakıldığında, parçalı açıklama, post-processing maliyetinde orantılı bir artış getirmez. Kısmi düzeyde tespit ek aday sınırlayıcı kutular oluşturabilse de, tespitler EBike nesne seviyesinde toplanarak nihai değerlendirme yapılır ve güven temelli filtreleme sonrası işlemeden önce uygulanır. Bu koşullu, görünürlük odaklı açıklama stratejisi, gereksiz tespit adaylarını sınırlar. YOLOv10 gibi geleneksel maksimum olmayan bastırmaya bağımlılığı azaltan modellerde, parçalama ile sağlanan ek yük pratikte sınırlı kalır.
   2. NVIDIA RTX 3090 GPU kullanarak tipik bir asansör gözetim çözünürlüğü olan 640 x 480 piksel çözünürlükte çalışma zamanı performansını değerlendirin. Tablo 9'da gösterildiği gibi, parçalı açıklama gerçek zamanlı çıkarım yeteneğini korur ve bütünsel açıklamaya kıyasla saniyede sadece küçük bir kare azalması sağlar. Bu sonuçlar, parçalanmış notasyon stratejisinin asansör ortamlarında gerçek zamanlı EBike izleme için uygun olduğunu göstermektedir.

5. Değerlendirme metrikleri

NOT: Eğitim ve çıkarım sırasında parçalı notasyonlar kullanılsa da, değerlendirme e-bisiklet nesne seviyesinde yapılır. Kısmi düzeyde tespitler, Bölüm 2.4,3'te tanımlanan kurallara göre tek bir e-bisiklet kararında birleştirilir.

1. EBike oklüzyon tespit senaryolarında algoritma performansını kapsamlı şekilde değerlendirmek için hedef tespit^{araştırmalarında yaygın kullanılan standart değerlendirme metriklerini uygulayın} .
2. Tespit hassasiyeti (P)
   1. Tespit hassasiyetini hesaplamak için Denklem (8) kullanın; bu yöntem, doğru tanımlanmış EBiklerin tüm tahmin edilen pozitif örnekler arasındaki oranını ölçür.
      (18)
      burada TP gerçek pozitifleri, FP ise yanlış pozitifleri gösterir.
   2. Tahmin edilen sınırlayıcı kutuların ground-truth kutularıyla eşleşip eşleşmediğini belirlemek için IoU eşiğini 0.5 olarak ayarlayın.
   3. Modelin EBike dışı nesnelerin yanlış tanımlanmasından kaynaklanan gereksiz alarmları azaltma yeteneğini değerlendirmek için hassasiyet kullanın.
   4. Bu metriği oluşturmak için komut(lar): İlgili değerlendirme betiklerini kullanın (örneğin, evaluate_precision.py). Sonuçları daha fazla analiz için precision_results.txt içinde kaydedin.
3. Geri çağırma oranı (R)
   1. Modelin asansör ortamlarında, özellikle kapanmanın görünürlüğü etkilediğinde, EBike'leri ne kadar etkili tanımladığını belirlemek için Denklem (9)'u kullanın.
      (19)
      burada FN yanlış negatifleri temsil eder.
   2. Tespitlerin doğruluğunu değerlendirmek için IoU eşiğini 0.5 olarak ayarlayın. Geri çağırma kullanarak modelin kaçırılan tespitleri en aza indirme yeteneğini değerlendirir, böylece EBike'ların kısmen engellenmiş olsa bile doğru şekilde tanımlanmasını sağlar.
   3. Bu metriği oluşturmak için komut(lar) kullanın: evaluate_recall.py. Kayıt sonuçları recall_results.txt.
      NOT: Kaçırılan tespitler, kalabalık asansör senaryolarında kritik öneme sahiptir ve güvenlik için en aza indirilmelidir. Kaçırılan tespitler, kalabalık asansör senaryolarında güvenlik endişeleri oluşturur ve en aza indirilmelidir.
4. F1-skor
   1. F1 puanını Denklem (10) kullanarak hesaplayarak modelin hassasiyeti ve hatırlama performansının dengeli bir temsilini elde edin.
      (20)
   2. F1 puanını, özellikle hassasiyet ve hatırlamanın farklı kapanma seviyeleri altında değişen pozisyonlarda değiştiği durumlarda bütüncül bir değerlendirme sağlamak için kullanın.
   3. Bu metriği oluşturmak için Komut(lar) kullanın: F1 puanını hesaplamak için evaluate_f1.py çalıştırın. Kayıt işlemi f1_score_results.txt sonuç verir.
5. Ortalama ortalama hassasiyet (mAP)
   1. Modelin genel algılama yeteneğini farklı EBike görünümleri, tıkanma koşulları ve aydınlatma varyasyonları arasında ölçmek için Denklem (11) kullanın.
      (21)
      AP_c , kategori c'nin ortalama hassasiyetini gösterirken, C kategori sayısını gösterir.
   2. Modelin farklı kategoriler üzerindeki performansını değerlendirmek için IoU eşiğini 0.5 olarak ayarlayın.
   3. Modelin asansör ortamlarında çeşitli görsel koşullara ne kadar iyi uyum sağladığını belirlemek için mAP@0.5 kullanın; böylece tespit performansının kapsamlı değerlendirilmesini sağlar.
   4. Bu metrik oluşturmak için aşağıdaki komut(lar)ı kullanın: belirtilen parametrelerle evaluate_map.py çalıştırın. Kayıt sonuçları map_results.txt.

Results

Bütünsel açıklama ile parçalanmış notasyonun kamuya açık veri setinde karşılaştırılması

Değerlendirme, açık gözetim ve trafik izleme sahnelerinden toplanan 210 EBike görüntüsünü içeren kamuya açık bir veri seti üzerinde gerçekleştirildi; çeşitli ışık koşulları, EBike renkleri ve farklı derecelerde tıkanma seviyeleri bulundu. Her görüntü hem bütüncül yöntemle (tek sınırlı kutu) hem de önerilen parçalı yöntemle (EBike'lerin tekerleklere, ön ve a...

Discussion

Kritik adımlar

Bu protokolteki kritik bir adım, yerel özelliklere dayalı parçalı notasyon yöntemidir; burada EBikler tekerlek, ön ve arka alanlara ayrılır. Bu bölünme, tespit modellerinin ince taneli temsilleri öğrenebilmesini sağlar; bu da oklüzyon ağırlıklı asansör ortamlarında vazgeçilmez olmuştur. Örneğin, EBike-DET veri setinde parçalanmış notasyonlarla eğitilen YOLOv5, mAP@0.5'i 0.925'ten 0.966'ya yükseltmiş ve sağlam performans için do...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	HDF Grubu	2.10.0
matplotlib (SSD)	Matplotlib Topluluğu	3.1.2
matplotlib (YOLOv10)	Matplotlib Topluluğu	3.9.0
matplotlib (YOLOv5)	Matplotlib Topluluğu	3.8.4
matplotlib (YOLOv5+SAHI)	Matplotlib Topluluğu	3.8.4
matplotlib (YOLOv8-Seg)	Matplotlib Topluluğu	3.9.0
numpy (SSD)	NumPy Topluluğu	1.17.0
numpy (YOLOv10)	NumPy Topluluğu	1.26.3
numpy (YOLOv5)	NumPy Topluluğu	1.26.4
numpy (YOLOv5+SAHI)	NumPy Topluluğu	1.26.4
numpy (YOLOv8-Seg)	NumPy Topluluğu	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
pandalar (YOLOv10)	Pandas Topluluğu	2.2.2
pandalar (YOLOv5)	Pandas Topluluğu	2.2.2
pandalar (YOLOv5+SAHI)	Pandas Topluluğu	2.2.2
pandalar (YOLOv8-Seg)	Pandas Topluluğu	2.2.2
Pillow (SSD)	Pillow Geliştiricileri	8.2.0
Pillow (YOLOv10)	Pillow Geliştiricileri	10.2.0
Pillow (YOLOv5)	Pillow Geliştiricileri	8.5.0
Pillow (YOLOv5+SAHI)	Pillow Geliştiricileri	8.5.0
Pillow (YOLOv8-Seg)	Pillow Geliştiricileri	10.2.0
psutil (YOLOv10)	Psutil Geliştiricileri	5.9.8
psutil (YOLOv5)	Psutil Geliştiricileri	5.9.8
psutil (YOLOv5+SAHI)	Psutil Geliştiricileri	5.9.8
pycocotools (YOLOv10)	COCO Konsorsiyumu	2.0.7
pycocotools (YOLOv5)	COCO Konsorsiyumu	2.0.7
pycocotools (YOLOv5+SAHI)	COCO Konsorsiyumu	2.0.7
pycocotools (YOLOv8-Seg)	COCO Konsorsiyumu	2.0.7
py-cpuinfo (YOLOv10)	Py-CPUInfo Geliştiricileri	9.0.0
py-cpuinfo (YOLOv5)	Py-CPUInfo Geliştiricileri	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Py-CPUInfo Geliştiricileri	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
talepler (SSD)	Python İstekleri	2.27.1
talepler (YOLOv10)	Python İstekleri	2.32.3
talepler (YOLOv5)	Python İstekleri	2.31.0
talepler (YOLOv5+SAHI)	Python İstekleri	2.31.0
SAHI	SAHI Geliştiricileri	0.3.4+
scipy (SSD)	SciPy Topluluğu	1.2.1
scipy (YOLOv10)	SciPy Topluluğu	1.13.0
scipy (YOLOv5)	SciPy Topluluğu	1.13.0
scipy (YOLOv5+SAHI)	SciPy Topluluğu	1.13.0
scipy (YOLOv8-Seg)	SciPy Topluluğu	1.13.0
deniz doğan (YOLOv10)	Seaborn Geliştiricileri	0.13.2
seaborn (YOLOv5)	Seaborn Geliştiricileri	0.13.2
seaborn (YOLOv5+SAHI)	Seaborn Geliştiricileri	0.13.2
deniz doğan (YOLOv8-Seg)	Seaborn Geliştiricileri	0.13.2
şekilli (YOLOv5+SAHI)	Shapely Geliştiriciler	2.0.4
SSD	Caffe/Orijinal SSD Yazarları	Python 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
tensorboard (SSD)	Google	2.10.1
tensorboard (YOLOv5)	Google	2.16.2
tensorboard (YOLOv5+SAHI)	Google	2.16.2
torchvision (SSD)	PyTorch	0.4.0
torchvision (YOLOv10)	PyTorch	0.15.2
torchvision (YOLOv5)	PyTorch	0.17.2
torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	TQDM Geliştiricileri	4.60.0
tqdm (YOLOv10)	TQDM Geliştiricileri	4.66.4
tqdm (YOLOv5)	TQDM Geliştiricileri	4.66.2
tqdm (YOLOv5+SAHI)	TQDM Geliştiricileri	4.66.2
ultralitikler (YOLOv8-Seg)	Ultralitikler	8.2.99+
YOLOv10	YOLOv10 Takımı	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.7
YOLOv5	Ultralitikler	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytics + SAHI Geliştiricileri	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	Ultralitikler	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.6.0+