Research Article

Güçlü Deepfake Tespiti için Hibrit Evrişimli Sinir Ağı ve Üretken Çekişmeli Ağ Çerçevesi: Gelişmiş Doğruluk, Ölçeklenebilirlik ve Çok Modlu Entegrasyon

DOI:

10.3791/68426

⸱

August 19th, 2025

 ,  ,  ,  ,  , 
1Department of Computer Science and Engineering, Ajay Kumar Garg Engineering College, Ghaziabad, India, 2Department of AIML, Sridevi Women's Engineering College, Hyderabad, India, 3Department of Computer Science and Engineering, Kamla Nehru Institute of Technology, Sultanpur, India, 4Department of Computer and Communication Engineering, Manipal University Jaipur, Jaipur, India, 5Department of Computer Science and Engineering, Gokaraju Rangaraju Institute of Engineering and Technology, Hyderabad, India

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makale, derin sahte tespiti, çekişmeli eğitim, zamansal analiz ve çok modlu yöntemleri entegre etmek için hibrit bir Evrişimli Sinir Ağı-Üretken Çekişmeli Ağ (CNN-GAN) çerçevesi önermektedir. Yaklaşım, %98,5 algılama doğruluğuna ulaşır, çeşitli veri kümelerinde sağlam genelleme gösterir ve ölçeklenebilirliği, çekişmeli sağlamlığı ve yanlış bilgi azaltmayı ele almak için gerçek zamanlı optimizasyonu destekler.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deepfake'ler, dijital medya bütünlüğü ve toplumsal güven için kritik tehditler oluşturmaktadır. Bu makale, ölçeklenebilirlik, genelleştirilebilirlik ve çekişmeli sağlamlıktaki zorlukları ele almak için Evrişimli Sinir Ağlarını (CNN'ler) ve Üretken Çekişmeli Ağları (GAN'lar) birleştiren hibrit bir derin sahte algılama çerçevesi sunmaktadır. Çerçeve, çekişmeli eğitimi, zamansal bozulma analizi modelini ve ses, video ve metin alanlarında çok modlu algılamayı entegre eder. FaceForensics++ kıyaslama veri setinde değerlendirilen hibrit CNN-GAN modeli, %98,5 doğruluk, %99,1 hassasiyet, %97,9 geri çağırma ve 0,995 Eğri Altında Alıcı Çalışma Karakteristik Alanı ile son teknoloji performans elde ederek ResNet50, XceptionNet ve EfficientNet gibi geleneksel modelleri geride bıraktı. Zamansal analiz bileşeni, deepfake tespit edilebilirliğinin zaman içindeki düşüşünü modelleyerek proaktif yeniden eğitime rehberlik ederken, multimodal modül çapraz modal tutarsızlıkların %97,8'ini belirledi. Sosyal ağlarda deepfake yayılımının simülasyonu, yanlış bilgilerin yayılmasını engellemek için erken tespit sistemlerine ve kamuoyu bilinçlendirme kampanyalarına duyulan ihtiyacı vurgulayarak önemli sosyo-teknik etkileri ortaya çıkardı. Gerçek zamanlı dağıtım için optimize edilmiş çerçeve, yüksek ölçeklenebilirliği etik hususlarla dengeler. Bu çalışma, dijital ekosistemler için yapay zeka odaklı güvenlik önlemlerinin geliştirilmesinde derin sahtekarlık tespitine yönelik disiplinler arası yaklaşımların önemini vurgulamaktadır. Gelecekteki çalışmalar, çerçevenin uygulanabilirliğini ve esnekliğini artırmak için hafif algılama modelleri geliştirmeye, düşmanca savunmaları iyileştirmeye ve alana özgü uygulamaları genişletmeye odaklanacaktır.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Son yıllarda yapay zeka (AI) ve derin öğrenmedeki gelişmeler, doğal dil işleme, bilgisayarla görme ve otonom sistemler gibi uygulamaları mümkün kılarak çeşitli alanları dönüştürdü1. En önemli atılımlardan biri, özellikle Çekişmeli Üretken Ağlar (GAN'lar)2 ile üretken modellemede olmuştur. Bu modeller, gerçek dünyadaki konuları ikna edici bir şekilde taklit etmek için ses, video veya görüntülerin manipüle edilmesini içeren, derin sahtekarlık olarak bilinen hiper gerçekçi sentetik medyanın oluşturulmasını sağlamıştır. Bu teknoloji, film yapımı, sanal gerçeklik ve dijital içerik oluşturma gibi alanlarda yaratıcı olanaklar sunarken, aynı zamanda derin etik, yasal ve toplumsal kaygıları da gündeme getiriyor. Deepfake'ler, medya özgünlüğü, siber güvenlik ve demokratik süreçler dahil olmak üzere birçok alanda önemli bir tehdit oluşturmaktadır. Örneğin, derin sahtekarlıklar, yanlış anlatıları yaymayı ve kamuoyunu etkilemeyi amaçlayan dezenformasyon kampanyalarında silah haline getirilmiştir3. Ayrıca, kimlik hırsızlığı, şantaj ve taciz gibi kötü amaçlarla kullanılmış, bireysel mahremiyet ve güvenliği doğrudan tehdit etmiştir4. Deepfake'lerin dijital medyaya olan güveni aşındırma ve kritik olaylar (örneğin, seçimler veya kamusal acil durumlar) sırasında kafa karışıklığı yaratma yeteneği, bu teknolojinin kötüye kullanımına ve güvenlik açıklarına karşı koymak için çözümler geliştirmenin aciliyetinin altını çizmektedir5.

Teknik açıdan bakıldığında, deepfake teknolojisinin yaygınlaşması, erişilebilirliği tarafından körükleniyor. Açık kaynaklı araçlar, önceden eğitilmiş modeller ve sezgisel arayüzler artık uzman olmayanların bile karmaşık derin sahtekarlıklar oluşturmasını mümkün kılıyor6. Bununla birlikte, sentetik ortamın aslına uygunluğu arttıkça, özgünlüklerini tespit etmek giderek daha zor hale geliyor. StyleGAN ve CycleGAN gibi modern mimariler de dahil olmak üzere gelişmiş deepfake oluşturucular, sinir ağlarının yüksek boyutlu veri dağıtımlarını modelleme yeteneğinden yararlanır ve bu da onları genellikle gerçek içerikten ayırt edilemeyen sahtekarlıklar üretmede usta hale getirir7. Önemli miktarda araştırma ve geliştirme çalışmasına rağmen bir algılama çerçevesinin geliştirilmesini çeşitli engeller engellemektedir. Mevcut algılama algoritmalarının doğruluğu, kontrollü laboratuvarlarda düzgün çalışmasına rağmen, çeşitli veri kümeleriyle ve kapsamlı gerçek dünya ortamlarıyla karşılaştıkça bozulur. Sistemlerin algılama performansı, çözünürlük, sıkıştırma kalitesi veya format örnekler arasında farklılık gösterdiğinde önemli ölçüde zarar görür. Algılama sistemlerinin eğitim süreci genellikle belirli veri kümeleriyle gerçekleşir ve bu da yeni yöntemlerden ve görünmeyen verilerden üretilen derin sahtekarlıkları tespit etme yeteneklerini engeller. Gerçek dünya durumlarında kullanıldığında, bu dedektörler sınırlı genelleme yetenekleri nedeniyle daha az etkili hale gelir. Deepfake jeneratörler, özellikle algılama sistemlerini gizlemek için işe yarayan yöntemler uygulanarak düşmanlar aracılığıyla geliştirilir. Bu karşı önlemler, baypas8 nedeniyle en son modellerin bile yenilgisine neden olur. Derin öğrenme modellerinin opak doğası, karar süreçlerinin, özellikle kolluk kuvvetleri ve yargı faaliyetleri gibi temel alanlarda açıklanabilir sonuçlar sağlamaması nedeniyle yaygın eleştirilere neden olmaktadır9.

Deepfake araştırma alanındaki bireysel çalışmalar, entegrasyon olmadan bağımsız sorunları hedefledikleri için birbirinden ayrı olarak çalışır. Araştırmacılar, derin sahte zorlukların üç ana alanını, tespit doğruluğu, çekişmeli sağlamlık ve etik keşif yoluyla ayrı ayrı ele almaya karar verdiler10. Sonuç olarak, sezgisel veya etki alanına özgü yapıtlara dayanan geleneksel algılama mekanizmaları genellikle bu gelişen oluşturma teknikleri tarafından geçersiz hale getirilir.

Deepfake tespiti ve hafifletmedeki zorluklar

Ölçeklenebilirlik: Mevcut birçok algılama algoritması, kontrollü deneysel ortamlarda iyi performans gösterir, ancak çeşitli, gerçek dünya veri kümelerine uygulandığında ölçeğinde doğruluğu korumakta zorlanır. Örneğin, çözünürlük, sıkıştırma kalitesi veya dosya biçimindeki farklılıklar algılama performansını önemli ölçüde etkileyebilir11.

Genelleştirilebilirlik: Algılama sistemleri genellikle belirli veri kümeleri üzerinde eğitilir ve bu da yeni yöntemlerle veya görünmeyen verilerden oluşturulan derin sahtekarlıkları tanıma yeteneklerini sınırlar. Bu genelleme eksikliği, modellerin eğitim örneklerinden farklı derin sahtekarlıklarla karşı karşıya kaldıklarında başarısız olabileceğinden, gerçek dünya uygulamalarındaki etkinliklerini engeller.

Çekişmeli sağlamlık: Deepfake jeneratörler, tespit edilmekten kaçınmak için tasarlanmış düşmanca teknikler içererek gelişmeye devam ediyor. Bu tür karşı önlemler, algılama modellerindeki güvenlik açıklarından yararlanarak son teknoloji sistemleri bile etkisiz hale getirir. Örneğin, Khan ve arkadaşları, olumsuz şekilde optimize edilmiş derin sahtekarlıkların algılama doğruluğunu %30'a kadar azaltabileceğini gösterdi12.

Açıklanabilirlik: Derin öğrenme tabanlı dedektörler, "kara kutu" doğası nedeniyle sıklıkla eleştirilir; Karar verme süreçlerinde yorumlanabilirlik eksikliği, kolluk kuvvetleri veya yargı ortamları gibi yüksek riskli senaryolarda güvenilirlik konusunda endişelere yol açmaktadır. Bunu ele almak için, Domenteanu ve ark. ve Verdoliva şeffaflığı ve güvenilirliği artırmak için açıklanabilir AI (XAI) tekniklerinin algılama modellerine entegre edilmesini savunuyorlar 7,9.

Etik ve toplumsal kaygılar: Teknik engellerin ötesinde, derin sahtekarlıklar muazzam etik ve toplumsal riskler doğurur. Naitali ve arkadaşlarına göre, derin sahtekarlıklar siyasi dezenformasyon kampanyalarında, kimlik hırsızlığında ve tacizde giderek daha fazla kötüye kullanılıyor. Chesney ve Citron'un da bildirdiği gibi, bu durum medyaya olan güvenin önemli ölçüde aşınmasına yol açabilir ve demokratik süreçleri tehdit edebilir8.

Birleşik bir çerçeveye ve ortaya çıkan çözümlere duyulan ihtiyaç

Deepfake araştırmalarının mevcut manzarası parçalanmış durumda ve çalışmalar genellikle bu zorlukları tek başına ele alıyor. Deepfake'lerle etkili bir şekilde mücadele etmek için, çeşitli yaklaşımları entegre eden birleşik bir çerçeve çok önemlidir. Son bibliyometrik analizler, deepfake ile ilgili yayınlarda yıllık %50'nin üzerinde bir büyüme oranı gösteriyor ve bu da yoğun akademik ve endüstriyel odaklanmayı vurguluyor. Finansman eğilimleri, hükümetlerin ve özel kuruluşların, özellikle algılama doğruluğunu artırmak için CNN-GAN'lar gibi hibrit mimarileri birleştiren projeler için uyarlanabilir çözümlere önemli kaynaklar ayırmasıyla bunu yansıtıyor.

Etkili bir çerçeve, birden fazla alandan elde edilen içgörülerden yararlanmalı ve araştırmacıların yakın zamanda önerdiği temel algoritmik yenilikleri içermelidir:

Hibrit çerçeveler: Gelecek vaat eden bir çözüm olarak, özellik çıkarma için CNN'leri ve çekişmeli eğitim için GAN'ları entegre eden hibrit modeller, kıyaslama veri kümelerinde %98,5'lik son teknoloji doğruluk ve 0,995'lik bir ROC-AUC elde etti.

Multimodal analiz: Nguyen ve arkadaşları gibi araştırmacıların bulgularına dayanarak, ses, video ve metin analizinin kombinasyonu algılama yeteneklerini geliştirir5. Bu yaklaşım, tek modaliteli sistemlerin sıklıkla gözden kaçırdığı veri akışları arasındaki tutarsızlıkları (örneğin, dudak senkronizasyonu uyumsuzlukları) belirlemede etkilidir.

Gelişmiş metin algılama: RoBERTa gibi modelleri kullanan doğal dil işleme (NLP) teknikleri, manipüle edilmiş tweet'ler gibi derin sahte metinlerdeki anlamsal tutarsızlıkları tespit etmede önemli gelişmeler göstermiştir.

Çekişmeli eğitim: Sistemleri kaçakçılığa karşı güvence altına almak için, düşmanca eğitim teknikleri tespit boru hatlarına dahil edildi ve düşmanca oluşturulan derin sahtekarlıkların etkisini azaltmada etkili olduğu kanıtlandı.

Veri kümesi geliştirme: Araştırmacılar, modelleri etkili bir şekilde eğitmek ve değerlendirmek için kapsamlı ve çeşitli veri kümelerine duyulan ihtiyacı vurguladılar. FaceForensics++ gibi halka açık veri kümeleri etkili olsa da, gerçek dünyadaki zorlukların üstesinden gelmek için daha fazla çeşitlilik gereklidir.

Bu araştırmanın katkıları:

Yukarıdaki motivasyonlar üzerine inşa edilen bu çalışma, deepfake zorluklarını bütünsel olarak ele almak için bibliyometrik içgörüleri, matematiksel modellemeyi ve gelişmiş algoritmik teknikleri birleştiren kapsamlı bir çerçeve önermektedir. Önemli katkılar şunları içerir:

Bibliyometrik analiz: Araştırma hedeflerimize rehberlik eden multimodal algılamanın yükselişi ve açıklanabilir yapay zekaya artan ilgi gibi temel odak alanlarını belirlemek için önde gelen akademik veri tabanlarındaki yayınları inceledik.

Duyarlılık için matematiksel model: Medya kalitesi, GAN mimarisi ve veri kümesi çeşitliliği gibi faktörleri dahil ederek doğru sınıflandırma olasılığını ölçmek için lojistik regresyon tabanlı bir model geliştirdik.

Hibrit CNN-GAN algılama çerçevesi: CNN'lerin ve GAN'ların güçlü yönlerini birleştiren yeni bir algılama mekanizması önerilmiştir. Model, düşmanca eğitildi ve temel dedektörlere kıyasla önemli ölçüde geliştirilmiş doğruluk, hassasiyet ve geri çağırma elde edildi.

Sosyo-teknik simülasyonlar: Deepfake'lerin sosyal ağlardaki yayılımını ve etkisini incelemek için simülasyonlar uyguladık. Bulgular, potansiyel toplumsal etkileri hakkında içgörüler sunuyor ve politika odaklı azaltma stratejileri hakkında bilgi veriyor. FaceForensics++ veri seti, çeşitli GAN mimarilerinden gerçek ve manipüle edilmiş medyayı kapsamlı bir şekilde kapsaması nedeniyle bu çalışma için kullanılmıştır.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma insan denekleri veya hayvan deneylerini içermemiştir. Kullanılan tüm derin sahte veriler, halka açık veri kümelerinden elde edildi ve kişisel olarak tanımlanabilir hiçbir bilgi kullanılmadı. Sonuç olarak, resmi etik onay gerekli değildi. Araştırma, yapay zeka ve veri analizi içeren çalışmalar için kurumsal kılavuzlara ve etik standartlara uygun olarak yürütülmüştür. Birincil zorluklardan biri, algılama algoritmalarının çeşitli veri kümelerini ve gerçek dünya senaryolarını işlemek için etkili bir şekilde ölçeklenmesini sağlamaktır. Mevcut yöntemlerin çoğu, FaceForensics++ 7 gibi belirli kıyaslamalar için optimize edilmiştir, ancak gerçek dünya verilerine uygulandığında düşük performans gösterir.

Deepfake tespiti ve analizi için matematiksel çerçeve, duyarlılığı, tespit algoritmalarının etkinliğini ve deepfake yayılımının sosyo-teknik dinamiklerini anlamak için temel bir unsur olarak hizmet eder. Bu bölüm, son araştırmalara ve teorik formülasyonlara dayanan duyarlılık analizi, zamansal tespit edilebilirlik ve ağ tabanlı içgörüler için modeller sunar. Derin sahtekarlıkları tespit etmek, orijinallik olasılıklarını belirlemek için medya özelliklerinin değerlendirilmesini içerir. Lojistik regresyon modeli, deepfake algılama sistemlerinin duyarlılığını modellemek için güçlü bir araçtır. Doğru sınıflandırma P(C) olasılığı denklem 1'deki gibi ifade edilebilir:

figure-protocol-1(1)

Nerede:

P(C): Doğru sınıflandırma olasılığı (0 ile 1 arasında sınırlı).

β0: Lojistik regresyon modelinin kesişimi.

βi : Her bir özelliğin etkisini temsil eden katsayılar.

Xi: Çözünürlük, sıkıştırma kalitesi, GAN mimarisi ve yapıtlar gibi duyarlılığı etkileyen özellikler.

Bu model, otantik ve sahte medyadan oluşan etiketli bir veri seti kullanılarak eğitilebilir ve katsayıların (βi) ampirik olarak öğrenilmesine olanak tanır13.

Algılama sistemlerinin etkinliği statik değildir; Deepfake oluşturma teknikleri geliştikçe zamanla gelişir. Bu dinamiği anlamak için zamansal analiz şarttır. Deepfake'lerin zaman içinde tespit edilebilirliği, denklem 2'de gösterildiği gibi üstel bir bozunma fonksiyonu kullanılarak modellenebilir:

figure-protocol-2(2)

Nerede:

Pt: t zamanında tespit edilme olasılığı.

P0: İlk algılama olasılığı.

λ: Bozunma sabiti, tespit edilebilirlikteki düşüş oranını temsil eder.

t: Deepfake'in piyasaya sürülmesinden bu yana geçen süre.

Bozunma sabiti λ, algılama sistemlerinin zaman içindeki performansının izlenmesiyle ampirik olarak belirlenir. Liu ve arkadaşları tarafından yapılan çalışmalar, son teknoloji algılama modellerinin daha yeni GAN mimarileriyle karşı karşıya kaldıklarında performansta hızlı bir düşüş sergilediğini ve sistem sağlamlığının değerlendirilmesinde λ'nın önemini yansıttığını göstermektedir14. Deepfake'lerin sosyal ağlarda yayılmasını ve araştırma eğilimlerini anlamak için ağ analizi değerli bir araçtır. İlişkileri ve yayılma modellerini modellemek için anahtar kelime birlikte oluşum matrisleri ve sosyal grafik yapıları kullanılır15.

Bir ortak anahtar kelime ağı, araştırma anahtar kelimeleri arasındaki ilişkileri yakalar. Birlikte oluşum matrisi, denklem 3'teki gibi tanımlanır:

figure-protocol-3(3)

Burada Mij , araştırma yayınlarında ki ve kj anahtar kelimelerinin birlikte görülme sıklığını temsil eder. Bu matristen, düğümlerin anahtar kelimeleri ve kenarların birlikte oluşum ilişkilerini temsil ettiği bir ağ grafiği oluşturulur.

Derece merkeziliği ve arada merkezilik gibi merkezilik ölçümleri, etkili anahtar kelimeleri ve ortaya çıkan konuları tanımlar. Domenteanu ve ark. bu tekniği, son literatürde "GAN'lar", "yüz manipülasyonu" ve "adli tıp" gibi terimlerin önemini vurgulamak için kullanırken, açıklanabilir yapay zeka ve çok modlu derin sahte algılama gibi eğilimleri tahminetti9.

Deepfake'lerin sosyal platformlarda yayılmasını simüle etmek, kullanıcı duyarlılığını ve etkileşim dinamiklerini modellemeyi içerir. Duyarlı-enfekte-iyileşmiş (SIR) bir model, denklem 4 ile gösterildiği gibi yayılmayı yaklaşık olarak tahmin edebilir:

figure-protocol-4(4)

Nerede:

S, I, R: Duyarlı, enfekte (etkilenmiş) ve kurtarılan kullanıcıların oranları.

β: Kullanıcıların bir deepfake paylaşma olasılığını temsil eden iletim hızı.

γ: Kullanıcıların bir deepfake'i çürütme veya görmezden gelme olasılığını temsil eden kurtarma oranı.

Deepfake tespit çerçeveleri, giderek daha karmaşık hale gelen üretken modellerin ortaya çıkardığı zorlukları ele alacak şekilde gelişmelidir. Bu bölümde, sağlamlığı, ölçeklenebilirliği ve genelleştirilebilirliği geliştirmek için Evrişimli Sinir Ağlarını (CNN'ler) ve Üretken Çekişmeli Ağları (GAN'lar) zamansal analizle entegre eden veri kümeleri ve hibrit bir algılama çerçevesi özetlenmektedir. Hibrit CNN-GAN Mimarisi Bileşenleri Tablo 1'de ve Hiper Parametre Ayarları Tablo 2'de tanımlanmıştır. Hem CNN'lerin hem de GAN'ların güçlü yönlerinden yararlanmak için hibrit bir CNN-GAN mimarisi önerilmiştir. Çerçeve iki ana bileşenden oluşur:

CNN tabanlı ayrımcı: CNN, medyayı gerçek veya sahte olarak sınıflandırmak için eğitilmiş bir ayrımcı olarak hareket ediyor. Özellik çıkarma için ResNet50 gibi gelişmiş CNN mimarileri kullanılır. Bu mimariler, deepfake16. nesil sırasında tanıtılan karmaşık desenleri ve eserleri yakalama yetenekleri nedeniyle seçilmiştir.

GAN tabanlı jeneratör: GAN, ayrımcı17'ye meydan okumak için giderek daha gerçekçi derin sahtekarlıklar yaratmakla görevli bir jeneratör görevi görür. StyleGAN veya CycleGAN gibi mimariler, yüksek kaliteli görüntüler ve videolar oluşturma yetenekleri nedeniyle kullanılır. Ayrımcı ve üreteç, performanslarını yinelemeli olarak geliştirerek düşmanca eğitilir. Bu çerçeve için kayıp fonksiyonu denklem 5'teki gibi tanımlanır:

figure-protocol-5 (5)

Nerede:

Layrımcı: Gerçek ve sahte medyayı sınıflandırmak için ikili çapraz entropi kaybı.

Ljeneratör: Gerçekçi derin sahtekarlıklar oluşturmak için çekişmeli kayıp.

α: İki kayıp bileşenini dengeleyen ağırlıklandırma faktörü.

Bu düşmanca eğitim paradigması, ayrımcının ince eserleri tespit etmede daha usta hale gelmesini sağlarken, jeneratör ikna edici derin sahtekarlıklar oluşturma yeteneğini geliştirir. Mathur ve arkadaşları tarafından gösterildiği gibi, bu yaklaşım FaceForensics++4

figure-protocol-6


    2. figure-protocol-7

      figure-protocol-8

    3. figure-protocol-9

      figure-protocol-10

    4. figure-protocol-11

    1. figure-protocol-12

    2. figure-protocol-13

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Önerilen hibrit algılama çerçevesi, algılama doğruluğu ve hassasiyeti, ölçeklenebilirlik ve genelleştirme testleri, çekişmeli sağlamlık ve sosyo-teknik etki analizi dahil olmak üzere birçok boyutta titizlikle değerlendirildi. Aşağıdaki bölümlerde temel deneysel bulgular özetlenmektedir.

Hibrit CNN-GAN modelinin performansı

FaceForensics++ veri setini kullanarak hibrit modelimizi ResNet50, XceptionNet ve EfficientNet...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deneysel sonuçlar, zamansal analiz ve çok modlu entegrasyon ile zenginleştirilmiş önerilen hibrit CNN-GAN çerçevesinin, derin sahte tespitindeki çeşitli temel zorlukları etkili bir şekilde ele aldığını göstermektedir. Bu tartışmada, bu bulguların sonuçlarını, yaklaşımımızın güçlü yönlerini ve sınırlamalarını ve araştırma ve dağıtım için gelecekteki yönleri inceliyoruz.

Performans ve katkılar

Çerçevenin son teknoloj...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar bu çalışma ile ilgili herhangi bir çıkar çatışması olmadığını beyan ederler.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Google API İstemcisi Google N/A Google API İstemcisi, Google'ın keşif tabanlı API'leri için bir Python istemci kitaplığıdır. https://github.com/googleapis/ google-api-python-client 
Intel OpenCV N/A OpenCV, bilgisayarla görme için bir kütüphanedir. https://opencv.org 
Python Python Yazılım Vakfı N/A Python bir programlama dilidir. https://www.python.org 
PyTorch Facebook AI Araştırması N/A PyTorch bir makine öğrenimi çerçevesidir. https://pytorch.org

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Emerging threat of deep fake: how to identify and prevent it. Taha, M. A., et al. The 6th International Conference on Future Networks & Distributed Systems (ICFNDS '22, Tashkent, TAS, Uzbekistan, , ACM. New York, NY, USA. (2022).
  2. Deepfake detection: a multialgorithmic and multimodal approach for robust detection and analysis. Nailwal, S., Singhal, S., Singh, N. T., Raza, A. 2023 International Conference on Research Methodologies in Knowledge Management, Artificial Intelligence and Telecommunication Engineering (RMKMATE, , (2023).
  3. Citron, D. K., Chesney, R. Deepfakes and the new disinformation war. Foreign Aff. 98 (1), 147-155 (2019).
  4. Countering deepfakes using an improved advanced CNN and its ensemble with pretrained models. Mathur, A., Bhargava, K., Singh, M., Tejpal, M., Natarajan, K. 2024 Third International Conference on Electrical, Electronics, Information and Communication Technologies (ICEEICT), , (2024).
  5. Nguyen, T. T., et al. Deep learning for deepfakes creation and detection: a survey. Comput Vis Image Underst. 223, 103525(2022).
  6. Bale, D., Ochei, L., Ugwu, C. Deepfake detection and classification of images from video: a review of features, techniques, and challenges. Int J Intell Inf Syst. 13 (2), 20-28 (2024).
  7. FaceForensics++: learning to detect manipulated facial images. Rossler, A., et al. Proc IEEE Int Conf Comput Vis, 1, 1-11 (2019).
  8. Naitali, A., Ridouani, M., Salahdine, F., Kaabouch, N. Deepfake attacks: generation, detection, datasets, challenges, and research directions. Computers. 12 (12), 246(2023).
  9. Domenteanu, A., et al. Living in the age of deepfakes: a bibliometric exploration of trends, challenges, and detection approaches. Information (Switzerland). 15 (9), 525(2024).
  10. Babaei, R., Cheng, S., Duan, R., Zhao, S. Generative artificial intelligence and the evolving challenge of deepfake detection: a systematic analysis. J Sens Actuator Netw. 14 (1), 17(2025).
  11. Jiang, L., Wu, W., Qian, C., Loy, C. C. DeepFakes detection: the DeeperForensics dataset and challenge. In Deepfakes: a new threat to face recognition? assessment and detection. Marcel, S., Fierrez, J., Evans, N., Bourlai, T. 303, Springer. Cham. 303-329 (2022).
  12. Khan, S., Chen, J. C., Liao, W. H., Chen, C. S., et al. Adversarially robust deepfake detection via adversarial feature similarity learning. Advances in multimedia information processin 2023. Hui, P., et al. 1455, 503-516 (2024).
  13. Gadgilwar, J., et al. Exploring deepfake techniques, detection strategies, and emerging challenges: a survey. Int J Res Appl Sci Eng Technol. 11 (5), 1491-1495 (2023).
  14. Liu, F., et al. EvoGAN: An evolutionary computation assisted GAN. Neurocomputing. 16 (469), 81-90 (2022).
  15. Sunkari, V., Nagesh, A. S. Artificial intelligence for deepfake detection: systematic review and impact analysis. IAES Int J Artif Intell. 13 (6), 3786-3792 (2024).
  16. Hughes, R. T., Zhu, L., Bednarz, T. Generative adversarial networks–enabled human–artificial intelligence collaborative applications for creative and design industries: A systematic review of current approaches and trends. Frontiers in artificial intelligence. 28 (4), 604234(2021).
  17. Sharma, P., Kumar, M., Sharma, H. K. Robust GANbased CNN model as generative AI application for deepfake detection. EAI Endorsed Trans Internet Things. 10 (39), e3(2024).
  18. Tribhuvan, P. P., Tribhuvan, A. P. Artificial intelligence for deepfake creation and detection. Futuristic trends in artificial intelligence volum 3. 21, BPB Publications. 21-27 (2024).
  19. Sareen, M. Threats and challenges by DeepFake technology. DeepFakes. , CRC Press. 99(2022).
  20. Yan, Z., Zhang, Y., Yuan, X., Lyu, S., Wu, B. DeepfakeBench: a comprehensive benchmark of deepfake detection. Adv Neural Inf Process Syst. 36, 35687-35703 (2023).
  21. Deepfake detection using CNN and DCGANS to dropout fake multimedia content: a hybrid approach. Bansal, K., Agarwal, S., Vyas, N. Proc Int Conf IoT Commun Autom Technol (ICICAT), 1, 1-6 (2023).
  22. RuleBoost: a neurosymbolic framework for robust deepfake detection. Raza, M. A., Malik, K. M., Haq, I. U. Proc IEEE Int Joint Conf Biometrics (IJCB), 1, 1-10 (2024).
  23. Vidyavathi, B. M., Ahmed, A. F., Lulu, A. T., Fatima, S. M. Deepfake detection using deep learning. Int J Adv Res Sci Commun Technol. 4 (2), 647-651 (2024).
  24. Generative transferable universal adversarial perturbation for combating deepfakes. Guo, Y., et al. Proc 27th Int Conf Comput Support Coop Work Des (CSCWD), , 1986-1991 (2024).
  25. Prasoon, P., Ramakrishnan, P. N. Deepfake dystopia: navigating the landscape of threats and safeguards in multimedia content. Int J Trendy Res Eng Technol. 8 (3), 01-07 (2024).
  26. Altuncu, E., Franqueira, V. N. L., Li, S. Deepfake: definitions, performance metrics and standards, datasets, and a metareview. Front Big Data. 7, 1341168(2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Deepfake DetectionConvolutional Neural NetworksGenerative Adversarial NetworksAdversarial TrainingTemporal Decay AnalysisMultimodal DetectionFaceForensics DatasetCross Modal InconsistenciesReal Time DeploymentAdversarial Robustness
Video Coming Soon

Related Articles