Bu makale, 360 derecelik görüntüler, Gauss Sıçraması ve sanal gerçeklik entegrasyonu kullanarak fotogerçekçi 3D rekonstrüksiyon için bir sistem sunmaktadır. Yaklaşım, eğitim, öğrenme ortamlarını simüle etme gibi farklı uygulamalara uygulanabilir; şantiye dışındaki işleri simüle etmek ve ölçümleri almak için inşaat; veya sağlık hizmetleri, otistik insanları günlük yaşam görevlerinde eğitmek için.
Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.
Yöntem makalesi
Artırılmış Gerçeklik için Fotogerçekçi Öğrenilmiş Manzaralar
* These authors contributed equally
Bu makalede
Özet
Özet
Standart renkli görüntülerden gerçek dünya ortamlarının fotogerçekçi 3B rekonstrüksiyonlarını oluşturma yeteneği, sağlık, eğitim ve endüstri gibi alanlarda çok sayıda uygulamaya sahiptir. Bu makale, ayrıntılı 3B modelleri yeniden oluşturmak için hareketten yapı, artımlı sahne kaydı ve Gauss Püskürtme gibi gelişmiş teknikleri entegre eden yeni bir sistem sunmaktadır. Bu modeller, sürükleyici etkileşim sağlamak için sanal gerçeklik ortamlarına sorunsuz bir şekilde entegre edilmiştir. Boru hattı, kapsamlı kapsama alanı için matris tabanlı bir model kullanarak 360 derecelik görüntülerin yakalanmasıyla başlar. Görüntüler, kamera pozlarını tahmin etmek ve seyrek bir nokta bulutu oluşturmak için COLMAP kullanılarak işlenir. Gauss Püskürtme, son derece gerçekçi 3B ortamlar üretmek için noktaların konumlarını, şekillerini ve görünümünü optimize ederek yeniden yapılandırmayı iyileştirir. Bu modeller daha sonra Unity'de işlenerek VR kulaklıklarıyla etkileşime olanak tanır ve büyük dil modelleri tarafından yönlendirilen avatarlar gibi ek özellikleri destekler. Bir kullanım durumu, sistemin çok yönlülüğünü gösterir. Sağlık hizmetlerinde bu yaklaşım, özellikle otizm spektrum bozukluğu olan kişiler için faydalı olan terapi için kontrollü, tanıdık sanal alanlar yaratır. Sürükleyici ortamlar ve etkileşimli avatarlar, kişiselleştirilmiş terapi için güvenli ve rahat bir ortam sağlar. Bu sistem, yüksek görsel doğruluk, görüntü elde etme kolaylığı ve sürükleyici kullanıcı deneyimleri dahil olmak üzere önemli avantajlar sunar. Bununla birlikte, Gauss Sıçramasının hesaplama maliyeti ve doğru kamera pozu tahminine dayanması gibi zorluklar devam etmektedir. Bu sınırlamaların üstesinden gelerek, bu yöntem, terapötik müdahalelerden endüstriyel tasarıma ve kültürel korumaya kadar çeşitli alanlardaki uygulamaları dönüştürme potansiyeline sahiptir.
Giriş
3B manzaraları yeniden oluşturma ve bunlarla etkileşim kurma yeteneği, modern teknoloji uygulamalarının birçok farklı alanında kritik hale geldi. Gerçek konumların sanal temsillerini oluşturmak için geleneksel teknikler bazen emek yoğun, katı modellere ve manuel ölçümlere dayanır1. Gelişmiş bilgisayarla görme teknikleri, bu sınırlamaların üstesinden gelmek için otomatik 3D yeniden yapılandırma ve etkileşim için uygun seçenekler olarak ortaya çıkmıştır2.
360 derecelik fotoğraflardan karmaşık 3D modellerin geliştirilmesi, bu ilerlemenin dikkate değer bir özelliğidir. COLMAP3 gibi son teknoloji araçlar kullanılarak fotoğrafların çekildiği alanların tam olarak belirlenmesiyle doğru mekansal bilgiler elde edilebilir. İşlem, karmaşık ayarların 3D olarak iyi kalitede yeniden oluşturulmasına olanak tanıyan Gauss Püskürtme4 ile daha da geliştirilmiştir.
Bu 3B modelleri Sanal Gerçeklik (VR) sistemlerine dahil etmek, yeniden yapılanmanın ötesinde keşif ve katılım için yeni yollar açar. Etkileşimi artırmak için kullanıcılar, kapılar ve masalar gibi gerçek dünyadaki nesneleri ölçebilir, sanal alanda hareket edebilir ve hatta dijital nesneler ve avatarlar ekleyebilir. Bu avatarlar, Büyük Dil Modellerini (LLM'ler) kullanarak dinamik ve etkileşimli yanıtlar üretebilir ve bu da sürükleyici deneyimler sağlar5.
Bu çalışma, normal renkli görüntüleri kullanarak gerçek dünya ortamının üç boyutlu temsillerini oluşturmak ve bunları bir sanal gerçeklik kurulumu içinde sergilemek için bir metodoloji sunmaktadır. Sistem, genel amaçlı hareketten yapı ve Gauss sıçrama boru hatlarına dayanır. Sistem, inşaat veya sağlık hizmetlerinde daha fazla uygulamanın oluşturulması için uygundur.
Önerilen boru hattı, ana avantajı olan gerçek ortamların görsel olarak gerçekçi ve çekici üç boyutlu temsillerini üretir. Ek olarak, LiDAR'lar veya yapılandırılmış ışık kameraları gibi maliyetli sensörler gerektiren diğer yaklaşımlara kıyasla çok uygun olan renkli görüntüler kullanır6. Teklifin arkasındaki mantık, görsel olarak çekici üç boyutlu temsilleri kolayca oluşturma yeteneğinin birçok uygulamaya sahip olmasıdır. Kalite kontrol için inşaatta, sağlık hizmetlerinde otistik insanları bilinen ve kontrollü bir ortamda tedavi etmek için veya bir video oyununda gerçek bir konumun doğru bir temsilini dahil etmek için eğlencede kullanılabilir.
3D rekonstrüksiyon ve sanal ortamlarla etkileşim için sistemlerin geliştirilmesi, bilgisayarla görme, makine öğrenimi ve sanal gerçeklik teknolojilerinin entegrasyonu ile son yıllarda önemli ölçüde ilerlemiştir2. Bu çalışmayla ilgili temel bileşenler ve metodolojiler aşağıda özetlenmiştir.
Doğru 3D rekonstrüksiyon, uzamsal ve geometrik bilgileri çıkarmak için görüntü işlemeye dayanır. Hareketten Yapı (SfM)7 ve Çoklu Görüntülü Stereo (MVS)8 gibi geleneksel yöntemler, kamera pozlarını tahmin etmek ve yoğun nokta bulutları oluşturmak için yaygın olarak kullanılmaktadır. COLMAP gibi araçlar, görüntü veri kümelerinden son derece hassas 3B modeller üretmek için SfM ve MVS'yi birleştirerek bu görevleri yerine getirmedeki sağlamlıklarıyla tanınırlar. Bununla birlikte, karmaşık aydınlatma, dokular ve son derece dinamik ortamlarla başa çıkmada sınırlamalar devam etmektedir.
Son gelişmeler arasında, geleneksel ağ tabanlı yöntemlerden daha yüksek verimlilikle fotogerçekçi rekonstrüksiyonlar üretmek için nokta tabanlı bir temsil kullanan Gaussian Splatting9 yer alıyor. Gauss Sıçraması, özellikle karmaşık ayrıntılara sahip sahnelerde daha akıcı görselleştirme ve daha doğru uzamsal temsil sağlar.
3B modeller yeniden oluşturulduktan sonra, bunları VR uyumlu formatlara dönüştürmek, sürükleyici etkileşim için çok önemlidir. VR sistemlerinin kullanımı eğlencenin ötesine geçerek eğitim, sağlık10 ve endüstriyel tasarım gibi alanlara yayılmıştır. Modern VR çerçeveleri, sorunsuz gezinme, dijital nesnelerle etkileşim ve gelişmiş gerçekçilik sağlayarak onları yüksek kullanıcı katılımı gerektiren uygulamalar için uygun hale getirir.
Sanal nesneler ve avatarlar gibi etkileşimli özelliklerin entegrasyonu, sanal gerçeklik (VR) sistemlerinin işlevselliğini ve derinliğini önemli ölçüde artırır. Büyük Dil Modelleri (LLM'ler) tarafından desteklenen avatarlar, gerçekçi konuşma etkileşimlerini kolaylaştırarak dinamik ve uyarlanabilir kullanıcı deneyimleri sağlar. Özellikle, bu teknolojiler, kullanıcı davranışına veya duygusal duruma dayalı olarak özel etkileşimler sağlayarak terapötik bağlamlarda potansiyel göstermiştir. Örneğin, bu çalışma11 , otistik bireyleri mesleki iletişim becerileri konusunda eğitmek için LLM'ler tarafından desteklenen sohbet robotları olarak avatarları kullanan bir VR uygulaması geliştirdi ve LLM destekli avatarların terapiye uyarlanabilirliğini vurguladı. Buna ek olarak, LLM'ler, kapsayıcılığı ve katılımı teşvik etmek için artırılmış gerçeklik ortamlarına yerleştirildi ve LLM odaklı avatarların terapötik potansiyelini daha da destekledi.
Sanal ortamlar, özellikle Otizm Spektrum Bozukluğu (ASD) olan bireyler için terapötik ortamlarda giderek daha fazla kullanılmaktadır. Araştırmalar, tanıdık ve kontrollü sanal alanların terapi seansları sırasında kaygıyı azaltabileceğini ve katılımı artırabileceğini gösteriyor11. Bu ortamlardaki avatarlar, terapiyi hasta için güvenli ve erişilebilir hissettirecek şekilde sunarak kolaylaştırıcı olarak hareket edebilir.
İlerlemeye rağmen, 3D rekonstrüksiyonun hesaplama maliyeti, sanal ortamlarda yüksek doğruluğun korunması ve sistemler arasında sorunsuz entegrasyonun sağlanması gibi zorluklar devam etmektedir. Bununla birlikte, daha verimli algoritmaların ve donanımların sürekli geliştirilmesinin yanı sıra yapay zeka odaklı araçlardaki ilerlemeler, bu alanda daha fazla yenilik için fırsatlar sunmaktadır. Bu makale, 360 derecelik görüntüleri kullanarak 3D rekonstrüksiyon ve sanal ortamlarla etkileşim için yeni bir sistem sunmaktadır. Yaklaşım, COLMAP kullanarak görüntü yerelleştirme, Gauss sıçraması kullanarak yüksek kaliteli yeniden yapılandırma ve sürükleyici keşif için VR uyumluluğu gibi teknikleri bütünleştirir. Sistem, LLM'ler tarafından desteklenen dijital nesneleri ve etkileşimli avatarları bir araya getirerek, ASD ve inşaat projesi doğrulaması olan bireyler için kişiselleştirilmiş terapide uygulamalara olanak tanır. Bu araçlar, hem terapötik hem de endüstriyel uygulamaları geliştiren uyarlanabilir sanal ortamlar oluşturmak için kapsamlı bir çerçeve sağlar. Şekil 1'de teklif boru hattı gösterilmektedir.
Şekil 1: Sistem boru hattı. Gerçek ortam, 360° görüntüler, elde edilen projeksiyonlar, SfM süreci, Gauss Sıçrama süreci ve Sanal Gerçeklik ile entegrasyondan oluşan ortamın fotogerçekçi yeniden inşası için önerilen boru hattının diyagramı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Protokol
1. Görüntü yakalama
- 360° kamerayı yüksekliği ayarlanabilir bir tripoda yerleştirin. Taranacak ortamda, her bir kenarın 1,5 m aralıklı olduğu kare bir ağ desenini takip ederek bir dizi konum seçin.
- Ağın seçilen her noktasında üç farklı yükseklikte görüntü yakalayın: yaklaşık 0,4 m, 1,2 m ve 2 m.
- 360° görüntüleri eşdikdörtgen formatlı görüntülere dönüştürün. Örneğin Ista360 uygulamasını kullanın. Görüntüyü seçin, Dışa Aktar düğmesine basın, 360 fotoğraf modunu dışa aktar'ı seçin ve 2:1 oranında görüntü olarak dışa aktarın.
- 90° yatay görüş alanına sahip her eşdikdörtgen görüntüden 16:9 formatında perspektif görüntüler ayıklayın. Tüm görüntüler için şu yatay açıları kullanın: 0, 45, 90, 135, 180, 225, 270, 315. 0,4 m yükseklikte çekilen görüntüler için 0, 50 dikey açıları kullanın. 1,2 m yükseklikte çekilen görüntüler için -50, 0, 50 dikey açıları kullanın. 2 m yükseklikte çekilen görüntüler için -50, 0 dikey açıları kullanın. Ayıklama işlemi için Equi2Pers.py Python betiğini kullanın (Ek Kodlama Dosyası 1; Şekil 2).
Şekil 2: Projeksiyonlara eşdikdörtgensel görüntüler. Eşdikdörtgensel bir görüntünün küp harita projeksiyonuna nasıl dönüştürüldüğünün diyagramı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
2. COLMAP ile kamera pozu tahmini
- Dosya > Yeni Proje'ye tıklayarak yeni bir COLMAP projesi oluşturun, ardından görüntülerin yolunu belirtin ve yeni bir veritabanı oluşturun.
- İşleme > Unsur Ayıklama'ya tıklayarak, kamera modeli olarak PINHOLE'u seçerek ve tüm görüntüler için paylaşarak her görüntü için özellikleri ayıklayın. Kalan parametreleri varsayılan olarak bırakın. Çok fazla dokuya sahip alanlarda, yöntemin verimliliğini artırmak için max_num_features azaltılabilir.
- Varsayılan parametreleri kullanarak İşleme > Özellik Eşleştirme'ye tıklayarak özellik eşleştirmesi gerçekleştirin.
- Varsayılan COLMAP parametrelerini kullanarak kamera konumlarını ve yönlerini elde etmek için Yeniden Yapılandırma'ya > Yeniden Yapılandırmayı Başlat'a tıklayarak SfM'yi hesaplayın.
- Paket Ayarlama'yı tıklatarak Paket Ayarlama'yı kullanarak yeniden oluşturma >hatalarını en aza indirin.
- Yeniden Yapılandırma > Yoğun Yeniden Yapılandırma'ya tıklayarak sahnenin yoğun bir 3B temsilini oluşturun, kamera pozları ve yeniden yapılandırılmış noktalar dahil olmak üzere çıktılarla.
3. Gauss sıçraması (GS) kullanarak fotogerçekçi 3D sahne rekonstrüksiyonu
- train.py dosyasını -s, -m ve -r parametreleriyle yürütün, burada -s COLMAP proje yolunu belirtir, -m Gauss Yayma için çıkış yolunu tanımlar (belirtilmezse, varsayılan bir yol oluşturulur) ve -r görüntüleri yeniden ölçeklendirir, genellikle 2 ile 4 arasında ayarlanır.
NOT: Dosya train.py Gauss Sıçratma resmi deposunda https://github.com/graphdeco-inria/gaussian-splatting. - Unity'de daha sonra kullanmak üzere çıkış yolunda Gaussian Splatting tarafından oluşturulan .ply dosyasını bulun.
4. Unity ve Gauss sıçraması ile sanal gerçeklikte render alma
- VR gözlüğünü bilgisayara bağlayın. Bu yöntem, kullanılan VR başlığına bağlıdır.
- 2022.3.44f1 sürümüne sahip bir 3B proje oluşturmak için Unity Hub'ı kullanın. Gerekirse Unity 2022.3.44f1 sürümünü yükleyin. Projeler > Yeni Proje'ye gidin, 2022.3.44f1 sürümünü ve 3B (Çekirdek) şablonunu seçin, bir proje adı ve konumu ayarlayın ve varsayılan ayarlarla oluşturmak için Proje Oluştur'a tıklayın.
- VR kulaklığını yönetmek ve joystick'e erişim ve göz takibi gibi görevler de dahil olmak üzere uygulama geliştirmeyi basitleştirmek için bir eklenti yükleyin. Bunu, Pencere > Paket Yöneticisi'ne tıklayarak Paket Yöneticisi'ni kullanarak Unity Varlık Deposu aracılığıyla yapın.
- Gauss Sıçratma çıktısından bir varlık oluşturmak için UnityGaussianSplatting eklentisini kullanın. Bunu, Paket Yöneticisi'ni kullanarak Unity Varlık Deposu aracılığıyla yapın. Bu varlığı oluşturmak için GaussianSplats > Araçlar > GaussianSplatAsset Oluştur'a gidin ve Gaussian Splatting tarafından oluşturulan .ply dosyasını sağlayın.
- El algılamayı iyileştirmek ve kullanıcı etkileşimini geliştirmek için UltraLeap eklentisini kullanın. Bunu yüklemek için Unity Asset Store > Paket Yöneticisi'ne gidin ve Pencere > Paket Yöneticisi'ne tıklayın.
- VR başlığının mikrofonu tarafından yakalanan sesi yazıya dökmek için whisper.unity eklentisini kullanın. Bunu adım 4.5'te açıklandığı gibi yükleyin.
- Yanıtlar oluşturmak için bir LLM modeli kullanın. Bu LLM'nin kullanımını etkinleştirmek için LLMUnity eklentisini yükleyin. Bunu adım 4.5'te açıklandığı gibi yükleyin.
- Boş bir GameObject oluşturun ve bir LLM komut dosyası ekleyin, ardından varsayılan bir model seçmek için modeli indir düğmesine tıklayın. Karakterler için boş bir nesne ekleyin ve ad ve rolün belirtilebileceği LLMCharacter komut dosyasını bu nesneye ekleyin.
- LLM tarafından üretilen yanıttan ses oluşturmak için Meta - Voice SDK'yı kullanın. Bunu başarmak için, Pencere > Paket Yöneticisi'ne tıklayarak Paket Yöneticisi'ni kullanarak Unity Asset Store aracılığıyla bir Metin Okuma eklentisi yükleyin.
- Sürükleyici etkileşim sağlamak için VR kulaklıklarını kullanın.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Sonuçlar
Bu bölümde, önerilen boru hattının temsili sonuçları, güçlü noktaları ve sınırlamaları tartışılmaktadır. Önerilen yöntemin uygulanmasının sonuçları aşağıdaki gibidir. Şekil 3 , kamera konumunu (kırmızı renkte) ve yoğun nokta bulutunu göstermektedir. Ortak kökenlere sahip kamera grupları, aynı eşdikdörtgensel görüntüden gelen projeksiyonları temsil eder.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Tartışma
Bu çalışma, 360 derece görüntüler ve ileri render teknikleri kullanılarak fotogerçekçi 3D rekonstrüksiyon ve sanal ortam etkileşimi için yeni bir metodoloji sunmaktadır. Önerilen sistemin kritik adımları, zorlukları ve etkileri aşağıda tartışılmaktadır.
Kritik adımlar
Önerilen boru hattındaki en önemli adımlardan biri görüntü yakalamadır. Çeşitli yüksekliklere ve konumlara yerleştirilmiş 360 derecelik bir kamera kullanılarak, ortamın kapsam...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Açıklamalar
Yazarlar, bu yazıda rapor edilen çalışmayı etkilemiş gibi görünebilecek bilinen hiçbir rakip mali çıkarları veya kişisel ilişkileri olmadığını beyan ederler.
Teşekkürler
Bu makale, MICIU/AEI/ 10.13039/501100011033 ve ERDF tarafından finanse edilen PID2022-138453OB-I00 hibesinin bir parçasıdır.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| GPU'lar NVIDIA GeForce RTX 2080 | NVIDIA | TU104-400A | Görüntü işleme ve yeniden yapılandırma için cihaz |
| Insta360 X4 | Insta360 Serisi | CINSABMA-H | Yeniden yapılandırma için veri toplama cihazı |
| Meta Görev III | Meta | 899-00582-01 | Rekonstrüksiyonu görselleştirmek ve onunla etkileşim kurmak için cihaz |
| Hafıza Kartı Evo Plus 128 GB | Samsung | MB-MC128KA/AB | 360° için hafıza kartı; Fotoğraf depolama |
Kaynaklar
- Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
- Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24 (7), 2314(2024).
- Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).
- Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42 (4), 139-141 (2023).
- Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).
- Remondino, F., El-Hakim, S. Image-based 3D modelling: A review. Photogrammet Record. 21 (115), 269-291 (2006).
- Özyeşil, O., Voroninski, V., Basri, R., Singer, A. A survey of structure from motion. Acta Numerica. 26, 305-364 (2017).
- Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).
- Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review. IEEE Access. 12, 96797-96820 (2024).
- Zhang, M., Ding, H., Naumceska, M., Zhang, Y. Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions. Behav Sci. 12 (5), 138(2023).
- Failla, C., et al. Virtual reality for autism: unlocking learning and growth. Front Psychol. 15, 1417717(2024).
- Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. arXiv. , (2024).
- Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. arXiv. , (2025).
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Yeniden basım ve izinler
