Zastosowania edukacyjnych gier w rozszerzonej rzeczywistości w nauczaniu nauk ścisłych

Podsumowanie

Rozszerzona rzeczywistość (AR) wzmacnia nauczanie nauk ścisłych poprzez integrację gier edukacyjnych, poprawę interaktywności i poprawę wyników nauczania. Eksperymenty pokazują, że boosty AR zwiększają wyniki o 28 punktów, podczas gdy pierwszoroczni i seniorzy zdobywają 22/30 punktów. Wskaźniki gry (grywalność i zastosowalność) osiągają 84%-87%, a satysfakcja użytkowników przekracza 94%. AR znacząco poprawia wyniki i efektywność w klasie.

Streszczenie

Dzięki głębokiej integracji technologii informacyjnej i edukacji, rozszerzona rzeczywistość (AR) stała się trendem w nauczaniu nauk ścisłych, łącząc rzeczywistość wirtualną z interakcją w czasie rzeczywistym. Badanie to projektuje i rozwija system nauczania nauk ścisłych oparty na technologii AR, zintegrowany z mechanizmami edukacyjnych gier, aby przezwyciężyć trudności w rozumieniu treści abstrakcyjnych oraz niskiego udziału uczniów w tradycyjnym nauczaniu nauk ścisłych. System kieruje się teoriami uczenia doświadczalnego i konstruktywizmu, integrując algorytmy takie jak śledzenie punktów cech, korekcja obrazu oraz trening regresji. Algorytmy te poprawiają dokładność i stabilność modeli wirtualnych w rzeczywistych środowiskach. Na koniec przeprowadza się 12-miesięczny eksperyment porównawczy na kierunku nauki ścisłe i inżynierii na danym uniwersytecie. Wyniki eksperymentalne wykazały, że średni wynik dla metody nauczania nauk ścisłych z wykorzystaniem technologii AR znacznie się poprawił o 20,11 punktu w porównaniu z tradycyjną metodą nauczania. Ocena uczniów pierwszego roku w systemie nauczania wzrosła o 22,36 punktu, a średni wynik uczniów ostatnich klas w systemie nauczania o 29,97 punktu. W systemie nauczania nauk ścisłych wskaźniki gier edukacyjnych, grywalności i zastosowania wzrosły odpowiednio do 84, 87 i 86. Satysfakcja użytkowników z użyteczności systemu, dokładności treści, responsywności i klarowności wskaźników może sięgnąć odpowiednio 97%, 96%, 94% i 98%. Podsumowując, system nauczania nauk ścisłych wykorzystujący edukacyjną grę AR przynosi znaczącą poprawę wyników uczniów oraz silny praktyczny wpływ na zajęcia z nauk ścisłych.

Wprowadzenie

Technologia rozszerzonej rzeczywistości (AR) stała się koniecznością, pomagając ludziom doświadczać, wykrywać i inspirować, aby poprawić doświadczenia życiowe¹. Nadaje to heurystyczne znaczenie edukacji i nauczaniu treści abstrakcyjnych. Biorąc pod uwagę bardzo abstrakcyjny i trudny do zaobserwowania charakter technologii VR i AR, można je wykorzystać² do zwiększenia efektywności edukacji i nauczania, tak aby potencjał uczenia się uczniów mógł być wykorzystany i rozwijany³. Technologia wirtualnej rzeczywistości oferuje interaktywność, zanurzenie i autonomię, które odpowiadają na potrzeby współczesnej edukacji. Można go zintegrować z nauczaniem praktycznym, aby zbudować platformę łączącą nauczanie wirtualne i rzeczywiste oraz sprostać obecnym potrzebom dydaktycznym⁴. Zgodnie ze standardami nauczania nauk ścisłych, interaktywne funkcje technologii AR są wykorzystywane do wspierania nauczania. Interaktywny system nauczania sztuki ma ogromne znaczenie dla nauczania nauk ścisłych⁵. Badania koncentrują się na ekstrakcji obrazów, dopasowywaniu cech oraz algorytmach śledzenia obiektów. Analizując potrzeby nauczania nauk ścisłych, gry edukacyjne AR zostały zaprojektowane w celu rozwoju AR w edukacji naukowej, z zamiarem wykorzystania AR do poprawy jakości nauczania ^6,7. W porównaniu z istniejącymi systemami nauczania AR, innowacja tych badań polega głównie na tym, że nie wykorzystuje ona jedynie modeli AR do wyświetlania treści, lecz głęboko integruje specyficzne algorytmy widzenia komputerowego i mechanizmy edukacyjnych gier. Badanie integruje śledzenie i dopasowanie w czasie rzeczywistym oparte na punktach cech oraz korekcie rozciągania w skali szarości obrazu. Wykorzystuje także modele treningowe regresji grzbietowej i nieliniowej. Dodatkowo badanie łączy długoterminowe eksperymenty porównawcze oraz wielowymiarowe systemy indeksów oceny. Metody te poprawiają dokładność rejestracji, stabilność śledzenia oraz adaptacyjność środowiskową obiektów wirtualnych w rzeczywistym środowisku.

Niniejsze badanie koncentruje się na pięciu częściach. Pierwsza część wyjaśnia tło i znaczenie badawcze technologii AR w edukacji naukowej oraz podkreśla jej potencjał do wzmacniania motywacji do nauki i zrozumienia abstrakcyjnych pojęć. Druga analiza analizuje obecny status zastosowań gier edukacyjnych oraz postępy badawcze systemów edukacji AR. Trzecia część analizuje potrzeby w procesie nauczania i projektuje naukowy system nauczania oparty na edukacyjnych grach technologicznych AR. Następna sekcja weryfikuje skuteczność proponowanego systemu nauczania. Ostatnia część to podsumowanie i spojrzenie na metody badawcze oraz wyniki.

Powiązane dzieła

Gry edukacyjne to narzędzia edukacyjne łączące cele nauczania z mechanizmami gry, mające na celu poprawę wyników poprzez zabawne interakcje. Dzięki głębokiej integracji gier edukacyjnych i inteligentnej technologii, system edukacji przechodzi głębokie zmiany. Yang i in. zaproponowali algorytm rekomendacji filtrowania współpracy, który łączy klastry warstw gruboziarnistych z pokryciem oraz klasteryzację K-średnich, aby rozwiązać problem słabej wydajności w rekomendacjach edukacyjnych do gier. Wyniki wykazały, że dokładność i wynik F1 proponowanego algorytmu wynosiły odpowiednio 0,880 i 0,826, co było lepszym wynikiem niż model nachylenia⁸. Sun i in. przedstawili metaanalizę 22 badań empirycznych mających na celu określenie skuteczności gier edukacyjnych w poprawie umiejętności myślenia komputerowego uczniów. Gry edukacyjne mogłyby poprawić umiejętności myślenia obliczeniowego uczniów⁹. Udeozor i in. przeanalizowali praktyki uczenia się oparte na grach cyfrowych. Badanie to wskazało, że zainteresowanie i zapotrzebowanie ludzi na narzędzia do nauki doświadczalnej wzbogacone przez technologię, takie jak wirtualne laboratoria i gry cyfrowe, stopniowo rośnie. Podkreślono również przyszły trend cyfrowego uczenia się gier^{w edukacji} inżynierskiej. Martinez i in. przeprowadzili systematyczny przegląd 49 istotnych badań, aby lepiej zrozumieć wartość edukacyjnej praktyki gier w klasie. Ostatecznie odkryto, że gry edukacyjne mogą stać się skutecznym narzędziem edukacyjnym, korzystnym dla niemal wszystkich uczniów¹¹. Gordillo i in. zastosowali projekt quasi-eksperymentalny, aby porównać skuteczność nauki opartej na wideo i w grach w edukacji inżynierii oprogramowania online. Wyniki wskazały, że korzystanie z gier edukacyjnych do nauki było skuteczniejsze niż tradycyjna nauka oparta na wideo¹².

Technologia AR jest szeroko wykorzystywana w przemyśle, medycynie, informatyce, edukacji i innych dziedzinach dzięki połączeniu interakcji wirtualnej i czasu rzeczywistego. Lytvynova i in. stwierdzili, że integracja rzeczywistości wirtualnej i AR w środowiskach edukacyjnych otwiera nowe możliwości dla partycypacyjnych i immersyjnych doświadczeń edukacyjnych. Zrealizowano projekt edukacyjny wykorzystujący wirtualne i AR. Wyniki wskazały, że technologia wirtualnej rzeczywistości i AR w procesie edukacyjnym dostarczają bogatych zasobów dydaktycznych i uczących się, które mogą wzbogacić doświadczenie edukacyjne¹³. Álvarez Marín i in. omówili ograniczone badania nad metodami edukacyjnymi opartymi na AR, omówili rodzaje działań edukacyjnych wykorzystujących AR oraz ocenili jego wpływ na uczniów i nauczycieli. Wyniki wskazywały, że w większości badań metody edukacyjne oparte na AR poprawiły wyniki akademickie¹⁴. De Moraes Rossetto i in. stwierdzili, że zastosowanie AR i rzeczywistości wirtualnej stało się transformującym podejściem w dziedzinie edukacji. Dlatego w tym badaniu opracowano zastosowanie obejmujące AR i rzeczywistość wirtualną oraz oceniono ich wpływ na proces nauczania. Wyniki wskazywały, że zarówno AR, jak i rzeczywistość wirtualna wykazują obiecujące wsparcie dla procesu nauczania¹⁵. Radu i in. zaproponowali system AR oparty na HoloLens, aby poprawić wydajność nauki fizyki. Wyniki wskazywały, że system AR pomagał uczniom uczyć się treści przestrzennej i relacji strukturalnych, ale także utrudniał im zrozumienie treści kinestetycznej¹⁶. Kleftotimos i in. zaproponowali dwie lokalizacyjne aplikacje edukacyjne AR, mające na celu poprawę satysfakcji i zaangażowania uczniów, a także zaprosili 129 studentów do wstępnej oceny. Wyniki wskazały, że aplikacje AR osiągają wysokie wyniki pod względem użyteczności, satysfakcji uczniów oraz postrzeganej użyteczności edukacyjnej¹⁷.

Podsumowując, interaktywny charakter technologii AR zapewnia bardziej naturalne doświadczenie nauki zarówno nauczycielom, jak i uczniom oraz zwiększa świadomość eksploracji. Jednak obecne systemy nauczania AR koncentrują się głównie na wyświetlaniu modeli i prostej interakcji, brakuje im głębokiej integracji z mechanizmami edukacyjnymi i wyższymi celami nauczania. Brakuje długoterminowych badań nad śledzeniem, a elastyczność i stabilność środowiska systemowego również wymagają poprawy. Dlatego celem tego badania jest opracowanie naukowego systemu nauczania, który integruje technologię AR z mechanizmami edukacyjnych gier. Skupiamy się na kwestiach takich jak dokładność rejestracji, stabilność śledzenia oraz zdolność adaptacji obiektów wirtualnych w rzeczywistym środowisku. Dzięki długoterminowym eksperymentom porównawczym i wielowymiarowym systemom oceny potwierdza się skuteczność tego procesu w poprawie wyników i doświadczeń uczniów.

Protokół

Badanie to przeszło rygorystyczną recenzję i zatwierdzenie przez odpowiednią komisję etyczną, a cały proces badawczy ściśle przestrzega Deklaracji Helsińskiej oraz obowiązujących akademickich standardów etyki badawczej, w pełni chroniąc uzasadnione prawa i interesy, dobrostan fizyczny i psychiczny oraz prywatność osobistą uczestników.

Proces rekrutacji uczestników badań jest zgodny z wymogami etycznymi, a wszyscy uczestnicy podpisali pisemną zgodę na informację przed udziałem w badaniu. Formularz świadomej zgody jest jasny i łatwy do zrozumienia oraz wyraźnie opisuje zakres zbierania danych (w tym wyniki akademickie, dane z oceny systemu oraz satysfakcję użytkownika), cel wykorzystania danych (wyłącznie do analizy akademickiej w tym badaniu) oraz środki podjęte w celu zapewnienia poufności danych. Udział był całkowicie dobrowolny, a wszyscy uczestnicy wyrazili świadomą zgodę bez przymusu czy zachęcania. Używany sprzęt jest wymieniony w Tabeli Materiałów.

1. Uczestnicy, projekt badania i ramy oceny

200 studentów studiów licencjackich (106 mężczyzn i 94 kobiety, średni wiek 20,4 ± 1,2 roku) oraz 100 nauczycieli (52 mężczyzn i 48 kobiet, ze średnim doświadczeniem dydaktycznym 8,6 ± 4,3 lata) jest losowo rekrutowanych spośród kierunków nauk ścisłych i inżynierii na danym uniwersytecie jako uczestnicy. Uczestnicy są losowo dzieleni na grupę eksperymentalną i kontrolną metodą losowego próbkowania, z 150 osobami w każdej grupie. Podstawowy test wiedzy przed eksperymentem potwierdza, że nie ma statystycznie istotnej różnicy (p > 0,05) w początkowym poziomie wiedzy między tymi dwiema grupami. Grupa eksperymentalna korzysta z systemu nauczania opartego na technologii AR, natomiast grupa kontrolna stosuje tradycyjne metody nauczania. Tradycyjne metody nauczania odnoszą się do szeroko przyjętego procesu standaryzowanego nauczania opartego na nauczycielach i podręcznikach. Obejmuje to wykłady nauczycielskie, naukę wykresów z podręczników i statycznych oraz obliczenia teoretyczne, nie obejmując żadnych interaktywnych symulacji 3D ani technologii AR. Kryteria włączenia to: studenci studiów licencjackich muszą ukończyć wymagany kurs Mechaniki Materiałów, a nauczyciele muszą posiadać odpowiednie doświadczenie dydaktyczne na tym kursie. Kryteria wykluczenia to: osoby z historią poważnych wad wzroku lub chorobą lokomocyjną. Wszyscy uczestnicy podpisują formularze świadomej zgody i są informowani, że mogą w dowolnym momencie wycofać się z eksperymentu. Okres eksperymentalny trwa 12 miesięcy, a dane dotyczące wyników akademickich i oceny systemu są zbierane przed rozpoczęciem eksperymentu, w 6. i 12. miesiącu. Narzędzie ewaluacyjne wykorzystuje samodzielnie opracowany "Edukacyjny System Indeksu Oceny Gier" (w Tabeli 1), aby ocenić skuteczność systemu z trzech aspektów: edukacyjnej, gamingowej i stosowalności, z łącznie 15 wskaźnikami. Zbierane są dane dotyczące satysfakcji użytkowników, obejmujące cztery aspekty: łatwość obsługi, dokładność treści, terminowość odpowiedzi oraz jasność wskaźników.

2. Konfiguracja systemów eksperymentalnych, procedury i analiza danych

Sprzęt obejmuje urządzenie AR wyświetlające (Microsoft HoloLens 2), wbudowaną kamerę głębiową i kamerę RGB, komputer wyposażony w procesor Intel Core i9-11950H, 32GB RAM oraz kartę graficzną A2000. System operacyjny korzysta z Windows 11, silnik deweloperski korzysta z Unity 2021, biblioteka widzenia komputerowego korzysta z OpenCV 4.13.0, a zintegrowane środowisko programistyczne to Visual Studio 2022. Gdy nastąpi znacząca zmiana oświetlenia środowiska eksperymentalnego lub gdy sprzęt jest używany po raz pierwszy w danej przestrzeni fizycznej, konieczna jest kalibracja kamery. Działa na nim wbudowany skrypt kalibracyjny CalibrationScript. cs oraz wykonanie co najmniej 15 zdjęć szachownicowych z różnych kątów i pozycji za pomocą kamery HoloLens. Skrypt automatycznie oblicza parametry wewnętrzne kamery oraz współczynniki zniekształceń. Standardem skutecznej kalibracji jest to, że średni błąd reprojekcji wynosi mniej niż 0,5 piksela. Jeśli standard nie zostanie spełniony, system poprosi o ponowne przechwycenie obrazu. Po pomyślnej kalibracji parametry kalibracyjne są wydawane dla kolejnych wywołań modułów rejestracyjnych 3D.

Eksperyment prowadzony jest wewnątrz budynku, przy utrzymywaniu światła otoczenia na poziomie 300 ± 50 luksów. Eksperymentalna karta z oznaczeniami AR jest umieszczona na środku stołu, a jej krawędź jest równoległa do krawędzi stołu. Pozycja obserwacji jest ustawiona na około 60 cm od środka karty obiema oczami, a kamera HoloLens 2 początkowo skupia się na płaszczyźnie karty. Interakcja gestów wykorzystuje gesty "hand ray" i "air click" ustawione wcześniej przez HoloLens 2. Palec wskazujący jest wyprostowany, a pozostałe palce cofane, wskazując na wirtualny okaz i utrzymując stabilny gest przez ponad 0,5 s, aby wybrać obiekt. Następnie siła jest przystosowana przez szybkie przepchnięcie palca wskazującego do przodu, z domyślną wartością siły 50N przyłożoną przez system wzdłuż osi próbki wirtualnej. Oczekiwany czas pomyślnej operacji zakończenia pełnej interakcji gestem wynosi 1–2 s. Parametry systemowego widzenia komputerowego są ustawione następująco: wywołaj funkcję aruco.detectMarkers OpenCV w Unity, aby wykryć próg (adaptiveThreshWinSizeMin=3, adaptiveThreshWinSizeMax=23). Punkt kontrolny wykrywania markerów polega na tym, że system musi stabilnie rozpoznać ten sam marker (pewność>0,95) w ciągłym strumieniu wideo o długości 30 klatek przed uruchomieniem renderowania obiektów wirtualnych. Po pomyślnym wykryciu na ekranie oznaczona krawędź wyświetla zieloną ramkę i towarzyszy jej krótkie sprzężenie zwrotne wibracji. Kalibracja kamery wykorzystuje wbudowany CalibrationScript. Pismo CS, które wymaga wzoru szachownicy z 9 × 6 wewnętrznymi narożnikami i długością boków 2,5 cm. Co najmniej 15 klatek wzoru musi być przedstawionych z różnych kątów w polu widzenia kamery. Skutecznym standardem kalibracji jest średni błąd reprojekcji mniejszy niż 0,5 piksela. Proces kalibracji powinien zakończyć się w ciągu 2 minut. Po sukcesie dziennik "Kalibracja zakończona" powinien być wyświetlany w konsoli edytora Unity, a skalibrowany stożek kamery powinien być wizualizowany w scenie. Wirtualne renderowanie obiektów wykorzystuje pipeline renderowania w czasie rzeczywistym Unity, z standardowym shaderem materiału i modelem oświetlenia zgodnym ze światłem otoczenia.

Procedura eksperymentalna składa się głównie z czterech etapów. Po pierwsze, urządzenie odpowiednio zużywa i reguluje urządzenie HoloLens 2. Po drugie, karta eksperymentalna z oznaczeniami AR jest umieszczona na pulpicie. Kamera systemowa nieustannie rejestruje strumienie wideo. W OpenCV wywołuje funkcję aruco.detectMarkers do wykrywania i rozpoznawania tagów. Po trzecie, po pomyślnym zidentyfikowaniu znaku, system renderuje wirtualny próbek materiału w rzeczywistym świecie zgodnie z równaniami (1)–(4). Układ współrzędnych wirtualnego środowiska ζηξ oraz układ współrzędnych rzeczywistego środowiska xyz można przekształcić, a równanie transformacji przedstawiono w równaniu (1).

[ xyz1] = [ζηξ1] A (1)

W równaniu (1) A reprezentuje macierz transformacji między dwoma systemami, gdzie środowisko rzeczywiste xyz i kamera x'y'z również mogą być transformowane. Równanie zmiany przedstawiono w równaniu (2).

[ x'y'z'1] = [ζηξ1] AB (2)

W równaniu (2) B reprezentuje macierz transformacji między dwoma układami współrzędnych. x'y'z" projektuje śledzone obiekty wirtualne do dwuwymiarowego układu współrzędnych UV, aby umożliwić dokładną rejestrację środowiska wirtualnego w rzeczywistości. Transformacja między współrzędnymi ekranu a współrzędnymi kamery x'y'z' w projekcji fuzji obiektów wirtualnych i środowisk rzeczywistych przedstawiona jest w równaniu (3).

(3)

W równaniu (3) d_x oznacza liczbę pikseli w kierunku osiowym x. d_y to liczba pikseli w kierunku osiowym y. Geometryczna relacja między kamerą a układem współrzędnych obrazu, rzutowana przez fuzję obiektu wirtualnego i rzeczywistego środowiska, została przedstawiona w równaniu (4) za pomocą podobnego równania trójkąta.

(4)

Poprzez zastosowanie siły do próbki wirtualnej za pomocą zdefiniowanych gestów, system oblicza i wizualizuje rozkład naprężeń oraz deformację próbki w czasie rzeczywistym na podstawie równań (5)–(7). Siła wewnętrzna na jednostkę powierzchni to naprężenie, jak pokazano w równaniu (5).

(5)

W równaniu (5) F odnosi się do siły, A to pole poprzeczne, a p_m to naprężenie na jednostkę powierzchni. Całkowite naprężenie pokazano w równaniu (6).

 (6)

W równaniu (6) p oznacza składnik naprężenia całkowitego naprężenia, σ jest naprężeniem normalnym, składowym naprężenia prostopadłym do przekroju, a τ to naprężenie ścinające, a składnik naprężenia styczny do przekroju. Naprężenie normalne jest przedstawione w równaniu (7).

  (7)

W równaniu (7) F_N to siła osiowa, a A to pole przekroju poprzecznego. Po czwarte, rejestrowanie danych i generowanie raportów. Kluczowe dane wygenerowane podczas eksperymentu są automatycznie zapisywane w formacie CSV. Po eksperymencie generuje raport eksperymentalny w formacie PDF, zawierający krzywe naprężenia-odkształcenia oraz kluczowe podsumowania danych. Wszystkie pliki są eksportowane do lokalnego katalogu i nazywane w formacie data eksperymentu+typ eksperymentu. Etapy zakończenia protokołu obejmują potwierdzenie oszczędzania danych, wyłączenie urządzenia, wyłączenie oprogramowania oraz sprawdzenie statusu systemu. Po eksperymencie badanie potwierdza zakończenie aplikacji za pomocą przycisku "Exit System" w menu głównym, usuwa urządzenie HoloLens 2 i wyłącza je zgodnie ze standardowymi procedurami operacyjnymi. Na koniec, na maszynie deweloperskiej tryb uruchamiania edytora Unity zostaje zatrzymany, a wszystkie powiązane okna oprogramowania są zamykane.

SPSS 26.0 jest używany do analizy danych. Przed zastosowaniem testu t z próbkami parowanymi najpierw ocenia się normalność różnic w poprawie wydajności. Test Shapiro-Wilka służy do analizy wszystkich istotnych zmiennych. Ponadto wyniki pokazują, że wartości p dla wszystkich zmiennych są większe niż 0,05, co wskazuje, że dane są zgodne z rozkładem normalnym i spełniają wymagania wstępne testu t. Test t z parowanymi próbkami służy do porównania poprawy wydajności między grupami eksperymentalnymi a kontrolnymi dla danych powtarzalnych pomiarów, takich jak satysfakcja. Analiza wariancji powtarzanych jest wykorzystywana do oceny zmian w czasie. Poziom istotności jest ustawiony na p<0,05. Ponadto, aby ocenić wartość efektu, oblicza się wartość d Cohena, gdzie d>0,8 oznacza duży efekt.

3. Konstrukcja systemu nauczania nauk ścisłych oparta na grze edukacyjnej technologii AR

Zgodnie ze standardami nauczania naukowego, interaktywne funkcje technologii AR i systemów nauczania są wykorzystywane do wprowadzenia go do edukacji i uwolnienia jego potencjału. Technologia AR odgrywa ogromne znaczenie w nauczaniu nauk ścisłych. Przede wszystkim potrafi skonkretyzować i wizualizować treści abstrakcyjne nauki. Drugim jest poprawa doświadczenia uczącego się, aby lepiej uczestniczyć i koncentrować się. Dlatego bardzo ważne jest połączenie systemu nauczania z klasą edukacyjną. Projekt systemu w tym badaniu opiera się na zasadach uczenia się doświadczalnego i konstruktywizmu. Celem jest przekształcenie abstrakcyjnych pojęć w namacalne, obserwowalne obiekty wizualne poprzez mechanizmy interakcji AR oraz zachęcanie uczniów do aktywnego budowania wiedzy. Jednocześnie wprowadzany jest model akceptacji technologii, aby ocenić postrzeganą użyteczność i łatwość użycia systemu, mierząc tym samym jego potencjał praktycznego zastosowania.

3.1 Integracja gier edukacyjnych i technologii rzeczywistości rozszerzonej

Technologia AR integruje środowiska wirtualne i rzeczywiste, oferując użytkownikom nowe doświadczenia sensoryczne. Technologia AR najpierw śledzi i zbiera punkty cech z rzeczywistych scen, a następnie wykonuje rozpoznawanie obrazów. Drugim jest śledzenie obrazu w miejscu mapy znakującej. Kąt kamery i inne informacje są ważne¹⁸. Wreszcie, poprzez postrzeganie czułości kamery na otoczenie i nałożenie modelu na niego, można osiągnąć połączenie wirtualności i rzeczywistości, osiągając efekt immersji. Wdrożenie technologii AR pokazano na Rysunku 1.

Rysunek 1: Kroki wdrożenia technologii AR. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Gra edukacyjna to oprogramowanie do gier komputerowych integrujące funkcję edukacyjną oraz funkcję rozrywkową. Może kształtować inteligencję, umiejętności, wiedzę, postawę i wartości użytkowników gier, a jej wpływ na uczniów nie powinien być lekceważony. Technologia AR posiada trzy podstawowe, istotne cechy. Po pierwsze, wiernie integruje wirtualność i rzeczywistość, integruje stworzoną trójwymiarową scenę z rzeczywistym środowiskiem, pobudza wszystkie zmysły użytkownika i pozwala mu doświadczyć świata rzeczywistego¹⁹. Drugim jest wykorzystanie nowoczesnych inteligentnych urządzeń do osiągnięcia inteligentnej interakcji między ludźmi a urządzeniami. Na koniec komputerowo generowane środowisko 3D jest rejestrowane z rzeczywistym celem w 3D. Użytkownicy mogą nadal śledzić rzeczywiste obiekty bez ich utraty i jednocześnie zachowywać dokładne śledzenie przez cały czas. Zasada technologii rejestracji 3D przedstawiona jest na Rysunku 2.

Rysunek 2: Schemat rejestracji 3D. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Schemat trójwymiarowej rejestracji pokazany na Rysunku 2, gdzie x'y'z' to współrzędne kamery, xyz to współrzędne rzeczywiste, ζηξ to współrzędne środowiska wirtualnego, uv to współrzędne ekranowe rzutów fuzji obiektu wirtualnego i środowiska rzeczywistego, a '' o'z' to kierunek linii widzenia użytkownika. Po ujednoliceniu i połączeniu obliczenia przedstawiono w równaniu (4). Edukacyjne znaczenie technologii rejestracji 3D (równania (1)–(4)) polega na jej zdolności do przekształcania abstrakcyjnych wirtualnych układów współrzędnych w stabilne i dokładne wizualne nakładki na ekranach uczniów. Technologia ta zapewnia, że modele wirtualne mogą być skutecznie przymocowane do rzeczywistych kart z markerami, a model nie będzie dryfował ani drżał, gdy uczniowie poruszają swoją perspektywą. Bezpośrednia wartość edukacyjna tej technologii polega na jej zdolności do zapewnienia uczniom stabilnego i godnego zaufania środowiska obserwacji. To środowisko pozwala uczniom obserwować i myśleć o wirtualnych próbkach mechanicznych z dowolnej perspektywy. W rezultacie uczniowie rozwijają wyobraźnię przestrzenną i umiejętność obserwacji pod wieloma kątami.

3.2 Analiza popytu na edukacyjne gry naukowe oparte na technologii AR

Aby osiągnąć cele nauczania nauk ścisłych, uczniowie muszą systematycznie zdobywać wiedzę, umiejętności i doświadczenia behawioralne. Projektując gry edukacyjne AR, konieczne jest prawidłowe przeanalizowanie treści dydaktycznych²⁰. Wybór odpowiednich treści nauczania, ich integracja z technologią AR oraz innowacyjne metody nauczania mogą skutecznie pomóc uczniom zbudować spójny system wiedzy. Celem badań mechaniki materiałów są różne materiały o różnych kształtach części. Głównie bada wytrzymałość, sztywność i stabilność pod różnymi siłami. Wzmacnianie intuicyjnego doświadczenia wizualnego oraz interaktywnego poczucia uczestnictwa uczniów. Dlatego połączenie technologii AR i systemu edukacyjnego służy analizie potrzeb technologii AR w grach edukacyjnych z zakresu nauki naukowej, biorąc za przykład analizę naprężenia i odkształcenia. System zapewnia przygotowanie eksperymentalne i symulację punktów wiedzy o naprężeniach i odkształceniach w mechanice oraz wspiera nauczycieli w nauczaniu eksperymentów. Użytkownicy systemu to głównie goście, studenci, nauczyciele i administratorzy, a jego funkcje obejmują zarządzanie eksperymentami, przesyłanie eksperymentów, eksperymenty interaktywne oraz wizualizację danych. System przedstawiony jest na Rysunku 3.

Rysunek 3: Diagram przypadku użycia systemu punktacji ukończenia kursów eksperymentalnych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Integracja technologii AR z systemem edukacyjnym przedstawiona jest na Rysunku 3. System ten może zapewnić, że nauczyciele są odpowiednio przygotowani przed kursem, opanują eksperymenty i zarządzają uczniami podczas kursu. Po eksperymencie nauczyciele mogą przeglądać i oceniać postępy uczniów, pomagać w zarządzaniu danymi kursowymi, poprawiać wskaźniki ukończenia eksperymentów oraz wspierać administratorów w zarządzaniu danymi dotyczącymi wyników eksperymentów uczniów. Dlatego system nauczania technologii AR opiera się na architekturze model-view-controller (MVC). Tryb przetwarzania danych tego trybu przedstawiono w równaniu (8).

V(s) = maksymalna symulacja →f(s)) (8)

W równaniu (8) V(s) reprezentuje zawartość danych wyświetlaną przez warstwę widoku zgodnie z wymaganiami użytkownika, zasobami dydaktycznymi, a f(s) to informacje o użytkowniku. Tryb działania interakcji w czasie rzeczywistym między zróżnicowanym systemem nauczania a użytkownikami przedstawiono w równaniu (9).

K(s) = s_i ∩ [f(s₁), f(s₂),...,ff(s_n)] (9)

W równaniu (9) K(s) reprezentuje regułę biznesową trybu,_{s 1} to parametr charakterystyczny obiektów danych, a f(_{s n}) to parametr charakterystyczny informacji o zapotrzebowaniu użytkownika. Na podstawie interaktywnej relacji między systemem nauczania technologii AR a użytkownikami, tryb działania przedstawiono w równaniu (10).

g(x) = maksymalnie K(s) → f(s) (10)

W równaniu (10) g(x) reprezentuje obiekt żądania, f(x) to źródło wymagań użytkownika, a max K(s) to maksymalna wartość podobieństwa cech. Tryb MVC składa się z pięciu głównych komponentów: biznesowego, kontrolera, persystencji, widoku oraz bazy danych. Warstwa widoku łączy użytkowników i dane poprzez strony internetowe, umożliwiając interakcję i zapewniając funkcjonalność wyświetlania stron internetowych. Warstwa danych przechowuje i przetwarza dane z górnej warstwy. Warstwa usług odpowiada za zaspokajanie potrzeb użytkowników i wdrażanie logiki usług. System nauczania nauk przyrodniczych AR oparty na trybie MVC jest przedstawiony na Rysunku 4.

Rysunek 4: Schemat architektury technicznej systemu nauczania nauk ścisłych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Interakcja z bazą danych pozwala uzyskać informacje o operacjach danych uzyskane na warstwie logiki biznesowej mapowane przez warstwę persystencji. Warstwa widoku odpowiada za wyświetlanie głównego interfejsu front-end, przesyłanie danych eksperymentalnych, wyświetlanie wyników eksperymentalnych oraz ocenianie raportów eksperymentalnych. Warstwa logiki biznesowej dzieli się na warstwę biznesową i kontroler, który przyjmuje żądania użytkowników i przekazuje je procesorowi warstwy logiki biznesowej w celu przetwarzania. Warstwa technologiczna buduje wspólne bloki wielu obiektów w oddzielne moduły, umożliwiając bezpośrednie odniesienia do systemu.

3.3 Projektowanie architektury systemu nauczania opartego na technologii AR i grze edukacyjnej naukowej

Nauczanie nauk ścisłych to dwustronny proces nauczania i uczenia się. Aby osiągnąć cele nauczania, projektowanie gier edukacyjnych AR powinno opierać się na pięciu zasadach: interaktywności, zainteresowania, nauki, łatwości obsługi oraz edukacji²¹. Interaktywność to największa cecha technologii AR. Gra edukacyjna powinna podkreślać zalety technologii AR, umożliwiając uczniom bogate, interaktywne doświadczenie eksperymentów, które aktywują atmosferę w klasie i poprawiają efektywność nauczania. Gry edukacyjne są projektowane z jasnymi celami nauczania i kluczowymi punktami nauczania, aby osiągnąć zarówno cele nauczania, jak i uczenia się. Dlatego system nauczania oparty na technologii AR obejmuje głównie sześć modułów, jak pokazano na Rysunku 5.

Rysunek 5: Schemat modułu systemu nauczania AR Teaching Science Teaching. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Moduł systemu nauczania składa się głównie z modułu wprowadzenia do systemu, modułu użytkownika, modułu eksperymentu, modułu wyboru eksperymentów, modułu strony głównej oraz modułu statystyki wyników. Moduł wprowadzający do eksperymentu może łatwo informować użytkowników i dostarczać instrukcji korzystania z systemu nauczania, w tym wymagania dotyczące eksperymentów w klasie oraz raportów eksperymentalnych. Moduł użytkownika zarządza użytkownikami, w tym rejestracją kont, przełączaniem kont, wylogowaniem się z konta oraz modyfikacją hasła. Moduł wyboru eksperymentalnego wykorzystuje ekran dotykowy do wyboru części eksperymentalnych. Moduł eksperymentalny wykonuje rozpoznawanie punktów cech oraz analizę cech na importowanych zdjęciach eksperymentalnych. Odpowiednia jest także różnica światła dostosowana do rzeczywistych ekspozycji. Projekt systemu nauczania oparty na technologii AR jest ściśle skoncentrowany na celach edukacyjnych. Konkretnie, podstawowe funkcje edukacyjne modułu eksperymentalnego i modułu selekcji eksperymentalnej mają na celu wzmocnienie pozycji studentów. Mogą eksplorować samodzielnie. Znaczenie edukacyjne modułu statystyki wyników polega na zapewnieniu nauczycielom obiektywnej podstawy. Nauczyciele mogą go wykorzystywać do oceny wyników nauki. Ze względu na charakterystykę AR wymaga jego stosowania w scenach przy odpowiednim, stabilnym oświetleniu. Metoda rozciągania szarości może być użyta, aby uzyskać równomierne rozłożenie, jak pokazano w równaniu (11).

g(x,y) = [(255 - c)/ b - a] f(x,y) + c (11)

W równaniu (11) c oznacza punkt początkowy poziomu szarości po korekcji. odpowiednio a i b oznaczają punkt początkowy i koniec poziomu szarości przed korektą. W metodzie śledzenia opartej na cechach równanie podstawowe jest przedstawione w równaniu (12).

  (12)

W procesie śledzenia wybiera się model regresji grzbietowej do regresji liniowej, a do trenowania stosuje się model regresji nieliniowej. Funkcja Gaussa jest przedstawiona w równaniu (13).

(13)

Administrator znajduje się w module oceny użytkownika. W tym systemie standard punktacji kursu eksperymentalnego jest zarządzany i oceniany przez administratora. Uczniowie mogą przeglądać wyniki eksperymentów i dane poprzez moduł wyników eksperymentalnych. Moduł strony głównej w systemie zawiera wprowadzenie do systemu, wprowadzenie do eksperymentu, system wyjścia oraz inne treści. Rysunek 6 przedstawia ogólny system systemowy.

Rysunek 6: Moduł strony głównej AR systemu nauczania nauk ścisłych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Proces systemowy w systemie nauczania składa się głównie z czterech części: przygotowania materiałów do rysowania, interaktywnej optymalizacji testów, zapytań i sortowania danych oraz systemu wdrożenia. Jest to zawarte w rejestracji i identyfikacji karty, a także w identyfikacji prezentowanego modelu części. Na koniec przedstawiono obraz analizy naprężeń i odkształceń danych eksperymentalnych, a w analizie naprężenia-odkształcenia można uzyskać właściwości mechaniczne materiałów o różnych właściwościach. Po eksperymencie można przedstawić ostateczną bazę raportu eksperymentalnego. Dlatego proces eksperymentalny układu przedstawiono na Rysunku 7.

Rysunek 7: Schemat przepływu wdrażania systemu nauczania AR w nauczaniu nauk ścisłych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Ogólna architektura systemu obejmuje architekturę projektową, technologię oraz moduły funkcjonalne. System nauczania może pomóc uczniom poprawić samoświadomość i eksplorację, a także pomóc nauczycielom organizować eksperymenty dydaktyczne za pomocą edukacyjnych gier. Dzięki interaktywności systemu nauczania, uczniowie mogą korzystać z systemu nauczania AR. W nauczaniu nauk ścisłych wspieranych przez technologię AR można zaspokoić potrzeby nauczycieli, tak aby nauczanie programów nauczania edukatorów mogło tworzyć treści o silnym zastosowaniu dla uczniów²². Dzięki temu treść nauczania może zostać zoptymalizowana, a entuzjazm i kreatywność uczniów w kursie mogą zostać zwiększone, aby poprawić efekt nauczania.

Wyniki

Wyniki oceny doświadczeń edukacyjnych z grami i skuteczności uczenia się

Aby zweryfikować naukowość i praktyczność systemu nauczania, analizowany jest system nauczania nauk ścisłych opracowany poprzez edukacyjną grę z wykorzystaniem technologii AR. Aby ilościowo określić podstawowe działanie systemu, dane wskaźników technicznych są synchronicznie zbierane podczas procesu eksperymentalnego. W standardowych warunkach eksperymentalnych (oświetlenie 300 ± 50 luksów) średnia skutec...

Dyskusja

Wraz z rozwojem nauki i technologii wpływ technologii informacyjnych na codzienne życie ludzi obejmuje wiele dziedzin, a państwo podejmuje również wszelkie wysiłki, aby promować głęboką integrację technologii informacyjnej z edukacją i nauczaniem. Technologia AR, łącząca interakcje w czasie rzeczywistym oraz połączenie wirtualności i rzeczywistości, jest popularna w branży edukacyjnej. Tulgar i in. odkryli, dzięki szeroko zakrojonej analizie bibliometrycznej, że mobilne uczenie się i grywalizacja oparte na AR stały się g...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Urządzenie wyświetlające AR	Microsoft	HoloLens 2	https://www.microsoft.com/en-us/hololens/hardware
Biblioteka Widzenia Komputerowego	Zespół OpenCV	OpenC 4.13.0	https://opencv.org/releases/
Silnik deweloperski	Unity Technologies	Unity 2021 LTS	https://unity.com/releases/2021-lts
Karta graficzna	NVIDIA	RTX A2000	https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/rtx-a2000/rtx-a2000-datasheet-us-nvidia-1520552-r3-web.pdf
Zintegrowane środowisko rozwojowe	Microsoft	Visual Studio 2022	https://visualstudio.microsoft.com/vs/
System operacyjny	Microsoft	Windows 11	https://www.microsoft.com/en-us/windows/windows-11
Procesor	Intel	Rdzeń i9-11950H	https://www.intel.com/content/www/us/en/products/sku/213800/intel-core-i911950h-processor-24m-cache-up-to-5-00-ghz/specifications.html