Deelnemersstroom en analysepopulaties
In totaal werden 126 deelnemers geïncludeerd en toegewezen aan 42 teams van drie personen. Veertien teams werden toegewezen aan elke trainingsconditie, wat resulteerde in 42 deelnemers in de groep voor desktop collaboratieve simulatie, 42 in de groep voor room-scale gedistribueerde collaboratieve virtual reality en 42 in de groep voor large-space co-located collaboratieve virtual reality. Alle teams voltooiden de toegewezen trainingssessie en werden behouden in de intention-to-treat dataset.
De hoeveelheid ontbrekende gegevens was laag en was niet geconcentreerd in één specifieke conditie. Scores voor ruimtelijke aanwezigheid waren beschikbaar voor 124 deelnemers, waaronder 41 in de desktopgroep, 42 in de room-scale groep en 41 in de large-space groep. Zelfbeoordeelde scores voor teamcoördinatie waren beschikbaar voor 123 deelnemers, met 41 deelnemers per groep. Scores voor leerbetrokkenheid waren beschikbaar voor 122 deelnemers, waaronder 40 in de desktopgroep, 41 in de room-scale groep en 41 in de large-space groep. Scores voor simulator-ongemak waren beschikbaar voor 124 deelnemers, waaronder 42 in de desktopgroep, 41 in de room-scale groep en 41 in de large-space groep. Geldige scores voor kennisretentie na 2 weken waren beschikbaar voor 122 deelnemers, waaronder 40 in de desktopgroep, 41 in de room-scale groep en 41 in de large-space groep. Door waarnemers beoordeelde teamcoördinatie was beschikbaar voor alle 42 teams. De doorstroom van deelnemers, de toewijzing, de onmiddellijke beoordeling en de voltooiing van de follow-up zijn samengevat in Figuur 3.

Figuur 3: Deelnemersstroom en analysepopulaties. Het stroomdiagram toont de inschrijving, de toewijzing van 126 deelnemers aan 42 teams van drie personen, de voltooiing van de training, de onmiddellijke beoordeling, de door waarnemers beoordeelde coördinatiescores en de geldige follow-upgegevens na 2 weken over de drie trainingscondities. Klik hier om een grotere versie van deze figuur te bekijken.
Basiskenmerken
De demografische kenmerken en trainingsgerelateerde kenmerken bij aanvang waren grotendeels vergelijkbaar tussen de drie condities. De uiteindelijke steekproef bestond uit jongvolwassen bachelor- en masterstudenten. De drie groepen waren vergelijkbaar wat betreft leeftijd, eerdere blootstelling aan virtual reality, bekendheid met gaming of simulaties, eerdere ervaring met teamgebaseerde training en eerdere training in noodlogistiek, navigatie of industriële veiligheid.
De scores voor kennis voorafgaand aan de training waren ook vergelijkbaar tussen de groepen. De gemiddelde scores voor kennis voorafgaand aan de training waren 16,17 ± 3,09 in de groep voor collaboratieve desktopsimulatie, 16,10 ± 3,61 in de groep voor gedistribueerde collaboratieve virtual reality op kamerschaal, en 15,55 ± 3,23 in de groep voor co-gelokaliseerde collaboratieve virtual reality in een grote ruimte. De ongecorrigeerde vergelijking tussen de groepen was niet statistisch significant, F(2, 123) = 0,44, p = 0,647, η2 = 0,007.
De basiskenmerken en de metingen voorafgaand aan de training worden weergegeven in Tabel 2. Voorafgaand aan de inferentiële hypothesetoetsing gaven diagnostische evaluaties aan dat de primaire continue variabelen voldeden aan de aannames van residuele normaliteit en homogeniteit van de variantie. De interne consistentie was hoog voor alle psychometrische instrumenten, met Cronbach's alfa-coëfficiënten van 0,86 voor ruimtelijke aanwezigheid, 0,88 voor zelfgerapporteerde teamcoördinatie en 0,91 voor leerbetrokkenheid. Alle statistisch significante groepsverschillen voor de primaire uitkomsten bleven significant na correctie voor de false discovery rate volgens de Benjamini-Hochberg methode.
Tabel 2: Baseline-kenmerken en pre-training metingen. Deze tabel rapporteert de demografische gegevens van de deelnemers, eerdere ervaringen met virtual reality en trainingen, bekendheid met gaming of simulaties, eerdere relevante trainingsgeschiedenis en de kennisscores vóór de training over de drie experimentele condities. Klik hier om deze tabel te downloaden.
Ruimtelijke aanwezigheid
De ruimtelijke aanwezigheid werd geanalyseerd met een lineair mixed-effects model, waarbij de trainingsconditie als vast effect en de teamcode als random intercept werden gebruikt. Voor de mixed-effects modeltesten werd gebruikgemaakt van Satterthwaite-gecorrigeerde vrijheidsgraden. Het model toonde een significant effect van de trainingsconditie op de ruimtelijke aanwezigheid aan, F(2, 39) = 23.91, p < 0.001. De geschatte marginale gemiddelden waren 4.13 voor de groep met de collaboratieve desktopsimulatie, 5.00 voor de groep met de distributed collaborative virtual reality op kamerschaal, en 5.42 voor de groep met de co-located collaborative virtual reality in een grote ruimte.
Tukey-gecorrigeerde paarsgewijze vergelijkingen toonden aan dat de ruimtelijke presentie hoger was in de groep met de grote ruimte dan in de desktopgroep, geschat gemiddeld verschil = 1.29, 95% CI: 0.86 – 1.72, p < 0.001. De ruimtelijke presentie was ook hoger in de groep met de grote ruimte dan in de room-scale groep, geschat gemiddeld verschil = 0.42, 95% CI: 0.04 – 0.80, p = 0.027. De room-scale groep scoorde hoger dan de desktopgroep, geschat gemiddeld verschil = 0.87, 95% CI: 0.45 – 1.29, p < 0.001.
Voor de beschrijvende vergelijking waren de niet-gecorrigeerde gemiddelde scores ± standaarddeviatie (SD) 4,13 ± 0,91 in de desktopgroep, 5,00 ± 0,79 in de room-scale-groep en 5,42 ± 0,80 in de large-space-groep. De niet-gecorrigeerde variantieanalyse (ANOVA) toonde hetzelfde patroon, F(2, 121) = 25,68, p < 0,001, η2 = 0,298. De distributies van de primaire uitkomsten worden getoond in Figuur 4, en de bijbehorende mixed-effects- en beschrijvende statistieken zijn samengevat in Tabel 3.

Figuur 4: Primaire uitkomsten over de trainingscondities. (A) Ruimtelijke aanwezigheid. (B) Zelfgerapporteerde teamcoördinatie. (C) Door waarnemer beoordeelde teamcoördinatie. (D) Betrokkenheid bij het leren. Ruimtelijke aanwezigheid, zelfgerapporteerde teamcoördinatie en betrokkenheid bij het leren waren uitkomsten op deelnemerniveau; door waarnemer beoordeelde teamcoördinatie werd op teamniveau geanalyseerd. Foutenbalken geven de standaarddeviatie aan. Klik hier om een grotere versie van deze figuur te bekijken.
Tabel 3: Primaire uitkomsten. Deze tabel vat de ruimtelijke aanwezigheid, de zelfgerapporteerde teamcoördinatie, de door waarnemers beoordeelde teamcoördinatie en de leerbetrokkenheid samen over de drie trainingscondities. De bijbehorende inferentiële statistische modellen en gevoeligheidscontroles voor de false discovery rate worden ook gepresenteerd. Klik hier om deze tabel te downloaden.
Teamcoördinatie
Zelfgerapporteerde teamcoördinatie werd op deelnemerniveau geanalyseerd met behulp van een lineair mixed-effects model, waarbij de trainingsconditie als vast effect en de teamcode als random intercept werden gebruikt. Het model toonde een significant effect van de trainingsconditie, F(2, 39) = 9.96, p < 0.001. De geschatte marginale gemiddelden waren 4.54 in de desktopgroep, 4.49 in de room-scale groep en 5.17 in de large-space groep.
Met de Tukey-correctie aangepaste vergelijkingen lieten zien dat de zelfgerapporteerde teamcoördinatie hoger was in de groep met een grote ruimte dan in de desktopgroep, geschat gemiddeld verschil = 0,63, 95% BI: 0,25 – 1,01, p = 0,002. De groep met een grote ruimte scoorde ook hoger dan de groep op kamerschaal, geschat gemiddeld verschil = 0,68, 95% BI: 0,29 – 1,07, p < 0,001. De desktopgroep en de groep op kamerschaal verschilden niet significant, geschat gemiddeld verschil = 0,05, 95% BI: −0,33 – 0,43, p = 0,942. Voor de beschrijvende vergelijking waren de niet-gecorrigeerde gemiddelde ± SD-scores 4,54 ± 0,63 in de desktopgroep, 4,49 ± 0,75 in de groep op kamerschaal en 5,17 ± 0,81 in de groep met een grote ruimte. De niet-gecorrigeerde ANOVA leverde hetzelfde directionele patroon op, F(2, 120) = 10,84, p < 0,001, η2 = 0,153.
De door waarnemers beoordeelde teamcoördinatie werd, zoals vooraf gespecificeerd, op teamniveau geanalyseerd. De interbeoordelaarsbetrouwbaarheid overschreed de vooraf gedefinieerde drempelwaarde, met een intraclass correlatiecoëfficiënt voor random-effects met twee wegeffecten van ICC = 0,84. Drie teamopnames vertoonden verschillen in de totale score van de waarnemers van meer dan 12 punten en werden via een consensusreview opgelost. De door waarnemers beoordeelde coördinatie verschilde significant tussen de condities, F(2, 39) = 10,92, p < 0,001, η2 = 0,359. De gemiddelde scores op teamniveau waren 56,84 ± 9,14 in de desktopgroep, 65,01 ± 9,56 in de room-scale groep en 71,81 ± 8,70 in de large-space groep. Met de Tukey-methode gecorrigeerde vergelijkingen lieten een hogere door waarnemers beoordeelde coördinatie zien in de large-space groep dan in de desktopgroep, gemiddeld verschil = 14,97, 95% BI: 7,33 – 22,61, p < 0,001. De large-space groep scoorde ook hoger dan de room-scale groep, gemiddeld verschil = 6,80, 95% BI: 0,42 – 13,18, p = 0,035. De room-scale groep scoorde hoger dan de desktopgroep, gemiddeld verschil = 8,17, 95% BI: 1,31 – 15,03, p = 0,017. Zowel de zelfbeoordeelde als de door waarnemers beoordeelde coördinatie vertoonden dezelfde groepsrangorde, waarbij de large-space groep de hoogste coördinatiescores behaalde op beide meetinstrumenten.
Betrokkenheid bij het leren
De betrokkenheid bij het leren werd geanalyseerd met behulp van een lineair mixed-effectsmodel, waarbij de trainingsconditie als vast effect en de teamcode als random intercept werden gebruikt. Het model toonde een significant effect van de trainingsconditie aan, F(2, 39) = 37,46, p < 0,001. De geschatte marginale gemiddelden waren 4,22 in de desktopgroep, 4,74 in de room-scale-groep en 5,63 in de large-space-groep. Tukey-gecorrigeerde paarsgewijze vergelijkingen toonden aan dat de betrokkenheid hoger was in de large-space-groep dan in de desktopgroep, geschat gemiddeld verschil = 1,41, 95% BI: 1,03 – 1,79, p < 0,001. De betrokkenheid was ook hoger in de large-space-groep dan in de room-scale-groep, geschat gemiddeld verschil = 0,89, 95% BI: 0,53 – 1,25, p < 0,001. De room-scale-groep scoorde hoger dan de desktopgroep, geschat gemiddeld verschil = 0,52, 95% BI: 0,15 – 0,89, p = 0,006.
Voor een beschrijvende vergelijking waren de niet-gecorrigeerde gemiddelde scores ± SD 4,22 ± 0,76 in de desktopgroep, 4,74 ± 0,67 in de room-scale-groep en 5,63 ± 0,73 in de groep met grote ruimte. De niet-gecorrigeerde ANOVA toonde hetzelfde patroon, F(2, 119) = 40,00, p < 0,001, η2 = 0,402.
Gevoeligheidscontroles van de false discovery rate voor primaire uitkomsten
De Benjamini-Hochberg-procedure voor de false discovery rate werd toegepast op de vier vooraf vastgestelde primaire uitkomsten: ruimtelijke aanwezigheid, zelfgerapporteerde teamcoördinatie, door de waarnemer beoordeelde teamcoördinatie en leerbetrokkenheid. Alle vier de primaire uitkomsten bleven statistisch significant na correctie. De gevoeligheidscontrole van de false discovery rate leverde hetzelfde patroon voor de primaire uitkomsten op als de hoofdanalyses.
Kennisresultaten en retentie
De kennis direct na de training werd geanalyseerd met behulp van een mixed-effects model, waarbij de trainingsconditie als vast effect, de kennis vóór de training als covariaat en de teamcode als random intercept werden gebruikt. Het aangepaste model toonde een niet-significant groepseffect voor de kennis na de training, F(2, 39) = 2.14, p = 0.131. De geschatte marginale gemiddelden waren 20.12 voor de desktopgroep, 20.96 voor de room-scale groep en 21.85 voor de large-space groep. Ter beschrijvende vergelijking waren de gemiddelde kennisscores na de training 20.09 ± 4.04 in de desktopgroep, 21.00 ± 4.57 in de room-scale groep en 21.84 ± 3.95 in de large-space groep. De niet-aangepaste vergelijking tussen de groepen was statistisch niet significant, F(2, 123) = 1.83, p = 0.165, η2 = 0.029.
De kenniswinst van de nulmeting tot de beoordeling direct na de training werd geëvalueerd als een secundaire exploratieve inferentiële uitkomst. De gemiddelde winsten waren 3,93 ± 2,88 punten in de desktopgroep, 4,91 ± 2,12 punten in de room-scale groep en 6,30 ± 2,75 punten in de large-space groep. Het ongecorrigeerde groepseffect was significant, F(2, 123) = 8,77, p < 0,001, η2 = 0,125. Met de Tukey-correctie aangepaste vergelijkingen lieten een grotere kenniswinst zien in de large-space groep dan in de desktopgroep, gemiddeld verschil = 2,37, 95% BI: 0,96 – 3,78, p < 0,001. De large-space groep vertoonde ook een grotere winst dan de room-scale groep, gemiddeld verschil = 1,39, 95% BI: 0,14 – 2,64, p = 0,026. De room-scale en desktopgroepen verschilden niet significant, gemiddeld verschil = 0,98, 95% BI: −0,31 – 2,27, p = 0,171.
Bij de follow-up na 2 weken werd de retentiekennis geanalyseerd onder deelnemers met geldige retentie-antwoorden binnen het vooraf gedefinieerde venster van dag 13–dag 16. Het aangepaste mixed-effects model, waarbij werd gecorrigeerd voor de kennis vóór de training en waarbij de teamcode als random intercept werd opgenomen, vertoonde een niet-significant groepseffect, F(2, 39) = 1.68, p = 0.199. De gemiddelde retentiescores waren 18,70 ± 4,55 in de desktopgroep, 19,62 ± 4,37 in de room-scale groep en 20,42 ± 4,38 in de large-space groep. De niet-gecorrigeerde groepvergelijking was eveneens statistisch niet significant, F(2, 119) = 1.53, p = 0.220, η2 = 0.025. De secundaire leeruitkomsten zijn samengevat in Tabel 4.
Tabel 4: Secundaire leerdoelen over de verschillende trainingscondities. Deze tabel rapporteert de kennis vóór de training, de kennis direct na de training, de kenniswinst en de kennisretentie na 2 weken over de drie trainingscondities. Aangepaste mixed-effects modellen worden gepresenteerd voor de secundaire leerdoelen. Klik hier om deze tabel te downloaden.
Cognitieve belasting en simulator-ongemak
De cognitieve belasting werd geanalyseerd als een secundair uitkomstpunt. De gemiddelde cognitieve belasting was 4,22 ± 0,69 in de desktopgroep, 4,49 ± 0,62 in de room-scale groep en 4,13 ± 0,82 in de groep met de grote ruimte. Het niet-gecorrigeerde groepseffect was F(2, 123) = 2,92, p = 0,058, η2 = 0,045. Dit resultaat bereikte de vooraf gedefinieerde significantiedrempel niet.
Het ongemak door de simulator verschilde tussen de condities. De gemiddelde index voor ongemak na de taak was 1,37 ± 0,71 in de desktopgroep, 2,18 ± 0,79 in de room-scale groep en 2,42 ± 0,58 in de grote-ruimtegroep. Het ongecorrigeerde groepseffect was significant, F(2, 121) = 25,72, p < 0,001, η2 = 0,298. De ongemakscores waren hoger in de twee virtual reality-groepen dan in de desktopgroep, terwijl de gemiddelde waarden binnen het milde bereik bleven. Geen enkele deelnemer voldeed aan het vooraf gedefinieerde stopcriterium van een score ≥7 voor een willekeurig ongemakitem. Zeven deelnemers hadden een index voor ongemak na de taak van ≥5 en kregen contact voor symptoomresolutie na 24 u. Van deze deelnemers hadden vier een index voor ongemak na de taak van >6 en werden zij daarnaast gedurende ten minste 15 min in het laboratorium gemonitord voordat zij vertrokken. Alle zeven deelnemers rapporteerden symptoomresolutie zonder medische verwijzing. Geen enkele sessie werd beëindigd vanwege ongemak door de simulator, en er werden geen bijwerkingen geregistreerd die klinische zorg vereisten. Cognitieve belasting en ongemak door de simulator worden getoond in Figuur 5.

Figuur 5: Cognitieve belasting en simulator-ongemak bij verschillende trainingscondities. (A) Cognitieve belasting, gescoord van 1 – 7, waarbij hogere scores duiden op een grotere waargenomen werklast. (B) Simulator-ongemak na de taak, gescoord van 0 – 10 en gebaseerd op misselijkheid, duizeligheid, oogvermoeidheid, hoofdpijn en balansproblemen. Foutenbalken geven de standaarddeviatie aan. Klik hier om een grotere versie van deze figuur te bekijken.
Indicatoren voor het taakproces
Indicatoren voor het taakproces werden gebruikt om de teamprestaties tijdens de 20 min durende collaboratieve trainingstaak te beschrijven. De taakvoltooiing was 71,4% in de desktopgroep, 78,6% in de room-scale groep en 85,7% in de large-space groep. De gemiddelde voltooiingstijd was 1.041,6 ± 162,4 s in de desktopgroep, 984,3 ± 151,8 s in de room-scale groep en 931,7 ± 139,6 s in de large-space groep. Omdat voor onvolledige teams een tijdslimiet van 1.200 s was vastgesteld, werd de voltooiingstijd beschrijvend geïnterpreteerd.
Het gemiddelde aantal correct geselecteerde hulpmiddelen was 2,21 ± 0,70 in de desktopgroep, 2,43 ± 0,65 in de room-scale groep en 2,64 ± 0,50 in de large-space groep. Het gemiddelde aantal correct afgehandelde gevarenmeldingen was respectievelijk 1,93 ± 0,83, 2,21 ± 0,70 en 2,50 ± 0,65. Het gemiddelde aantal routefouten was 2,07 ± 1,14 in de desktopgroep, 1,50 ± 0,94 in de room-scale groep en 1,00 ± 0,78 in de large-space groep. Veiligheidsonderbrekingen kwamen zelden voor in alle condities, met gemiddelden van respectievelijk 0,21 ± 0,43, 0,29 ± 0,47 en 0,36 ± 0,50. De status van taakvoltooiing, de voltooiingstijd, de correcte selectie van hulpmiddelen, correct afgehandelde gevarenmeldingen, routefouten en veiligheidsonderbrekingen zijn samengevat in Tabel 5.
Tabel 5: Indicatoren van het taakproces en veiligheidsgebeurtenissen. Deze tabel vat objectieve maatstaven voor de taakprestatie samen, waaronder voltooiingspercentages, fouten bij routenavigatie en de omgang met gevaren. Monitoring van ongemak in de simulator en geregistreerde ongewenste klinische gebeurtenissen worden ook gerapporteerd. Klik hier om deze tabel te downloaden.
Samenhang tussen aanwezigheid, coördinatie, betrokkenheid en leren
Psychometrische responsen op deelnemerniveau werden geaggregeerd tot clustergemiddelden op teamniveau voordat ze werden geïntegreerd met door observatoren beoordeelde coördinatiematen. Correlatieanalyses op teamniveau toonden positieve associaties aan tussen ruimtelijke aanwezigheid en leerbetrokkenheid (r = 0.57), zelfbeoordeelde teamcoördinatie (r = 0.26) en door observatoren beoordeelde coördinatie (r = 0.32).
Het correlatiepatroon wees op een matige overlap tussen aanwezigheid, coördinatie en betrokkenheid, terwijl de correlaties met kenniswinst kleiner waren. Het correlatiepatroon wees op overlap tussen aanwezigheid, coördinatie en betrokkenheid, terwijl de associaties met kenniswinst kleiner waren. Deze analyses waren exploratief en leggen geen causale paden vast tussen de gemeten uitkomsten. De correlatiematrix wordt getoond in Figuur 6.

Figuur 6: Correlatiematrix voor aanwezigheid, coördinatie, betrokkenheid en leerresultaten. De heatmap toont de Pearson-correlatiecoëfficiënten tussen ruimtelijke aanwezigheid, zelfbeoordeelde teamcoördinatie, door waarnemer beoordeelde teamcoördinatie, leerbetrokkenheid, kennis na training, kennisretentie na 2 weken, cognitieve belasting en kenniswinst. Klik hier om een grotere versie van deze figuur te bekijken.
De groep in de collaboratieve virtual reality met co-locatie in een grote ruimte vertoonde een hogere ruimtelijke aanwezigheid, zelfbeoordeelde teamcoördinatie, door waarnemers beoordeelde teamcoördinatie en leerbetrokkenheid dan de vergelijkingsgroepen. Deze resultaten van de primaire uitkomstmaten bleven significant na correctie voor teamclustering en na aanpassing voor de false discovery rate. Wat betreft de secundaire uitkomstmaten was de kenniswinst gunstiger voor de groep in de grote ruimte, terwijl de gecorrigeerde kennis na training en de kennisretentie na 2 weken niet significant verschilden tussen de condities. De cognitieve belasting verschilde niet significant tussen de groepen, en het ongemak in de simulator bleef gemiddeld mild, ondanks hogere scores in de virtual reality-condities.
DATABESCHIKBAARHEID:
De geanonimiseerde analytische dataset, het datadictionary, de score-rubrieken en de statistische syntax die zijn gebruikt om de reproduceerbaarheid te ondersteunen, zijn publiek toegankelijk in de Zenodo-repository - https://zenodo.org/records/21991446. Aanvullende rapportagechecklist, blauwdrukken van instrumenten, score-regels en dataset-documentatie worden verstrekt in Aanvullend Bestand 1.
Aanvullend bestand 1: Reproductiematerialen voor de Large-Space Collaborative Virtual Reality Training Study.Dit bestand bevat de deelnemersvragenlijst, het blauwdrukontwerp van de kennistoets, de door waarnemers beoordeelde rubric voor coördinatie, het datadictionary, de score- en opschoningsregels, een overzicht van de statistische syntaxis, de structuur van de geanonimiseerde analytische dataset en een rapportagechecklist. Klik hier om dit bestand te downloaden.