Articolo metodologico

Esaminare la produzione gestuale in presenza di sfide comunicative

1.5K visualizzazioni

⸱

DOI:

10.3791/66256

⸱

26 gennaio 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

In questo articolo

Sommario

Qui, presentiamo un protocollo che manipola la visibilità dell'interlocutore per esaminare il suo impatto sulla produzione di gesti nella comunicazione interpersonale. Questo protocollo è flessibile per le attività implementate, i gesti esaminati e la modalità di comunicazione. È ideale per le popolazioni con problemi di comunicazione, come gli studenti di seconda lingua e gli individui con disturbo dello spettro autistico.

Abstract

Capire perché i parlanti modificano i gesti delle mani quando parlano con gli interlocutori fornisce preziose informazioni su come questi gesti contribuiscano alla comunicazione interpersonale in contesti faccia a faccia e virtuali. Gli attuali protocolli manipolano la visibilità dei parlanti e dei loro interlocutori in tandem in un contesto faccia a faccia per esaminare l'impatto della visibilità sulla produzione dei gesti quando la comunicazione è impegnativa. In questi protocolli, i parlanti completano compiti come insegnare parole da una seconda lingua sconosciuta o raccontare gli eventi di vignette di cartoni animati a un interlocutore che è un altro partecipante o un complice. Durante l'esecuzione di queste attività, gli oratori sono visibili o non visibili al loro interlocutore e l'oratore è visibile o non visibile al partecipante. Nel compito di apprendimento delle parole, i parlanti e gli interlocutori visibili l'uno all'altro producono gesti più rappresentativi, che trasmettono il significato attraverso la forma e il movimento della mano, e gesti dittici (indicanti) rispetto ai parlanti e agli interlocutori che non sono visibili l'uno all'altro. Nel protocollo di narrazione narrativa, gli adolescenti con disturbo dello spettro autistico (ASD) hanno prodotto più gesti quando parlavano con interlocutori visibili rispetto agli interlocutori non visibili. Uno dei principali punti di forza dell'attuale protocollo è la sua flessibilità in termini di compiti, popolazioni e gesti esaminati, e l'attuale protocollo può essere implementato sia in videoconferenza che in contesti faccia a faccia. Pertanto, l'attuale protocollo ha il potenziale per far progredire la comprensione della produzione gestuale chiarendo il suo ruolo nella comunicazione interpersonale nelle popolazioni con problemi di comunicazione.

Introduzione

I gesti di co-discorso (in precedenza, gesti) - movimenti significativi delle mani prodotti in concomitanza con il discorso - contribuiscono alla comunicazione interpersonale trasmettendo informazioni che completano il contenuto verbale1. Secondo la tassonomia 2,3 più diffusa, i gesti possono essere suddivisi in tre categorie: gesti rappresentativi, che trasmettono i referenti attraverso la loro forma e movimento (ad esempio, sbattere le mani avanti e indietro insieme per trasmettere il volo); gesti di battimento, che trasmettono enfasi attraverso semplici movimenti di punteggiatura (ad esempio, spostando leggermente la mano dominante verso il basso in combinazione con ogni parola nella frase "proprio ora"); e gesti deittici, che attirano l'attenzione sulla presenza o l'assenza di un'entità attraverso l'indicazione (ad esempio, facendo oscillare il pollice all'indietro per indicare qualcosa dietro di sé). I gesti rappresentativi possono essere ulteriormente suddivisi in due categorie aggiuntive: gesti iconici, che trasmettono referenti concreti (ad esempio, un uccello), e gesti metaforici, che trasmettono referenti metaforici (ad esempio, estasi). Poiché il gesto e la parola derivano dallo stesso contenuto concettuale, sono strettamente correlati nel significato 4,5. Fungendo da mezzo visivo iconico per la comunicazione, i gesti possono aiutare a compensare quando sorgono difficoltà nella comprensione della lingua parlata6, sia a causa di fattori individuali come la limitata competenza nella lingua parlata 7,8 che di fattori ambientali come la difficoltà nell'udire il parlato 9,10. Pertanto, i gesti sono parte integrante della comprensione della comunicazione interpersonale in contesti faccia a faccia e virtuali, fornendo informazioni su come i parlanti e gli ascoltatori trasmettono e comprendono le informazioni in modo multimodale.

Sono stati sviluppati diversi compiti interattivi strutturati per misurare come il gesto influisce sulla comunicazione interpersonale. Questi compiti includono interviste, in cui i partecipanti rispondono alle domande descrivendo le loro esperienze personali11,12; descrizione dell'immagine, in cui viene presentata ai partecipanti un'immagine statica per descrivere13,14; risoluzione di puzzle, in cui i partecipanti descrivono come risolvere un puzzle orientando spazialmente correttamente i componenti 15,16; disposizione di direzione, in cui i partecipanti sono istruiti a dare indicazioni verso un luogo sconosciuto agli ascoltatori 17,18,19; e la rivisitazione narrativa, in cui i partecipanti vedono un cartone animato raffigurante una sequenza di eventi e successivamente li raccontano 20,21,22. Molti dei compiti impiegati negli studi sopra citati incorporano il contenuto spaziale e l'azione, che il gesto trasmette con particolare efficacia 15,23,24,25. Nei compiti per gli studi sopra citati, i partecipanti producono tipicamente gesti in combinazione con il linguaggio, e vengono valutate le informazioni trasmesse attraverso i gesti e la loro relazione con il linguaggio prodotto contemporaneamente. In alternativa, i partecipanti possono visualizzare una registrazione di qualcuno che gesticola (o non gesticola) e produce linguaggio durante il completamento di uno di questi compiti, dopodiché viene valutata la comprensione dei partecipanti. Tutte queste attività possono essere svolte sia virtualmente che faccia a faccia, consentendo la raccolta di dati da un'ampia gamma di partecipanti e il confronto tra le modalità.

L'impatto dei gesti sulla comunicazione interpersonale è stato implementato con un'ampia gamma di partecipanti. Di particolare interesse sono state le popolazioni con difficoltà di comunicazione, tra cui i bambini piccoli 26,27,28,29,30, gli utenti di una seconda lingua (L2) 8,31,32,33, gli individui con disturbo dello spettro autistico (ASD)20,21,22,34, gli individui con specifiche disturbi del linguaggio 35,36,37, individui con afasia 12,38, individui con lesione cerebrale39 e individui che balbettano40,41. Questo lavoro ha rivelato che, mentre molte di queste popolazioni possono utilizzare i gesti per facilitare la comunicazione, alcuni, come gli individui con disturbo dello spettro autistico, possono incontrare difficoltà a sfruttare i gesti per comunicare in modo efficace. I risultati suggeriscono che ciò potrebbe essere dovuto alla misura in cui queste popolazioni prendono in considerazione il design del pubblico e gli spunti ambientali, evidenziando le implicazioni pratiche di queste spiegazioni per l'impatto dei gesti sulla comunicazione.

Una caratteristica chiave che fornisce informazioni sull'impatto dei gesti sulla comunicazione interpersonale è la visibilità dell'interlocutore. Una questione di grande importanza nel campo della ricerca sul gesto è la misura in cui i partecipanti gesticolano a proprio vantaggio, indicando lo scarico delle operazioni cognitive sul corpo, rispetto al beneficio dei loro interlocutori, indicando l'uso del gesto per comunicare. Questa domanda è stata indagata esaminando l'impatto della (non) visibilità dell'interlocutore sulla produzione di gesti in contesti faccia a faccia attraverso l'uso di una partizione opaca 26,42, così come in contesti telefonici13 e in contesti virtuali43. Nel complesso, i risultati di questo lavoro indicano che, sebbene i parlanti gesticolino a proprio vantaggio, producono gesti più rappresentativi quando comunicano con interlocutori visibili rispetto a quelli non visibili, mentre la produzione di gesti di battito è simile indipendentemente dalla visibilità dell'interlocutore. Pertanto, suggeriscono che il gesto rappresentativo facilita la comunicazione in una varietà di contesti, suggerendo che i parlanti tengano conto della prospettiva dei loro interlocutori e modifichino di conseguenza la loro produzione gestuale. Sebbene la ricerca precedente che esamina l'effetto della visibilità dell'interlocutore sia stata determinante nel fornire informazioni sui contributi del gesto alla comunicazione interpersonale, si è concentrata sull'inglese come prima lingua (L1) nelle popolazioni in via di sviluppo, quindi non è chiaro se i risultati possano essere estesi alle popolazioni con problemi di comunicazione. Due di queste popolazioni sono gli studenti L2, che possono avere difficoltà a comunicare con la parola nella lingua di destinazione, e i bambini con ASD, la cui comunicazione verbale e non verbale è anormale. Inoltre, poche ricerche hanno esaminato l'impatto della visibilità dell'interlocutore sulla produzione di gesti in contesti virtuali, che consentono di districare l'effetto della visibilità dell'interlocutore sul partecipante dall'effetto della visibilità del partecipante sull'interlocutore, quindi la replicabilità dei risultati di questi contesti non è attualmente chiara. Infine, alcune ricerche si sono concentrate sull'impatto della visibilità dell'interlocutore sulla produzione di specifici tipi di gesti, quindi non è chiaro se la produzione di altri tipi di gesti sia influenzata in modo simile dalla visibilità dell'interlocutore.

I protocolli descritti di seguito manipolano la visibilità dell'interlocutore per esaminare la produzione di gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di individui con ASD. Il protocollo di apprendimento delle parole L2 collega la ricerca che esamina l'impatto dell'osservazione dei gesti sull'apprendimento delle parole L2 con la ricerca che esamina il contributo dei gesti alla comunicazione attraverso un paradigma interattivo di apprendimento delle parole. In questo paradigma, i partecipanti che non hanno familiarità con la lingua target imparano parole in essa contenute e poi insegnano queste parole ad altri partecipanti che non hanno familiarità con la lingua target, consentendo di esaminare l'impatto della visibilità dell'interlocutore sulla produzione dei gesti nelle prime fasi dell'acquisizione della L2 in un contesto conversazionale. Il paradigma della rivisitazione dei cartoni animati impiega un compito di narrazione narrativa ampiamente utilizzato in cui sono state osservate differenze nella produzione dei gesti quando la visibilità dell'interlocutore viene manipolata con una nuova popolazione: gli adolescenti con ASD. Questa popolazione è interessante perché lo sviluppo del linguaggio, compresa la produzione di gesti, è maturo entro l'adolescenza e l'ASD comporta difficoltà con la comunicazione verbale e non verbale, compresi i gesti, nonché una mancanza di sensibilità alle esigenze comunicative degli interlocutori. Insieme, questi protocolli forniscono informazioni sulla misura in cui la produzione di gesti dipende dal parlato e, al contrario, può compensare quando la comunicazione interpersonale è impegnativa.

Sulla base dei risultati che dimostrano come la visibilità dell'ascoltatore influenzi la produzione di gesti da parte degli anglofoni L1 13,26,42,43, è stato ipotizzato che i partecipanti avrebbero prodotto più gesti complessivi e gesti più rappresentativi quando discutevano di parole L2 con un interlocutore visibile rispetto a uno non visibile. Sulla base dei risultati che dimostrano anomalie nella produzione di gesti in ASD20,44, è stato ipotizzato che gli adolescenti con ASD produrrebbero meno gesti complessivi e meno gesti rappresentativi e deittici rispetto agli adolescenti a sviluppo tipico (TD). Inoltre, sulla base dei risultati che dimostrano che l'ASD comporta difficoltà con l'assunzione della prospettiva45, è stato ipotizzato che la produzione di gesti da parte degli adolescenti con ASD non differirebbe significativamente in presenza di interlocutori visibili e non visibili. Infine, è stata prevista un'interazione tra diagnosi e visibilità, in modo tale che la produzione dei gesti non differisca in base alla visibilità per gli adolescenti con ASD, ma per gli adolescenti TD.

Protocollo

Tutti i partecipanti hanno fornito il consenso scritto e tutti i protocolli sono stati approvati dai comitati di revisione istituzionale presso l'istituzione ospitante. I protocolli di apprendimento delle parole L2 e di retelling dei cartoni animati sono stati implementati negli studi su cui si basano i risultati rappresentativi21,33. Sebbene questi protocolli siano stati condotti solo in contesti di persona fino ad oggi, è attualmente in corso un protocollo correlato che manipola la visibilità dell'interlocutore e del partecipante in modo indipendente, non descritto qui, per fornire informazioni sulla replicabilità in questo contesto, con piani per espanderlo a popolazioni con problemi di comunicazione, come gli individui con ASD.

1. Partecipanti

NOTA: Pur rispettando i vincoli necessari sulle caratteristiche dei partecipanti per ogni studio, i campioni dovrebbero essere per quanto possibile rappresentativi della popolazione più ampia.

  1. Reclutamento dei partecipanti per il protocollo di apprendimento delle parole L2
    1. Reclutare partecipanti di età pari o superiore a 18 anni con vista normale o corretta e udito normale che parlino inglese L1. Per garantire che lo studio esamini l'impatto del gesto sull'apprendimento delle parole L2 nella fase iniziale, reclutare partecipanti senza alcuna conoscenza dell'ungherese, la lingua di destinazione.
  2. Reclutamento dei partecipanti per il protocollo di rivisitazione dei cartoni animati
    1. Reclutare partecipanti di un'età in grado di completare il compito sperimentale (10-20 anni di età in Morett et al.21.) con una diagnosi di ASD o che sono tipicamente in via di sviluppo (TD).
      1. Per garantire che i partecipanti possano completare con successo il compito sperimentale, reclutare partecipanti che parlino inglese L1, abbiano una vista e un udito normali normali o corretti e abbiano un QI su larga scala di 85 o superiore, come misurato prima o al momento dello studio tramite una valutazione standardizzata46.
      2. Per garantire che lo studio esamini gli effetti specifici dell'ASD sulla produzione di gesti, reclutare partecipanti con ASD senza epilessia, meningite, encefalite, diabete, disturbo disintegrativo infantile o disturbo pervasivo dello sviluppo non altrimenti specificato (PDD-NOS).
      3. Per garantire che la produzione di gesti nell'ASD possa essere paragonata alla tipica produzione di gesti, reclutare partecipanti TD senza disturbi psichiatrici in comorbilità o parenti di primo grado con diagnosi di disturbi pervasivi dello sviluppo.

2. Panoramica sulla manipolazione della visibilità

  1. Reclutare i partecipanti in coppia se verranno esaminati gli effetti della produzione e dell'osservazione di gesti spontanei, come nel protocollo di apprendimento delle parole L2. Reclutare i partecipanti individualmente in coordinamento con un assistente di ricerca che funge da partecipante se verranno esaminati solo gli effetti della produzione di gesti spontanei, come nel protocollo di rivisitazione dei cartoni animati.
  2. Fornire un modulo di consenso informato con informazioni sullo studio ai partecipanti per firmare e rispondere a qualsiasi domanda al riguardo, facendo attenzione a non rivelare il focus dello studio sulla produzione di gesti. Raccogli il modulo dopo che i partecipanti lo hanno firmato.
  3. Per i partecipanti reclutati in coppia, utilizzare un metodo di selezione come il lancio di una moneta per determinare quale partecipante fungerà da oratore, chi parlerà per la maggior parte del compito sperimentale e quale partecipante fungerà da interlocutore, chi farà la maggior parte dell'ascolto e occasionalmente interagirà con l'oratore nel compito sperimentale. Per i partecipanti reclutati individualmente con un assistente di ricerca che funge da partecipante, utilizzare un metodo di selezione fisso come il lancio di una moneta truccata per garantire che il partecipante funga sempre da oratore e che l'assistente di ricerca funga sempre da interlocutore.
  4. A metà delle sessioni sperimentali, posiziona un divisorio opaco tra l'oratore e l'interlocutore per assicurarti che non possano vedersi il viso o le mani dell'altro.
  5. Spiega ai partecipanti cosa faranno nel compito sperimentale e rispondi a qualsiasi domanda al riguardo. Informare i partecipanti che il loro discorso sarà registrato in audio, indicando il microfono utilizzato a tale scopo. Per evitare qualsiasi effetto della consapevolezza della registrazione video sulla produzione dei gesti, non informare i partecipanti che saranno videoregistrati e assicurarsi che la videocamera utilizzata a tale scopo non sia visibile ai partecipanti.
  6. Avviare la registrazione video e audio premendo gli appositi pulsanti. Implementa il compito sperimentale per suscitare la parola e il gesto da parte dell'oratore e dell'interlocutore partecipante, se ce n'è uno.
  7. Se viene utilizzato un design all'interno dei partecipanti, rimuovere il divisore opaco se utilizzato nella prima iterazione o posizionarlo tra l'oratore e l'interlocutore se non utilizzato nella prima iterazione.
  8. Ripetere l'attività sperimentale secondo necessità fino a quando tutti gli stimoli non sono stati esauriti.
  9. Interrompere la registrazione video e audio premendo gli appositi pulsanti. Informare i partecipanti che lo studio si è concentrato sui gesti e che sono stati registrati video e offrire di eliminare i loro video prima dell'analisi dei dati, se lo si desidera.
  10. Rispondi a tutte le domande dei partecipanti e ringraziali per aver partecipato prima di congedarli.

3. Protocollo di apprendimento delle parole L2

  1. Il video e l'audio registrano l'oratore e l'interlocutore in modo che la produzione del parlato e dei gesti durante l'attività sperimentale possa essere analizzata in seguito.
    1. Posiziona un microfono da tavolo tra l'oratore e l'interlocutore per la registrazione audio. Posiziona una videocamera da un lato tra l'oratore e l'interlocutore con un angolo di 90° e assicurati che non sia visibile ai partecipanti.
    2. Inoltre, assicurati che sia l'oratore che l'interlocutore siano inclusi nell'ambito visivo della videocamera e che lo schermo del computer non sia visibile nell'ambito visivo della videocamera per mantenere la cecità alla condizione in cui le parole L2 sono presentate nell'analisi.
  2. Utilizzando un computer, presenta una parola L2 dalla lingua di destinazione a voce orale all'oratore tramite auricolari per assicurarti che non sia udibile dall'interlocutore in modo che l'oratore possa successivamente insegnarla all'interlocutore. Allo stesso tempo, presentare un video di un parlante L1 della lingua target che pronuncia la parola L2 e produce un gesto rappresentativo che trasmetta il suo significato con il testo della parola L2 nella parte inferiore dello schermo o la parola L2 come testo al centro dello schermo senza un video per l'oratore.
  3. Dopo una pausa di 500 ms, presentare la traduzione L1 della parola L2 come testo al centro dello schermo all'oratore per 2000 ms.
  4. Chiedi all'interlocutore di insegnare la parola L2 e il suo significato all'interlocutore attraverso la parola e/o il gesto.
  5. Chiedi all'altoparlante di premere un pulsante per andare avanti quando è pronto. Dopo che l'oratore lo ha fatto, presenta un'altra parola L2. Ripeti questo processo fino a quando tutte le 20 parole L2 sono state presentate in ordine casuale.
  6. Testare individualmente la conoscenza del parlante e dell'interlocutore delle parole L2 presentate nel compito sperimentale, presentando ogni parola L2 come testo e invitandoli a pronunciare la sua traduzione in L1 o a saltare la parola se non ricordano la sua traduzione.

4. Protocollo di rivisitazione dei cartoni animati

  1. Se il QI del partecipante non è stato misurato in precedenza tramite una valutazione standardizzata del QI, somministrarne una per assicurarsi che il suo QI sia 85 o superiore.
  2. I partecipanti vengono registrati video e audio in modo che la loro produzione di parole e gesti possa essere analizzata in un secondo momento. Posiziona un microfono da tavolo davanti al partecipante per la registrazione audio. Posizionare una telecamera su un lato del partecipante con un angolo di 90° e assicurarsi che la telecamera non sia visibile al partecipante.
  3. Presenta la prima metà del cartone animato dei Looney Tunes Canary Row al partecipante. Questa metà del cartone animato contiene diverse vignette in cui il gatto Silvestro tenta e fallisce di catturare l'uccello Titti.
  4. Chiedi al partecipante di raccontare nuovamente gli eventi della prima metà del cartone animato all'interlocutore nel modo più dettagliato possibile. Chiedi all'interlocutore di ascoltare il racconto del partecipante, spingendo il partecipante a dire di più se è breve.
  5. Ripetere i passaggi 4.1. e 4.2. per la seconda metà del video di Canary Row, che contiene molte altre vignette in cui il gatto Silvestro tenta e fallisce di catturare l'uccello Titti.

5. Trascrizione e codifica

NOTA: Per ridurre al minimo le distorsioni, quando possibile, trascrivere e codificare i dati alla cieca senza sapere quali partecipanti e studi sono stati assegnati a quali condizioni. Idealmente, i trascrittori e i codificatori non dovrebbero essere coinvolti nella raccolta dei dati.

  1. Trascrivi tutti i discorsi dei partecipanti ortograficamente a mano utilizzando un software appropriato secondo uno schema standardizzato, come CHAT47, per produrre un conteggio delle parole. Trascrivi tutte le informazioni verbali, come riempitivi e correzioni, ma non trascrivere le pause.
  2. Identifica e codifica tutti i gesti dei partecipanti per produrre un conteggio per ogni tipo di gesto. Identifica i gesti da un riposo all'altro e classificali in quattro tipi in base alla tassonomia 2,3 di McNeill: iconico, metaforico, beat e deittico. Si noti che alcuni gesti possono essere classificati come più di un tipo.
  3. Calcola il tasso di gesti per cento parole dividendo il numero di gesti rappresentativi per il numero di parole e moltiplicandolo per 100 per ogni vignetta.
  4. Chiedi a un codificatore indipendente di eseguire i gesti dei partecipanti al codice per il 25% dei dati. Calcolare l'accordo percentuale per i dati codificati da entrambi i codificatori e assicurarsi che sia almeno dell'80% per garantire un'affidabilità interrater sufficiente.

Risultati

Apprendimento delle parole L2
Implementazione: I risultati riportati di seguito si basano sui dati raccolti da 52 partecipanti sani (21 maschi, 31 femmine; età: M = 20,15, SD = 1,73, range = 18-28) secondo il protocollo sopra descritto. Tutti i discorsi e i gesti sono stati codificati da un codificatore primario, che non poteva essere cieco alla condizione di visibilità poiché i dati sia dell'oratore che dell'interlocutore sono stati registrati utilizzando una singola telecamera, come descritto nel passaggio 3.4. Per stabilire l'affidabilità tra i valutatori, un codificatore secondario ha codificato in modo indipendente tutti i gesti prodotti da 6 coppie selezionate casualmente (k = 389, 23,08% dei dati). L'accordo tra i valutatori primari e secondari era del 92% nell'identificazione dei gesti e del 90% nella loro categorizzazione.

Panoramica delle analisi: Nelle analisi seguenti, la produzione complessiva di gesti sia dei parlanti che degli interlocutori e la produzione di diversi tipi di gesti sono stati confrontati in base alla visibilità per valutare il loro effetto sulla comunicazione delle parole L2. A causa dell'irregolarità della normalità e dell'asimmetria, i confronti basati sulla visibilità sono stati effettuati utilizzando test U di Mann-Whitney non parametrici, che non hanno ipotesi basate sulla normalità e sull'asimmetria. Più specificamente, i test U di Mann-Whitney sono stati utilizzati per determinare se la probabilità che la produzione di gesti fosse maggiore nella condizione visibile rispetto alla condizione non visibile fosse uguale alla probabilità che la produzione di gesti fosse maggiore nella condizione non visibile rispetto alla condizione visibile.

Risultati: I test U di Mann-Whitney hanno rivelato che i parlanti primari i cui interlocutori erano visibili producevano più gesti rispetto ai parlanti primari i cui interlocutori non erano visibili, U = 53, p = 0,02. In particolare, i parlanti primari con interlocutori visibili hanno prodotto gesti più rappresentativi, U = 30, p = 0,001, e deittici, U = 52, p = 0,02, rispetto ai parlanti primari con interlocutori non visibili (vedi Figura 1). La produzione di gesti di battito dei parlanti primari non differiva significativamente tra le condizioni di visibilità, U = 82, n.s., sebbene producessero più di questi gesti in presenza di interlocutori visibili rispetto a quelli non visibili. Sebbene gli interlocutori visibili ai parlanti primari producessero anche più gesti rispetto agli interlocutori non visibili ai parlanti primari, questa differenza non è riuscita a raggiungere la significatività, U = 89, n.s. Nessuno dei confronti tra diversi tipi di gesti in funzione della visibilità ha raggiunto un significato per gli interlocutori, nonostante il fatto che abbiano prodotto più di ogni tipo di gesto in presenza di parlanti primari visibili che non visibili. Questi risultati forniscono la prova che i parlanti primari aumentano la loro produzione di gesti rappresentativi e deittici in presenza di interlocutori visibili, mentre i loro interlocutori potrebbero non farlo.

Risultati della rivisitazione dei cartoni animati
Implementazione: I risultati riportati di seguito si basano sui dati raccolti da 41 partecipanti adolescenti, 18 dei quali con diagnosi di ASD (15 maschi, 3 femmine; età: M = 15,17, SD = 2,75, intervallo = 10,44 - 19,49) e 23 dei quali erano in fase di sviluppo tipico (15 maschi, 6 femmine; età: M = 15,81, SD = 2,42, intervallo = 11,52-19,36). I partecipanti di entrambi i gruppi sono stati abbinati in base all'età cronologica, al sesso e al QI verbale. Tutti i discorsi e i gesti sono stati codificati da due codificatori ciechi alla condizione di visibilità e alla diagnosi. Per stabilire l'affidabilità tra i valutatori, un codificatore secondario ha codificato in modo indipendente tutti i gesti prodotti da 10 partecipanti selezionati casualmente (24,3% dei dati). L'accordo tra i valutatori primari e secondari è stato del 98% nell'identificazione dei gesti e del 95,4% nella loro categorizzazione.

Panoramica delle analisi: Nelle analisi seguenti, la produzione complessiva di gesti e la produzione di diversi tipi di gesti sono stati confrontati in base alla diagnosi e alla visibilità per valutare i loro effetti sulla comunicazione. In particolare, sono state impiegate analisi bidirezionali della varianza per esaminare sia gli effetti indipendenti e interattivi della diagnosi (ASD vs. TD) che la visibilità (visibile vs. non visibile).

Risultati: Per la produzione complessiva dei gesti, non c'è stato alcun effetto principale della diagnosi (F < 1). Tuttavia, abbiamo trovato un'interazione del tipo di gesto per diagnosi (F(3.117) = 0,74, p = 0,05, ηp2 = 0,07). In particolare, gli adolescenti con ASD hanno prodotto meno gesti metaforici (M = 0,48; SD = 0,63), t(39) = 1,99, p = 0,05, d = 0,49 e gesti di battito (M = 0,26; SD = 0,60, t(39) = 2,13, p = 0,04, d = 0,67) rispetto agli adolescenti TD (metaforico: M = 1,08; SD = 1,62; battuta: M = 1,14; SD = 1,76). Non sono state riscontrate differenze tra adolescenti ASD e TD per la produzione di iconici (ASD: M = 0,79; SD = 0,25; TD: M = 0,77; SD = 0,25; t < 1) o deittico (ASD: M = 0,36; SD = 0,16; TD: M = 0,25; SD = 0,10; t<1). Sia gli adolescenti con ASD che quelli con TD hanno prodotto più gesti quando parlavano con un ascoltatore visibile (M = 0,97 g/100; SD = 1,45) rispetto a un ascoltatore non visibile (M = 0,36 g/100; SD = 0,83; F(1,39) = 18,18, p < 0,001, ηp2 = 0,32; vedi Figura 2). Tuttavia, la produzione complessiva dei gesti non ha mostrato una diagnosi in base all'interazione di visibilità dell'interlocutore (F < 1). Presi insieme, questi risultati indicano che gli adolescenti con ASD producono diversi tipi di gesti rispetto ai loro coetanei TD, ma gli adolescenti con ASD aumentano la loro produzione di tutti i tipi di gesti quando parlano con interlocutori visibili, come i loro coetanei TD.

figure-results-1
Figura 1: Produzione gestuale dei parlanti primari e degli interlocutori in un compito di apprendimento di parole L2. Produzione gestuale dei principali parlanti e interlocutori per cento parole in base alla condizione di visibilità (le barre di errore rappresentano l'errore standard). Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-2
Figura 2: Produzione gestuale di adolescenti ASD e TD mediante visibilità nell'attività di ripetizione dei cartoni animati. Produzione di diversi tipi di gesti per cento parole da parte di adolescenti ASD e TD nella condizione (A) di ascoltatore visibile e (B) condizione di ascoltatore non visibile (le barre di errore rappresentano l'errore standard). Questa cifra è stata modificata con il permesso di Morett et al.21. Clicca qui per visualizzare una versione più grande di questa figura.

Discussione

L'attuale protocollo manipola la visibilità reciproca del parlante e dell'interlocutore, fornendo informazioni sul suo impatto sulla produzione dei gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di adolescenti con ASD. Questo protocollo può essere implementato sia di persona che virtualmente, consentendo di manipolare la visibilità dei partecipanti e degli interlocutori in tandem o in modo indipendente. Può ospitare un'ampia varietà di compiti sperimentali, gesti e popolazioni, fornendo loro la flessibilità necessaria per essere implementati in varie circostanze in cui la comunicazione è impegnativa e per rivelare numerosi modi in cui la produzione gestuale viene alterata all'interno di queste circostanze. Pertanto, manipolando la visibilità dell'interlocutore, l'attuale protocollo fornisce informazioni su come il gesto influisce sulla comunicazione interpersonale nelle popolazioni con problemi di comunicazione.

Come in altri protocolli simili utilizzati con parlanti L1 adulti sani 13,26,42,43, l'aspetto più critico del protocollo attuale è la manipolazione della visibilità reciproca dei parlanti e degli interlocutori. Poiché l'attuale protocollo è stato condotto di persona in entrambi gli studi qui riportati21,33, la visibilità è stata manipolata in tandem, in modo tale che i parlanti e gli interlocutori fossero reciprocamente visibili o non visibili l'uno all'altro. L'attuale protocollo può essere facilmente adattato per l'implementazione in un contesto di videoconferenza in modo che la visibilità dell'oratore e dell'interlocutore possa essere manipolata in modo indipendente, consentendo di districare gli effetti della visibilità sulla produzione di gesti da parte dell'oratore e dell'interlocutore43. Un altro aspetto critico dell'attuale protocollo è la sua natura dialogica, che riflette i contesti conversazionali naturalistici attraverso l'inclusione sia di un parlante che di un interlocutore, coerentemente con i precedenti compiti interattivi strutturati utilizzati per esaminare la produzione gestuale 11,12,17,18,19,20,22 . In particolare, l'interlocutore può essere un secondo partecipante o un assistente di ricerca, a seconda che la sua produzione gestuale sia di interesse. Un ultimo aspetto critico dell'attuale protocollo è non informare i partecipanti della sua attenzione sulla produzione di gesti e garantire che non siano consapevoli del fatto che sono videoregistrati fino a dopo il completamento del compito sperimentale26,42. Sebbene i partecipanti siano stati a conoscenza della registrazione video in alcuni studi che utilizzano protocolli simili 12,20,43, la produzione di gesti in protocolli come il protocollo attuale è più probabile che si avvicini alla produzione di gesti in contesti di conversazione naturalistici quando i partecipanti non sono consapevoli che i loro gesti vengono registrati.

Uno dei principali punti di forza dell'attuale protocollo è la sua flessibilità in termini di compiti, partecipanti e gesti. Sebbene i compiti di narrazione narrativa siano spesso utilizzati data la loro efficacia nell'elicitare differenze nella produzione di gesti rappresentativi in contesti faccia a faccia 26,42, la manipolazione può incorporare altri compiti per suscitare la produzione di gesti, come il paradigma di apprendimento delle parole L2 descritto qui33,48, così come le interviste 11,12, la descrizione dell'immagine13,14, la risoluzione di puzzle15,16, e disposizione di direzione 17,19,27. Grazie alla sua facilità d'uso per i partecipanti, la manipolazione della visibilità dell'interlocutore può essere utilizzata con popolazioni con problemi di comunicazione, come gli studenti L2 e i bambini con disturbo dello spettro autistico, come descritto qui, così come i bambini e gli adulti con disturbi specifici del linguaggio, balbuzie, lesioni cerebrali e afasia. La manipolazione della visibilità dell'interlocutore consente l'esame dei gesti rappresentativi, del battito e deittici, consentendo di quantificare le differenze nella loro produzione da parte della visibilità dell'interlocutore tra le popolazioni. Infine, sebbene la manipolazione della visibilità dell'interlocutore sia stata originariamente sviluppata per l'uso in un contesto faccia a faccia, può essere implementata in un contesto di videoconferenza accendendo e spegnendo la webcam, consentendo il confronto diretto della produzione dei gesti quando la visibilità è manipolata in contesti di videoconferenza e faccia a faccia49, nonché l'esame indipendente degli effetti della visibilità dell'oratore principale e dell'interlocutore sulla produzione dei gesti43.

Sebbene la manipolazione della visibilità dell'interlocutore abbia il potenziale per far progredire la comprensione della produzione gestuale in popolazioni e circostanze con sfide comunicative dovute alla sua cordialità e flessibilità dei partecipanti, presenta alcune limitazioni. Nella sua attuale istanza, viene implementato di persona, il che può limitare il reclutamento a campioni di convenienza locali. Questa limitazione è stata superata attraverso l'implementazione in un contesto di videoconferenza, ma fino ad oggi non è stata implementata con popolazioni con problemi di comunicazione in un contesto di videoconferenza, quindi la misura in cui i risultati relativi alla produzione di gesti in queste popolazioni si replicano in questi contesti non è attualmente chiara. Per risolvere questa limitazione, stiamo attualmente implementando una versione della manipolazione con l'attività di ripetizione dei cartoni animati in un contesto di videoconferenza con madrelingua inglese L1 sano, che prevediamo di implementare successivamente con individui con ASD. Nonostante l'accessibilità della manipolazione della visibilità a un'ampia gamma di potenziali partecipanti con problemi di comunicazione, i partecipanti devono essere in grado di completare i compiti con successo, rendendoli inaccessibili ai partecipanti che non hanno una padronanza sufficiente della lingua in cui sono condotti per farlo. Sebbene questa limitazione possa essere affrontata in una certa misura attraverso la semplificazione delle attività, la riduzione delle richieste di produzione vocale può ridurre la produzione di gesti, rendendo le differenze nella produzione di gesti più difficili da rilevare a causa della visibilità dell'interlocutore.

L'attuale protocollo rappresenta la prima implementazione della manipolazione della visibilità dell'interlocutore con popolazioni con problemi di comunicazione. Sebbene la visibilità dell'interlocutore sia stata precedentemente manipolata per esaminare il suo effetto sulla produzione di gesti in bambini sani26 anni, che in alcuni casi possono avere difficoltà a comunicare nel loro L1 di inglese, non sperimentano il grado e la persistenza delle sfide comunicative che sperimentano gli studenti L2 principianti o gli adolescenti con ASD. I risultati degli studi precedentemente pubblicati discussi nella sezione21,33 dei risultati rappresentativi servono come prova del concetto che l'attuale protocollo può rivelare somiglianze e differenze nel modo in cui la visibilità dell'interlocutore influisce sulla produzione di gesti in queste popolazioni, dimostrando che possono essere implementati con individui con sfide comunicative maggiori e più persistenti rispetto ai bambini sani di lingua inglese L1. In futuro, sarà fruttuoso implementare l'attuale protocollo con popolazioni con sfide comunicative ancora maggiori e più persistenti, come gli individui con afasia12,38, disturbo specifico del linguaggio 35,36,37 o balbuzie40,41 per esaminare l'impatto della manipolazione della visibilità dell'interlocutore sulla loro produzione di gesti.

Nel complesso, gli attuali protocolli forniscono un mezzo per esaminare l'influenza della visibilità dell'interlocutore sulla produzione dei gesti in presenza di sfide comunicative durante l'apprendimento delle parole L2 e il racconto narrativo in individui con ASD. In tal modo, fornisce informazioni sulla misura in cui la produzione di gesti di individui con problemi di comunicazione risponde alle esigenze dell'interlocutore, rivelando la misura in cui gli individui con problemi di comunicazione si impegnano nell'assunzione di prospettiva durante la comunicazione. La manipolazione della visibilità dell'interlocutore offre la flessibilità necessaria per esaminare questa e altre importanti questioni teoriche riguardanti la produzione gestuale con vari compiti, popolazioni e tipi di gesti in contesti virtuali e faccia a faccia, rivelando la misura in cui i risultati sono generalizzabili e replicabili e fornendo informazioni su situazioni in cui si possono osservare differenze individuali nella produzione di gesti. Pertanto, la manipolazione della visibilità dell'interlocutore ha il potenziale per far progredire la comprensione della produzione gestuale in circostanze comunicative difficili in contesti faccia a faccia e virtuali.

Dichiarazioni

L'autore non ha interessi finanziari concorrenti da dichiarare.

Ringraziamenti

Lo sviluppo e la convalida del protocollo di apprendimento delle parole L2 è stato supportato da una borsa di studio National Defense Science and Engineering Graduate (NDSEG) (32 CFR 168a) rilasciata dall'Ufficio di ricerca scientifica dell'aeronautica militare del Dipartimento della Difesa degli Stati Uniti. Lo sviluppo e la convalida del protocollo di rivisitazione dei cartoni animati con adolescenti con ASD è stato supportato da un Ruth S. Kirschstein Institutional National Research Service Award (T32) del National Institutes of Mental Health. L'autore ringrazia Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo e Marco Pilotta per l'assistenza nella raccolta e nella codifica dei dati.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
ComputerAppleZ13124" iMac, CPU 8-core & GPU, chip M3
Conferenza Microfono USBTonorB07GVGMW59
ELANThe Language ArchiveApplicazione software utilizzata per trascrivere parlato e gesti
VideoregistratoreVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP Zoom digitale 16X Videoregistratore touch screen da 3" con controllo renote e treppiede
Weschler Scala abbreviata di intelligenzaPearson158981561Utilizzato per verificare il QI ≥ 80 su scala completa in Morett et al. (2016)

Riferimenti

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Gesti della manocomunicazione interpersonaleapprendenti di seconda linguadisturbo dello spettro autisticocomunicazione faccia a facciacomunicazione virtualeeye trackingmeccanismi neurali

Articoli correlati