Methodenartikel

Untersuchung der Gestenproduktion in Gegenwart von kommunikativen Herausforderungen

1.5K Ansichten

⸱

DOI:

10.3791/66256

⸱

26. Januar 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

In diesem Artikel

Zusammenfassung

Hier stellen wir ein Protokoll vor, das die Sichtbarkeit von Gesprächspartnern manipuliert, um deren Einfluss auf die Gestenproduktion in der zwischenmenschlichen Kommunikation zu untersuchen. Dieses Protokoll ist flexibel in Bezug auf implementierte Aufgaben, untersuchte Gesten und Kommunikationsmodalitäten. Es ist ideal für Bevölkerungsgruppen mit Kommunikationsproblemen, wie z. B. Zweitsprachlerner und Personen mit Autismus-Spektrum-Störung.

Zusammenfassung

Zu verstehen, warum Sprecher ihre Co-Speech-Handgesten ändern, wenn sie mit Gesprächspartnern sprechen, bietet wertvolle Einblicke in die Frage, wie diese Gesten zur zwischenmenschlichen Kommunikation in persönlichen und virtuellen Kontexten beitragen. Die aktuellen Protokolle manipulieren die Sichtbarkeit von Sprechern und ihren Gesprächspartnern im direkten Kontext, um den Einfluss der Sichtbarkeit auf die Gestenproduktion zu untersuchen, wenn die Kommunikation eine Herausforderung darstellt. In diesen Protokollen erledigen die Sprecher Aufgaben wie das Unterrichten von Wörtern aus einer unbekannten Zweitsprache oder das Erzählen von Ereignissen in Cartoon-Vignetten an einen Gesprächspartner, der entweder ein anderer Teilnehmer oder ein Verbündeter ist. Beim Ausführen dieser Aufgaben sind die Sprecher für ihren Gesprächspartner sichtbar oder nicht sichtbar, und der Sprecher ist für den Teilnehmer sichtbar oder nicht sichtbar. In der Wortlernaufgabe produzieren Sprecher und Gesprächspartner, die füreinander sichtbar sind, mehr repräsentationale Gesten, die über Handform und Bewegung Bedeutung vermitteln, und deiktische (zeigende) Gesten als Sprecher und Gesprächspartner, die füreinander nicht sichtbar sind. Im narrativen Nacherzählprotokoll produzierten Jugendliche mit Autismus-Spektrum-Störung (ASS) mehr Gesten, wenn sie mit sichtbaren Gesprächspartnern sprachen, als mit nicht sichtbaren Gesprächspartnern. Eine große Stärke des aktuellen Protokolls ist seine Flexibilität in Bezug auf die untersuchten Aufgaben, Populationen und Gesten, und das aktuelle Protokoll kann sowohl in Videokonferenzen als auch in persönlichen Kontexten implementiert werden. Daher hat das aktuelle Protokoll das Potenzial, das Verständnis der Gestenproduktion zu verbessern, indem es ihre Rolle in der zwischenmenschlichen Kommunikation in Bevölkerungsgruppen mit Kommunikationsproblemen aufzeigt.

Einleitung

Co-Speech-Gesten (früher Gesten) - bedeutungsvolle Handbewegungen, die gleichzeitig mit der Sprache ausgeführt werden - tragen zur zwischenmenschlichen Kommunikation bei, indem sie Informationen vermitteln, die verbale Inhalte ergänzen1. Nach der am weitesten verbreiteten Taxonomie 2,3 lassen sich Gesten in drei Kategorien einteilen: repräsentationale Gesten, die Referenten über ihre Form und Bewegung vermitteln (z.B. das gemeinsame Hin- und Herflattern der Hände, um das Fliegen zu vermitteln); Beat-Gesten, die durch einfache punktuelle Bewegungen Betonung vermitteln (z. B. die dominante Hand in Verbindung mit jedem Wort in der Phrase "right now" leicht nach unten bewegen); und deiktische Gesten, die durch Zeigen auf die An- oder Abwesenheit einer Entität aufmerksam machen (z. B. den Daumen nach hinten schwingen, um etwas hinter sich zu zeigen). Repräsentationale Gesten können weiter in zwei weitere Kategorien unterteilt werden: ikonische Gesten, die konkrete Bezüge vermitteln (z. B. ein Vogel), und metaphorische Gesten, die metaphorische Bezüge vermitteln (z. B. Ekstase). Da Gestik und Rede aus demselben begrifflichen Gehalt hervorgehen, sind sie in ihrer Bedeutung eng miteinander verwandt 4,5. Indem sie als ikonisches visuelles Medium für die Kommunikation dienen, können Gesten dazu beitragen, Herausforderungen beim Verstehen der gesprochenen Sprachezu kompensieren 6, sei es aufgrund individueller Faktoren wie begrenzter Kenntnisse der gesprochenen Sprache7,8 oder Umweltfaktoren wie Schwierigkeiten beim Hörenvon Sprache 9,10. Gesten sind daher ein wesentlicher Bestandteil des Verständnisses zwischenmenschlicher Kommunikation in persönlichen und virtuellen Kontexten und geben Aufschluss darüber, wie Sprecher und Zuhörer Informationen multimodal vermitteln und verstehen.

Es wurden mehrere strukturierte interaktive Aufgaben entwickelt, um zu messen, wie sich Gesten auf die zwischenmenschliche Kommunikation auswirken. Zu diesen Aufgaben gehören Interviews, in denen die Teilnehmer auf Fragen antworten, indem sie ihre persönlichen Erfahrungen beschreiben11,12; Bildbeschreibung, bei der den Teilnehmern ein statisches Bild präsentiert wird, um zu beschreiben13,14; Puzzle Solving, bei dem die Teilnehmer beschreiben, wie man ein Rätsel löst, indem sie Komponenten räumlich richtig ausrichten15,16; Regiebereitstellung, bei der die Teilnehmer angewiesen werden, Anweisungen zu einem Ort zu geben, der den Zuhörern unbekannt ist 17,18,19; und narrative Nacherzählung, bei der die Teilnehmer eine Karikatur betrachten, die eine Abfolge von Ereignissen darstellt, und diese anschließend erzählen 20,21,22. Viele der Aufgaben, die in den oben zitierten Studien angewandt werden, beziehen räumliche Inhalte und Handlungen mit ein, die durch die Geste besonders wirksam vermitteltwerden 15,23,24,25. In den Aufgaben für die oben zitierten Studien produzieren die Teilnehmer typischerweise Gesten in Verbindung mit Sprache, und Informationen, die über Gesten vermittelt werden, und ihre Beziehung zur gleichzeitig produzierten Sprache werden bewertet. Alternativ können die Teilnehmer eine Aufzeichnung von jemandem ansehen, der gestikuliert (oder nicht gestikuliert) und Sprache produziert, wenn eine dieser Aufgaben erledigt wird, woraufhin das Verständnis der Teilnehmer bewertet wird. Alle diese Aufgaben können sowohl virtuell als auch von Angesicht zu Angesicht durchgeführt werden, was eine Datenerfassung von einem breiten Spektrum von Teilnehmern und einen Vergleich zwischen verschiedenen Modalitäten ermöglicht.

Die Wirkung von Gesten auf die zwischenmenschliche Kommunikation wurde mit einem breiten Spektrum von Teilnehmern umgesetzt. Von besonderem Interesse waren Bevölkerungsgruppen mit Kommunikationsproblemen, darunter Kleinkinder 26,27,28,29,30, Zweitsprachennutzer (L2) 8,31,32,33, Personen mit Autismus-Spektrum-Störung (ASD)20,21,22,34, Personen mit spezifischen Sprachbehinderung 35,36,37, Personen mit Aphasie 12,38, Personen mit Hirnverletzungen39 und Personen mit Stottern40,41. Diese Arbeit hat gezeigt, dass viele dieser Bevölkerungsgruppen zwar Gesten nutzen können, um die Kommunikation zu erleichtern, einige, wie z. B. Personen mit Autismus-Spektrum-Störung, jedoch Schwierigkeiten haben können, Gesten für eine effektive Kommunikation zu nutzen. Die Ergebnisse deuten darauf hin, dass dies auf das Ausmaß zurückzuführen sein könnte, in dem diese Populationen das Design des Publikums und Umwelthinweise berücksichtigen, was die praktischen Implikationen dieser Erklärungen für die Auswirkungen von Gesten auf die Kommunikation hervorhebt.

Ein wichtiges Merkmal, das Aufschluss über die Auswirkungen von Gesten auf die zwischenmenschliche Kommunikation gibt, ist die Sichtbarkeit des Gesprächspartners. Eine Frage von großer Bedeutung im Bereich der Gestenforschung ist das Ausmaß, in dem die Teilnehmer zu ihrem eigenen Vorteil gestikulieren, was auf die Ablagerung kognitiver Operationen auf den Körper hinweist, im Gegensatz zum Nutzen ihrer Gesprächspartner, was auf die Verwendung von Gesten zur Kommunikation hinweist. Dieser Frage wurde nachgegangen, indem der Einfluss der (Nicht-)Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in Face-to-Face-Kontexten durch die Verwendung einer undurchsichtigen Trennwand26,42 sowie in telefonischen Kontexten13 und virtuellen Kontexten43 untersucht wurde. Insgesamt deuten die Ergebnisse dieser Arbeit darauf hin, dass Sprecher, obwohl sie zu ihrem eigenen Vorteil gestikulieren, mehr repräsentative Gesten produzieren, wenn sie mit sichtbaren Gesprächspartnern kommunizieren als mit nicht-sichtbaren Gesprächspartnern, während die Produktion von Beat-Gesten unabhängig von der Sichtbarkeit des Gesprächspartners ähnlich ist. Sie legen daher nahe, dass repräsentationale Gesten die Kommunikation über eine Vielzahl von Kontexten hinweg erleichtern, was darauf hindeutet, dass Sprecher die Perspektive ihrer Gesprächspartner berücksichtigen und ihre Gestenproduktion entsprechend anpassen. Obwohl frühere Forschungen, die die Wirkung der Sichtbarkeit von Gesprächspartnern untersuchten, maßgeblich dazu beigetragen haben, Einblicke in die Beiträge von Gesten zur zwischenmenschlichen Kommunikation zu erhalten, konzentrierten sie sich auf Englisch als Erstsprache (L1) in typischerweise sich entwickelnden Bevölkerungen, so dass unklar ist, ob die Ergebnisse auf Populationen mit Kommunikationsproblemen ausgeweitet werden können. Zwei dieser Populationen sind L2-Lernende, die Schwierigkeiten haben können, sich durch Sprache in der Zielsprache zu verständigen, und Kinder mit ASS, deren verbale und nonverbale Kommunikation abnormal ist. Darüber hinaus gibt es nur wenige Forschungsarbeiten, die den Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in virtuellen Kontexten untersuchen, die es ermöglichen, die Wirkung der Sichtbarkeit des Gesprächspartners auf den Teilnehmer von der Wirkung der Sichtbarkeit des Teilnehmers auf den Gesprächspartner zu trennen, so dass die Replizierbarkeit von Erkenntnissen aus diesen Kontexten derzeit unklar ist. Schließlich haben sich einige Forschungen auf die Auswirkungen der Sichtbarkeit des Gesprächspartners auf die Produktion bestimmter Arten von Gesten konzentriert, so dass unklar ist, ob die Produktion anderer Arten von Gesten in ähnlicher Weise von der Sichtbarkeit des Gesprächspartners beeinflusst wird.

Die unten beschriebenen Protokolle manipulieren die Sichtbarkeit des Gesprächspartners, um die Gestenproduktion unter schwierigen Umständen zu untersuchen: L2-Wortlernen und narratives Nacherzählen von Personen mit ASS. Das L2-Wortlernprotokoll schlägt eine Brücke zwischen der Forschung, die den Einfluss des Beobachtens von Gesten auf das Lernen von L2-Wörtern untersucht, und der Forschung, die den Beitrag von Gesten zur Kommunikation über ein interaktives Wortlernparadigma untersucht. In diesem Paradigma lernen Teilnehmer, die mit der Zielsprache nicht vertraut sind, Wörter in der Zielsprache und lehren diese Wörter dann anderen Teilnehmern, die mit der Zielsprache nicht vertraut sind, wodurch der Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in den frühesten Stadien des L2-Erwerbs in einem Gesprächskontext untersucht werden kann. Das Paradigma des Nacherzählens von Karikaturen bedient sich einer weit verbreiteten narrativen Nacherzählaufgabe, bei der Unterschiede in der Gestenproduktion beobachtet wurden, wenn die Sichtbarkeit des Gesprächspartners bei einer neuen Population manipuliert wird: Jugendlichen mit ASS. Diese Population ist von Interesse, da die Sprachentwicklung, einschließlich der Gestenproduktion, im Jugendalter ausgereift ist und ASS Schwierigkeiten bei der verbalen und nonverbalen Kommunikation, einschließlich Gesten, sowie einen Mangel an Sensibilität für die kommunikativen Bedürfnisse der Gesprächspartner mit sich bringt. Zusammen geben diese Protokolle Aufschluss darüber, inwiefern die Gestenproduktion von Sprache abhängig ist und diese umgekehrt kompensieren kann, wenn die zwischenmenschliche Kommunikation eine Herausforderung darstellt.

Basierend auf Ergebnissen, die zeigten, wie sich die Sichtbarkeit der Zuhörer auf die Gestenproduktion von L1-Englischsprechern auswirkt 13,26,42,43, wurde die Hypothese aufgestellt, dass die Teilnehmer mehr allgemeine Gesten und mehr repräsentative Gesten produzierten, wenn sie L2-Wörter mit einem sichtbaren als mit einem nicht sichtbaren Gesprächspartner diskutierten. Basierend auf Befunden, die Anomalien in der Gestenproduktion bei ASD zeigten20,44, wurde die Hypothese aufgestellt, dass Jugendliche mit ASS insgesamt weniger Gesten sowie weniger repräsentationale und deiktische Gesten produzieren als sich typischerweise entwickelnde (TD) Jugendliche. Darüber hinaus wurde auf der Grundlage von Befunden, die zeigten, dass ASS Schwierigkeiten beim Perspektivnehmen mit sich bringt45, die Hypothese aufgestellt, dass sich die Gestenproduktion von Jugendlichen mit ASS in Gegenwart von sichtbaren und nicht sichtbaren Gesprächspartnern nicht signifikant unterscheidet. Schließlich wurde eine Wechselwirkung zwischen Diagnose und Sichtbarkeit vorhergesagt, so dass sich die Gestenproduktion bei Jugendlichen mit ASS nicht durch die Sichtbarkeit unterscheidet, bei TD-Jugendlichen jedoch schon.

Protokoll

Alle Teilnehmer gaben eine schriftliche Zustimmung, und alle Protokolle wurden von den institutionellen Prüfungsausschüssen der gastgebenden Institution genehmigt. Die L2-Wortlern- und Cartoon-Nacherzählprotokolle wurden in den Studien implementiert, auf denen die repräsentativen Ergebnisse basieren21,33. Obwohl diese Protokolle bisher nur in persönlichen Kontexten durchgeführt wurden, wird derzeit ein verwandtes Protokoll durchgeführt, das die Sichtbarkeit des Gesprächspartners und des Teilnehmers unabhängig voneinander manipuliert, das hier nicht beschrieben wird, um Einblicke in die Replizierbarkeit in diesem Zusammenhang zu geben, mit Plänen, es auf Bevölkerungsgruppen mit Kommunikationsproblemen auszuweiten, wie z. B. Personen mit ASS.

1. Teilnehmer

HINWEIS: Unter Berücksichtigung der für jede Studie erforderlichen Einschränkungen hinsichtlich der Teilnehmermerkmale sollten die Stichproben so weit wie möglich repräsentativ für die größere Grundgesamtheit sein.

  1. Rekrutierung von Teilnehmern für das L2-Wortlernprotokoll
    1. Rekrutieren Sie Teilnehmer ab 18 Jahren mit normalem oder korrigiertem Sehvermögen und normalem Gehör, die L1-Sprecher des Englischen sind. Um sicherzustellen, dass die Studie den Einfluss von Gesten auf das Erlernen von L2-Wörtern in der Anfangsphase untersucht, rekrutieren Sie Teilnehmer ohne Kenntnisse der Zielsprache Ungarisch.
  2. Rekrutierung von Teilnehmern für das Protokoll zur Nacherzählung von Cartoons
    1. Rekrutieren Sie Teilnehmer in einem Alter, das in der Lage ist, die experimentelle Aufgabe abzuschließen (10-20 Jahre in Morett et al.21), bei denen ASS diagnostiziert wurde oder die sich typischerweise entwickeln (TD).
      1. Um sicherzustellen, dass die Teilnehmer die experimentelle Aufgabe erfolgreich abschließen können, rekrutieren Sie Teilnehmer, die L1-Sprecher des Englischen sind, über normales Sehvermögen und normales Gehör verfügen und einen IQ von 85 oder mehr haben, der vor oder zum Zeitpunkt der Studie über eine standardisierte Bewertung gemessen wurde46.
      2. Um sicherzustellen, dass die Studie die spezifischen Auswirkungen von ASD auf die Gestenproduktion untersucht, rekrutieren Sie Teilnehmer mit ASD ohne Epilepsie, Meningitis, Enzephalitis, Diabetes, desintegrative Störung im Kindesalter oder tiefgreifende Entwicklungsstörung - nicht anders spezifiziert (PDD-NOS).
      3. Um sicherzustellen, dass die Gestenproduktion bei ASS mit der typischen Gestenproduktion verglichen werden kann, rekrutieren Sie TD-Teilnehmer ohne komorbide psychiatrische Störungen oder Verwandte ersten Grades, bei denen tiefgreifende Entwicklungsstörungen diagnostiziert wurden.

2. Überblick über die Sichtbarkeitsmanipulation

  1. Rekrutieren Sie Teilnehmer in Paaren, wenn die Auswirkungen der Produktion und Beobachtung spontaner Gesten untersucht werden, wie im L2-Wortlernprotokoll. Rekrutieren Sie die Teilnehmer individuell in Abstimmung mit einem wissenschaftlichen Mitarbeiter, der als Teilnehmer fungiert, wenn nur die Auswirkungen der Produktion spontaner Gesten untersucht werden, wie im Cartoon-Nacherzählprotokoll.
  2. Stellen Sie den Teilnehmern eine Einverständniserklärung mit Informationen über die Studie zur Verfügung, damit sie unterschreiben und alle Fragen dazu beantworten können, wobei darauf zu achten ist, dass der Schwerpunkt der Studie auf der Gestenproduktion nicht preisgegeben wird. Sammeln Sie das Formular, nachdem die Teilnehmer es unterschrieben haben.
  3. Verwenden Sie für Teilnehmer, die in Paaren rekrutiert werden, eine Auswahlmethode, z. B. einen Münzwurf, um zu bestimmen, welcher Teilnehmer als Sprecher fungieren wird, wer in der experimentellen Aufgabe den größten Teil des Sprechens übernimmt und welcher Teilnehmer als Gesprächspartner fungiert, der den größten Teil des Zuhörens übernimmt und gelegentlich mit dem Sprecher in der experimentellen Aufgabe interagiert. Verwenden Sie für Teilnehmer, die individuell mit einem wissenschaftlichen Mitarbeiter als Teilnehmer rekrutiert werden, eine feste Auswahlmethode, wie z. B. einen manipulierten Münzwurf, um sicherzustellen, dass der Teilnehmer immer als Sprecher und der wissenschaftliche Mitarbeiter immer als Gesprächspartner fungiert.
  4. Platzieren Sie in der Hälfte der experimentellen Sitzungen eine undurchsichtige Trennwand zwischen dem Sprecher und dem Gesprächspartner, um sicherzustellen, dass sie das Gesicht oder die Hände des anderen nicht sehen können.
  5. Erklären Sie den Teilnehmern, was sie in der experimentellen Aufgabe tun werden, und beantworten Sie alle Fragen dazu. Informieren Sie die Teilnehmer darüber, dass ihre Rede aufgezeichnet wird, und weisen Sie auf das dafür verwendete Mikrofon hin. Um Auswirkungen des Bewusstseins der Videoaufzeichnung auf die Gestenproduktion zu vermeiden, informieren Sie die Teilnehmer nicht darüber, dass sie auf Video aufgezeichnet werden, und stellen Sie sicher, dass die zu diesem Zweck verwendete Videokamera für die Teilnehmer nicht sichtbar ist.
  6. Starten Sie die Video- und Audioaufnahme, indem Sie die entsprechenden Tasten drücken. Implementieren Sie die experimentelle Aufgabe, um dem Sprecher und dem teilnehmenden Gesprächspartner Sprache und Gesten zu entlocken, falls vorhanden.
  7. Wenn ein Design innerhalb der Teilnehmer verwendet wird, entfernen Sie die undurchsichtige Trennlinie, wenn sie in der ersten Iteration verwendet wurde, oder platzieren Sie sie zwischen dem Sprecher und dem Gesprächspartner, wenn sie in der ersten Iteration nicht verwendet wurde.
  8. Wiederholen Sie die experimentelle Aufgabe nach Bedarf, bis alle Reize erschöpft sind.
  9. Stoppen Sie die Video- und Audioaufnahme, indem Sie die entsprechenden Tasten drücken. Informieren Sie die Teilnehmer darüber, dass sich die Studie auf Gesten konzentrierte und dass sie auf Video aufgezeichnet wurden, und bieten Sie an, ihre Videos vor der Datenanalyse zu löschen, falls gewünscht.
  10. Beantworten Sie alle Fragen der Teilnehmer und bedanken Sie sich für ihre Teilnahme, bevor Sie sie abtun.

3. L2-Wortlernprotokoll

  1. Video und Audio zeichnen den Sprecher und Gesprächspartner auf, so dass die Sprach- und Gestenproduktion während der experimentellen Aufgabe später analysiert werden kann.
    1. Platzieren Sie ein Tischmikrofon zwischen dem Lautsprecher und dem Gesprächspartner für die Audioaufnahme. Platzieren Sie eine Videokamera in einem 90°-Winkel seitlich zwischen Sprecher und Gesprächspartner und stellen Sie sicher, dass sie für die Teilnehmer nicht sichtbar ist.
    2. Stellen Sie außerdem sicher, dass sowohl der Sprecher als auch der Gesprächspartner im Sichtbereich der Videokamera enthalten sind und dass der Computerbildschirm im Sichtbereich der Videokamera nicht sichtbar ist, um die Blindheit gegenüber dem Zustand zu wahren, in dem L2-Wörter in der Analyse dargestellt werden.
  2. Präsentieren Sie dem Sprecher mit Hilfe eines Computers über Kopfhörer ein L2-Wort aus der Zielsprache akustisch, um sicherzustellen, dass es für den Gesprächspartner unhörbar ist, damit der Sprecher es anschließend dem Gesprächspartner beibringen kann. Präsentieren Sie gleichzeitig entweder ein Video eines L1-Sprechers der Zielsprache, der das L2-Wort sagt und eine repräsentative Geste erzeugt, die seine Bedeutung mit dem Text des L2-Wortes am unteren Bildschirmrand vermittelt, oder das L2-Wort als Text in der Mitte des Bildschirms ohne Video an den Sprecher.
  3. Präsentieren Sie nach einer Pause von 500 ms die L1-Übersetzung des L2-Wortes als Text in der Mitte des Bildschirms für 2000 ms in den Lautsprecher.
  4. Fordern Sie den Erklärer auf, dem Gesprächspartner das L2-Wort und seine Bedeutung durch Sprache und/oder Gesten beizubringen.
  5. Weisen Sie den Lautsprecher an, eine Taste zu drücken, um fortzufahren, wenn Sie bereit sind. Nachdem der Sprecher dies getan hat, präsentieren Sie ein weiteres L2-Wort. Wiederholen Sie diesen Vorgang, bis alle 20 L2-Wörter in zufälliger Reihenfolge präsentiert wurden.
  6. Testen Sie individuell das Wissen des Sprechers und des Gesprächspartners über die L2-Wörter, die in der experimentellen Aufgabe vorgestellt werden, indem Sie jedes L2-Wort als Text präsentieren und sie auffordern, seine L1-Übersetzung zu sagen oder das Wort zu überspringen, wenn sie sich nicht an die Übersetzung erinnern.

4. Protokoll zur Nacherzählung von Cartoons

  1. Wenn der IQ des Teilnehmers noch nicht über eine standardisierte IQ-Bewertung gemessen wurde, führen Sie eine solche durch, um sicherzustellen, dass sein IQ 85 oder mehr beträgt.
  2. Video und Audio zeichnen die Teilnehmer auf, damit ihre Sprach- und Gestenproduktion später analysiert werden kann. Platzieren Sie ein Tischmikrofon vor dem Teilnehmer für die Audioaufnahme. Platzieren Sie eine Kamera auf einer Seite des Teilnehmers in einem 90°-Winkel und stellen Sie sicher, dass die Kamera für den Teilnehmer nicht sichtbar ist.
  3. Präsentieren Sie dem Teilnehmer die erste Hälfte des Looney Tunes-Zeichentrickfilms Canary Row. Diese Hälfte des Cartoons enthält mehrere Vignetten, in denen Sylvester, die Katze, versucht, den Tweety-Vogel zu fangen, und dabei scheitert.
  4. Weisen Sie den Teilnehmer an, dem Gesprächspartner die Ereignisse der ersten Hälfte des Cartoons so detailliert wie möglich zu erzählen. Weisen Sie den Gesprächspartner an, sich die Erzählung des Teilnehmers anzuhören, und fordern Sie ihn auf, mehr zu sagen, wenn sie kurz ist.
  5. Wiederholen Sie die Schritte 4.1. und 4.2. für die zweite Hälfte des Canary Row-Videos, das mehrere weitere Vignetten enthält, in denen Sylvester, die Katze, versucht, den Tweety-Vogel zu fangen, und dabei scheitert.

5. Transkription und Kodierung

HINWEIS: Um Verzerrungen zu minimieren, transkribieren und kodieren Sie Daten nach Möglichkeit blind, ohne zu wissen, welche Teilnehmer und Studien welchen Bedingungen zugeordnet wurden. Im Idealfall sollten Transkriptoren und Kodierer nicht an der Datenerfassung beteiligt sein.

  1. Transkribieren Sie alle Reden der Teilnehmer orthografisch von Hand mit geeigneter Software nach einem standardisierten Schema, wie z. B. CHAT47, um eine Wortzählung zu erstellen. Transkribieren Sie alle verbalen Informationen, wie z. B. Füllwörter und Korrekturen, aber transkribieren Sie keine Pausen.
  2. Identifizieren und codieren Sie alle Gesten der Teilnehmer, um eine Zählung für jeden Gestentyp zu erstellen. Identifizieren Sie Gesten von Pause zu Pause und kategorisieren Sie sie in vier Typen basierend auf McNeills Taxonomie 2,3: ikonisch, metaphorisch, beat und deiktisch. Beachten Sie, dass einige Gesten als mehr als ein Typ klassifiziert werden können.
  3. Berechnen Sie die Rate der Gesten pro hundert Wörter, indem Sie die Anzahl der darstellenden Gesten durch die Anzahl der Wörter dividieren und sie für jede Vignette mit 100 multiplizieren.
  4. Lassen Sie einen unabhängigen Programmierer die Gesten der Teilnehmer für 25 % der Daten codieren. Berechnen Sie die prozentuale Übereinstimmung für Daten, die von beiden Programmierern codiert wurden, und stellen Sie sicher, dass sie mindestens 80 % beträgt, um eine ausreichende Interrater-Zuverlässigkeit zu gewährleisten.

Ergebnisse

L2-Wortlernen
Implementierung: Die unten berichteten Ergebnisse basieren auf Daten, die von 52 gesunden Teilnehmern (21 Männer, 31 Frauen; Alter: M = 20,15, SD = 1,73, Bereich = 18-28) gemäß dem oben beschriebenen Protokoll gesammelt wurden. Alle Sprechsprachen und Gesten wurden von einem primären Kodierer kodiert, der nicht blind für die Sichtbarkeitsbedingungen sein konnte, da die Daten sowohl des Sprechers als auch des Gesprächspartners mit einer einzigen Kamera aufgezeichnet wurden, wie in Schritt 3.4 beschrieben. Um die Inter-Rater-Reliabilität zu ermitteln, kodierte ein sekundärer Kodierer unabhängig voneinander alle Gesten, die von 6 zufällig ausgewählten Paaren erzeugt wurden (k = 389, 23,08% der Daten). Die Übereinstimmung zwischen den primären und sekundären Bewertern lag bei 92 % bei der Identifizierung von Gesten und bei 90 % bei der Kategorisierung.

Die Analysen im Überblick: In den folgenden Analysen wurden sowohl die Gestenproduktion von Sprechern als auch von Gesprächspartnern insgesamt und die Produktion verschiedener Arten von Gesten auf der Grundlage der Sichtbarkeit verglichen, um ihre Wirkung auf die Kommunikation von L2-Wörtern zu messen. Aufgrund der Unregelmäßigkeit von Normalität und Schiefe wurden Vergleiche auf der Grundlage der Sichtbarkeit mit nicht-parametrischen Mann-Whitney-U-Tests durchgeführt, die keine Annahmen auf der Grundlage von Normalität und Schiefe haben. Genauer gesagt wurden Mann-Whitney-U-Tests verwendet, um zu bestimmen, ob die Wahrscheinlichkeit, dass die Gestenproduktion in der sichtbaren Bedingung größer ist als in der nicht sichtbaren Bedingung, gleich der Wahrscheinlichkeit ist, dass die Gestenproduktion in der nicht sichtbaren Bedingung größer ist als in der sichtbaren Bedingung.

Befund: Mann-Whitney U-Tests zeigten, dass primäre Sprecher, deren Gesprächspartner sichtbar waren, mehr Gesten produzierten als primäre Sprecher, deren Gesprächspartner nicht sichtbar waren, U = 53, p = .02. Insbesondere Primärsprecher mit sichtbaren Gesprächspartnern produzierten mehr repräsentative ( U = 30, p = 0,001) und deiktische (U = 52, p = 0,02) Gesten als primäre Sprecher mit nicht sichtbaren Gesprächspartnern (siehe Abbildung 1). Die Produktion von Beat-Gesten der Primärsprecher unterschied sich nicht signifikant zwischen den Sichtbarkeitsbedingungen, U = 82, n.s., obwohl sie mehr dieser Gesten in Gegenwart von sichtbaren als von nicht-sichtbaren Gesprächspartnern produzierten. Obwohl Gesprächspartner, die für Primärsprecher sichtbar waren, auch mehr Gesten hervorbrachten als Gesprächspartner, die für Primärsprecher nicht sichtbar waren, erreichte dieser Unterschied keine Signifikanz, U = 89, n.s. Keiner der Vergleiche zwischen verschiedenen Gestentypen in Abhängigkeit von der Sichtbarkeit erreichte für die Gesprächspartner Bedeutung, obwohl sie von jeder Art von Geste in Gegenwart von sichtbaren als von nicht sichtbaren Primärsprechern hervorriefen. Diese Befunde belegen, dass Primärsprecher ihre Produktion von repräsentationalen und deiktischen Gesten in Gegenwart von sichtbaren Gesprächspartnern erhöhen, während dies bei ihren Gesprächspartnern nicht der Fall ist.

Ergebnisse der Nacherzählung von Cartoons
Implementierung: Die unten berichteten Ergebnisse basieren auf Daten von 41 jugendlichen Teilnehmern, von denen 18 mit ASD diagnostiziert wurden (15 Männer, 3 Frauen; Alter: M = 15,17, SD = 2,75, Bereich = 10,44 - 19,49) und von denen 23 sich typischerweise entwickelten (15 Männer, 6 Frauen; Alter: M = 15,81, SD = 2,42, Bereich = 11,52-19,36). Die Teilnehmer beider Gruppen wurden nach chronologischem Alter, Geschlecht und verbalem IQ abgeglichen. Alle Sprache und Gesten wurden von zwei Kodierern kodiert, die blind für Sichtbarkeit, Zustand und Diagnose waren. Um die Inter-Rater-Reliabilität zu ermitteln, kodierte ein sekundärer Kodierer unabhängig voneinander alle Gesten, die von 10 zufällig ausgewählten Teilnehmern (24,3 % der Daten) produziert wurden. Die Übereinstimmung zwischen den primären und sekundären Bewertern betrug 98 % bei der Identifizierung von Gesten und 95,4 % bei der Kategorisierung.

Die Analysen im Überblick: In den folgenden Analysen wurden die Gestenproduktion insgesamt und die Produktion verschiedener Arten von Gesten auf der Grundlage von Diagnose und Sichtbarkeit verglichen, um ihre Auswirkungen auf die Kommunikation zu messen. Konkret wurden bidirektionale Varianzanalysen eingesetzt, um sowohl unabhängige als auch interaktive Effekte der Diagnose (ASD vs. TD) und der Sichtbarkeit (sichtbar vs. nicht sichtbar) zu untersuchen.

Befund: Für die gesamte Gestenproduktion gab es keinen Haupteffekt der Diagnose (F < 1). Wir fanden jedoch eine Interaktion des Gestentyps bei der Diagnose (F(3,117) = 0,74, p = 0,05, ηp2 = 0,07). Insbesondere produzierten Jugendliche mit ASS weniger metaphorische Gesten (M = 0,48; SD = 0,63), t(39) = 1,99, p = 0,05, d = 0,49 und Schwebungsgesten (M = 0,26; SD = 0,60, t(39) = 2,13, p = 0,04, d = 0,67) als TD-Jugendliche (metaphorisch: M = 1,08; SD = 1,62; Schwebung: M = 1,14; SD = 1,76). Es wurden keine Unterschiede zwischen ASD- und TD-Jugendlichen für die Produktion von ikonischen (ASD: M = 0,79; SD = 0,25; TD: M = 0,77; SD = 0,25; t < 1) oder deiktisch (ASD: M = 0,36; SD = 0,16; TD: M = 0,25; SD = 0,10; t<1) Gesten. Sowohl ASD- als auch TD-Jugendliche produzierten mehr Gesten, wenn sie mit einem sichtbaren Zuhörer sprachen (M = 0,97 g/100; SD = 1,45) als ein nicht sichtbarer Listener (M = 0,36 g/100; SD = 0,83; F(1,39) = 18,18, p < 0,001, ηp2 = 0,32; siehe Abbildung 2). Insgesamt zeigte die Gestenproduktion jedoch keine Diagnose durch die Interaktion mit der Sichtbarkeit des Gesprächspartners (F < 1). Zusammengenommen deuten diese Ergebnisse darauf hin, dass Jugendliche mit ASS andere Arten von Gesten produzieren als ihre TD-Altersgenossen, aber Jugendliche mit ASS erhöhen ihre Produktion aller Arten von Gesten, wenn sie mit sichtbaren Gesprächspartnern sprechen, wie z.B. ihren TD-Altersgenossen.

figure-results-1
Abbildung 1: Gestenproduktion von primären Sprechern und Gesprächspartnern in der L2-Wortlernaufgabe. Gestenproduktion von primären Sprechern und Gesprächspartnern pro hundert Wörter nach Sichtbarkeitsbedingung (Fehlerbalken stellen Standardfehler dar). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-2
Abbildung 2: Gestenproduktion von ASD- und TD-Jugendlichen nach Sichtbarkeit bei der Nacherzählung von Cartoons. Produktion unterschiedlicher Gestentypen pro hundert Wörter durch ASD- und TD-Jugendliche in der (A) sichtbaren Zuhörerbedingung und (B) der nicht sichtbaren Zuhörerbedingung (Fehlerbalken stellen Standardfehler dar). Diese Abbildung wurde mit Genehmigung von Morett et al.21 geändert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Diskussion

Das derzeitige Protokoll manipuliert die Sichtbarkeit von Sprecher und Gesprächspartner zueinander und gibt Einblick in seine Auswirkungen auf die Gestenproduktion unter schwierigen Bedingungen: L2-Wortlernen und narratives Nacherzählen von Jugendlichen mit ASS. Dieses Protokoll kann entweder persönlich oder virtuell implementiert werden, so dass die Sichtbarkeit von Teilnehmern und Gesprächspartnern gemeinsam oder unabhängig voneinander manipuliert werden kann. Es kann eine Vielzahl von experimentellen Aufgaben, Gesten und Populationen aufnehmen und gibt ihnen die Flexibilität, unter verschiedenen Umständen implementiert zu werden, in denen Kommunikation eine Herausforderung darstellt, und zahlreiche Möglichkeiten aufzuzeigen, wie die Gestenproduktion unter diesen Umständen verändert wird. Durch die Manipulation der Sichtbarkeit des Gesprächspartners gibt das aktuelle Protokoll Aufschluss darüber, wie sich Gesten auf die zwischenmenschliche Kommunikation in Bevölkerungsgruppen mit Kommunikationsproblemen auswirken.

Wie in anderen ähnlichen Protokollen, die mit gesunden erwachsenen L1-Sprechern verwendet werden 13,26,42,43, ist der kritischste Aspekt des aktuellen Protokolls die Manipulation der Sichtbarkeit von Sprechern und Gesprächspartnern zueinander. Da das derzeitige Protokoll in beiden hier berichteten Studien persönlich durchgeführt wurde 21,33, wurde die Sichtbarkeit parallel manipuliert, so dass Sprecher und Gesprächspartner entweder gegenseitig sichtbar oder nicht sichtbar waren. Das derzeitige Protokoll kann leicht für die Implementierung in einem Videokonferenzkontext angepasst werden, so dass die Sichtbarkeit des Sprechers und des Gesprächspartners unabhängig voneinander manipuliert werden kann, wodurch die Auswirkungen der Sichtbarkeit auf die Gestenproduktion des Sprechers und des Gesprächspartners entwirrt werden können43. Ein weiterer kritischer Aspekt des aktuellen Protokolls ist sein dialogischer Charakter, der naturalistische Gesprächskontexte durch die Einbeziehung sowohl eines Sprechers als auch eines Gesprächspartners widerspiegelt, in Übereinstimmung mit früheren strukturierten interaktiven Aufgaben, die zur Untersuchung der Gestenproduktion verwendet wurden 11,12,17,18,19,20,22. Insbesondere kann es sich bei dem Gesprächspartner entweder um einen zweiten Teilnehmer oder einen wissenschaftlichen Mitarbeiter handeln, je nachdem, ob seine Gestenproduktion von Interesse ist. Ein letzter kritischer Aspekt des aktuellen Protokolls besteht darin, die Teilnehmer nicht über den Fokus auf die Gestenproduktion zu informieren und sicherzustellen, dass sie erst nach Abschluss der experimentellen Aufgabe wissen, dass sie auf Video aufgezeichnet werden26,42. Obwohl die Teilnehmer in einigen Studien, die ähnliche Protokolle verwendeten, von der Videoaufzeichnung wussten 12,20,43, ist es wahrscheinlicher, dass die Gestenproduktion in Protokollen wie dem aktuellen Protokoll der Gestenproduktion in naturalistischen Gesprächsumgebungen entspricht, wenn die Teilnehmer nicht wissen, dass ihre Gesten aufgezeichnet werden.

Eine große Stärke des aktuellen Protokolls ist seine Flexibilität in Bezug auf Aufgaben, Teilnehmer und Gesten. Obwohl narrative Nacherzählaufgaben häufig verwendet werden, da sie effektiv Unterschiede in der repräsentationalen Gestenproduktion in Face-to-Face-Kontexten hervorrufen26,42, kann die Manipulation andere Aufgaben umfassen, um die Gestenproduktion hervorzurufen, wie z. B. das hier beschriebene L2-Wortlernparadigma33,48 sowie Interviews11,12, Bildbeschreibung13,14, Rätsellösung15,16, und Richtungsbestimmung 17,19,27. Aufgrund ihrer Teilnehmerfreundlichkeit kann die Sichtbarkeitsmanipulation des Gesprächspartners sowohl bei Populationen mit Kommunikationsproblemen eingesetzt werden, wie z. B. L2-Lernenden und Kindern mit Autismus-Spektrum-Störung, wie hier beschrieben, als auch bei Kindern und Erwachsenen mit spezifischen Sprachstörungen, Stottern, Hirnverletzungen und Aphasie. Die Manipulation der Sichtbarkeit des Gesprächspartners ermöglicht die Untersuchung von Repräsentations-, Beat- und deiktischen Gesten, so dass Unterschiede in ihrer Produktion durch die Sichtbarkeit des Gesprächspartners in verschiedenen Populationen quantifiziert werden können. Obwohl die Sichtbarkeitsmanipulation des Gesprächspartners ursprünglich für den Einsatz in einem Face-to-Face-Kontext entwickelt wurde, kann sie in einem Videokonferenzkontext durch Ein- und Ausschalten der Webcam implementiert werden, was einen direkten Vergleich der Gestenproduktion bei der Manipulation der Sichtbarkeit in Videokonferenzen und Face-to-Face-Kontexten49 sowie eine unabhängige Untersuchung der Auswirkungen der Sichtbarkeit des primären Sprechers und Gesprächspartners auf die Gestenproduktion43 ermöglicht.

Obwohl die Manipulation der Sichtbarkeit von Gesprächspartnern aufgrund ihrer Teilnehmerfreundlichkeit und Flexibilität das Potenzial hat, das Verständnis der Gestenproduktion in Populationen und Situationen mit Kommunikationsherausforderungen zu verbessern, hat sie einige Einschränkungen. In seiner derzeitigen Instanziierung wird es persönlich implementiert, was die Rekrutierung auf lokale Convenience-Stichproben beschränken kann. Diese Einschränkung wurde durch die Implementierung in einem Videokonferenzkontext überwunden, aber bisher wurde sie nicht mit Populationen mit Kommunikationsproblemen in einem Videokonferenzkontext umgesetzt, so dass das Ausmaß, in dem sich die Ergebnisse zur Gestenproduktion in diesen Populationen in diesen Kontexten replizieren, derzeit unklar ist. Um diese Einschränkung zu beheben, implementieren wir derzeit eine Version der Manipulation mit der Cartoon-Nacherzählaufgabe in einem Videokonferenzkontext mit gesunden L1-Englischsprechern, die wir später mit Personen mit ASS implementieren wollen. Trotz der Zugänglichkeit der Sichtbarkeitsmanipulation für ein breites Spektrum potenzieller Teilnehmer mit Kommunikationsproblemen müssen die Teilnehmer in der Lage sein, die Aufgaben erfolgreich zu erledigen, was sie für Teilnehmer unzugänglich macht, die die Sprache, in der sie durchgeführt werden, nicht ausreichend beherrschen. Obwohl diese Einschränkung bis zu einem gewissen Grad durch eine Vereinfachung der Aufgabe behoben werden kann, kann die Reduzierung der Anforderungen an die Sprachproduktion die Gestenproduktion verringern, wodurch Unterschiede in der Gestenproduktion aufgrund der Sichtbarkeit des Gesprächspartners schwieriger zu erkennen sind.

Das aktuelle Protokoll stellt die erste Implementierung der Manipulation der Sichtbarkeit des Gesprächspartners bei Bevölkerungsgruppen mit Kommunikationsproblemen dar. Obwohl die Sichtbarkeit des Gesprächspartners zuvor manipuliert wurde, um seine Auswirkungen auf die Gestenproduktion bei gesundenKleinkindern 26 zu untersuchen, die in einigen Fällen Schwierigkeiten haben, in ihrem L1-Englisch zu kommunizieren, erleben sie nicht das Ausmaß und die Persistenz von Kommunikationsproblemen, die L2-Lernende oder Jugendliche mit ASS haben. Die Ergebnisse der zuvor veröffentlichten Studien, die in den repräsentativen Ergebnissen Abschnitt21,33 diskutiert werden, dienen als Proof of Concept, dass das aktuelle Protokoll Ähnlichkeiten und Unterschiede in der Art und Weise aufzeigen kann, wie sich die Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in diesen Populationen auswirkt, was zeigt, dass sie bei Personen mit größeren und anhaltenderen Kommunikationsproblemen als gesunden L1 Englisch sprechenden Kleinkindern umgesetzt werden können. In Zukunft wird es fruchtbar sein, das derzeitige Protokoll bei Bevölkerungsgruppen mit noch größeren und anhaltenderen Kommunikationsproblemen umzusetzen, wie z. B. Personen mit Aphasie12,38, spezifischer Sprachbeeinträchtigung35,36,37 oder Stottern40,41, um die Auswirkungen der Manipulation der Sichtbarkeit des Gesprächspartners auf ihre Gestenproduktion zu untersuchen.

Insgesamt bieten die aktuellen Protokolle ein Mittel, um den Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion bei Kommunikationsherausforderungen beim Erlernen von L2-Wörtern und beim narrativen Nacherzählen bei Personen mit ASS zu untersuchen. Auf diese Weise gibt es einen Einblick, inwiefern die Gestenproduktion von Personen mit kommunikativen Herausforderungen auf die Bedürfnisse der Gesprächspartner reagiert, und zeigt auf, inwieweit sich die Personen mit kommunikativen Herausforderungen während der Kommunikation an der Perspektivübernahme beteiligen. Die Manipulation der Sichtbarkeit des Gesprächspartners bietet die Flexibilität, diese und andere wichtige theoretische Fragen zur Gestenproduktion mit verschiedenen Aufgaben, Populationen und Gestentypen sowohl in virtuellen als auch in Face-to-Face-Kontexten zu untersuchen, das Ausmaß der Verallgemeinerbarkeit und Reproduzierbarkeit der Ergebnisse aufzuzeigen und Einblicke in Situationen zu geben, in denen individuelle Unterschiede in der Gestenproduktion beobachtet werden können. Die Manipulation der Sichtbarkeit von Gesprächspartnern hat daher das Potenzial, das Verständnis der Gestenproduktion unter herausfordernden kommunikativen Bedingungen in persönlichen und virtuellen Kontexten zu verbessern.

Offenlegungen

Der Autor hat keine konkurrierenden finanziellen Interessen zu erklären.

Danksagungen

Die Entwicklung und Validierung des L2-Wortlernprotokolls wurde durch ein National Defense Science and Engineering Graduate (NDSEG) Fellowship (32 CFR 168a) unterstützt, das vom Air Force Office of Scientific Research des US-Verteidigungsministeriums vergeben wurde. Die Entwicklung und Validierung des Protokolls zur Nacherzählung von Cartoons mit Jugendlichen mit ASS wurde durch einen Ruth S. Kirschstein Institutional National Research Service Award (T32) der National Institutes of Mental Health unterstützt. Der Autor dankt Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo und Marco Pilotta für ihre Unterstützung bei der Datenerfassung und Codierung.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
ComputerAppleZ13124" iMac, 8-Core CPU & GPU, M3-Chip
Konferenz USB-MikrofonTonorB07GVGMW59
ELANThe Language ArchiveSoftwareanwendung zur Transkription von Sprache und Gesten
VideorecorderVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X digitaler Zoom 3" Touchscreen-Videorecorder mit Renotensteuerung und Stativ
Weschler Abgekürzte Skala der IntelligenzPearson158981561Wird verwendet, um den IQ ≥ 80 in Morett et al. (2016) zu verifizieren

Referenzen

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Handgestikzwischenmenschliche KommunikationZweitsprachenlernendeAutismus Spektrum St rungFace to Face Kommunikationvirtuelle KommunikationEye Trackingneuronale Mechanismen

Verwandte Artikel