Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.

Artykuł metodologiczny

Badanie produkcji gestów w obliczu wyzwań komunikacyjnych

1.6K wyświetleń

⸱

DOI:

10.3791/66256

⸱

26 stycznia 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

W tym artykule

Podsumowanie

Tutaj prezentujemy protokół, który manipuluje widocznością rozmówcy, aby zbadać jego wpływ na produkcję gestów w komunikacji interpersonalnej. Protokół ten jest elastyczny w stosunku do realizowanych zadań, badanych gestów i modalności komunikacji. Jest idealny dla populacji z problemami komunikacyjnymi, takich jak osoby uczące się drugiego języka i osoby z zaburzeniami ze spektrum autyzmu.

Streszczenie

Zrozumienie, dlaczego mówcy modyfikują swoje gesty podczas rozmowy z rozmówcami, dostarcza cennych informacji na temat tego, jak te gesty przyczyniają się do komunikacji interpersonalnej w kontekstach twarzą w twarz i wirtualnych. Obecne protokoły manipulują widocznością mówców i ich rozmówców w kontekście twarzą w twarz, aby zbadać wpływ widoczności na produkcję gestów, gdy komunikacja jest trudna. W tych protokołach mówcy wykonują zadania, takie jak nauczanie słów z nieznanego drugiego języka lub opowiadanie o wydarzeniach z winiet z kreskówek rozmówcy, który jest albo innym uczestnikiem, albo konfederatem. Podczas wykonywania tych zadań mówcy są widoczni lub niewidoczni dla swojego rozmówcy, a mówca jest widoczny lub niewidoczny dla uczestnika. W zadaniu uczenia się słów mówcy i rozmówcy widoczni dla siebie nawzajem wytwarzają więcej gestów reprezentacyjnych, które przekazują znaczenie za pomocą kształtu dłoni i ruchu, oraz gestów deiktycznych (wskazujących) niż mówcy i rozmówcy, którzy nie są dla siebie widoczni. W protokole opowiadania narracyjnego nastolatki z zaburzeniami ze spektrum autyzmu (ASD) wykonywały więcej gestów podczas rozmowy z widocznymi rozmówcami niż z niewidocznymi rozmówcami. Główną zaletą obecnego protokołu jest jego elastyczność pod względem badanych zadań, populacji i gestów, a obecny protokół może być wdrażany zarówno w kontekście wideokonferencji, jak i twarzą w twarz. W związku z tym obecny protokół ma potencjał, aby pogłębić zrozumienie produkcji gestów poprzez wyjaśnienie jej roli w komunikacji interpersonalnej w populacjach z wyzwaniami komunikacyjnymi.

Wprowadzenie

Gesty współmowy (dotychczas gesty) - znaczące ruchy rąk wykonywane równolegle z mową - przyczyniają się do komunikacji interpersonalnej poprzez przekazywanie informacji uzupełniających treść werbalną1. Zgodnie z najczęściej używaną taksonomią2,3, gesty można podzielić na trzy kategorie: gesty reprezentacyjne, które przekazują desygnaty poprzez swoją formę i ruch (np. machanie rękami w przód iw tył razem, aby przekazać latanie); gesty beatowe, które przekazują nacisk za pomocą prostych ruchów punktowych (np. przesuwanie dominującej ręki lekko w dół w połączeniu z każdym słowem we frazie "właśnie teraz"); oraz gesty deiktyczne, które zwracają uwagę na obecność lub brak bytu poprzez wskazywanie (np. machanie kciukiem do tyłu, aby wskazać coś za sobą). Gesty reprezentacyjne można dalej podzielić na dwie dodatkowe kategorie: gesty ikoniczne, które przekazują konkretne odniesienia (np. ptak) oraz gesty metaforyczne, które przekazują metaforyczne odniesienia (np. ekstaza). Ponieważ gest i mowa wywodzą się z tej samej treści pojęciowej, są ściśle powiązane znaczeniem4,5. Służąc jako ikoniczne medium wizualne do komunikacji, gesty mogą pomóc zrekompensować pojawiające się wyzwania w rozumieniu języka mówionego6, czy to z powodu indywidualnych czynników, takich jak ograniczona biegłość w mówionym języku7,8 lub czynników środowiskowych, takich jak trudności w słyszeniu mowy9,10. W związku z tym gesty są integralną częścią zrozumienia komunikacji interpersonalnej w kontekstach bezpośrednich i wirtualnych, zapewniając wgląd w to, w jaki sposób mówcy i słuchacze przekazują i rozumieją informacje w sposób multimodalny.

Kilka ustrukturyzowanych interaktywnych zadań zostało opracowanych w celu zmierzenia, jak gest wpływa na komunikację interpersonalną. Zadania te obejmują wywiady, w których uczestnicy odpowiadają na pytania, opisując swoje osobiste doświadczenia11,12; opis obrazu, w którym uczestnikom prezentowany jest statyczny obraz w celu opisania13,14; rozwiązywanie zagadek, w którym uczestnicy opisują, jak rozwiązać zagadkę poprzez prawidłowe zorientowanie przestrzenne komponentów15,16; Przepis kierunkowy, w którym uczestnicy są instruowani, aby udzielać wskazówek do miejsca nieznanego słuchaczom17,18,19; oraz opowiadanie narracyjne, w którym uczestnicy oglądają kreskówkę przedstawiającą sekwencję wydarzeń, a następnie je opowiadają20,21,22. Wiele zadań wykorzystanych w cytowanych powyżej badaniach obejmuje treści przestrzenne i działania, które gest przekazuje ze szczególną skutecznością15,23,24,25. W zadaniach do cytowanych powyżej badań uczestnicy zazwyczaj wytwarzają gesty w połączeniu z językiem, a informacje przekazywane za pomocą gestu i jego związek z jednocześnie wytwarzanym językiem są oceniane. Alternatywnie, uczestnicy mogą obejrzeć nagranie, na którym ktoś gestykuluje (lub nie gestykuluje) i wydobywa język podczas wykonywania jednego z tych zadań, po czym oceniane jest zrozumienie uczestników. Wszystkie te zadania mogą być wykonywane zarówno wirtualnie, jak i twarzą w twarz, co umożliwia zbieranie danych od szerokiego grona uczestników i porównywanie ich między modalnościami.

Wpływ gestów na komunikację interpersonalną został zaimplementowany z szerokim gronem uczestników. Szczególnym zainteresowaniem cieszyły się populacje z problemami komunikacyjnymi, w tym małe dzieci26,27,28,29,30, użytkownicy drugiego języka (L2)8,31,32,33, osoby z zaburzenie ze spektrum autyzmu (ASD)20,21,22,34, osoby ze specyficznymi zaburzeniami językowymi35,36,37, osoby z afazją12,38, osoby z uszkodzeniem mózgu39oraz osoby jąkające się40,41. Praca ta ujawniła, że podczas gdy wiele z tych populacji może wykorzystywać gesty do ułatwiania komunikacji, niektóre, takie jak osoby z zaburzeniami ze spektrum autyzmu, mogą napotkać trudności z wykorzystaniem gestów do skutecznej komunikacji. Wyniki sugerują, że może to wynikać ze stopnia, w jakim populacje te biorą pod uwagę projekt publiczności i wskazówki środowiskowe, podkreślając praktyczne implikacje tych wyjaśnień dla wpływu gestów na komunikację.

Kluczową funkcją pozwalającą na wgląd w wpływ gestów na komunikację interpersonalną jest widoczność rozmówców. Kwestią o dużym znaczeniu w dziedzinie badań gestami jest stopień, w jakim uczestnicy wykonują gest na własną korzyść, wskazując na przeładowanie operacji poznawczych na ciało, a vs. na korzyść ich rozmówców, wskazując na użycie gestu do komunikowania się. To pytanie zostało zbadane poprzez zbadanie wpływu (nie)widoczności rozmówcy na produkcję gestów w kontekstach twarzą w twarz za pomocą nieprzezroczystej partycji26,42, a także w kontekstach telefonicznych13 i virtual contexts43. Ogólnie rzecz biorąc, wyniki tej pracy wskazują, że chociaż mówcy gestykulują dla własnej korzyści, wytwarzają więcej gestów reprezentacyjnych podczas komunikowania się z widzialnymi niż niewidocznymi rozmówcami, podczas gdy produkcja gestów rytmu jest podobna niezależnie od widoczności rozmówcy. W związku z tym sugerują, że gest reprezentacyjny ułatwia komunikację w różnych kontekstach, sugerując, że mówcy biorą pod uwagę perspektywę swoich rozmówców i odpowiednio modyfikują swoją produkcję gestów. Chociaż wcześniejsze badania badające wpływ widoczności rozmówców odegrały zasadniczą rolę w dostarczeniu wglądu w wkład gestów w komunikację interpersonalną, koncentrowały się na języku angielskim jako pierwszym języku (L1) w typowo rozwijających się populacjach, więc nie jest jasne, czy wyniki można rozszerzyć na populacje z wyzwaniami komunikacyjnymi. Dwie takie populacje to osoby uczące się L2, które mogą mieć trudności z komunikowaniem się za pomocą mowy w języku docelowym, oraz dzieci z ASD, których komunikacja werbalna i niewerbalna jest nieprawidłowa. Co więcej, niewiele badań dotyczyło wpływu widoczności rozmówcy na produkcję gestów w kontekstach wirtualnych, które pozwalają na oddzielenie wpływu widoczności rozmówcy na uczestnika od efektu widoczności uczestnika dla rozmówcy, więc powtarzalność wyników z tych kontekstów jest obecnie niejasna. Wreszcie, niektóre badania koncentrowały się na wpływie widoczności rozmówcy na produkcję określonych typów gestów, więc nie jest jasne, czy na produkcję innych rodzajów gestów w podobny sposób wpływa widoczność rozmówcy.

Opisane poniżej protokoły manipulują widocznością rozmówcy, aby zbadać produkcję gestów w trudnych warunkach: nauka słów L2 i opowiadanie narracji przez osoby z ASD. Protokół uczenia się słów L2 łączy badania badające wpływ obserwowania gestów na uczenie się słów L2 z badaniami badającymi wkład gestów w komunikację za pośrednictwem interaktywnego paradygmatu uczenia się słów. W tym paradygmacie uczestnicy niezaznajomieni z językiem docelowym uczą się słów w tym języku, a następnie uczą tych słów innych uczestników niezaznajomionych z językiem docelowym, co pozwala na zbadanie wpływu widoczności rozmówcy na produkcję gestów na najwcześniejszych etapach przyswajania L2 w kontekście konwersacyjnym. Paradygmat opowiadania kreskówek wykorzystuje szeroko stosowane zadanie opowiadania narracyjnego, w którym zaobserwowano różnice w produkcji gestów, gdy manipuluje się widocznością rozmówcy w nowej populacji: nastolatkach z ASD. Populacja ta jest interesująca, ponieważ rozwój języka, w tym produkcja gestów, dojrzewa w okresie dojrzewania, a ASD pociąga za sobą trudności w komunikacji werbalnej i niewerbalnej, w tym gestach, a także brak wrażliwości na potrzeby komunikacyjne rozmówców. Razem protokoły te dają wgląd w stopień, w jakim produkcja gestów jest zależna od mowy i odwrotnie, może ją kompensować, gdy komunikacja interpersonalna jest trudna.

Na podstawie wyników pokazujących, jak widoczność słuchaczy wpływa na produkcję gestów przez osoby mówiące po angielsku L113,26,42,43, postawiono hipotezę, że uczestnicy będą wykonywać więcej ogólnych gestów i więcej gestów reprezentacyjnych podczas omawiania słów L2 z widocznym niż niewidocznym rozmówcą. Na podstawie wyników wykazujących nieprawidłowości w produkcji gestów w ASD20,44, postawiono hipotezę, że nastolatki z ASD będą wytwarzać mniej ogólnych gestów, a także mniej gestów reprezentacyjnych i deiktycznych niż nastolatki z typowo rozwijającymi się (TD). Ponadto, na podstawie wyników wskazujących, że ASD wiąże się z trudnościami w przyjmowaniu perspektywy45, postawiono hipotezę, że wykonywanie gestów przez nastolatków z ASD nie różniłoby się istotnie w obecności widocznych i niewidocznych rozmówców. Wreszcie, przewidywano interakcję między diagnozą a widocznością, tak że produkcja gestów nie różniłaby się w zależności od widoczności u nastolatków z ASD, ale u nastolatków z TD.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Wszyscy uczestnicy wyrazili pisemną zgodę, a wszystkie protokoły zostały zatwierdzone przez Instytucjonalne Komisje Rewizyjne w instytucji goszczącej. Protokoły uczenia się słów L2 i opowiadania kreskówek zostały zaimplementowane w badaniach, na których opierają się reprezentatywne wyniki21,33. Chociaż do tej pory protokoły te były przeprowadzane tylko w kontekstach osobistych, powiązany protokół manipulujący widocznością rozmówcy i uczestnika niezależnie, który nie został tutaj opisany, jest obecnie prowadzony w celu zapewnienia wglądu w możliwość powielania w tym kontekście, z planami rozszerzenia go na populacje z wyzwaniami komunikacyjnymi, takie jak osoby z ASD.

1. Uczestnicy

UWAGA: Przestrzegając niezbędnych ograniczeń dotyczących charakterystyki uczestników dla każdego badania, próby powinny być reprezentatywne dla większej populacji na tyle, na ile to możliwe.

  1. Rekrutacja uczestników do protokołu nauki słów L2
    1. Rekrutacja uczestników w wieku 18 lat i starszych z normalnym lub skorygowanym do normalnego widzeniem i prawidłowym słuchem, którzy posługują się językiem angielskim na poziomie L1. Aby upewnić się, że badanie analizuje wpływ gestów na początkowy etap nauki słów L2, rekrutuj uczestników bez znajomości języka węgierskiego, języka docelowego.
  2. Rekrutacja uczestników do protokołu retellingu kreskówek
    1. Rekrutuj uczestników w wieku zdolnym do wykonania zadania eksperymentalnego (10-20 lat w Morett et al.21.) z diagnozą ASD lub u których rozwija się typowo (TD).
      1. Aby upewnić się, że uczestnicy mogą pomyślnie wykonać zadanie eksperymentalne, zrekrutuj uczestników, którzy mówią w języku angielskim na poziomie L1, mają normalny lub skorygowany do normalnego wzrok i normalny słuch oraz mają IQ w pełnej skali 85 lub wyższej, mierzone przed lub w czasie badania za pomocą standaryzowanej oceny46.
      2. Aby upewnić się, że badanie analizuje konkretny wpływ ASD na wytwarzanie gestów, rekrutuj uczestników z ASD bez padaczki, zapalenia opon mózgowych, zapalenia mózgu, cukrzycy, dziecięcego zaburzenia dezintegracyjnego lub całościowego zaburzenia rozwojowego - nieokreślonego inaczej (PDD-NOS).
      3. Aby upewnić się, że wytwarzanie gestów w ASD można porównać z typową produkcją gestów, zrekrutuj uczestników TD bez współistniejących zaburzeń psychicznych lub krewnych pierwszego stopnia, u których zdiagnozowano całościowe zaburzenia rozwojowe.

2. Przegląd manipulacji widocznością

  1. Rekrutuj uczestników w parach, jeśli badane będą efekty wytwarzania i obserwowania spontanicznych gestów, tak jak w protokole nauki słów L2. Rekrutuj uczestników indywidualnie w koordynacji z asystentem naukowym pełniącym rolę uczestnika, jeśli tylko badane będą efekty wytwarzania spontanicznych gestów, tak jak w protokole opowiadania kreskówek.
  2. Przekaż uczestnikom formularz świadomej zgody z informacjami o badaniu, aby mogli go podpisać i odpowiedzieć na wszelkie pytania na jego temat, uważając, aby nie ujawnić, że badanie koncentruje się na wytwarzaniu gestów. Odbierz formularz po podpisaniu go przez uczestników.
  3. W przypadku uczestników zrekrutowanych w parach użyj metody selekcji, takiej jak rzut monetą, aby określić, który uczestnik będzie służył jako mówca, kto będzie mówił większość w zadaniu eksperymentalnym, a który uczestnik będzie służył jako rozmówca, który będzie słuchał głównie i od czasu do czasu wchodził w interakcję z mówcą w zadaniu eksperymentalnym. W przypadku uczestników rekrutowanych indywidualnie, w których asystent naukowy pełni rolę uczestnika, należy zastosować metodę ustalonej selekcji, taką jak sfałszowany rzut monetą, aby upewnić się, że uczestnik zawsze służy jako mówca, a asystent badawczy zawsze służy jako rozmówca.
  4. W połowie sesji eksperymentalnych umieść nieprzezroczystą przegrodę między mówcą a rozmówcą, aby upewnić się, że nie widzą nawzajem swoich twarzy ani rąk.
  5. Wyjaśnij uczestnikom, co będą robić w zadaniu eksperymentalnym i odpowiedz na wszelkie pytania na jego temat. Poinformuj uczestników, że ich wypowiedź będzie nagrywana w formie audio, wskazując na używany do tego celu mikrofon. Aby uniknąć wpływu świadomości nagrania wideo na produkcję gestów, nie informuj uczestników, że będą nagrywani na wideo i upewnij się, że kamera wideo używana w tym celu nie jest widoczna dla uczestników.
  6. Rozpocznij nagrywanie wideo i audio, naciskając odpowiednie przyciski. Wykonaj zadanie eksperymentalne, aby wydobyć mowę i gest od mówcy i rozmówcy uczestniczącego, jeśli taki istnieje.
  7. Jeśli stosowany jest projekt wewnątrzpartykularny, usuń nieprzezroczystą przegrodę, jeśli została użyta w pierwszej iteracji, lub umieść ją między mówcą a rozmówcą, jeśli nie została użyta w pierwszej iteracji.
  8. Powtarzaj zadanie eksperymentalne w razie potrzeby, aż wszystkie bodźce zostaną wyczerpane.
  9. Zatrzymaj nagrywanie wideo i audio, naciskając odpowiednie przyciski. Poinformuj uczestników, że badanie koncentrowało się na gestach i że zostały one nagrane na wideo, a w razie potrzeby zaproponuj usunięcie swoich filmów przed analizą danych.
  10. Odpowiedz na wszelkie pytania uczestników i podziękuj im za udział, zanim ich zwolnisz.

3. Protokół nauki słów L2

  1. Wideo i audio nagrywają mówcę i rozmówcę, aby można było później przeanalizować produkcję mowy i gestów podczas zadania eksperymentalnego.
    1. Umieść mikrofon stołowy między mówcą a rozmówcą w celu nagrywania dźwięku. Umieść kamerę wideo z boku między mówcą a rozmówcą pod kątem 90° i upewnij się, że nie jest widoczna dla uczestników.
    2. Dodatkowo należy upewnić się, że zarówno mówca, jak i rozmówca znajdują się w polu widzenia kamery wideo oraz aby ekran komputera nie był widoczny w polu widzenia kamery wideo, aby zachować ślepotę na stan, w jakim słowa L2 są prezentowane w analizie.
  2. Za pomocą komputera przedstaw słowo L2 z języka docelowego językowi dźwiękowo do mówcy przez słuchawki, aby upewnić się, że jest ono niesłyszalne dla rozmówcy, aby mówca mógł go następnie nauczyć rozmówcy. W tym samym czasie zaprezentuj mówcy film przedstawiający osobę mówiącą w języku docelowym na poziomie L1 wypowiadającą słowo L2 i wykonującą gest przedstawiający jego znaczenie za pomocą tekstu słowa L2 u dołu ekranu lub słowo L2 jako tekst na środku ekranu bez wideo.
  3. Po przerwie trwającej 500 ms przedstaw mówcy tłumaczenie L1 słowa L2 jako tekst na środku ekranu przez 2000 ms.
  4. Zachęć osobę wyjaśniającą, aby nauczyła rozmówcę słowa L2 i jego znaczenia za pomocą mowy i/lub gestu.
  5. Poinstruuj głośnik, aby nacisnął przycisk, aby przejść dalej, gdy będzie gotowy. Po tym, jak mówca to zrobi, przedstaw kolejne słowo L2. Powtarzaj ten proces, aż wszystkie 20 słów L2 zostanie przedstawionych w losowej kolejności.
  6. Indywidualnie przetestuj wiedzę mówcy i rozmówcy na temat słów L2 przedstawionych w zadaniu eksperymentalnym, prezentując każde słowo L2 jako tekst i prosząc ich o wypowiedzenie jego tłumaczenia L1 lub pominięcie słowa, jeśli nie pamiętają jego tłumaczenia.

4. Protokół opowiadania kreskówek

  1. Jeśli IQ uczestnika nie zostało wcześniej zmierzone za pomocą standaryzowanej oceny IQ, podaj ją, aby upewnić się, że jego IQ wynosi 85 lub więcej.
  2. Wideo i audio nagrywają uczestników, aby ich produkcja mowy i gestów mogła być później analizowana. Umieść mikrofon stołowy przed uczestnikiem w celu nagrywania dźwięku. Umieść kamerę po jednej stronie uczestnika pod kątem 90° i upewnij się, że kamera nie jest widoczna dla uczestnika.
  3. Zaprezentuj uczestnikowi pierwszą połowę kreskówki Looney Tunes Canary Row. Ta połowa kreskówki zawiera kilka winiet, w których kot Sylvester próbuje złapać ptaka Tweety'ego i nie udaje mu się to.
  4. Poinstruuj uczestnika, aby opowiedział rozmówcy wydarzenia z pierwszej połowy kreskówki tak szczegółowo, jak tylko jest w stanie sobie przypomnieć. Poinstruuj rozmówcę, aby wysłuchał opowieści uczestnika, zachęcając uczestnika do powiedzenia więcej, jeśli jest ona krótka.
  5. Powtórz kroki 4.1. i 4.2. dla drugiej połowy filmu Canary Row, który zawiera kilka dodatkowych winiet, w których kot Sylvester próbuje złapać ptaka Tweety'ego i nie udaje mu się.

5. Transkrypcja i kodowanie

UWAGA: Aby zminimalizować stronniczość, jeśli to możliwe, transkrybuj i koduj dane na ślepo, nie wiedząc, którzy uczestnicy i badania zostały przypisane do jakich warunków. Idealnie byłoby, gdyby transkrybentzy i koderzy nie byli zaangażowani w gromadzenie danych.

  1. Transkrybuj całą mowę uczestnika ortograficznie ręcznie za pomocą odpowiedniego oprogramowania zgodnie ze standardowym schematem, takim jak CHAT47, aby uzyskać liczbę słów. Transkrybuj wszystkie informacje werbalne, takie jak wypełniacze i poprawki, ale nie przepisuj pauz.
  2. Zidentyfikuj i zakoduj wszystkie gesty uczestnika, aby uzyskać liczbę dla każdego typu gestu. Zidentyfikuj gesty od spoczynku do spoczynku i podziel je na cztery typy na podstawie taksonomii McNeilla2,3: ikoniczny, metaforyczny, beatowy i deiktyczny. Należy pamiętać, że niektóre gesty mogą być klasyfikowane jako więcej niż jeden typ.
  3. Oblicz wskaźnik gestów na sto słów, dzieląc liczbę gestów reprezentacyjnych przez liczbę słów i mnożąc ją przez 100 dla każdej winiety.
  4. Niezależny koder koduje gesty uczestnika dla 25% danych. Oblicz procentową zgodność dla danych zakodowanych przez obu koderów i upewnij się, że wynosi ona co najmniej 80%, aby zapewnić wystarczającą niezawodność między oceniającymi.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Nauka słownictwa w języku L2
Implementacja: Wyniki przedstawione poniżej opierają się na danych zebranych od 52 zdrowych uczestników (21 mężczyzn, 31 kobiet; wiek: M = 20,15, SD = 1,73, zakres = 18-28) zgodnie z opisanym powyżej protokołem. Wszystkie wypowiedzi i gesty zostały zakodowane przez głównego koderem, który nie mógł być zaślepiony co do warunku widoczności, ponieważ dane od mówcy i interlokutora były rejestrowane za pomocą jednej kamery, jak opisano w kroku 3.4. W ...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Obecny protokół manipuluje widocznością mówcy i rozmówcy względem siebie nawzajem, zapewniając wgląd w jego wpływ na produkcję gestów w trudnych okolicznościach: uczenie się słów L2 i opowiadanie narracji przez nastolatków z ASD. Protokół ten może być wdrożony zarówno osobiście, jak i wirtualnie, co pozwala na manipulowanie widocznością uczestników i rozmówców w tandemie lub niezależnie. Może pomieścić szeroką gamę eksperymentalnych zadań, gestów i populacji, zapewniając im elastyczność do realizacji w różnych okolicznoś...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autor nie ma żadnych konkurencyjnych interesów finansowych, które mógłby zadeklarować.

Podziękowania

Rozwój i walidacja protokołu nauki słów L2 była wspierana przez stypendium National Defense Science and Engineering Graduate (NDSEG) Fellowship (32 CFR 168a) wydane przez Biuro Badań Naukowych Sił Powietrznych Departamentu Obrony USA. Opracowanie i walidacja protokołu opowiadania kreskówek z młodzieżą z ASD była wspierana przez Ruth S. Kirschstein Institutional National Research Service Award (T32) przyznaną przez National Institutes of Mental Health. Autor dziękuje Rachel Fader, Theo Haugenowi, Andrew Lynnowi, Ashlie Caputo i Marco Pilotcie za pomoc w zbieraniu danych i kodowaniu.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
KomputerAppleZ13124" iMac, 8-rdzeniowy procesor i GPU, układ M3
Konferencyjny mikrofon USBTonorB07GVGMW59
ELANArchiwumAplikacja do transkrypcji mowy i gestów
MagnetowidVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16-krotny zoom cyfrowy 3-calowy magnetowid z ekranem dotykowym
Weschler Skrócona Skala InteligencjiPearson158981561Służy do weryfikacji IQ w pełnej skali ≥ 80 w Morett et al. (2016)
językowe

Bibliografia

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Przeglądaj więcej artykułów

gesty dłonikomunikacja interpersonalnaosoby uczące się drugiego językaspektrum autyzmukomunikacja bezpośredniakomunikacja wirtualnaeye trackingmechanizmy neuronalne
Badanie produkcji gestów w obliczu wyzwań komunikacyjnych
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.