Gesty współmowy (dotychczas gesty) - znaczące ruchy rąk wykonywane równolegle z mową - przyczyniają się do komunikacji interpersonalnej poprzez przekazywanie informacji uzupełniających treść werbalną1. Zgodnie z najczęściej używaną taksonomią2,3, gesty można podzielić na trzy kategorie: gesty reprezentacyjne, które przekazują desygnaty poprzez swoją formę i ruch (np. machanie rękami w przód iw tył razem, aby przekazać latanie); gesty beatowe, które przekazują nacisk za pomocą prostych ruchów punktowych (np. przesuwanie dominującej ręki lekko w dół w połączeniu z każdym słowem we frazie "właśnie teraz"); oraz gesty deiktyczne, które zwracają uwagę na obecność lub brak bytu poprzez wskazywanie (np. machanie kciukiem do tyłu, aby wskazać coś za sobą). Gesty reprezentacyjne można dalej podzielić na dwie dodatkowe kategorie: gesty ikoniczne, które przekazują konkretne odniesienia (np. ptak) oraz gesty metaforyczne, które przekazują metaforyczne odniesienia (np. ekstaza). Ponieważ gest i mowa wywodzą się z tej samej treści pojęciowej, są ściśle powiązane znaczeniem4,5. Służąc jako ikoniczne medium wizualne do komunikacji, gesty mogą pomóc zrekompensować pojawiające się wyzwania w rozumieniu języka mówionego6, czy to z powodu indywidualnych czynników, takich jak ograniczona biegłość w mówionym języku7,8 lub czynników środowiskowych, takich jak trudności w słyszeniu mowy9,10. W związku z tym gesty są integralną częścią zrozumienia komunikacji interpersonalnej w kontekstach bezpośrednich i wirtualnych, zapewniając wgląd w to, w jaki sposób mówcy i słuchacze przekazują i rozumieją informacje w sposób multimodalny.
Kilka ustrukturyzowanych interaktywnych zadań zostało opracowanych w celu zmierzenia, jak gest wpływa na komunikację interpersonalną. Zadania te obejmują wywiady, w których uczestnicy odpowiadają na pytania, opisując swoje osobiste doświadczenia11,12; opis obrazu, w którym uczestnikom prezentowany jest statyczny obraz w celu opisania13,14; rozwiązywanie zagadek, w którym uczestnicy opisują, jak rozwiązać zagadkę poprzez prawidłowe zorientowanie przestrzenne komponentów15,16; Przepis kierunkowy, w którym uczestnicy są instruowani, aby udzielać wskazówek do miejsca nieznanego słuchaczom17,18,19; oraz opowiadanie narracyjne, w którym uczestnicy oglądają kreskówkę przedstawiającą sekwencję wydarzeń, a następnie je opowiadają20,21,22. Wiele zadań wykorzystanych w cytowanych powyżej badaniach obejmuje treści przestrzenne i działania, które gest przekazuje ze szczególną skutecznością15,23,24,25. W zadaniach do cytowanych powyżej badań uczestnicy zazwyczaj wytwarzają gesty w połączeniu z językiem, a informacje przekazywane za pomocą gestu i jego związek z jednocześnie wytwarzanym językiem są oceniane. Alternatywnie, uczestnicy mogą obejrzeć nagranie, na którym ktoś gestykuluje (lub nie gestykuluje) i wydobywa język podczas wykonywania jednego z tych zadań, po czym oceniane jest zrozumienie uczestników. Wszystkie te zadania mogą być wykonywane zarówno wirtualnie, jak i twarzą w twarz, co umożliwia zbieranie danych od szerokiego grona uczestników i porównywanie ich między modalnościami.
Wpływ gestów na komunikację interpersonalną został zaimplementowany z szerokim gronem uczestników. Szczególnym zainteresowaniem cieszyły się populacje z problemami komunikacyjnymi, w tym małe dzieci26,27,28,29,30, użytkownicy drugiego języka (L2)8,31,32,33, osoby z zaburzenie ze spektrum autyzmu (ASD)20,21,22,34, osoby ze specyficznymi zaburzeniami językowymi35,36,37, osoby z afazją12,38, osoby z uszkodzeniem mózgu39oraz osoby jąkające się40,41. Praca ta ujawniła, że podczas gdy wiele z tych populacji może wykorzystywać gesty do ułatwiania komunikacji, niektóre, takie jak osoby z zaburzeniami ze spektrum autyzmu, mogą napotkać trudności z wykorzystaniem gestów do skutecznej komunikacji. Wyniki sugerują, że może to wynikać ze stopnia, w jakim populacje te biorą pod uwagę projekt publiczności i wskazówki środowiskowe, podkreślając praktyczne implikacje tych wyjaśnień dla wpływu gestów na komunikację.
Kluczową funkcją pozwalającą na wgląd w wpływ gestów na komunikację interpersonalną jest widoczność rozmówców. Kwestią o dużym znaczeniu w dziedzinie badań gestami jest stopień, w jakim uczestnicy wykonują gest na własną korzyść, wskazując na przeładowanie operacji poznawczych na ciało, a vs. na korzyść ich rozmówców, wskazując na użycie gestu do komunikowania się. To pytanie zostało zbadane poprzez zbadanie wpływu (nie)widoczności rozmówcy na produkcję gestów w kontekstach twarzą w twarz za pomocą nieprzezroczystej partycji26,42, a także w kontekstach telefonicznych13 i virtual contexts43. Ogólnie rzecz biorąc, wyniki tej pracy wskazują, że chociaż mówcy gestykulują dla własnej korzyści, wytwarzają więcej gestów reprezentacyjnych podczas komunikowania się z widzialnymi niż niewidocznymi rozmówcami, podczas gdy produkcja gestów rytmu jest podobna niezależnie od widoczności rozmówcy. W związku z tym sugerują, że gest reprezentacyjny ułatwia komunikację w różnych kontekstach, sugerując, że mówcy biorą pod uwagę perspektywę swoich rozmówców i odpowiednio modyfikują swoją produkcję gestów. Chociaż wcześniejsze badania badające wpływ widoczności rozmówców odegrały zasadniczą rolę w dostarczeniu wglądu w wkład gestów w komunikację interpersonalną, koncentrowały się na języku angielskim jako pierwszym języku (L1) w typowo rozwijających się populacjach, więc nie jest jasne, czy wyniki można rozszerzyć na populacje z wyzwaniami komunikacyjnymi. Dwie takie populacje to osoby uczące się L2, które mogą mieć trudności z komunikowaniem się za pomocą mowy w języku docelowym, oraz dzieci z ASD, których komunikacja werbalna i niewerbalna jest nieprawidłowa. Co więcej, niewiele badań dotyczyło wpływu widoczności rozmówcy na produkcję gestów w kontekstach wirtualnych, które pozwalają na oddzielenie wpływu widoczności rozmówcy na uczestnika od efektu widoczności uczestnika dla rozmówcy, więc powtarzalność wyników z tych kontekstów jest obecnie niejasna. Wreszcie, niektóre badania koncentrowały się na wpływie widoczności rozmówcy na produkcję określonych typów gestów, więc nie jest jasne, czy na produkcję innych rodzajów gestów w podobny sposób wpływa widoczność rozmówcy.
Opisane poniżej protokoły manipulują widocznością rozmówcy, aby zbadać produkcję gestów w trudnych warunkach: nauka słów L2 i opowiadanie narracji przez osoby z ASD. Protokół uczenia się słów L2 łączy badania badające wpływ obserwowania gestów na uczenie się słów L2 z badaniami badającymi wkład gestów w komunikację za pośrednictwem interaktywnego paradygmatu uczenia się słów. W tym paradygmacie uczestnicy niezaznajomieni z językiem docelowym uczą się słów w tym języku, a następnie uczą tych słów innych uczestników niezaznajomionych z językiem docelowym, co pozwala na zbadanie wpływu widoczności rozmówcy na produkcję gestów na najwcześniejszych etapach przyswajania L2 w kontekście konwersacyjnym. Paradygmat opowiadania kreskówek wykorzystuje szeroko stosowane zadanie opowiadania narracyjnego, w którym zaobserwowano różnice w produkcji gestów, gdy manipuluje się widocznością rozmówcy w nowej populacji: nastolatkach z ASD. Populacja ta jest interesująca, ponieważ rozwój języka, w tym produkcja gestów, dojrzewa w okresie dojrzewania, a ASD pociąga za sobą trudności w komunikacji werbalnej i niewerbalnej, w tym gestach, a także brak wrażliwości na potrzeby komunikacyjne rozmówców. Razem protokoły te dają wgląd w stopień, w jakim produkcja gestów jest zależna od mowy i odwrotnie, może ją kompensować, gdy komunikacja interpersonalna jest trudna.
Na podstawie wyników pokazujących, jak widoczność słuchaczy wpływa na produkcję gestów przez osoby mówiące po angielsku L113,26,42,43, postawiono hipotezę, że uczestnicy będą wykonywać więcej ogólnych gestów i więcej gestów reprezentacyjnych podczas omawiania słów L2 z widocznym niż niewidocznym rozmówcą. Na podstawie wyników wykazujących nieprawidłowości w produkcji gestów w ASD20,44, postawiono hipotezę, że nastolatki z ASD będą wytwarzać mniej ogólnych gestów, a także mniej gestów reprezentacyjnych i deiktycznych niż nastolatki z typowo rozwijającymi się (TD). Ponadto, na podstawie wyników wskazujących, że ASD wiąże się z trudnościami w przyjmowaniu perspektywy45, postawiono hipotezę, że wykonywanie gestów przez nastolatków z ASD nie różniłoby się istotnie w obecności widocznych i niewidocznych rozmówców. Wreszcie, przewidywano interakcję między diagnozą a widocznością, tak że produkcja gestów nie różniłaby się w zależności od widoczności u nastolatków z ASD, ale u nastolatków z TD.