Методическая статья

Изучение воспроизведения жестов в условиях проблем коммуникации

1.5K просмотров

⸱

DOI:

10.3791/66256

⸱

26 января 2024 г.

1Department of Speech, Language, and Hearing Sciences, University of Missouri

В этой статье

Краткое содержание

В этой статье мы представляем протокол, который манипулирует видимостью собеседника для изучения его влияния на производство жестов в межличностном общении. Этот протокол является гибким в зависимости от выполняемых задач, проверяемых жестов и модальностей связи. Он идеально подходит для групп населения с коммуникативными проблемами, таких как изучающие второй язык и люди с расстройствами аутистического спектра.

Аннотация

Понимание того, почему говорящие изменяют жесты рук при разговоре с собеседниками, дает ценную информацию о том, как эти жесты способствуют межличностному общению в личном и виртуальном контекстах. Существующие протоколы манипулируют видимостью говорящих и их собеседников в тандеме в контексте лицом к лицу, чтобы изучить влияние видимости на создание жестов при сложной коммуникации. В этих протоколах говорящие выполняют такие задачи, как разучивание слов с незнакомого второго языка или рассказ о событиях мультяшных виньеток собеседнику, который является либо другим участником, либо сообщником. При выполнении этих задач выступающие являются видимыми или невидимыми для своего собеседника, а говорящий – видимым или невидимым для участника. В задаче на изучение слова говорящие и собеседники, видимые друг другу, производят больше репрезентативных жестов, которые передают смысл через форму руки и движение, а также дейктических (указывающих) жестов, чем говорящие и собеседники, которые не видны друг другу. В протоколе нарративного пересказа подростки с расстройством аутистического спектра (РАС) делали больше жестов при разговоре с видимыми собеседниками, чем с невидимыми собеседниками. Основным преимуществом текущего протокола является его гибкость с точки зрения изучаемых задач, популяций и жестов, а также текущий протокол может быть реализован как в видеоконференциях, так и в личных контекстах. Таким образом, текущий протокол имеет потенциал для улучшения понимания производства жестов, выясняя его роль в межличностной коммуникации в популяциях с коммуникативными проблемами.

Введение

Жесты совместной речи (ранее жесты) - осмысленные движения рук, производимые одновременно с речью, - способствуют межличностному общению, передавая информацию, дополняющую вербальное содержание1. Согласно наиболее широко используемой таксономии 2,3, жесты можно разделить на три категории: репрезентативные жесты, которые передают референты через их форму и движение (например, взмахи руками вперед и назад для передачи полета); жесты бита, которые передают акцент с помощью простых точечных движений (например, перемещение доминирующей руки немного вниз в сочетании с каждым словом во фразе «прямо сейчас»); и дейктические жесты, которые привлекают внимание к присутствию или отсутствию объекта с помощью указания (например, поворот большого пальца назад, чтобы указать на что-то позади себя). Репрезентативные жесты можно разделить на две дополнительные категории: иконические жесты, которые передают конкретные референты (например, птицу), и метафорические жесты, которые передают метафорические референты (например, экстаз). Поскольку жест и речь возникают из одного и того же концептуального содержания, они тесно связаны по смыслу 4,5. Выступая в качестве знакового визуального средства коммуникации, жесты могут помочь компенсировать возникающие проблемы с пониманием устной речи6, будь то из-за индивидуальных факторов, таких как ограниченное владение языком, на котором говорят 7,8, или факторов окружающей среды, таких как трудности с восприятием речи 9,10. Таким образом, жесты являются неотъемлемой частью понимания межличностного общения в личном и виртуальном контекстах, обеспечивая понимание того, как говорящие и слушатели передают и понимают информацию мультимодально.

Было разработано несколько структурированных интерактивных заданий для измерения того, как жест влияет на межличностное общение. Эти задания включают в себя интервью, в которых участники отвечают на вопросы, описывая свой личный опыт11,12; описание изображения, в котором участникам представлено статическое изображение для описания13,14; решение головоломок, в котором участники описывают, как решить головоломку путем правильной пространственной ориентации компонентов15,16; предоставление указаний, в котором участникам дается указание указать направление в незнакомое для слушателей место 17,18,19; и повествовательный пересказ, в котором участники смотрят мультфильм, изображающий последовательность событий, а затем пересказывают их 20,21,22. Многие из задач, использованных в вышеупомянутых исследованиях, включают пространственное содержание и действие, которое с особой эффективностью передает жест 15,23,24,25. В заданиях для упомянутых выше исследований участники обычно произносят жесты в сочетании с языком, а также оценивается информация, передаваемая с помощью жестов, и ее связь с одновременно производимым языком. В качестве альтернативы участники могут просмотреть запись того, как кто-то жестикулирует (или не жестикулирует) и произносит речь при выполнении одного из этих заданий, после чего оценивается понимание участников. Все эти задачи могут выполняться как виртуально, так и лично, что позволяет собирать данные от широкого круга участников и сравнивать их между методами.

Влияние жестов на межличностное общение было реализовано с участием широкого круга участников. Особый интерес вызвали группы населения с коммуникативными проблемами, в том числе детимладшего возраста 26,27,28,29,30, пользователи второго языка (L2) 8,31,32,33, лица с расстройствами аутистического спектра (РАС)20,21,22,34, лица со специфическими особенностями Нарушения речи 35,36,37, лица с афазией 12,38, лица с черепно-мозговой травмой39 и лица с заиканием40,41. Эта работа показала, что, хотя многие из этих групп населения могут использовать жесты для облегчения общения, некоторые, такие как люди с расстройством аутистического спектра, могут столкнуться с трудностями при использовании жестов для эффективного общения. Полученные данные свидетельствуют о том, что это может быть связано с тем, в какой степени эти группы населения принимают во внимание дизайн аудитории и сигналы окружающей среды, подчеркивая практические последствия этих объяснений для влияния жестов на коммуникацию.

Ключевой особенностью, позволяющей получить представление о влиянии жестов на межличностное общение, является видимость собеседника. Вопрос, имеющий большое значение в области исследования жестов, заключается в том, в какой степени участники жестикулируют для собственной выгоды, указывая на разгрузку когнитивных операций на тело, по сравнению с пользой для своих собеседников, указывающей на использование жеста для общения. Этот вопрос был исследован путем изучения влияния (не)видимости собеседника на воспроизведение жестов в контекстах лицом к лицу посредством использования непрозрачной перегородки26,42, а также в телефонных контекстах13 и виртуальных контекстах43. В целом, результаты этой работы показывают, что, хотя говорящие жестикулируют в своих интересах, они производят больше репрезентативных жестов при общении с видимыми, чем с невидимыми собеседниками, в то время как производство жестов ритма одинаково независимо от видимости собеседника. Таким образом, они предполагают, что репрезентативный жест облегчает коммуникацию в различных контекстах, предполагая, что говорящие учитывают точку зрения своих собеседников и соответствующим образом модифицируют свои жесты. Несмотря на то, что предыдущее исследование, изучающее влияние видимости собеседника, сыграло важную роль в понимании вклада жестов в межличностную коммуникацию, оно было сосредоточено на английском как первом языке (L1) в типично развивающихся популяциях, поэтому неясно, можно ли распространить полученные результаты на группы населения с коммуникативными проблемами. Две такие группы — это учащиеся L2, которые могут испытывать трудности с общением с помощью речи на изучаемом языке, и дети с РАС, чьи вербальные и невербальные коммуникации являются ненормальными. Кроме того, в немногих исследованиях изучалось влияние видимости собеседника на производство жестов в виртуальных контекстах, которые позволяют отделить влияние видимости собеседника на участника от эффекта видимости участника для собеседника, поэтому воспроизводимость результатов из этих контекстов в настоящее время неясна. Наконец, некоторые исследования были сосредоточены на влиянии видимости собеседника на производство конкретных типов жестов, поэтому неясно, влияет ли видимость собеседника на производство других типов жестов аналогичным образом.

Описанные ниже протоколы манипулируют видимостью собеседника для изучения воспроизведения жестов в сложных обстоятельствах: заучивание слов L2 и пересказ повествования людьми с РАС. Протокол изучения слов L2 объединяет исследования, изучающие влияние наблюдения за жестами на обучение слову L2, с исследованиями, изучающими вклад жестов в коммуникацию через интерактивную парадигму изучения слов. В этой парадигме участники, незнакомые с целевым языком, изучают слова на нем, а затем обучают этим словам других участников, незнакомых с изучаемым языком, что позволяет изучить влияние видимости собеседника на производство жестов на самых ранних стадиях усвоения L2 в разговорном контексте. Парадигма пересказа мультфильмов использует широко используемую задачу нарративного пересказа, в которой наблюдаются различия в воспроизведении жестов при манипулировании видимостью собеседника с новой популяцией: подростками с РАС. Эта популяция представляет интерес, потому что языковое развитие, включая производство жестов, созревает к подростковому возрасту, а РАС влечет за собой трудности с вербальной и невербальной коммуникацией, включая жесты, а также с недостаточной чувствительностью к коммуникативным потребностям собеседников. Вместе эти протоколы дают представление о том, в какой степени производство жестов зависит от речи и, наоборот, может компенсировать ее, когда межличностное общение затруднено.

Основываясь на выводах, демонстрирующих, как видимость слушателя влияет на воспроизведение жестов носителями английского языка L1 13,26,42,43, было высказано предположение, что участники будут производить больше общих жестов и больше репрезентативных жестов при обсуждении слов L2 с видимым, чем невидимым собеседником. Основываясь на результатах, демонстрирующих аномалии в производстве жестов при РАС20,44, была выдвинута гипотеза о том, что подростки с РАС будут производить меньше общих жестов, а также меньше репрезентативных и дейктических жестов, чем типично развивающиеся подростки. Более того, основываясь на результатах, показывающих, что РАС влечет за собой трудности с восприятием перспективы, была выдвинута гипотеза о том, что производство жестов подростками с РАС не будет существенно отличаться в присутствии видимых и невидимых собеседников. Наконец, было предсказано взаимодействие между диагнозом и видимостью, таким образом, что производство жестов не будет отличаться по видимости у подростков с РАС, но будет отличаться от видимости у подростков с ТД.

Протокол

Все участники дали письменное согласие, а все протоколы были утверждены институциональными наблюдательными советами принимающего учреждения. Протоколы заучивания слов L2 и пересказа мультфильмов были реализованы в исследованиях, на которых основаны репрезентативные результаты21,33. Несмотря на то, что до настоящего времени эти протоколы проводились только в очном контексте, в настоящее время проводится соответствующий протокол, манипулирующий видимостью собеседника и участника независимо друг от друга, не описанный здесь, чтобы обеспечить понимание воспроизводимости в этом контексте, с планами его распространения на группы населения с проблемами коммуникации, такие как люди с РАС.

1. Участники

ПРИМЕЧАНИЕ: При соблюдении необходимых ограничений по характеристикам участников для каждого исследования, выборки должны быть репрезентативными для более широкой популяции, насколько это возможно.

  1. Набор участников для протокола изучения L2 word
    1. Наберите участников в возрасте 18 лет и старше с нормальным или скорректированным к нормальному зрению и нормальным слухом, которые являются носителями английского языка L1. Чтобы убедиться в том, что в исследовании изучается влияние жестов на начальную стадию усвоения L2 слов, набирают участников без какого-либо знания венгерского языка, изучаемого языка.
  2. Набор участников для протокола пересказа мультфильмов
    1. Набирайте участников в возрасте, способном выполнить экспериментальную задачу (10-20 лет в Morett et al.21.) с диагнозом РАС или типично развивающимися (ТД).
      1. Чтобы убедиться в том, что участники смогут успешно выполнить экспериментальное задание, наберите участников, которые являются носителями английского языка L1, имеют нормальное или скорректированное до нормального зрение и нормальный слух, а также имеют полный IQ 85 или выше, измеренный до или во время исследования с помощью стандартизированнойоценки.
      2. Чтобы убедиться, что в исследовании изучается специфическое влияние РАС на производство жестов, наберите участников с РАС без эпилепсии, менингита, энцефалита, диабета, детского дезинтегративного расстройства или первазивного расстройства развития (PDD-NOS).
      3. Чтобы убедиться, что генерация жестов при РАС может быть сравнена с типичной стимуляцией жестов, наберите участников с ТД без сопутствующих психических расстройств или родственников первой степени родства с диагнозом первазивных нарушений развития.

2. Обзор манипуляций с видимостью

  1. Набирайте участников в пары, если будут изучены эффекты производства и наблюдения за спонтанными жестами, как в протоколе изучения слов L2. Набирайте участников индивидуально в координации с научным сотрудником, выступающим в качестве участника, если будут изучены только эффекты производства спонтанных жестов, как в протоколе пересказа мультфильмов.
  2. Предоставьте участникам форму информированного согласия с информацией об исследовании, чтобы они могли подписать его и ответить на любые вопросы о нем, стараясь не раскрывать направленность исследования на производство жестов. Соберите бланк после того, как участники его подпишут.
  3. Для участников, набранных в пары, используйте метод отбора, такой как подбрасывание монеты, чтобы определить, кто из участников будет выступать в качестве оратора, кто будет говорить большую часть времени в экспериментальном задании, а кто будет выступать в качестве собеседника, кто будет больше всего слушать и время от времени взаимодействовать с говорящим в экспериментальном задании. Для участников, набираемых индивидуально с научным сотрудником, действующим в качестве участника, используйте фиксированный метод отбора, такой как подбрасывание монеты, чтобы гарантировать, что участник всегда выступает в качестве оратора, а научный сотрудник всегда выступает в качестве собеседника.
  4. В половине экспериментальных сеансов установите непрозрачную перегородку между говорящим и собеседником, чтобы они не могли видеть лицо или руки друг друга.
  5. Объясните участникам, что они будут делать в экспериментальном задании и ответьте на любые вопросы по нему. Сообщите участникам, что их речь будет записана на аудио, указав на микрофон, используемый для этой цели. Чтобы избежать влияния осведомленности о видеозаписи на воспроизведение жестов, не сообщайте участникам о том, что они будут записываться на видео, и следите за тем, чтобы видеокамера, используемая для этой цели, не была видна участникам.
  6. Начните запись видео и аудио нажатием соответствующих кнопок. Выполните экспериментальную задачу, чтобы добиться речи и жестов от говорящего и участвующего собеседника, если таковые имеются.
  7. Если используется дизайн для внутренних участников, удалите непрозрачный разделитель, если он использовался в первой итерации, или поместите его между говорящим и собеседником, если он не использовался в первой итерации.
  8. Повторяйте экспериментальное задание по мере необходимости, пока не будут исчерпаны все стимулы.
  9. Остановите запись видео и аудио нажатием соответствующих кнопок. Сообщите участникам, что основное внимание в исследовании уделялось жестам и что они были записаны на видео, и при желании предложите удалить их видео перед анализом данных.
  10. Ответьте на любые вопросы участников и поблагодарите их за участие, прежде чем отмахнуться от них.

3. Протокол изучения слов L2

  1. Видео и аудио записывают говорящего и собеседника, чтобы впоследствии можно было проанализировать произнесение речи и жестов во время экспериментальной задачи.
    1. Поместите настольный микрофон между динамиком и собеседником для записи звука. Разместите видеокамеру сбоку между говорящим и собеседником под углом 90° и убедитесь, что она не видна участникам.
    2. Кроме того, убедитесь, что и говорящий, и собеседник находятся в поле зрения видеокамеры и что экран компьютера не виден в поле зрения видеокамеры, чтобы сохранить слепоту к условиям, в которых слова L2 представлены в анализе.
  2. Используя компьютер, покажите слово L2 с целевого языка на слух говорящему через наушники, чтобы убедиться, что оно неслышно собеседнику, чтобы говорящий мог впоследствии научить его собеседнику. В то же время покажите говорящему либо видео, на котором носитель языка L1 произносит слово L2 и делает репрезентативный жест, передающий его значение с помощью текста слова L2 в нижней части экрана, либо слово L2 в виде текста в центре экрана без видео.
  3. После паузы в 500 мс предъявите говорящему перевод L1 слова L2 в виде текста в центре экрана в течение 2000 мс.
  4. Попросите объясняющего объяснить собеседнику слово L2 и его значение с помощью речи и/или жестов.
  5. Попросите динамик нажать кнопку, чтобы продолжить, когда все будет готово. После того, как говорящий это сделает, произнесите еще одно слово L2. Повторяйте этот процесс до тех пор, пока все 20 слов L2 не будут представлены в случайном порядке.
  6. По отдельности проверьте знание говорящим и собеседником слов L2, представленных в экспериментальном задании, представив каждое слово L2 в виде текста и предложив им произнести его перевод L1 или пропустить слово, если они не помнят его перевода.

4. Протокол пересказа мультфильмов

  1. Если IQ участника ранее не измерялся с помощью стандартизированной оценки IQ, проведите ее, чтобы убедиться, что его IQ составляет 85 или выше.
  2. Записывайте участников видео и аудио, чтобы впоследствии можно было проанализировать их речь и жесты. Поставьте перед участником настольный микрофон для записи звука. Поместите камеру с одной стороны от участника под углом 90° и убедитесь, что камера не видна участнику.
  3. Подарите участнику первую половину мультфильма Looney Tunes «Canary Row». Эта половина мультфильма содержит несколько виньеток, в которых кот Сильвестр безуспешно пытается поймать птицу Твити.
  4. Поручите участнику пересказать собеседнику события первой половины мультфильма настолько подробно, насколько он сможет вспомнить. Проинструктируйте собеседника слушать пересказ участника, побуждая его говорить больше, если он краток.
  5. Повторите шаги 4.1. и 4.2. для второй половины видео Canary Row, которое содержит еще несколько виньеток, в которых кот Сильвестр пытается, но не может поймать птицу Твити.

5. Транскрипция и кодирование

ПРИМЕЧАНИЕ: Чтобы свести к минимуму систематическую ошибку, по возможности расшифровывайте и кодируйте данные вслепую, не зная, какие участники и испытания были отнесены к каким условиям. В идеале расшифровщики и кодировщики не должны привлекаться к сбору данных.

  1. Расшифруйте всю речь участников орфографически вручную с помощью соответствующего программного обеспечения в соответствии со стандартизированной схемой, такой как CHAT47, для подсчета слов. Расшифровывайте всю вербальную информацию, такую как филлеры и исправления, но не расшифровывайте паузы.
  2. Определите и закодируйте все жесты участников, чтобы получить счетчик для каждого типа жестов. Определите жесты от паузы до паузы и разделите их на четыре типа на основе таксономииМакнейла 2,3: иконический, метафорический, битовый и дейктический. Обратите внимание, что некоторые жесты могут быть классифицированы как более одного типа.
  3. Вычислите количество жестов на сто слов, разделив количество репрезентативных жестов на количество слов и умножив его на 100 для каждой виньетки.
  4. Иметь независимого кодировщика кода участника жестов для 25% данных. Согласуйте процент вычислений для данных, закодированных обоими кодировщиками, и убедитесь, что он составляет не менее 80 %, чтобы обеспечить достаточную надежность посредника.

Результаты

Изучение слов L2
Реализация: Результаты, представленные ниже, основаны на данных, собранных от 52 здоровых участников (21 мужчина, 31 женщина; возраст: M = 20,15, SD = 1,73, диапазон = 18-28) в соответствии с протоколом, описанным выше. Вся речь и жесты кодировались основным кодировщиком, который не мог оставаться слепым к условиям видимости, поскольку данные как от говорящего, так и от собеседника записывались с помощью одной камеры, как описано в шаге 3.4. Чтобы установить надежность между оценщиками, вторичный кодировщик независимо закодировал все жесты, произведенные 6 случайно выбранными парами (k = 389, 23,08% данных). Согласие между первичными и вторичными оценщиками составило 92% в идентификации жестов и 90% в их категоризации.

Обзор анализов: В последующем анализе общее производство жестов говорящими и собеседниками и различные типы жестов сравнивались на основе видимости, чтобы оценить их влияние на коммуникацию слов L2. Из-за неравномерности нормальности и асимметрии сравнения на основе видимости проводились с использованием непараметрических U-тестов Манна-Уитни, которые не имеют предположений, основанных на нормальности и асимметрии. В частности, U-тесты Манна-Уитни были использованы для определения того, равна ли вероятность того, что производство жестов будет больше в видимом состоянии, чем в невидимом состоянии, вероятности того, что производство жестов будет больше в невидимом состоянии, чем в видимом состоянии.

Выводы: U-тесты Манна-Уитни показали, что основные носители, чьи собеседники были видны, производили больше жестов, чем основные носители, чьи собеседники не были видны, U = 53, p = 0,02. В частности, основные говорящие с видимыми собеседниками воспроизводили больше репрезентативных ( U = 30, p = 0,001) и дейктических ( U = 52, p = 0,02) жестов, чем первичные спикеры с невидимыми собеседниками (см. рис. 1). Воспроизведение жестов ритма у основных говорящих существенно не отличалось в зависимости от условий видимости, U = 82, н.м., хотя они воспроизводили больше этих жестов в присутствии видимых, чем невидимых собеседников. Несмотря на то, что собеседники, видимые основным носителям языка, также производили больше жестов, чем собеседники, невидимые основными носителями языка, эта разница не достигла значения, U = 89, н.с. Ни одно из сравнений между различными типами жестов в зависимости от видимости не достигло значимости для собеседников, несмотря на то, что они воспроизводили больше каждого типа жестов в присутствии видимых, чем невидимых основных говорящих. Эти результаты свидетельствуют о том, что основные носители увеличивают количество репрезентативных и дейктических жестов в присутствии видимых собеседников, в то время как их собеседники могут этого не делать.

Результаты пересказа мультфильмов
Реализация: Результаты, представленные ниже, основаны на данных, собранных от 41 подростка, у 18 из которых было диагностировано расстройство аутистического спектра (15 мальчиков, 3 женщины; возраст: M = 15,17, SD = 2,75, диапазон = 10,44 - 19,49) и 23 из которых были типично развивающимися (15 мальчиков, 6 женщин; возраст: M = 15,81, SD = 2,42, диапазон = 11,52-19,36). Участники обеих групп были сопоставлены по хронологическому возрасту, полу и вербальному IQ. Вся речь и жесты кодировались двумя кодировщиками, слепыми к состоянию видимости и диагнозу. Чтобы установить надежность между оценщиками, вторичный кодер независимо закодировал все жесты, выполненные 10 случайно выбранными участниками (24,3% данных). Согласие между первичными и вторичными оценщиками составило 98% в идентификации жестов и 95,4% в их категоризации.

Обзор анализов: В следующих анализах общее производство жестов и производство различных типов жестов сравнивались на основе диагностики и видимости, чтобы оценить их влияние на коммуникацию. В частности, двусторонний дисперсионный анализ был использован для изучения как независимых, так и интерактивных эффектов диагноза (РАС против ТД) и видимости (видимой и невидимой).

Выводы: Для общего развития жестов не наблюдалось основного эффекта диагноза (F < 1). Тем не менее, мы обнаружили взаимодействие типа жеста по диагнозу (F(3,117) = 0,74, p = 0,05, ηp2 = 0,07). В частности, подростки с РАС производили меньше метафорических жестов (M = 0,48; SD = 0,63), t(39) = 1,99, p = 0,05, d = 0,49 и жесты такта (M = 0,26; SD = 0,60, t(39) = 2,13, p = 0,04, d = 0,67), чем у подростков TD (метафора: M = 1,08; SD = 1,62; удар: М = 1,14; SD = 1,76). Не было обнаружено различий между подростками с РАС и ТД в отношении продукции иконических заболеваний (РАС: М = 0,79; SD = 0,25; ТД: М = 0,77; SD = 0,25; t < 1) или дейктический (ASD: M = 0,36; SD = 0,16; ТД: М = 0,25; SD = 0,10; t<1) жесты. Подростки с расстройствами аутистического спектра и ТД демонстрировали больше жестов при разговоре с видимым слушателем (М = 0,97 г/100; SD = 1,45), чем невидимый слушатель (M = 0,36 г/100; SD = 0,83; F(1,39) = 18,18, p < 0,001, ηp2 = 0,32; см. Рисунок 2). Тем не менее, общая производительность жестов не показала диагноза по взаимодействию с собеседником (F < 1). В совокупности эти результаты указывают на то, что подростки с РАС производят другие типы жестов, чем их сверстники с РАС, но подростки с РАС увеличивают производство всех типов жестов при разговоре с видимыми собеседниками, как и их сверстники с РАС.

figure-results-1
Рисунок 1: Воспроизведение жестов основными говорящими и собеседниками в задаче на изучение слов L2. Производство жестов основными говорящими и собеседниками на сотню слов по условиям видимости (полосы погрешностей представляют стандартную ошибку). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-2
Рисунок 2: Производство жестов у подростков с РАС и ТД по видимости в задаче на пересказ мультфильмов. Воспроизведение различных типов жестов на сотню слов подростками с РАС и ТД в состоянии (А) видимого слушателя и (Б) невидимого слушателя (полосы погрешностей представляют стандартную ошибку). Этот рисунок был изменен с разрешения Morett et al.21. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Обсуждение

Текущий протокол манипулирует видимостью говорящего и собеседника друг для друга, давая представление о его влиянии на производство жестов в сложных обстоятельствах: заучивание слов L2 и пересказ повествования подростками с РАС. Этот протокол может быть реализован как лично, так и виртуально, что позволяет манипулировать видимостью участника и собеседника в тандеме или независимо друг от друга. Он может вместить широкий спектр экспериментальных задач, жестов и популяций, обеспечивая их гибкость для реализации в различных обстоятельствах, в которых коммуникация является сложной задачей, и выявлять многочисленные способы, которыми производство жестов изменяется в этих условиях. Таким образом, манипулируя видимостью собеседника, текущий протокол дает представление о том, как жест влияет на межличностную коммуникацию в популяциях с проблемами коммуникации.

Как и в других подобных протоколах, используемых со здоровыми взрослыми носителями L1 13,26,42,43, наиболее важным аспектом текущего протокола является манипулирование видимостью говорящих и собеседников друг для друга. Поскольку в обоих исследованиях, описанных здесь21,33, текущий протокол проводился лично, видимость манипулировалась в тандеме, так что говорящие и собеседники были либо взаимно видимыми, либо невидимыми друг для друга. Настоящий протокол может быть легко адаптирован для реализации в контексте видеоконференций таким образом, чтобы видимостью говорящего и собеседника можно было манипулировать независимо друг от друга, что позволяет отделить влияние видимости на воспроизведение жестов говорящим и собеседником43. Еще одним важным аспектом современного протокола является его диалогический характер, который отражает натуралистические разговорные контексты через включение как говорящего, так и собеседника, что согласуется с предыдущими структурированными интерактивными задачами, используемыми для изучения производства жестов 11,12,17,18,19,20,22. Примечательно, что собеседник может быть как вторым участником, так и научным сотрудником, в зависимости от того, представляет ли его жестикуляционная продукция интереса. Последний критический аспект текущего протокола заключается в том, чтобы не информировать участников о том, что он сосредоточен на воспроизведении жестов, и гарантировать, что они не будут знать, что они записываются на видео, до тех пор, пока экспериментальная задача небудет выполнена. Несмотря на то, что участники знали о видеозаписи в некоторых исследованиях с использованием аналогичных протоколов 12,20,43, воспроизведение жестов в протоколах, подобных текущему протоколу, с большей вероятностью приближается к воспроизведению жестов в натуралистических разговорных условиях, когда участники не осознают, что их жесты записываются.

Основным преимуществом текущего протокола является его гибкость с точки зрения задач, участников и жестов. Несмотря на то, что задания на пересказ повествования часто используются, учитывая их эффективность в выявлении различий в воспроизведении репрезентативных жестов в контекстах лицом к лицу26,42, манипуляция может включать в себя другие задачи для выявления воспроизведения жестов, такие как описанная здесь парадигма обучения словамL2 33,48, а также интервью11,12, описание изображения13,14, решение головоломок15,16, и положение о направлении 17,19,27. Благодаря дружелюбию участников, манипуляция видимостью собеседника может быть использована с группами населения с проблемами коммуникации, такими как учащиеся L2 и дети с расстройством аутистического спектра, как описано здесь, а также с детьми и взрослыми с определенными нарушениями речи, заиканием, черепно-мозговой травмой и афазией. Манипуляция видимостью собеседника позволяет исследовать репрезентативные, ритмические и дейктические жесты, позволяя количественно оценить различия в их производстве в зависимости от видимости собеседника в разных популяциях. Наконец, несмотря на то, что манипуляция видимостью собеседника изначально была разработана для использования в контексте лицом к лицу, она может быть реализована в контексте видеоконференций путем включения и выключения веб-камеры, что позволяет напрямую сравнивать производство жестов при манипулировании видимостью в контекстах видеоконференций и лицом к лицу49, а также проводить независимое исследование влияния видимости основного говорящего и собеседника на производство жестов43.

Несмотря на то, что манипулирование видимостью собеседника может улучшить понимание производства жестов в популяциях и обстоятельствах с проблемами коммуникации из-за дружелюбия и гибкости участников, оно имеет некоторые ограничения. В своем нынешнем варианте он реализуется лично, что может ограничить набор местными удобными выборками. Это ограничение было преодолено за счет реализации в контексте видеоконференций, но на сегодняшний день оно не было реализовано в популяциях с проблемами коммуникации в контексте видеоконференций, поэтому степень, в которой результаты относительно производства жестов в этих группах населения воспроизводятся в этих контекстах, в настоящее время неясна. Чтобы устранить это ограничение, в настоящее время мы реализуем версию манипуляции с задачей пересказа мультфильмов в контексте видеоконференции со здоровыми носителями английского языка L1, которую мы планируем реализовать с людьми с РАС в дальнейшем. Несмотря на доступность манипулирования видимостью для широкого круга потенциальных участников с проблемами коммуникации, участники должны быть в состоянии успешно выполнить задания, что делает их недоступными для участников, не владеющих достаточным знанием языка, на котором они преподаются. Хотя это ограничение может быть в некоторой степени устранено за счет упрощения задач, снижение требований к воспроизведению речи может привести к снижению производительности жестов, что затрудняет обнаружение различий в воспроизведении жестов из-за видимости собеседника.

Текущий протокол представляет собой первую реализацию манипулирования видимостью собеседника с населением с проблемами коммуникации. Несмотря нато, что видимость собеседника ранее манипулировалась для изучения ее влияния на производство жестов у здоровых детей младшего возраста, которые в некоторых случаях могут испытывать трудности в общении на уровне L1, они не испытывают таких проблем с коммуникацией, как у начинающих учащихся L2 или подростков с РАС. Результаты ранее опубликованных исследований, рассмотренных в разделах21,33 репрезентативных результатов, служат доказательством того, что текущий протокол может выявить сходства и различия в том, как видимость собеседника влияет на производство жестов в этих популяциях, демонстрируя, что они могут быть реализованы у людей с более серьезными и стойкими проблемами в общении, чем здоровые англоговорящие дети младшего возраста L1. В будущем будет плодотворно внедрять текущий протокол с группами населения с еще более серьезными и устойчивыми коммуникативными проблемами, такими как люди с афазией12,38, специфическими нарушениями речи35,36,37 или заиканием40,41, чтобы изучить влияние манипулирования видимостью собеседника на их жестикуляцию.

В целом, существующие протоколы предоставляют средства для изучения влияния видимости собеседника на воспроизведение жестов при наличии проблем с коммуникацией во время изучения слов L2 и пересказа повествования у людей с РАС. При этом он дает представление о том, в какой степени производство жестов у людей с коммуникативными проблемами реагирует на потребности собеседника, показывая, в какой степени люди с коммуникативными проблемами участвуют в принятии перспектив во время общения. Манипулирование видимостью собеседника обеспечивает гибкость для изучения этого, а также других важных теоретических вопросов, касающихся производства жестов с различными задачами, популяциями и типами жестов как в виртуальном, так и в личном контекстах, выявляя степень, в которой результаты обобщаемы и воспроизводимы, и обеспечивая понимание ситуаций, в которых могут наблюдаться индивидуальные различия в воспроизведении жестов. Таким образом, манипулирование видимостью собеседника имеет потенциал для улучшения понимания производства жестов в сложных коммуникативных обстоятельствах в личном и виртуальном контекстах.

Раскрытие информации

У автора нет конкурирующих финансовых интересов, о которых он мог бы заявить.

Благодарности

Разработка и валидация протокола изучения слов L2 была поддержана стипендией Национальной программы оборонных наук и инженерных наук (NDSEG) (32 CFR 168a), выданной Управлением научных исследований ВВС США Министерства обороны США. Разработка и валидация протокола пересказа мультфильмов с подростками с РАС были поддержаны премией Рут С. Киршштейн Институциональной национальной исследовательской службы (T32) от Национальных институтов психического здоровья. Автор благодарит Рэйчел Фейдер, Тео Хаугена, Эндрю Линна, Эшли Капуто и Марко Пилотту за помощь в сборе данных и кодировании.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
КомпьютерAppleZ13124" iMac, 8-ядерный процессор и GPU, чип M3
Конференц-USB-микрофонTonorB07GVGMW59
ELANПрограммное приложение Language ArchiveПрограммное приложение, используемое для расшифровки речи и жестов
ВидеорегистраторVjiangerB07YBCMXJJFHD 2.7K 30 кадров в секунду 24 МП 16-кратный цифровой зум 3-дюймовый сенсорный экран видеорегистратор с управлением заметкой и штативом
Weschler Сокращенная шкала интеллектаPearson158981561Использовано для проверки полномасштабного IQ &ge 80 в Morett et al. (2016)

Ссылки

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Похожие статьи