Иностранный акцент и криминалистическая идентификация диктора в голосовых рядах: влияние акустических особенностей на основе просодии
27 сентября 2024 г.
Это исследование было направлено на сравнение L1-L2-English и L1-L2 Portuguese, чтобы проверить, насколько влияние иностранного акцента влияет как на метрики, так и на просометрически-акустические параметры, а также на выбор целевого голоса в голосовой линейке.
В нашем исследовании рассматривается, как иностранный акцент повлиял на идентификацию говорящего. Мы сосредоточимся на просодических характеристиках, основанных на основной частоте, которая представляет собой высоту голоса, продолжительность и качество голоса. Наша цель — понять, как эти особенности влияют на суждения слушателей в голосовых рядах.
Все больше внимания уделяется и исследованиям производительности автоматического распознавания говорящих, что применяет автоматизацию к рабочему процессу судебного сравнения говорящих. Тем не менее, эта информация похожа на черный ящик, о котором судмедэксперты сообщают полиции, судьям и присяжным. Системы автоматического распознавания диктора на основе классических методик, таких как модели GMM, UBM и живые актеры.
Также существуют нейронные исследования, основанные на искусственном интеллекте. Мы предлагаем автоматизированный поток с сохранением лингвистической информации, пропущенной системами автоматического распознавания речи. Наш протокол использует комбинированный слуховой и акустический подход для криминалистического сравнения речи при установлении стран, где была разработана наука, но с использованием автоматизированных инструментов для извлечения широкого спектра акустических особенностей, а также для выполнения процедур акустического сходства.
Для начала запишите языковую транскрипцию для каждого аудиофайла в формате TXT. Добавьте теги к паре файлов TXT и WAV с одинаковыми именами. Создайте папку для каждого языка L1, L2.
Убедитесь, что все пары файлов одного и того же языка находятся в одной папке. Откройте веб-интерфейс принудительного выравнивателя Munich Automatic Segmentation, перетащите каждую пару файлов WAV и TXT из папки в пунктирный прямоугольник в файлах. Нажмите кнопку «Загрузить», чтобы загрузить файлы в выравниватель.
В меню параметров службы для данных L1 L2 на английском языке выберите grapheme to phoneme to phone to slogable для имени конвейера и English-US для языка. Оставьте стандартные параметры формата вывода и сохраните все. Установите флажок «Выполнить», чтобы принять условия использования.
Нажмите кнопку запуска веб-сервиса, чтобы запустить загруженные файлы в выравнивателе. После обработки файлов нажмите кнопку «Загрузить как zip-файл», чтобы загрузить файлы текстовой сетки. Извлечение текстовых файлов сетки для последующей перестройки в программном обеспечении для фонетического анализа.
Получите доступ и загрузите скрипт для PRAAT VVUnitAligner. Убедитесь, что все пары файлов одного языка и скрипт VVUnitAligner находятся в одной папке. Откройте программу для фонетического анализа.
В окне объекта нажмите кнопку Praat и откройте скрипт Praat, чтобы загрузить скрипт. Нажмите кнопку «Выполнить», затем выберите язык «Английский-США». Теперь на кнопке сегментации блоков выберите «Автоматически».
Установите флажок «Сохранять файлы текстовой сетки», чтобы автоматически сохранять вновь созданные файлы текстовой сетки. Нажмите кнопки «ОК» и «Бег» для перестановки фонетических единиц. С данного сайта загрузите скрипт извлечения речевых ритмов для автоматического извлечения просодических акустических особенностей.
Создайте новую папку и добавьте скрипт извлечения ритма речи вместе со всеми файлами текстовой сетки аудио на всех языках. Откройте программу для фонетического анализа. В окне объекта нажмите кнопку Praat и откройте скрипт Praat, чтобы загрузить скрипт.
Затем нажмите кнопку «Выполнить» один раз. Отметьте опцию параметров качества голоса, чтобы сохранить выходной файл VQ для качества голоса. Теперь отметьте опцию лингвистической цели, чтобы выбрать язык.
Затем отметьте опцию единиц измерения, чтобы выбрать элементы F0 в полутонах. Задайте значения порогового значения F0, включая минимальное и максимальное пороговые значения. Нажмите OK, а затем выполните команду run для автоматического извлечения акустических особенностей.
Для выполнения обобщенных аддитивных моделей, непараметрического статистического анализа необходимо ввести указанную команду и выгрузить таблицу, содержащую извлеченные акустические особенности, в среду R. Наконец, нажмите Enter для выполнения. Скорость речи снижалась быстрее у L1 L2 English по сравнению у L1 L2 BP, у которых были менее крутые склоны из-за более высокой длительности слогов и меньшей вариативности.
Локальное мерцание оставалось относительно стабильным для носителей бразильского языка, L1 BP и L2 английского, несмотря на увеличивающуюся вариабельность длительности слога. Частота пауз была выше у носителей L2 BP, с более длительными паузами по сравнению с носителями L1 English, L1 BP и L2 English. Скорость артикуляции влияла так же, как и скорость речи, с более низкими показателями, связанными с более высокой когнитивной лингвистической нагрузкой и вариативностью слогов.
Стандартное отклонение длительности слога уменьшалось по мере увеличения скорости речи на всех языковых уровнях. Варко слогов уменьшалось для L1 BP и L2 BP с увеличением вариабельности F0 и скорости речи, в то время как для L1 английского и L2 английского он увеличивался. Стандартное отклонение согласных показало меньшую вариабельность в L1 BP по мере увеличения темпа речи или длительности паузы по сравнению с английским языком L1.
Стандартное отклонение для гласных и согласных следовало модели снижения для L1 BP и L2 BP с увеличением просодических особенностей, в то время как оно уменьшалось, а затем ослабевало для L1 английского и L2 английского. После подготовки четырех голосовых составов для английского языка и BP, получите аудиофайлы от выбранных спикеров и разложите их по папкам для конкретного языка. Случайным образом выберите шесть голосовых фрагментов на языках L1 English или L1 BP. Затем выберите один голосовой блок на английском языке L2 или L2 BP из одного из шести голосовых блоков.
Получите доступ и загрузите скрипт для Praat Create Lineup. Перед запуском сценария убедитесь, что эталонный голос L2, фольги L1 и целевой голос L1 помещены в одну папку. Откройте программу для фонетического анализа.
В окне объекта нажмите кнопку Praat и откройте скрипт Praat, чтобы загрузить скрипт. Затем нажмите кнопку «Выполнить», чтобы выполнить сценарий создания состава. В среде R для выполнения теста Краскела-Уоллеса введите указанную команду.
Затем загрузите таблицу, содержащую баллы суждений слушателей, и нажмите Enter. Затем для постфактум теста Данна введите следующую команду и нажмите Enter. Получите доступ к скрипту Python и загрузите его по адресу: Acoustic Similarity Cosine Euclidean.
Убедитесь, что загруженный сценарий сохранен в той же папке, что и набор данных голосовой линии. Нажмите кнопку «Открыть файл», чтобы вызвать сценарий, затем нажмите кнопку «Выполнить» и запустите без кнопок отладки, чтобы выполнить сценарий. Наконец, проведите тесты на сходство голоса на основе акустических особенностей.
В первой линейке голосов BP третий голос был оценен как целевой голос, без существенной разницы между третьим и четвертым голосом. Во втором голосовом ряду BP не было обнаружено существенной разницы между целевым голосом 3 и фольгой 4. Как косинусоидное сходство, так и евклидово расстояние показали сильную корреляцию между третьей фольгой и целевым голосом в первой линии АД.
Во второй линейке БП оба показателя сходства сильно коррелировали между четвертой фольгой и целью.
Обзор
В данном исследовании изучается влияние иностранного акцента на идентификацию говорящего с акцентом на просодических характеристиках, таких как высота, длительность и качество голоса. Цель работы — понять, как эти особенности влияют на суждения слушателей при предъявлении голосовых линеек.
Основные компоненты исследования
Область науки
- Нейронаука
- Психология
- Судебная экспертиза
Теоретическая часть
- Исследования в области автоматического распознавания говорящего становятся все более актуальными.
- Просодические характеристики играют решающую роль в идентификации говорящего.
- Эксперты-криминалисты часто сталкиваются с трудностями при интерпретации результатов систем автоматического распознавания.
- Понимание принципов суждений слушателей может способствовать совершенствованию криминалистической практики.
Цель исследования
- Сравнить влияние иностранных акцентов на идентификацию говорящего.
- Проанализировать просодико-акустические параметры в голосовых линейках.
- Углубить понимание механизмов принятия решений слушателями в контексте судебной экспертизы.
Используемые методы
- Анализ основной частоты и высоты голоса.
- Изучение показателей длительности и качества голоса.
- Сравнительное исследование групп L1-L2-English и L1-L2-Portuguese.
- Оценка ответов слушателей при предъявлении голосовых линеек.
Основные результаты
- Иностранный акцент существенно влияет на идентификацию говорящего.
- Просодические характеристики влияют на оценки слушателей.
- Были отмечены различия между англоязычными и португалоязычными говорящими.
- Полученные результаты способствуют пониманию методов судебного сравнения речи говорящих.
Выводы
- Акцент влияет на восприятие слушателя при идентификации голоса по выборке образцов.
- Просодические характеристики имеют решающее значение при распознавании говорящего.
- Необходимы дальнейшие исследования для совершенствования судебно-экспертных методик.
Часто задаваемые вопросы
Значимость для промышленности
Количественный анализ просодико-акустических характеристик речи с иностранным акцентом позволяет объективно оценивать личность говорящего, что способствует развитию научно-исследовательских разработок в области криминалистики и безопасности. Интеграция статистического моделирования и метрик акустического сходства повышает достоверность прогнозов при идентификации по голосу, снижая неопределенность при принятии критически важных решений. Эти возможности имеют решающее значение для корпоративных рабочих процессов, где надежное и воспроизводимое сравнение характеристик говорящих служит основой для принятия портфельных решений с учетом рисков.
Стратегическое применение в биофармацевтических исследованиях и разработках
Ранний поиск и валидация мишени
- Обеспечивает возможность строгого тестирования гипотез о влиянии просодических признаков на дифференциацию говорящих.
- Способствует снижению механистических рисков за счет количественной оценки вариабельности f0, длительности и качества голоса.
- Облегчает функциональную валидацию акустических маркеров, имеющих значение для верификации личности.
Скрининг и разработка анализа
- Стандартизирует извлечение акустических признаков для обеспечения воспроизводимости последующего анализа.
- Подготавливает валидированные наборы данных для масштабируемого скрининга образцов голоса в криминалистическом контексте.
- Обеспечивает количественное сравнение образцов голоса из ряда предъявляемых вариантов, поддерживая надежные протоколы оценки.
Трансляционные и доклинические исследования
- Приводит анализ акустических признаков в соответствие с практическими потребностями в области судебной экспертизы и обеспечения безопасности.
- Обеспечивает непрерывный переход от обнаружения просодических маркеров к доклинической валидации систем идентификации.
- Поддерживает развитие стратегий использования голосовых биомаркеров с учетом анализа рисков.
Интеграция конвейеров и рабочих процессов
Данный протокол объединяет этапы от первоначального поиска акустических маркеров до статистической валидации и скрининга, поддерживая рабочие процессы от проверки гипотез до оценки доклинических систем.
- Фундаментальная биология: Количественная оценка просодико-акустических характеристик для выяснения механизмов, лежащих в основе идентификации говорящего.
- Скрининг: Обеспечение стандартизированного и воспроизводимого извлечения признаков для оценки результатов опознания.
- Аналитика: Предоставление статистических данных (GAM, критерий Краскела-Уоллиса, тест Данна) и метрик сходства для надежного сравнения условий.
- Трансляционные исследования: Связь между обнаружением акустических маркеров и их практическим применением в судебной экспертизе.
- Корпоративное использование: Создание многократно используемого аналитического конвейера для исследований по идентификации по голосу.
Операционное и корпоративное влияние
- Научная ценность: повышает точность прогнозирования и снижает механистическую неопределенность при идентификации говорящего.
- Операционная ценность: обеспечивает стандартизированные, масштабируемые и воспроизводимые рабочие процессы акустического анализа.
- Стратегическая ценность: служит основой для принятия решений о целесообразности дальнейшего развития (go/no-go) и повышает эффективность использования капитала в портфелях криминалистических исследований и разработок.
- Влияние на портфель: поддерживает приоритизацию технологий идентификации по голосу с учетом рисков.
Особенности реализации
- Требуются экспертные знания в области акустического анализа, статистического моделирования и работы с фонетическим программным обеспечением.
- Зависит от доступа к специализированному инструментарию и аналитической инфраструктуре (например, PRAAT, R, скрипты Python).
- Требует межкомандной стандартизации форматов данных и протоколов извлечения признаков.
- Должно быть адаптировано для модельных систем, специфичных для конкретного языка и акцента.
- Практические ограничения включают вариативность восприятия слушателями и различия между языковыми группами.
