Artykuł metodologiczny

Obcy akcent i kryminalistyczna identyfikacja mówcy w składach głosowych: wpływ cech akustycznych na podstawie prozodii

DOI:

10.3791/66313

⸱

27 września 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie miało na celu porównanie L1-L2-angielskiego i L1-L2 portugalskiego, aby sprawdzić, jak bardzo wpływ obcego akcentu wpływa zarówno na metryki, jak i parametry prozodowo-akustyczne, a także na wybór docelowego głosu w zestawie głosowym.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie ma na celu zbadanie zarówno cech prozodyczno-akustycznych, jak i percepcyjnych korelatów angielskiego z obcym akcentem i brazylijskiego portugalskiego z obcym akcentem oraz sprawdzenie, jak produkcja obcych i rodzimych akcentów przez mówców jest skorelowana z percepcją słuchaczy. W ramach Metodyki przeprowadziliśmy procedurę produkcji mowy z grupą Amerykanów posługujących się L2 (brazylijski portugalski) oraz grupą Brazylijczyków (L2 English), a także procedurę percepcji mowy, w której wykonaliśmy składy głosowe dla obu języków. Na potrzeby analizy statystycznej produkcji mowy przeprowadziliśmy uogólnione modele addytywne, aby ocenić wpływ grup językowych na każdą klasę (metryczną lub prozodyczno-akustyczną) cech kontrolowanych pod kątem efektu wygładzania współzmiennych przeciwnej klasy. Na potrzeby analizy statystycznej percepcji mowy przeprowadziliśmy test Kruskala-Wallisa oraz test Dunna post hoc, aby ocenić wpływ głosów składów na wyniki oceniane przez słuchaczy. Przeprowadziliśmy jednak testy podobieństwa akustycznego (głosowego) w oparciu o odległości cosinusowe i euklidesowe. Wyniki wykazały istotne różnice akustyczne między grupami językowymi pod względem zmienności f0, czasu trwania i jakości głosu. W przypadku składów wyniki wykazały, że cechy prozodyczne f0, intensywności i jakości głosu korelowały z postrzeganymi ocenami słuchaczy.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Akcent jest istotnym i dynamicznym aspektem komunikacji i płynności, zarówno w języku ojczystym (L1), jak i w języku obcym (L2)1. Akcent obcy reprezentuje cechy fonetyczne L2 języka docelowego i może się zmieniać (w czasie) w odpowiedzi na doświadczenie mówcy w L2, styl mówienia, jakość danych wejściowych, ekspozycję i inne zmienne. Akcent obcy można określić ilościowo jako (skalarny) stopień różnicy między mową L2 wytwarzaną przez obcokrajowca a akcentem lokalnym lub referencyjnym języka docelowego2,3,4,5.

To badanie ma na celu zbadanie zarówno cech prozodyczno-akustycznych, jak i percepcyjnych korelatów angielskiego z obcym akcentem i brazylijskiego portugalskiego (BP), a także sprawdzenie, w jakim stopniu produkcja obcych i rodzimych akcentów przez użytkowników jest skorelowana z percepcją słuchaczy. Wcześniejsze badania w dziedzinie kryminalistyki wykazały, że samogłoski i spółgłoski w identyfikacji obcego akcentu są albo stabilne w długoterminowej analizie danej osoby (The Lo Case6) lub odnoszą się do wysokiej dokładności ID osoby mówiącej (The Lindbergh Case7). Jednak eksploracja cech prozodowo-akustycznych w oparciu o czas trwania, częstotliwość podstawową (f0, tj. akustyczny korelat wysokości dźwięku), intensywność i jakość głosu (VQ) zyskuje coraz większą uwagę8,9. W związku z tym wybór cech prozodowo-akustycznych w tym badaniu stanowi obiecującą drogę w dziedzinie fonetyki sądowej8,10,11,12,13.

Obecne badania są wspierane przez badania poświęcone obcym akcentom jako formie maskowania głosu w sprawach kryminalistycznych14,15, a także w przygotowaniu składów głosowych do rozpoznawania mówcy16,17. Na przykład szybkość mowy odegrała ważną rolę w identyfikacji niemieckich, włoskich, japońskich i brazylijskich użytkowników języka angielskiego18,19,20,21,22. Oprócz szybkości mowy, długoterminowe funkcje spektralne i f0 stanowią wyzwanie dla biegłych użytkowników L2 w zakresie znajomości języka docelowego, ponieważ mózg i podstawy poznawcze cierpią na deficyt pamięci, uwagi i emocji, co odbija się na wydajności fonetycznej mówcy podczas długich zwrotów mowy23. Pogląd na temat obcych akcentów w dziedzinie kryminalistyki jest taki, że definicja tego, co naprawdę brzmi jak obcy akcent, zależy w dużej mierze od nieznajomości słuchacza, a nie od zerowego do skrajnego stopnia mowy z obcym akcentem24.

W dziedzinie percepcyjnej, powszechnym narzędziem kryminalistycznym używanym od połowy lat 90. do rozpoznawania przestępców jest Voice Lineup (rozpoznawanie słuchowe), które jest analogiczne do rozpoznawania wizualnego używanego do identyfikacji sprawcy na miejscu zbrodni16,25. W zestawieniu głosowym głos podejrzanego jest prezentowany wraz z kontrastami – głosami podobnymi w aspektach socjolingwistycznych, takich jak wiek, płeć, położenie geograficzne, dialekt i status kulturowy – w celu identyfikacji przez naocznego świadka. Powodzenie lub niepowodzenie składu głosowego będzie zależało od liczby próbek głosu i czasu trwania próbki25,26. Ponadto w przypadku próbek ze świata rzeczywistego uważa się, że jakość dźwięku konsekwentnie wpływa na dokładność rozpoznawania głosu. Niska jakość dźwięku może zniekształcić unikalne cechy głosu27. W przypadku podobieństwa głosu, drobne szczegóły fonetyczne oparte na f0 mogą zmylić słuchacza podczas rozpoznawania głosu28,29. Takie cechy akustyczne wykraczają poza f0 i obejmują elementy czasu trwania oraz cechy spektralne intensywności i VQ30. To spojrzenie na wiele cech prozodycznych ma kluczowe znaczenie w kontekście porównywania głosu w kryminalistyce, aby zapewnić dokładną identyfikację mówcy9,14,15,29,31.

Podsumowując, badania nad fonetyką kryminalistyczną wykazały pewne różnice w zakresie identyfikacji obcego akcentu w ciągu ostatnich dziesięcioleci. Z jednej strony, obcy akcent nie wydaje się wpływać na proces identyfikacji mówcy32,33 (zwłaszcza jeśli mówca nie jest zaznajomiony z docelowym obcym akcentem34). Z drugiej strony istnieją wyniki w przeciwnym kierunku12,34,35.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ta praca została zatwierdzona przez komisję etyki badań na ludziach. Ponadto uzyskano świadomą zgodę wszystkich uczestników biorących udział w tym badaniu na wykorzystanie i opublikowanie ich danych.

1. Produkcja mowy

UWAGA: Zebraliśmy mowę z zadania czytania zarówno na temat 'L1 English-L2 BP' wyprodukowanego przez Grupę 1: The American English (z USA) speakers (AmE-S), jak i na obu 'L1 BP-L2 English' wyprodukowanego przez Grupę 2: The Brazilian Speakers (Bra-S). Zobacz Rysunek 1 przedstawia schemat blokowy do produkcji mowy.

figure-protocol-1
Rysunek 1: Schematyczny schemat blokowy do produkcji mowy. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

  1. Uczestników
    1. Określ liczbę uczestników, język (L1 angielski, L2 BP; L1 BP, L2 angielski), płeć (kobieta lub mężczyzna), wiek (średnia, odchylenie standardowe), charakterystyka grupy (profesjonaliści lub studenci studiów licencjackich) oraz poziom biegłości L2 (zaawansowany lub dobrze zaawansowany) dla każdej grupy.
      UWAGA: W niniejszym badaniu zarówno AmE-S, jak i Bra-S zostały uznane za biegłe L2 (obie grupy zostały zakwalifikowane jako B2-C136). AmE-S mieszkał w Brazylii od dwóch lat, kiedy przeprowadzano zabiegi. Bra-S mieszkał w USA od ponad dwóch lat, kiedy przeprowadzano zabiegi. Mieszkając za granicą, obie grupy posługiwały się językiem L2 w celach edukacyjnych i zawodowych co najmniej 6 dni w tygodniu przez ~4-5 godzin dziennie.
    2. Przydziel uczestników do wygodnego i cichego pokoju i przedstaw materiały do czytania dla każdej grupy.
  2. Gromadzenie danych
    UWAGA: Dane mowy muszą być zbierane z zadania czytania w następujących językach: L1-angielski i L2-BP; L1-BP i L2-angielski. W razie potrzeby pozwól uczestnikom wcześniej zapoznać się z tekstami.
    1. Procedury nagrywania
      1. Nagrywaj dane mowy w cichym miejscu z odpowiednimi warunkami akustycznymi.
      2. Użyj dyktafonu cyfrowego (patrz Tabela materiałów)37 i jednokierunkowego mikrofonu kardioidalnego izolowanego elektromagnetycznie (patrz Tabela materiałów)38.
      3. Nagraj dane audio w formie ".wav".
      4. Ustaw częstotliwość próbkowania na 48 kHz i częstotliwość kwantyzacji na 16 bitów.
        UWAGA: Format audio i konfiguracja szybkości próbkowania i kwantyzacji opisane w krokach 1.2.1.3 i 1.2.1.4 są stosowane w celu zapewnienia wysokiej jakości i redukcji szumów w celu zachowania cech spektralnych wykorzystywanych do późniejszej analizy akustycznej.
  3. Analiza akustyczna
    UWAGA: Podziel procedury analizy akustycznej na trzy etapy: wymuszone wyrównanie, ponowne wyrównanie i ekstrakcja cech akustycznych.
    1. Napisz transkrypcję językową (w pliku ".txt') dla każdego pliku audio.
    2. Oznacz parę plików '.txt'/'.wav' tą samą nazwą (np. 'my_file.wav'/ 'my_file. txt').
      UWAGA: Aby zwiększyć wydajność procedury opisanej w sekcji 1.3.7, zdecydowanie zaleca się, aby początkowe trzy znaki znaczników pliku ".txt/.wav" reprezentowały język, dialekt lub akcent, podczas gdy znaki od czwartego do szóstego oznaczały płeć (np. EL1FEM dla English L1 Female). Począwszy od siódmego znaku, użytkownik powinien wskazać numer głośnika (np. 001 dla pierwszego mówcy). W związku z tym pierwsza para ".txt/.wav" jest EL1FEM001.
    3. Utwórz folder dla każdego języka L1-L2.
      UWAGA: Folder dla L1-L2 English i folder dla L1-L2 BP.
    4. Zaświadcz, że wszystkie pary plików w tym samym języku znajdują się w tym samym folderze.
    5. Przeprowadź wymuszone wyrównanie.
      1. Uzyskaj dostęp do interfejsu internetowego Munich Automatic Segmentation (MAUS) forced aligner (webMAUS)39 pod adresem https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline.
      2. Przeciągnij i upuść każdą parę . wav / . txt z folderu do przerywanego prostokąta w Plikach (lub kliknij wewnątrz prostokąta, Rysunek 2A).
      3. Kliknij przycisk Prześlij, aby przesłać pliki do alignera (patrz czerwona strzałka w Rysunek 2A).
      4. Wybierz następujące opcje w menu Opcje usługi (Rysunek 2B): G2P-MAUS-PHO2SYL dla nazwy rurociągu; Angielski (USA) (dla języka), jeśli L1-L2 Dane w języku angielskim; Włoski (IT) (dla języka) if L1-L2 BP data.
        UWAGA: Wybraliśmy opcję "Włoska" dla danych BP, ponieważ webMAUS nie zapewnia wstępnie wytrenowanych modeli akustycznych dla wymuszonego wyrównania BP. Literatura fonetyczna twierdzi, że fonologia włoska ma nieco porównywalny symetryczny inwentarz siedmiosamogłoskowy, podobnie jak BP40, a także podobieństwa akustyczne spółgłosek41,42.
      5. Zachowaj domyślne opcje "Format wyjściowy" i "Zachowaj wszystko".
      6. Zaznacz pole opcji Uruchom, aby zaakceptować warunki użytkowania (patrz zielona strzałka w Rysunek 2C).
      7. Kliknij przycisk Uruchom usługę internetową, aby uruchomić przesłane pliki w aligner.
        UWAGA: Dla każdego pliku audio wymuszone wyrównanie MAUS zwraca obiekt Praat TextGrid (wstępnie sformatowany plik ".txt" Praat zawierający adnotacje słów, sylab fonologicznych i liczb na podstawie transkrypcji językowej wyodrębnionej z pliku ".txt" opisanego w kroku 1.3.1).
      8. Kliknij przycisk Pobierz jako plik ZIP, aby pobrać pliki TextGrid jako plik spakowany (Rysunek 2C).
        UWAGA: Upewnij się, że spakowane pliki TextGrid zostały pobrane do tego samego folderu, co pliki audio.
      9. Wyodrębnij pliki TextGrid w celu późniejszego wyrównania w oprogramowaniu do analizy fonetycznej43.
    6. Przeprowadź wyrównanie.
      1. Uzyskaj dostęp do skryptu dla Praat VVUnitAligner44 i pobierz go z https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat.
      2. Zaświadcz, że wszystkie pary plików w tym samym języku i skrypt VVUnitAligner znajdują się w tym samym folderze.
        UWAGA: Folder dla plików L1-L2 w języku angielskim i VVunitAligner oraz folder dla plików L1-L2 BP i VVunitAligner.
      3. Otwórz oprogramowanie do analizy fonetycznej.
      4. Kliknij przycisk Praat | Otwórz skrypt Praat..., aby wywołać skrypt z okna obiektu.
      5. Kliknij raz przycisk Uruchom.
        UWAGA: Na ekranie pojawi się formularz o nazwie Fonetyczne wyrównanie sylab, zawierający ustawienia korzystania ze skryptu (Rysunek 3A).
      6. Kliknij przycisk Język, aby wybrać jeden z języków "Angielski (USA)", "Portugalski (BR)", "Francuski (FR)" lub "Hiszpański (ES)".
      7. Kliknij przycisk Segmentacja porcji, aby wybrać procedurę segmentacji "Automatyczna", "Wymuszona (ręczna)" lub "Brak".
      8. Zaznacz opcję Zapisz pliki TextGrid, aby automatycznie zapisać nowe pliki TextGrid.
      9. Kliknij przycisk OK | Uruchom przyciski, aby wyrównać jednostki fonetyczne z kroku 1.3.5.7 .
        UWAGA: Dla każdego pliku audio, VVUnitAligner wygeneruje nowy plik TextGrid dla sekcji 1.3.7 (Rysunek 3B).
    7. Przeprowadź automatyczną ekstrakcję cech akustycznych.
      1. Uzyskaj dostęp i pobierz skrypt SpeechRhythmExtractor45 z https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat do automatycznego wyodrębniania cech prozodowo-akustycznych.
      2. Utwórz nowy folder i umieść SpeechRhythmExtractor wraz ze wszystkimi parami plików audio/TextGrid we wszystkich językach.
      3. Otwórz oprogramowanie do analizy fonetycznej.
      4. Kliknij przycisk Praat | Otwórz skrypt Praat..., aby wywołać skrypt z okna obiektu.
      5. Kliknij przycisk Uruchom tylko raz.
        UWAGA: Na ekranie pojawi się formularz zawierający ustawienia skryptu. W polach wyjściowych nazw plików ".txt" zmień odpowiednio nazwy plików lub pozostaw nazwy domyślne.
      6. Zaznacz opcję parametrów jakości głosu, aby zapisać plik wyjściowy VQ dla jakości głosu (Rysunek 3C).
        UWAGA: Ten drugi plik wyjściowy (plik wyjściowy VQ) zawiera parametry różnicy między 1i 2 harmoniczną (H1-H2) a szczytem wypukłości cepstralnej (CPP)9.
      7. Zaznacz opcję Język docelowy, aby wybrać jedną z etykiet "Język", "Dialekt" lub "Akcent" (Rysunek 3C).
      8. Zaznacz opcję Jednostka, aby wybrać funkcje f0 w Hz lub w półtonach (Rysunek 3C).
      9. Ustaw w wartościach progu F0 minimalne i maksymalne progi f0 (Rysunek 3C).
        UWAGA: O ile badanie nie ma konkretnych celów lub nie ma wstępnie ustawionych określonych funkcji audio, zdecydowanie zaleca się pozostawienie parametrów kroku 1.3.7.9 z wartościami domyślnymi.
      10. Kliknij przycisk OK | Uruchom do automatycznego usuwania cech akustycznych .
        UWAGA: Skrypt SpeechRhythmExtractor zwraca plik ".txt" rozdzielany tabulatorami (plik wyjściowy / plik wyjściowy VQ) zawierający cechy akustyczne wyodrębnione z głośników.
  4. analiza statystyczna
    1. Prześlij arkusz kalkulacyjny zawierający cechy akustyczne do środowiska R46 (lub dowolnego wybranego oprogramowania/środowiska statystycznego).
    2. Wykonywanie statystyk nieparametrycznych uogólnionych modeli addytywnych (GAM).
      1. Wykonaj GAM w R.
      2. Wpisz następujące polecenia i naciśnij Enter.
        biblioteka(mgcv)
        model = gam(cecha metryczna/prozodyczno-akustyczna w analizie ~ język + s(wybrana cecha metryczna, by = język) + inne cechy metryczne/prozodowo-akustyczne, dane = ramka danych)
        UWAGA: Zdecydowaliśmy się na wykonanie statystyk testowych protokołu w języku programowania R ze względu na jego rosnącą popularność wśród fonetyków (i językoznawców) w środowisku akademickim. R jest powszechnie używany w fonetycznych badaniach terenowych47. Pamiętaj, że krok 1.4.2.2 zawiera pseudokod. Napisz kod zgodnie ze zmiennymi badawczymi.

figure-protocol-2
Rysunek 2: Zrzut ekranu z wyrównania fonetycznego za pomocą wymuszonego wyrównywania MAUS. (A) Przerywany prostokąt jest przeznaczony do przeciągania i upuszczania plików 'my_file.wav'/' my_file.txt' lub klikania do środka w celu wyszukania takich plików z folderu; Przycisk Prześlij jest oznaczony czerwoną strzałką. (B) Przesłane pliki z panelu A (patrz niebieska strzałka), potok, który ma być używany, język par plików, format pliku, który ma zostać zwrócony, oraz przycisk "prawda/fałsz" do przechowywania wszystkich plików. (C) Pole wyboru warunki użytkowania (patrz zielona strzałka), przycisk Uruchom usługi sieci Web i Wyniki (pliki TextGrid do pobrania). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-protocol-3
Rysunek 3: Zrzut ekranu procedury wyrównania. (A) Formularz ustawień wejściowych dla procedury wyrównania. (B) Częściowy kształt fali, spektrogram szerokopasmowy z konturem f0 (niebieskim) i sześcioma poziomami podzielonymi (i oznaczonymi) jako poziom 1: jednostki początku samogłoski do początku następnej samogłoski (V_to_V); początek samogłoski (V_to_V); poziom 2: jednostki samogłoski (V), spółgłoski (C) i pauzy (#); Poziom 3: Reprezentacje foniczne V_to_V; Poziom 4: kilka słów z tekstu; poziom 5: kilka fragmentów (CH) mowy z tekstu; poziom 6: poziom tonalny zawierający najwyższy (H) i najniższy (L) ton każdego fragmentu mowy wytwarzanego przez kobietę AmE-S. (C) Ustawienia wejściowe do automatycznego usuwania cech akustycznych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

2. Percepcja mowy

UWAGA: Przeprowadziliśmy cztery składy głosowe w języku angielskim ze słuchaczami amerykańskimi i cztery składy w BP ze słuchaczami brazylijskimi. Zobacz Rysunek 4 przedstawia schemat blokowy dla percepcji mowy.

figure-protocol-4
Rysunek 4: Schematyczny schemat blokowy dla percepcji mowy. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

  1. Uczestników
    1. Wybierz różnych uczestników dla każdej grupy spośród tych, którzy uczestniczyli w protokole produkcji mowy.
      UWAGA: Do tej części protokołu wybrano dwie grupy uczestników: Grupa 1: AmerykańskiEnglish (z USA) Liksy(AmE-L) i grupa 2: Ligi brazylijskie(Bra-L). Na potrzeby niniejszego badania zarówno AmE-L, jak i Bra-L zostały uznane za biegłe w L2 (obie grupy zostały zakwalifikowane jako B2-C136 AmE-L mieszkał dwa lata w Brazylii, kiedy przeprowadzono procedury. Bra-L mieszkał w USA od ponad dwóch lat, kiedy przeprowadzano zabiegi. Mieszkając za granicą, obie grupy posługiwały się językiem L2 w celach edukacyjnych i zawodowych (co najmniej sześć dni w tygodniu przez około 4 do 5 godzin dziennie).
    2. Określ liczbę uczestników, język (L1 angielski, L2 BP; L1 BP, L2 język angielski), płeć (kobieta lub mężczyzna), wiek (średnia, odchylenie standardowe), charakterystyka grupy (profesjonaliści lub studenci studiów licencjackich) oraz poziom biegłości L2 dla każdej grupy.
  2. Składy głosowe
    UWAGA: Podziel procedury dotyczące zestawów głosowych na dwa różne kroki: przygotowanie i uruchomienie zestawów głosowych.
    1. Przygotuj cztery składy głosowe dla języka angielskiego i cztery dla BP.
      1. Pobierz pliki audio od osób mówiących w sekcji 1: Produkcja mowy.
      2. Zaświadcz, że pliki audio każdego czynnika językowego znajdują się w osobnych folderach.
      3. Losowo wybierz sześć fragmentów głosu w języku angielskim L1 lub L1 BP.
        UWAGA: Sześć głosów w składzie reprezentuje jeden głos docelowy i pięć folii.
      4. Wybierz fragment głosu w języku angielskim L2 lub L2 BP z jednego z głośników wymienionych w kroku 2.2.1.3.
        UWAGA: Fragment głosowy w kroku 2.2.1.4 jest głosem referencyjnym. Kawałki muszą mieć około 20 s długości.8.
      5. Uzyskaj dostęp do skryptu dla Praat CreateLineup48 i pobierz go z https://github.com/pabarbosa/prosody-scripts-CreateLineUp.
      6. Przed uruchomieniem skryptu CreateLineup upewnij się, że głos referencyjny L2, folie L1 i głos docelowy L1 znajdują się w tym samym folderze (Rysunek 5).
      7. Otwórz oprogramowanie do analizy fonetycznej.
      8. W oknie obiektu kliknij Praat | Otwórz skrypt Praat..., aby wywołać skrypt.
      9. Kliknij Uruchom | Uruchom.
        UWAGA: Skrypt zwraca plik w następującej kolejności: (głos referencyjny L2) + (głos docelowy L1 i folie rozmieszczone losowo) (Rysunek 5).
    2. Uruchamianie składów głosowych
      1. Stwórz przestrzeń online, aby hostować składy na dowolnej wybranej platformie (np. SurveyMonkey. Patrz Tabela Materiałów) do zdalnego dyrygowania składami głosowymi.
      2. Uzyskaj dostęp do linku do przestrzeni online.
      3. Prześlij pliki zwrócone ze skryptu CreateLineup na platformę.
      4. Przeprowadź procedurę przed uczestnikami, aby przetestować każdy krok.
        UWAGA: Zaleca się wcześniejsze skorzystanie z linku i uruchomienie składów, aby sprawdzić, czy wszystko działa normalnie.
  3. analiza statystyczna
    1. Prześlij arkusz kalkulacyjny zawierający wyniki ocen słuchaczy do środowiska R (lub dowolnego wybranego oprogramowania/środowiska statystycznego).
      1. Wykonaj próbę Kruskala-Wallisa w R.
      2. Wpisz następujące polecenia i naciśnij Enter.
        model = kruskal.test(orzeczenia ~ każdy skład głosu, dane = ramka danych)
    2. Wykonaj test Dunna post-hoc.
      1. Wykonaj test Dunna w R.
      2. Wpisz następujące polecenia i naciśnij Enter.
        biblioteka(FSA)
        model = dunnTest(osądy ~ każdy skład głosu, dane = dane, metoda = "bonferroni")
        UWAGA: Kody w krokach 2.3.1.2 i 2.3.2.2 są pseudokodami (zob. UWAGA 1.4.2.2).
  4. Analiza podobieństwa akustycznego
    1. Wybierz te składy (por. UWAGA w kroku 2.2.1.3), które prezentowały nieistotne różnice między tarczą a którąkolwiek z folii.
    2. Powtórzyć procedury opisane w krokach od 1.3.1 do 1.3.7.5 oraz od 1.3.7.8 do 1.3.7.10.
    3. Uzyskaj dostęp i pobierz skrypt dla Python49, AcousticSimilarity_cosine_euclidean50 z https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      UWAGA: Skrypt zwraca trzy macierze (w '.txt' i '.csv'): jedną dla podobieństwa cosinusowego51,52, jedną dla odległości euklidesowej52,53, i jedną dla wartości odległości Transformowany euklides, a także porównanie parami między głosem docelowym a każdym folią.
    4. Zaświadcz, że skrypt został pobrany w tym samym folderze, w którym znajduje się zestaw danych składu.
    5. Kliknij przycisk Otwórz plik, aby wywołać skrypt.
    6. Kliknij Uruchom | Uruchom bez debugowania buttons.
      UWAGA: Drugi przycisk Uruchom może być oznaczony jako Uruchom lub Uruchom bez debugowania lub Uruchom skrypt. Wszystkie wykonują te same polecenia. To po prostu zależy od używanego środowiska Pythona.
    7. Przeprowadzanie testów podobieństwa głosu w oparciu o cechy akustyczne.
      UWAGA: Podobieństwo cosinusowe (lub odległość cosinusowa) to technika stosowana w sztucznej inteligencji (AI), w szczególności w uczeniu maszynowym w systemach automatycznego rozpoznawania mowy (ASR). Jest to miara podobieństwa między zerem a jedynką. Podobieństwo cosinusowe bliskie jedności oznacza, że dwa głosy z dużym prawdopodobieństwem są podobne. Podobieństwo cosinusowe bliskie zeru oznacza, że głosy z dużym prawdopodobieństwem będą różne52. Odległość euklidesowa, często określana jako podobieństwo euklidesowe, jest również szeroko stosowana w sztucznej inteligencji, uczeniu maszynowym i ASR. Reprezentuje odległość w linii prostej między dwoma punktami w przestrzeni euklidesowej53, tj. im bliżej punktów (krótsze wartości odległości), tym bardziej podobne są głosy. Aby lepiej zrozumieć przedstawione wyniki obu technik, przeprowadziliśmy transformację surowych wyników odległości euklidesowej na wartości od zera (mniejsze podobieństwo głosu) do jednego (większe podobieństwo głosu)54.

figure-protocol-5
Rysunek 5: Konfiguracja katalogu do percepcji mowy. Foldery składu. Każdy folder zawiera sześć głosów L1, docelowy głos L2, skrypt "CreateLineup" i plik audio składu głosowego (zwracany po uruchomieniu skryptu). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wyniki dla produkcji mowy
W tej części opisaliśmy wydajność statystycznie istotnych cech prozodowo-akustycznych i metryk rytmicznych. Takimi cechami prozodycznymi były częstotliwość mowy, artykulacji i pauzy, które są związane z czasem trwania, oraz migotanie, które jest związane z jakością głosu. Wskaźnikami rytmu były odchylenie standardowe (SD) czasu trwania sylaby, SD spółgłoski, SD czasu trwania wokalu lub spółgłoski oraz współczynnik zmienności czasu trwania sylaby (patrz tabela uzupełniająca S1).

Szybkość mowy (Rysunek 6A) spada szybciej dla L1-L2 English niż dla L1-L2 BP, chociaż szybkość jest niższa dla obu L2. Szybkość mowy jest związana z trzema wskaźnikami - SD czasu trwania sylaby (SD-S), SD samogłosek (SD-V) i współczynnikiem zmienności sylabicznej (Varco-S). Ważne jest również, aby pamiętać, że zarówno grupa AmE-S, jak i Bra-S są biegli w swoich L2. Wydaje się, że na takie tempo wpływają wyższe wartości czasu trwania sylab i mniejsza zmienność wytwarzana przez L1-L2 BP, powodująca mniej strome zbocza.

Współczynnik artykulacji (Rysunek 6D) jest związany z SD-S, Varco-S, a także ze stosunkiem rytmu sylabicznego (RR-S); ten ostatni reprezentuje stosunek między krótszymi i dłuższymi sylabami. Wydaje się, że takie wskaźniki wpływają na szybkość artykulacji, podobnie jak szybkość mowy, na którą wpływa długość zdania i różnice w czasie trwania, co prowadzi do lepszego planowania mowy L2 i obciążenia poznawczego L29,23,54. Większe obciążenie kognitywno-językowe może być wymagane w dziedzinie długości zdania w taki sposób, że wpływa to na parametry prozodowo-akustyczne55.

Jeśli chodzi o prozodyczno-akustyczne cechy mowy i częstotliwości artykulacji, nasze wyniki sugerują, że im bardziej mówca zmienia czas trwania sylab (i samogłosek), tym niższe są te wskaźniki. Przypuszczamy, że percepcja mowy zarówno L1, jak i L2 BP brzmi nieco wolniej niż L1 i L2-angielski, a L1-angielski brzmi szybciej niż wszystkie inne poziomy językowe. Fakt ten może być związany z rytmem mowy i hipotezą, że podczas gdy L1-L2 BP skłania się ku biegunowi czasowemu sylaby kontinuum rytmu, L1-L2 angielski przesuwa się w kierunku bieguna z czasem akcentu21,22.

Lokalny migotanie, Rysunek 6B, jest pod wpływem SD-S i Varco-S. W przypadku lokalnego migotania, obie produkcje Bra-S, L1-BP i L2-English prezentują nieco monotonną trajektorię wraz ze wzrostem zmienności czasu trwania sylab (SD i Varco, patrz tabela uzupełniająca S1). Wrażenie wysiłku wokalnego może być widoczne podczas słuchania produkcji Bra-S ze względu na niską zmienność, która waha się od 8,5 do 9 dB. Na mowę Bra-S ma wpływ obciążenie głosu. Na L1-BP duży wpływ ma długość zdań, która jest mniej wrażliwa na duże zmiany czasu trwania sylaby (wzorzec rytmiczny BP wykazuje mniejszą zmienność sylabiczną22,56).

Częstotliwość pauz (Rysunek 6C) pokazuje, że osoby mówiące L2-English robią dłuższe przerwy (od 200 ms do 375 ms) niż L1-English, L1-BP i L2-BP (średnio 30 ms dla L1-English, 50 ms dla L1-BP i 100 ms dla L2-BP). Planowanie mowy, w tym przypadku, mogło mieć wpływ na produkcję L2-English ze względu na zwiększoną aktywność mózgu54,57. Oczekuje się, że wyższa biegłość językowa spowoduje większą szybkość czytania i span54; niemniej jednak, nawet dla osób biegle posługujących się językiem L2, zadania związane z czytaniem wymagały większego wysiłku w zakresie poznawczych aspektów mowy obcej wyższego rzędu oraz w przetwarzaniu języka54,57. Nasze odkrycia pokazują, przynajmniej na wstępnej podstawie, że osoby posługujące się L2-BP mogą być mniej dotknięte pauzami niż L2-angielski ze względu na różnice we wzorcu rytmicznym obu języków.

figure-results-1
Rysunek 6: Uogólnione modele addytywne dla cech prozodowo-akustycznych. Na osi Y zmienna odpowiedzi (cechy akustyczne, które mają być modelowane); na osi X, zmienne predyktora (czynnik "Język" i współzmienne w modelach addytywnych, które zapewnią kształt i trajektorie krzywych (tj. efekty wygładzania: "Język + współzmienne") oraz iloczyn "Języka" i cechy metrycznej, która zapewni dokładniejsze odwzorowanie zmiennej odpowiedzi (tj. interakcje wygładzone czynnikowo: 'współzmienna:Język'). Skrót: GAMs = uogólnione modele addytywne. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

W odniesieniu do metryk rytmu, dla SD-S (Rysunek 7A), nasze wyniki pokazują, że im bardziej mówca zmienia krzywą f0 i zwiększa szybkość mowy, tym bardziej SD-S spada dla wszystkich poziomów językowych (efekt lustrzany Rysunek 6A). W przypadku SD dla spółgłosek (SD-C, Rysunek 7C), L1-BP, w przeciwieństwie do języka angielskiego L1, wykonuje niską zmienność wraz ze wzrostem szybkości mowy lub czasu trwania pauzy. Taki kierunek SD jest przewidywany, ponieważ zmienność czasu trwania sylaby w języku L1-angielskim jest (statystycznie) znacznie wyższa niż L1-BP44,58. Varco-S (Rysunek 7B i tabela uzupełniająca S1) wydaje się być nieco skorelowany z L1 i L2 tej samej grupy językowej. Wraz ze wzrostem zmienności f0 i szybkości mowy, Varco-S zmniejsza się dla L1-BP i wydaje się, że zmniejsza się i osłabia dla L2-BP. W przypadku produkcji angielskich, podczas gdy zmienność f0 i szybkość mowy wzrastają, Varco-S zwiększa się i tłumi dla L1-English i L2-English.

Jeśli chodzi o SD dla samogłosek lub spółgłosek (SD-V_C, Rysunek 7D i tabela uzupełniająca S1), nasze wyniki pokazują pewne podobieństwa do wydajności Varco-S (Rysunek 7B). Na przykład wyższy wskaźnik mowy, czas trwania pauzy i zmienność f0 sprzyjają spadkowej trajektorii SD-V_C dla L1-BP i dla L2-BP. W produkcjach angielskich, o ile takie cechy prozodyczne są wyższe, o tyle SD-V_C nieznacznie maleje, osłabia się dla L1-English, nieznacznie wzrasta, a następnie osłabia się dla L2-English. Korelację Varco-S i SD-V_C z L1-L2 tych samych grup językowych można częściowo wyjaśnić efektem lombarda, który odnosi się do zmiany parametrów akustycznych mowy spowodowanej hałasem tła59.

W mowie obcej, w zależności od złożoności zadania (np. czytanie mowy), mówcy stosowali podobne strategie akustyczne zarówno na L1, jak i L259,60. Z jednej strony Marcoux i Ernestus odkryli, że miary f0 (zakres i mediana) w mowie lombardzkiej L2 sugerują, że osoby mówiące po angielsku L2 były pod wpływem ich L1 Dutch61,62. Z drugiej strony, nowsze odkrycia sugerują, że chociaż oczekuje się, że mowa lombardzka L2 będzie się różnić od mowy lombardzkiej L1 ze względu na większe obciążenie poznawcze podczas mówienia L2, osoby mówiące po angielsku L2 wytworzyły mowę lombardzką w tym samym kierunku, co osoby mówiące po angielsku L163. Stopień, w jakim nasze ustalenia są zgodne z Marcoux i Ernestus63 i różnią się od Waaning59, Villegas et al.60 oraz Marcoux and Ernestus61,62 wymaga dalszych badań.

figure-results-2
Rysunek 7: Uogólnione modele addytywne dla cech metrycznych. Na osi Y zmienna odpowiedzi (cechy metryki, które mają być modelowane); na osi X, zmienne predyktora (czynnik "Język" i współzmienne w modelach addytywnych, które zapewnią kształt i trajektorie krzywych (tj. efekty wygładzania: "Język + współzmienne") oraz iloczyn "Języka" i cechy metrycznej, która zapewni dokładniejsze odwzorowanie zmiennej odpowiedzi (tj. interakcje wygładzone czynnikowo: 'współzmienna:Język'). Skrót: GAMs = uogólnione modele addytywne. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Wyniki dla percepcji mowy
W odniesieniu do składów głosowych BP, w składzie #1 (Rysunek 8A), głos foliowy #3 został oceniony jako głos docelowy. W rzeczywistości docelowym głosem był głos #4. Wyniki nie wykazują statystycznie istotnej różnicy (patrz Tabela Uzupełniająca S1) pomiędzy folią #3 (83%) a głosem docelowym #4 (71%). W składzie #2 (Rysunek 8B), porównanie między głosem docelowym #3 (40%) a folią #4 (20%) również nie wykazało statystycznie istotnej różnicy (patrz Tabela Uzupełniająca S1) dla składów głosów angielskich. W składzie #1 (Rysunek 9A) nie było istotnej różnicy (patrz Tabela Uzupełniająca S1) między folią #2 (26%) a głosem docelowym #4 (54%).

W analizie podobieństwa głosu, zarówno podobieństwo cosinusowe (CoSim), jak i odległość euklidesowa (EucDist, [EucDist transformed]54) wykazały stałą korelację między folią #3 a celem dla składu BP #1 (CoSim = 0,99; Rozkład.Euc = 77,4, [0,93]). Korelacja między folią #4 a celem była podobnie silna w składzie BP #2 (CoSim = 0,99, EucDist = 76,3, [0,93]). W angielskim składzie #1 korelacja była spójna dla CoSim (0,83(, ale słaba lub zadowalająca dla EucDist (213,0, [0,47]. Ogólnie rzecz biorąc, zarówno CoSim, jak i EucDist były zadowalającymi technikami w określaniu podobieństwa głosu. Ponadto, CoSim działał nieco skuteczniej, o czym mówili Gahman i Elangovan52(patrz Tabela uzupełniająca S1).

Jeśli chodzi o podobieństwo, co mogło doprowadzić do wzrostu liczby fałszywych alarmów? Cechy prozodyczno-akustyczne wykazały, że chociaż folie i głosy docelowe działały (statystycznie) znacząco inaczej - z wyjątkiem składów prezentowanych w Rysunek 8A,B i Rysunek 9A) - wybory słuchaczy nieco zróżnicowały się wzdłuż różnych kontrastów w innych składach (Rysunek 8C,D i Rysunek 9B-D). Wydaje się, że taka ocena zależy bardziej od jednej (a może więcej) specyficznej cechy akustycznej, którą dzielą głośniki, niż od całej klasy cech prozodowo-akustycznych. Na przykład nasze badanie wykazało kilka cech (współ)różniących się między produkcjami; Niemniej jednak wyniki percepcyjne pokazują preferencje osądów dotyczące konkretnego folii, aby pasował do docelowego głosu8,35,64,65. W przyszłych pracach konieczne są dalsze analizy.

Warto rozważyć wybór wielowymiarowej matrycy parametrycznej dla podobieństwa akustycznego66 jako przedstawionej w tym badaniu. Nasze wyniki są zgodne z wcześniejszymi badaniami, w których wykorzystano cechy akustyczne oparte na f0, VQ i intensywności9,35. Takie cechy są niezwykle sugerowane w zadaniach porównywania głośników w dziedzinie kryminalistyki9,66. Niemniej jednak ważne jest, aby podkreślić, że w obecnych badaniach nie przewidziano, aby żaden z kontrastów był podobny do głosu docelowego, chociaż użyliśmy wariantu wytycznych McFarlane'a16,17 podczas przygotowywania składów głosowych do rozpoznawania mówcy z obcym akcentem. Ponadto musimy podkreślić, że nasza procedura składu głosowego zawiera istotne różnice w stosunku do wytycznych McFarlane'a, w tym długość bodźca, liczbę głosów, wybór folii (tutaj losowo) i styl mowy.

Na ile cechy prozodowo-akustyczne f0, jakość i intensywność głosu wydają się być związane z percepcją słuchaczy, zależy to w dużej mierze od stylu mówienia użytego w badaniach. Tutaj korzystaliśmy z fragmentów do czytania. Większość badań naocznych świadków wybiera (pół)spontaniczne bodźce jako zrównoważone rozwiązanie - np. DyVis corpus67 - który jest szeroko stosowany we współczesnych badaniach nausznych świadków28,68. Powodem, który skłonił nas do wyboru zadań czytania, jest to, że nasz korpus, w czasie tworzenia tego rękopisu, składał się wyłącznie z danych uzyskanych z zadań czytania. Ważne jest jednak, aby przyznać, że proces kompilacji (pół)spontanicznego korpusu jest już w toku. Co więcej, akt czytania opowieści może generować niezawodny poziom jednolitości i zmienności, zarówno wewnątrzmówcy, jak i między mówcami. Ułatwia to położenie nacisku na cechy prozodyczne lub fonetyczne – indywidualne lub dialektalne – w sytuacjach związanych z porównaniem głosu. Staje się to szczególnie zauważalne w przypadku obciążenia mowy podczas produkcji obcego akcentu, nawet wśród biegłych mówców 8,9,23,54.

figure-results-3
Rysunek 8: Wykresy słupkowe zawierające wyniki dla czterech składów przeprowadzonych przez brazylijskich słuchaczy. Panie przewodniczący, panie i panowie! Nieistotna różnica między głosem docelowym (w kolorze niebieskim) a folią (w kolorze jasnoniebieskim). (C,D) znaczące różnice w stosunku do folii, oraz głosu docelowego. Skrót: NS = nieistotny. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 9: Wykresy słupkowe zawierające wyniki dla czterech składów przeprowadzonych przez amerykańskich słuchaczy. (A) Nieistotna różnica między głosem docelowym (w kolorze czerwonym) a folią (w kolorze różowym). (B,C,D) Znaczące różnice w stosunku do folii i głosu docelowego. Skrót: NS = nieistotny. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Tabela uzupełniająca S1: Statystyki produkcji mowy - Uogólnione modele addytywne (GAMs): Statystyki F (stopnie swobody), skorygowane R2 każdej statystycznie istotnej cechy prozodowo-akustycznej (Rysunek 6) oraz metryka rytmu (Rysunek 7) dla każdego poziomu języka, a także indywidualne wartości każdego gładkiego terminu (współzmiennych). Statystyki percepcji mowy: Statystyki Kruskalla-Wallisa χ2 (stopnie swobody), wartości p i skorygowany η2, a także test post-hoc Dunna do porównania parami (Rysunek 8 i Rysunek 9) każdej statystycznie nieistotnej różnicy między parami głosów z folii docelowej (Rysunek 8A,B i Rysunek 9A). Macierze podobieństwa akustycznego dla odległości cosinusowej i euklidesowej każdego składu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Obecny protokół stanowi nowość w dziedzinie fonetyki (sądowej). Dzieli się na dwie fazy: jedną opartą na produkcji (analiza akustyczna) i drugą opartą na percepcji (analiza osądu). Faza analizy produkcji obejmuje przygotowanie danych i wymuszone wyrównanie, ponowne wyrównanie i automatyczną ekstrakcję cech prozodowo-akustycznych oprócz statystyk. Protokół ten łączy etap zbierania danych z analizą danych w szybszy i bardziej efektywny sposób niż tradycyjne protokoły oparte na głównie ręcznej segmentacji.

Jednak proces dostosowania, pokazany w krokach protokołu od 1.3.6 do 1.3.6.9, zasadniczo działa na jednostkach telefonu i słowa wygenerowanych w krokach protokołu od 1.3.1 do 1.3.4. Nowością procesu wyrównywania jest to, że generuje on nowy element TextGrid zawierający trzy nowe warstwy tekstu: warstwę sylabiczną, warstwę fragmentu mowy, która może być generowana automatycznie lub ręcznie na podstawie słów, oraz warstwę tonu, która może być bardzo przydatna do obliczania miar f0. Wytyczne dotyczące dostosowania zaproponowane dla tego protokołu były wcześniej stosowane w badaniach rytmu mowy L2 21,69,70, badaniach nad wykrywaniem stopnia obcego akcentu przy użyciu technik uczenia maszynowego22 oraz w badaniach w dziedzinie kryminalistyki 9.

Automatyczna ekstrakcja cech prozodycznych, przedstawiona w krokach protokołu od 1.3.7 do 1.3.7.10, generuje wielowymiarową matrycę cech prozodowo-akustycznych, co można udowodnić w obecnych badaniach. Do takich cech należą cechy mowy melodycznej, czasowej i spektralnej (jakość i intensywność głosu)71. Znaczna liczba tych cech akustycznych jest mniej czuła i nieco odporna na hałaśliwe nagrania dźwiękowe, które ostatecznie zostaną zebrane w ramach badań kryminalistycznych lub innych scenariuszy72. Co więcej, wielowymiarowa matryca może być zastosowana w systemach rozpoznawania mowy za pomocą kilku technik sztucznej inteligencji (prace w toku). Nadal może być bardzo przydatny w nauczaniu aspektów prozodycznych w klasach wymowy L221 (praca w toku).

Analiza statystyczna tej części protokołu reprezentuje zastosowanie metody GAM, ponieważ mieliśmy do czynienia ze złożoną relacją między określoną cechą akustyczną a wieloma mówcami wykorzystującymi czynnik językowy. Na przykład, aby zamodelować konkretną cechę akustyczną, konieczne było sprawdzenie, jak zachowają się inne cechy akustyczne z matrycy (wyrazy gładkie), abyśmy mogli dokładniej opisać, co dzieje się podczas produkcji mowy.

Jeśli chodzi o analizę percepcji, obecny protokół został stworzony poprzez przygotowanie i wdrożenie składów głosowych, analizę statystyczną oraz analizę podobieństwa akustycznego. Do przygotowania składów użyliśmy skryptu CreateLineup dla Praat, który automatycznie generuje plik audio dla każdego składu, zawierający losowo ułożone folie i docelowy głos, zgodnie z opisem w krokach protokołu od 2.2 do 2.2.1.9.

Na potrzeby analizy statystycznej tego protokołu przeprowadziliśmy nieparametryczny test Kruskala-Wallisa, ponieważ nasze dane nie spełniały założeń analizy wariancji (ANOVA). Kiedy już mieliśmy związek między wynikami oceny ocenianymi przez słuchaczy i kontrolowanymi dla głosu docelowego i kontrastów, zdecydowaliśmy się użyć statystyk modelu liniowego.

Do analizy podobieństwa akustycznego użyliśmy skryptu AcousticSmilarity_cosine_euclidean dla Pythona. Program wyświetla drzewo katalogów komputera i prosi użytkownika o wybranie pliku zawierającego cechy prozodowo-akustyczne folii oraz docelowy głos, który składa się na skład w analizie. Za jednym kliknięciem skrypt generuje trzy macierze podobieństwa: cosinus, euklidesowy i przekształcony (zero do jednego) euklidesowy, zarówno w plikach ".txt" (rozdzielanych tabulatorami), jak i ".csv". Musimy jednak pamiętać, że każdy zbiór danych (plik '.txt' zawierający cechy prozodowo-akustyczne folii i tarczy) musi znajdować się w oryginalnym folderze składu, a każdy folder składu musi mieć kopię skryptu AcousticSmilarity_cosine_euclidean .

Podsumowując, obecny protokół czyni postępy w badaniach (kryminalistycznych) nad fonetyką. Składa się z odrębnych faz - analiz produkcji i percepcji, a także podobieństwa akustycznego - wypełniając lukę między gromadzeniem danych a wielowymiarową analizą cech akustycznych. Naukowcy mogą skorzystać z holistycznej perspektywy, badając zarówno aspekty produkcyjne, jak i percepcyjne. Co więcej, protokół ten zapewnia powtarzalność badań, umożliwiając innym korzystanie z wytycznych zawartych w tych pracach.

Ograniczenia i kierunki na przyszłość
Musimy jednak pamiętać, że wszystko zakończy się sukcesem, jeśli przygotowanie danych będzie zgodne z wytycznymi zaproponowanymi w krokach protokołu od 1.3.1 do 1.3.4. Poza tym w procedurach wymuszonego wyrównania musimy mieć świadomość, że zewnętrzny, wstępnie wytrenowany wymuszony nakładek – podobny do MAUS używany w obecnej pracy – jest podatny na błędy segmentacji, zwłaszcza w przypadku nieprzeszkolonych danych z akcentem obcym, a nawet w wstępnie wytrenowanych alignerach, niezależnie od tego, czy dźwięk nie jest dobrej jakości, czy nakładka nie zawiera języka audio (fakt ten utrudniłby pracę eksperta i uczyniłby go bardziej czasochłonnym). Transkrypcja kryminalistyczna, zwłaszcza dłuższych plików audio, napotyka trudności w odniesieniu do dokładnego i wiarygodnego odwzorowania nagrań mówionych72.

Istnieje również kilka wyzwań związanych z transkrypcją i wyrównywaniem dłuższych plików audio. Na wydajność nakładek ma wpływ styl mówienia i środowisko fonetyczne, a także czynniki specyficzne dla dialektu. Chociaż istnieją różnice specyficzne dla nakładek, ogólnie rzecz biorąc, ich wydajność jest podobna i generuje segmentacje, które dobrze wypadają w porównaniu z ogólnym wyrównaniemręcznym 73. Ponadto produkcja języków angielskich L1 i L2 została uruchomiona przy użyciu wstępnie wytrenowanego modelu akustycznego amerykańskiego języka angielskiego ze względu na niedostępność modeli mowy obcej w MAUS. Co więcej, w MAUS nie ma wstępnie wytrenowanych modeli akustycznych dla BP. W przypadku danych BP wykorzystano istniejące wcześniej modele akustyczne języka włoskiego (patrz UWAGA, krok protokołu 1.3.5.7).

W przyszłych pracach (w toku) będziemy używać Montreal Forced Aligner (MFA)74 jako części protokołu. Dużą zaletą uwierzytelniania wieloskładnikowego jest dostępność wstępnie wytrenowanych modeli akustycznych i modeli grafem-fonem dla szerokiej gamy języków (w tym BP), a także możliwość trenowania nowych modeli akustycznych i grafem-fonemów do dowolnego nowego zestawu danych (tj. naszego korpusu mowy z obcym akcentem)75.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają do zadeklarowania konfliktu interesów.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie było wspierane przez Narodową Radę Rozwoju Naukowego i Technologicznego - CNPq, grant nr 307010/2022-8 dla pierwszego autora i grant nr 302194/2019-3 dla drugiego autora. Autorzy pragną wyrazić szczerą wdzięczność uczestnikom tych badań za ich hojną współpracę i nieoceniony wkład.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
CreateLineupPersonal collection#Skrypt do przygotowania składów głosowych
Dell I3 (z dyskiem SSD - SSD) Dell#Laptop
PraatPaul Boersma & David Weenink#Oprogramowanie do analizy fonetycznej
Python 3Python Software Foundation#Interpretowany, wysokopoziomowy język programowania ogólnego przeznaczenia 
RThe R Project for Statistical Computing#Język programowania do obliczeń statystycznych
Shure Beta SM7BShure#Microphone
SpeechRhythmExtractorPersonal collection#Script for praat for automatic extract of acoustic features
SurveyMonkey Inc.#Zbierz bezpłatne, konfigurowalne ankiety, a także zestaw programów zaplecza, które obejmują analizę danych, wybór próby, usuwanie uprzedzeń i reprezentację danych.
Tascam DR-100 MKIITascam#Dyktafon cyfrowy
Monachijski automatyczny system segmentacji MAUSUniwersytet w Monachium#Wymuszone wyrównywanie plików audio (.wav) i informacji językowych (.txt)
VVUnitAlignerKolekcja osobista#Skrypt do automatycznego wyrównywania i przetwarzania końcowego jednostek fonetycznych

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).">Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).">Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).">Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).">Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).">Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).">Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).">Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).">Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).">Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).">Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Working Papers in Phonetics. , 85-91 (2007).">Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).">Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Estudios de Fonética Experimental. 29, 8-34 (2021).">Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).">Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).">Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).">Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).">McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).">Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Coop. , Libraria Editrice Università di Padova. (2012).">Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).">Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).">Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).">Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Forensic Phonetics. , (2005).">Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).">Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).">Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).">McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).">Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).">Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).">Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).">Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).">Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).">Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).">San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).">Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. https://www.youtube.com/watch?v=O2E72uV9fWc (2018).">How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. https://www.youtube.com/watch?v=wweNufW7EXA (2020).">Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).">Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).">Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).">Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. https://www.praat.org/ (1992-2021).">Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).">Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. https://github.com/leonidasjr/VowelCode (2019-2023).">Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. https://www.R-project.org/ (2023).">R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).">Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).">Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Python 3 Reference Manual. , CreateSpace. (2009).">Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).">Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).">Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).">San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).">Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).">Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).">Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).">Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).">Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).">Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).">Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).">Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).">Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).">Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).">Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).">Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Psychology of Language. , Wadsworth. (1994).">Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).">Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).">Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).">Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).">Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).">Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. https://zenodo.org/records/7591607 (2023).">Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Cechy prozodycznepercepcja mowyjako g osucz stotliwo podstawowarozpoznawanie m wcypodobie stwo akustyczne

Powiązane artykuły