Methodenartikel

Fremdakzent und forensische Sprecheridentifikation in der Stimmenaufstellung: Der Einfluss akustischer Merkmale auf der Grundlage der Prosodie

DOI:

10.3791/66313

⸱

27. September 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Studie zielte darauf ab, einen Vergleich zwischen L1-L2-Englisch und L1-L2-Portugiesisch durchzuführen, um zu überprüfen, wie sehr der Effekt eines fremden Akzents sowohl für Metriken als auch für prosodisch-akustische Parameter sowie für die Wahl der Zielstimme in einer Stimmenaufstellung verantwortlich ist.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Forschung zielt darauf ab, sowohl die prosodisch-akustischen Merkmale als auch die Wahrnehmungskorrelate von Englisch mit ausländischem Akzent und brasilianischem Portugiesisch mit ausländischem Akzent zu untersuchen und zu überprüfen, wie die Produktion von ausländischen und einheimischen Akzenten durch die Sprecher mit der Wahrnehmung der Zuhörer korreliert. In der Methodik führten wir ein Sprachproduktionsverfahren mit einer Gruppe amerikanischer Sprecher des brasilianischen Portugiesisch L2 und einer Gruppe von brasilianischen Sprechern des L2-Englisch durch, sowie ein Sprachwahrnehmungsverfahren, bei dem wir Stimmaufstellungen für beide Sprachen durchführten. Für die statistische Analyse der Sprachproduktion führten wir generalisierte additive Modelle durch, um die Wirkung der Sprachgruppen auf jede Klasse (metrisch oder prosodisch-akustisch) von Merkmalen zu bewerten, die für den Glättungseffekt der Kovariate(n) der entgegengesetzten Klasse gesteuert wurden. Für die statistische Analyse der Sprachwahrnehmung führten wir einen Kruskal-Wallis-Test und einen Post-hoc-Dunn-Test durch, um den Einfluss der Stimmen der Aufstellungen auf die von den Zuhörern beurteilten Punktzahlen zu bewerten. Nichtsdestotrotz führten wir akustische (Stimm-)Ähnlichkeitstests auf der Grundlage von Kosinus- und euklidischen Abständen durch. Die Ergebnisse zeigten signifikante akustische Unterschiede zwischen den Sprachgruppen in Bezug auf die Variabilität des f0, die Dauer und die Stimmqualität. Für die Aufstellungen zeigten die Ergebnisse, dass prosodische Merkmale von f0, Intensität und Sprachqualität mit den wahrgenommenen Urteilen der Zuhörer korrelierten.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der Akzent ist ein hervorstechender und dynamischer Aspekt der Kommunikation und Geläufigkeit, sowohl in der Muttersprache (L1) als auch in einer Fremdsprache (L2)1. Der fremde Akzent repräsentiert die phonetischen L2-Merkmale einer Zielsprache und kann sich (im Laufe der Zeit) als Reaktion auf die L2-Erfahrung des Sprechers, den Sprechstil, die Eingabequalität, die Exposition und andere Variablen ändern. Ein fremder Akzent kann als (skalare) Differenzgrad zwischen der von einem Fremdsprecher produzierten L2-Sprache und einem lokalen oder Referenzakzent der Zielsprache quantifiziert werden2,3,4,5.

Diese Arbeit zielt darauf ab, sowohl die prosodisch-akustischen Merkmale als auch die Wahrnehmungskorrelate von Englisch mit ausländischem Akzent und brasilianischem Portugiesisch mit ausländischem Akzent (BP) zu untersuchen, sowie zu überprüfen, inwiefern die Produktion von fremden und muttersprachlichen Akzenten durch die Sprecher mit der Wahrnehmung der Zuhörer korreliert. Frühere Forschungen im forensischen Bereich haben gezeigt, dass Vokale und Konsonanten bei der Identifizierung fremder Akzente entweder für eine Langzeitanalyse eines Individuums stabil sind (The Lo Case6) oder sich auf die hohe ID-Genauigkeit eines Sprechers beziehen (The Lindbergh Case7). Die Erforschung prosodisch-akustischer Merkmale auf der Grundlage von Dauer, Grundfrequenz (f0, d.h. dem akustischen Korrelat der Tonhöhe), Intensität und Stimmqualität (VQ) hat jedoch zunehmend an Aufmerksamkeit gewonnen8,9. Daher stellt die Wahl prosodisch-akustischer Merkmale in dieser Studie einen vielversprechenden Weg im Bereich der forensischen Phonetik dar8,10,11,12,13.

Die vorliegende Forschung wird durch Studien unterstützt, die sich mit fremden Akzenten als eine Form der Stimmverkleidung in forensischen Fällen befassen14,15, sowie bei der Vorbereitung von Stimmaufstellungen für die Sprechererkennung16,17. Zum Beispiel spielte die Sprechgeschwindigkeit eine wichtige Rolle bei der Identifizierung von Deutsch-, Italienisch-, Japanisch- und Brasilianisch-Sprechern des Englischen18,19,20,21,22. Neben der Sprechgeschwindigkeit fordern langfristige spektrale und f0-Merkmale L2-kompetente Sprecher mit der Vertrautheit mit der Zielsprache heraus, da das Gehirn und die kognitiven Grundlagen ein Defizit an Gedächtnis, Aufmerksamkeit und Emotionen aufweisen, was sich in der phonetischen Leistung des Sprechers während langer Sprechumdrehungen widerspiegelt23. Die Ansicht über ausländische Akzente im forensischen Bereich ist, dass die Definition dessen, was wirklich wie ein ausländischer Akzent klingt, stark von der Unvertrautheit des Zuhörers abhängt und nicht von einem nicht bis extremen Grad an Sprache mit fremdem Akzent24.

Im Wahrnehmungsbereich ist ein gängiges forensisches Werkzeug, das seit Mitte der 1990er Jahre zur Erkennung von Verbrechern verwendet wird, die Voice Lineup (auditive Erkennung), die analog zur visuellen Erkennung ist, die zur Identifizierung eines Täters an einem Tatort verwendet wird16,25. In einer Stimmenaufstellung wird die Stimme des Verdächtigen neben Folienstimmen präsentiert - Stimmen, die in soziolinguistischen Aspekten wie Alter, Geschlecht, geografischer Lage, Dialekt und kulturellem Status ähnlich sind - zur Identifizierung durch einen Ohrenzeugen. Der Erfolg oder Misserfolg einer Stimmenaufstellung hängt von der Anzahl der Stimmbeispiele und der Stichprobendauer ab25,26. Darüber hinaus wird bei realen Samples davon ausgegangen, dass sich die Audioqualität konsistent auf die Genauigkeit der Spracherkennung auswirkt. Eine schlechte Audioqualität kann die einzigartigen Eigenschaften einer Stimme verzerren27. Im Falle der Ähnlichkeit der Stimme können feine phonetische Details, die auf f0 basieren, den Zuhörer während der Spracherkennung verwirren28,29. Solche akustischen Merkmale gehen über f0 hinaus und umfassen Elemente der Dauer sowie spektrale Merkmale der Intensität und VQ30. Diese Betrachtung mehrerer prosodischer Merkmale ist im Zusammenhang mit dem forensischen Sprachvergleich von entscheidender Bedeutung, um eine genaue Sprecheridentifikation zu gewährleisten9,14,15,29,31.

Zusammenfassend lässt sich sagen, dass Studien in der forensischen Phonetik in den letzten Jahrzehnten einige Unterschiede in Bezug auf die Identifizierung ausländischer Akzente gezeigt haben. Einerseits scheint ein fremder Akzent den Prozess der Identifizierung eines Sprechers nicht zu beeinflussen32,33 (insbesondere, wenn der Sprecher mit dem ausländischen Zielakzent nicht vertraut ist34). Auf der anderen Seite gibt es Befunde in die entgegengesetzte Richtung12,34,35.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Arbeit wurde von einer Ethikkommission für die Humanforschung genehmigt. Darüber hinaus wurde von allen an dieser Studie beteiligten Teilnehmern eine Einverständniserklärung zur Nutzung und Veröffentlichung ihrer Daten eingeholt.

1. Sprachproduktion

HINWEIS: Wir haben Sprache aus einer Leseaufgabe sowohl auf 'L1 English-L2 BP' von Gruppe 1: The American English (from the U.S.A.) S Peakers(AmE-S) als auch auf beiden 'L1 BP-L2 English' von Gruppe 2: The Brazilian Speakers (Bra-S) gesammelt. Siehe Abbildung 1 für ein Flussdiagramm für die Sprachproduktion.

figure-protocol-1
Abbildung 1: Schematisches Flussdiagramm für die Sprachproduktion. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

  1. Teilnehmer
    1. Bestimmen Sie die Anzahl der Teilnehmer, die Sprache (L1 Englisch, L2 BP; L1 BP, L2 Englisch), das Geschlecht (weiblich oder männlich), das Alter (Mittelwert, Standardabweichung), die Gruppenmerkmale (Berufstätige oder Studenten) und das L2-Kompetenzniveau (fortgeschritten oder fortgeschritten) für jede Gruppe.
      HINWEIS: Für die vorliegende Forschung wurden sowohl AmE-S als auch Bra-S als L2-kompetent eingestuft (beide Gruppen wurden als B2-C136 qualifiziert). Der AmE-S hatte zum Zeitpunkt der Eingriffe bereits zwei Jahre in Brasilien gelebt. Der Bra-S hatte mehr als zwei Jahre in den USA gelebt, als die Eingriffe durchgeführt wurden. Während sie im Ausland lebten, sprachen beide Gruppen ihr L2 zu Studien- und Arbeitszwecken mindestens 6 Tage die Woche für ~4-5 Stunden pro Tag.
    2. Verteilen Sie die Teilnehmer auf einen gemütlichen und ruhigen Raum und präsentieren Sie den Lesestoff für jede Gruppe.
  2. Datenerfassung
    HINWEIS: Sprachdaten müssen aus einer Leseaufgabe in den folgenden Sprachen erfasst werden: L1-Englisch und L2-BP; L1-BP und L2-Englisch. Lassen Sie die Teilnehmer die Texte ggf. vorher lesen.
    1. Verfahren zur Aufzeichnung
      1. Nehmen Sie die Sprachdaten an einem ruhigen Ort mit geeigneten akustischen Bedingungen auf.
      2. Verwenden Sie ein digitales Diktiergerät (siehe Materialtabelle)37 und ein unidirektionales elektromagnetisch isoliertes Mikrofon mit Nierencharakteristik (siehe Materialtabelle)38.
      3. Nehmen Sie die Audiodaten in der Form ".wav" auf.
      4. Stellen Sie die Abtastrate auf 48 kHz und die Quantisierungsrate auf 16 Bit ein.
        HINWEIS: Das Audioformat und die Konfiguration für die Abtast- und Quantisierungsraten, die in den Schritten 1.2.1.3 und 1.2.1.4 beschrieben sind, werden angewendet, um eine hohe Qualität und Rauschunterdrückung zu gewährleisten und die spektralen Merkmale zu erhalten, die für die spätere akustische Analyse verwendet werden.
  3. Akustische Analyse
    HINWEIS: Unterteilen Sie die akustischen Analyseverfahren in drei Schritte: erzwungene Ausrichtung, Neuausrichtung und Extraktion akustischer Merkmale.
    1. Schreiben Sie die linguistische Transkription (in einem '.txt'-Datei) für jede Audiodatei.
    2. Markieren Sie das Paar von '.txt'/'.wav'-Dateien mit demselben Namen (z. B. 'my_file.wav'/ 'my_file. txt').
      HINWEIS: Um die Leistung des in Abschnitt 1.3.7 beschriebenen Verfahrens zu verbessern, wird dringend empfohlen, dass die ersten drei Zeichen der '.txt/.wav'-Datei-Tags die Sprache, den Dialekt oder den Akzent darstellen, während das vierte bis sechste Zeichen das Geschlecht bezeichnen (z.B. EL1FEM für English L1 FemAle). Ab dem siebten Zeichen sollte der Benutzer die Lautsprechernummer angeben (z. B. 001 für den ersten Lautsprecher). Folglich ist das erste ".txt/.wav"-Paar EL1FEM001.
    3. Erstellen Sie einen Ordner für jede L1-L2-Sprache.
      HINWEIS: Ein Ordner für L1-L2 Englisch und ein Ordner für L1-L2 BP.
    4. Vergewissern Sie sich, dass sich alle Dateipaare derselben Sprache im selben Ordner befinden.
    5. Führen Sie die erzwungene Ausrichtung durch.
      1. Greifen Sie auf die Weboberfläche des Munich Automatic Segmentation (MAUS) Forced Aligner (WebMAUS)39 bei https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline zu.
      2. Ziehen Sie jedes Paar von . wav / . txt-Dateien aus dem Ordner in das gestrichelte Rechteck in Dateien (oder klicken Sie in das Rechteck, Abbildung 2A).
      3. Klicken Sie auf die Schaltfläche Hochladen, um die Dateien in den Aligner hochzuladen (siehe roter Pfeil in Abbildung 2A).
      4. Wählen Sie im Menü "Serviceoptionen" (Abbildung 2B) die folgenden Optionen aus: G2P-MAUS-PHO2SYL für Pipelinename; Englisch (US) (für Sprache), wenn L1-L2 Englische Daten; Italienisch (IT) (für Sprache) wenn L1-L2 BP-Daten.
        HINWEIS: Wir haben "Italienisch" für die BP-Daten gewählt, da webMAUS keine vortrainierten akustischen Modelle für die BP-Zwangsausrichtung bereitstellt. Die phonetische Literatur geht davon aus, dass die italienische Phonologie ein einigermaßen vergleichbares symmetrisches Inventar von sieben Vokalen aufweist, genau wie BP40, sowie konsonantische akustische Ähnlichkeiten41,42.
      5. Behalten Sie die Standardoptionen für "Ausgabeformat" und "Alles behalten" bei.
      6. Aktivieren Sie das Kontrollkästchen Ausführen, um die Nutzungsbedingungen zu akzeptieren (siehe grüner Pfeil in Abbildung 2C).
      7. Klicken Sie auf die Schaltfläche Webdienst ausführen, um die hochgeladenen Dateien im aligner.
        auszuführen. HINWEIS: Für jede Audiodatei gibt die MAUS-Zwangsausrichtung ein Praat TextGrid-Objekt zurück (eine von Praat vorformatierte '.txt'-Datei, die die Annotation von Wörtern, phonologischen Silben und Telefonen enthält, die auf der linguistischen Transkription basiert, die aus der in Schritt 1.3.1 beschriebenen '.txt'-Datei extrahiert wurde).
      8. Klicken Sie auf die Schaltfläche Als ZIP-Datei herunterladen, um die TextGrid-Dateien als gezippte Datei herunterzuladen (Abbildung 2C).
        HINWEIS: Stellen Sie sicher, dass die gezippten TextGrid-Dateien im selben Ordner wie die Audiodateien heruntergeladen werden.
      9. Extrahieren Sie die TextGrid-Dateien für eine spätere Neuausrichtung in der phonetischen Analysesoftware43.
    6. Führen Sie die Neuausrichtung durch.
      1. Rufen Sie das Skript für Praat VVUnitAligner44 von https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat herunter und laden Sie es herunter.
      2. Vergewissern Sie sich, dass sich alle Dateipaare derselben Sprache und des VVUnitAligne-Skripts im selben Ordner befinden.
        HINWEIS: Ein Ordner für die englischen L1-L2-Dateien und den VVunitAligner sowie ein Ordner für die L1-L2 BP-Dateien und den VVunitAligner.
      3. Öffnen Sie die Software zur phonetischen Analyse.
      4. Klicken Sie auf Praat | Öffnen Sie das Praat-Skript..., um das Skript aus dem Objektfenster aufzurufen.
      5. Klicken Sie einmal auf die Schaltfläche Ausführen.
        HINWEIS: Auf dem Bildschirm erscheint ein Formular namens Phonetische Silbenausrichtung, das die Einstellungen für die Verwendung des Skripts enthält (Abbildung 3A).
      6. Klicken Sie auf die Schaltfläche Sprache, um zwischen den Sprachen "Englisch (US)", "Portugiesisch (BR)", "Französisch (FR)" oder "Spanisch (ES)" zu wählen.
      7. Klicken Sie auf die Schaltfläche Chunk-Segmentierung, um zwischen dem Segmentierungsverfahren "Automatisch", "Erzwungen" (manuell) oder "Keine" zu wählen.
      8. Aktivieren Sie die Option TextGrid-Dateien speichern, um die neuen TextGrid-Dateien automatisch zu speichern.
      9. Klicken Sie auf OK | Lauftasten für eine Neuausrichtung der phonetischen Einheiten aus Schritt 1.3.5.7 .
        HINWEIS: Für jede Audiodatei generiert VVUnitAligner eine neue TextGrid-Datei für Abschnitt 1.3.7 (Abbildung 3B).
    7. Führen Sie die automatische Extraktion der akustischen Merkmale durch.
      1. Rufen Sie das Skript SpeechRhythmExtractor45 von https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat herunter und laden Sie es herunter, um die prosodisch-akustischen Merkmale automatisch zu extrahieren.
      2. Erstellen Sie einen neuen Ordner und fügen Sie SpeechRhythmExtractor zusammen mit allen Paaren von Audio-/TextGrid-Dateien aller Sprachen ein.
      3. Öffnen Sie die Software zur phonetischen Analyse.
      4. Klicken Sie auf Praat | Öffnen Sie das Praat-Skript..., um das Skript aus dem Objektfenster aufzurufen.
      5. Klicken Sie nur einmal auf die Schaltfläche Ausführen.
        HINWEIS: Auf dem Bildschirm wird ein Formular mit den Skripteinstellungen angezeigt. Benennen Sie die Dateien in den Feldern der Ausgabe-.txt-Dateien entsprechend um oder behalten Sie die Standardnamen bei.
      6. Aktivieren Sie die Option für die Sprachqualitätsparameter, um die Ausgabedatei VQ für die Sprachqualität zu speichern (Abbildung 3C).
        HINWEIS: Diese zweite Ausgabedatei (die Ausgabedatei VQ) enthält die Parameter der Differenz zwischen der 1. und der 2. Harmonischen (H1-H2) und dem Cepstral Prominence Peak (CPP)9.
      7. Aktivieren Sie die Option Linguistisches Ziel, um aus den Bezeichnungen "Sprache", "Dialekt" oder "Akzent" auszuwählen (Abbildung 3C).
      8. Aktivieren Sie die Option Einheit, um die f0-Merkmale in Hz oder in Halbtönen auszuwählen (Abbildung 3C).
      9. Legen Sie in den Werten für den F0-Schwellenwert den minimalen und maximalen f0-Schwellenwert fest (Abbildung 3C).
        HINWEIS: Sofern die Forschung keine bestimmten Zwecke verfolgt oder bestimmte Audiofunktionen voreingestellt sind, wird dringend empfohlen, die Parameter von Schritt 1.3.7.9 bei den Standardwerten zu belassen.
      10. Klicken Sie auf OK | Run für die automatische Extraktion der akustischen Merkmale .
        HINWEIS: Das Skript SpeechRhythmExtractor gibt eine tabulatorgetrennte '.txt'-Datei (Ausgabedatei/ Ausgabedatei VQ) zurück, die die von den Lautsprechern extrahierten akustischen Merkmale enthält.
  4. statistische Analyse
    1. Laden Sie die Tabelle mit den akustischen Merkmalen in die Umgebung R46 (oder eine beliebige Statistiksoftware/Umgebung Ihrer Wahl) hoch.
    2. Führen Sie nicht-parametrische Statistiken für generalisierte additive Modelle (GAMs) durch.
      1. Ausführen von GAMs in R.
      2. Geben Sie die folgenden Befehle ein, und drücken Sie die Eingabetaste.
        Bibliothek(mgcv)
        model = gam(das metrische/prosodisch-akustische Merkmal in der Analyse ~ die Sprache + s(das gewählte metrische Merkmal, durch = die Sprache) + andere metrische/prosodisch-akustische Merkmale, Daten = der Datenrahmen)
        HINWEIS: Wir haben uns entschieden, die Teststatistiken des Protokolls in der Programmiersprache R durchzuführen, da es bei Phonetikern (und Linguisten) in der akademischen Gemeinschaft immer beliebter wird. R wurde in der phonetischen Feldforschung weitgehend verwendet47. Beachten Sie, dass Schritt 1.4.2.2 einen Pseudo-Code enthält. Schreiben Sie den Code entsprechend den Forschungsvariablen.

figure-protocol-2
Abbildung 2: Screenshot der phonetischen Ausrichtung mit MAUS-Zwangsausrichtung. (A) Das gestrichelte Rechteck ist für das Ziehen und Ablegen von 'my_file.wav'/' my_file.txt' Dateien gedacht oder zum Klicken nach innen, um solche Dateien aus dem Ordner zu suchen; Die Schaltfläche Hochladen wird durch den roten Pfeil angezeigt. (B) Die hochgeladenen Dateien aus Panel A (siehe blauer Pfeil), die zu verwendende Pipeline, die Sprache für die Dateipaare, das zurückzugebende Dateiformat und eine Schaltfläche "Wahr/Falsch" zum Aufbewahren aller Dateien. (C) Das Kontrollkästchen Nutzungsbedingungen (siehe grüner Pfeil), die Schaltfläche Web Services ausführen und die Ergebnisse (TextGrid-Dateien, die heruntergeladen werden sollen). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-protocol-3
Abbildung 3: Screenshot des Neuausrichtungsverfahrens. (A) Eingabeformular für die Neuausrichtungsprozedur. (B) Partielle Wellenform, Breitbandspektrogramm mit f0 (blau) Kontur und sechs Schichten, segmentiert (und beschriftet) als Schicht 1: Einheiten des Vokalbeginns bis zum nächsten Vokalbeginn (V_to_V); Vokalbeginn (V_to_V); Stufe 2: Einheiten von Vokal (V), Konsonant (C) und Pause (#); Stufe 3: Phonetische Repräsentationen V_to_V; Stufe 4: einige Wörter aus dem Text; Stufe 5: einige Sprachblöcke (CH) aus dem Text; Stufe 6: Tonale Ebene, die den höchsten (H) und den tiefsten (L) Ton jedes Sprachstücks enthält, das von einem weiblichen AmE-S erzeugt wird. (C) Eingabeeinstellungen für die automatische Extraktion der akustischen Merkmale. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

2. Sprachwahrnehmung

HINWEIS: Wir haben vier Voice-Lineups auf Englisch mit amerikanischen Hörern und vier Lineups auf BP mit brasilianischen Hörern durchgeführt. Siehe Abbildung 4 für ein Flussdiagramm für die Sprachwahrnehmung.

figure-protocol-4
Abbildung 4: Schematisches Flussdiagramm für die Sprachwahrnehmung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

  1. Teilnehmer
    1. Wählen Sie für jede Gruppe unterschiedliche Teilnehmer aus denjenigen aus, die am Sprachproduktionsprotokoll teilgenommen haben.
      ANMERKUNG: Für diesen Teil des Protokolls wurden zwei Gruppen von Teilnehmern ausgewählt: Gruppe 1: Amerikaner(aus den USA) Listener (AmE-L) und Gruppe 2: Die brasili schen Listener (Bra-L). Für die vorliegende Forschung wurden sowohl AmE-L als auch Bra-L als L2-kompetent eingestuft (beide Gruppen wurden als B2-C1 qualifiziert36 Die AmE-L hatten zwei Jahre in Brasilien gelebt, als die Verfahren durchgeführt wurden. Der Bra-L hatte mehr als zwei Jahre in den USA gelebt, als die Eingriffe durchgeführt wurden. Während ihres Auslandsaufenthalts sprachen beide Gruppen zu Studien- und Arbeitszwecken (mindestens sechs Tage die Woche für etwa 4 bis 5 Stunden am Tag) ihr L2
      2. .
    2. Bestimmen Sie die Anzahl der Teilnehmer, die Sprache (L1 Englisch, L2 BP; L1 BP, L2 Englisch), das Geschlecht (weiblich oder männlich), das Alter (Mittelwert, Standardabweichung), die Gruppenmerkmale (Berufstätige oder Studenten) und das L2-Kompetenzniveau für jede Gruppe.
  2. Die Stimmenaufstellungen
    HINWEIS: Unterteilen Sie die Verfahren für die Sprachaufstellungen in zwei verschiedene Schritte: Vorbereiten und Ausführen der Sprachaufstellungen.
    1. Bereiten Sie vier Sprecheraufstellungen für Englisch und vier für BP vor.
      1. Holen Sie sich Audiodateien von den Lautsprechern von Abschnitt 1: Sprachproduktion.
      2. Vergewissern Sie sich, dass sich die Audiodateien der einzelnen Sprachfaktoren in separaten Ordnern befinden.
      3. Wählen Sie nach dem Zufallsprinzip sechs Stimmblöcke in L1 Englisch oder L1 BP aus.
        HINWEIS: Sechs Stimmen in der Aufstellung stehen für eine Zielstimme und fünf Foils.
      4. Wählen Sie einen Sprachblock in L2 Englisch oder L2 BP aus einem der in Schritt 2.2.1.3.
        enthaltenen Lautsprecher HINWEIS: Der Voice-Chunk in Schritt 2.2.1.4 ist die Referenzstimme. Chunks müssen ca. 20 s lang sein.8.
      5. Rufen Sie das Skript für Praat CreateLineup48 von https://github.com/pabarbosa/prosody-scripts-CreateLineUp herunter und laden Sie es herunter.
      6. Vergewissern Sie sich, dass sich die L2-Referenzstimme, die L1-Folien und die L1-Zielstimme im selben Ordner befinden, bevor Sie das CreateLineup-Skript ausführen (Abbildung 5).
      7. Öffnen Sie die Software zur phonetischen Analyse.
      8. Klicken Sie im Objektfenster auf Praat | Öffnen Sie das Praat-Skript..., um das Skript aufzurufen.
      9. Klicken Sie auf Ausführen | Ausführen.
        HINWEIS: Das Skript gibt eine Datei in der folgenden Reihenfolge zurück: (die L2-Referenzstimme) + (die L1-Zielstimme und die zufällig verteilten Folien) (Abbildung 5).
    2. Ausführen der Sprecheraufstellungen
      1. Erstellen Sie einen Online-Bereich, um die Aufstellungen auf einer beliebigen Plattform Ihrer Wahl (z. B. SurveyMonkey) zu hosten. Siehe Materialtabelle) für die Fernleitung der Stimmenaufstellungen.
      2. Greifen Sie auf den Link zum Online-Bereich zu.
      3. Laden Sie die vom CreateLineup-Skript zurückgegebenen Dateien auf die Plattform hoch.
      4. Führen Sie das Verfahren vor den Teilnehmern aus, um jeden Schritt zu testen.
        HINWEIS: Es wird empfohlen, zuvor auf den Link zuzugreifen und die Aufstellungen auszuführen, um zu überprüfen, ob alles normal funktioniert.
  3. statistische Analyse
    1. Laden Sie die Tabelle mit den Bewertungen der Zuhörer in die R-Umgebung (oder eine beliebige Statistiksoftware/-umgebung Ihrer Wahl) hoch.
      1. Führen Sie den Kruskal-Wallis-Test in R durch.
      2. Geben Sie die folgenden Befehle ein, und drücken Sie die Eingabetaste.
        model = kruskal.test(Urteile ~ jede Stimmenaufstellung, Daten = der Datenrahmen)
    2. Führen Sie einen Post-hoc-Dunn-Test durch.
      1. Führen Sie den Dunn-Test in R durch.
      2. Geben Sie die folgenden Befehle ein, und drücken Sie die Eingabetaste.
        Bibliothek(FSA)
        model = dunnTest(urteile ~ jede Stimmenaufstellung, Daten = Daten, Methode = "bonferroni")
        HINWEIS: Bei den Codes in den Schritten 2.3.1.2 und 2.3.2.2 handelt es sich um Pseudocodes (siehe ANMERKUNG 1.4.2.2).
  4. Akustische Ähnlichkeitsanalyse
    1. Wählen Sie die Aufstellungen aus (vgl. HINWEIS in Schritt 2.2.1.3), die nicht signifikante Unterschiede zwischen dem Ziel und einer der Folien aufwiesen.
    2. Wiederholen Sie die Schritte 1.3.1 bis 1.3.7.5 und 1.3.7.8 bis 1.3.7.10.
    3. Greifen Sie auf das Skript für Python49, AcousticSimilarity_cosine_euclidean50 von https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      herunter und laden Sie es herunter HINWEIS: Das Skript gibt drei Matrizen zurück (in '.txt' und '.csv'): eine für die Kosinus-Ähnlichkeit51,52, eine für die euklidische Distanz52,53 und eine für transformierte euklidische Entfernungswerte sowie einen paarweisen Vergleich zwischen der Zielstimme und jedem Foil.
    4. Vergewissern Sie sich, dass das Skript im selben Ordner wie das Aufstellungsdataset heruntergeladen wurde.
    5. Klicken Sie auf die Schaltfläche Datei öffnen..., um das Skript aufzurufen.
    6. Klicken Sie auf Ausführen | Ohne Debuggen ausführen buttons.
      HINWEIS: Die zweite Schaltfläche "Ausführen" kann als "Ausführen" oder "Ohne Debugging ausführen" oder "Skript ausführen" gekennzeichnet sein. Sie führen alle die gleichen Befehle aus. Es hängt einfach von der verwendeten Python-Umgebung ab.
    7. Führen Sie Ähnlichkeitstests auf der Grundlage akustischer Merkmale durch.
      HINWEIS: Die Kosinusähnlichkeit (oder Kosinusabstand) ist eine Technik, die in der künstlichen Intelligenz (KI) angewendet wird, insbesondere beim maschinellen Lernen in automatischen Spracherkennungssystemen (ASR). Es ist ein Maß für die Ähnlichkeit zwischen Null und Eins. Eine Kosinusähnlichkeit nahe eins bedeutet, dass zwei Stimmen mit hoher Wahrscheinlichkeit ähnlich sind. Eine Kosinusähnlichkeit nahe Null bedeutet, dass die Stimmen mit hoher Wahrscheinlichkeit unterschiedlich sind52. Die euklidische Distanz, die oft als euklidische Ähnlichkeit bezeichnet wird, wird auch häufig in der KI, im maschinellen Lernen und in der ASR verwendet. Sie stellt den geradlinigen Abstand zwischen zwei Punkten im euklidischen Raum dar53, d.h. je näher die Punkte liegen (kürzere Abstandswerte), desto ähnlicher sind sich die Stimmen. Um die berichteten Ergebnisse beider Techniken besser zu verstehen, haben wir eine Transformation der euklidischen Distanz-Rohwerte in Werte von null (weniger Stimmähnlichkeit) bis eins (mehr Stimmähnlichkeit) durchgeführt54.

figure-protocol-5
Abbildung 5: Verzeichniseinrichtung für die Sprachwahrnehmung. Aufstellungsordner. Jeder Ordner enthält sechs L1-Stimmen, die L2-Zielstimme, das Skript "CreateLineup" und die Audiodatei für die Stimmaufstellung (die nach dem Ausführen des Skripts zurückgegeben wird). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ergebnisse für die Sprachproduktion
In diesem Abschnitt haben wir die Leistung der statistisch signifikanten prosodisch-akustischen Merkmale und Rhythmusmetriken beschrieben. Solche prosodischen Merkmale waren Sprach-, Artikulations- und Pausenraten, die mit der Dauer zusammenhängen, und Shimmer, der mit der Stimmqualität zusammenhängt. Die Rhythmusmetriken waren die Standardabweichung (SD) der Silbendauer, die SD des Konsonanten, die SD der Vokal- oder Konsonantendauer und der Variationskoeffizient der Silbendauer (siehe Ergänzende Tabelle S1).

Die Sprachrate (Abbildung 6A) nimmt für L1-L2 Englisch schneller ab als für L1-L2 BP, obwohl die Rate für beide L2s niedriger ist. Die Sprechgeschwindigkeit hängt von drei Metriken ab - SD der Silbendauer (SD-S), SD der Vokale (SD-V) und dem Silbenvariationskoeffizienten (Varco-S). Es ist auch wichtig zu bedenken, dass sowohl die AmE-S- als auch die Bra-S-Gruppe ihre L2s beherrschen. Es scheint, dass diese Rate durch die höheren Werte der Silbendauer und die geringere Variabilität von L1-L2 BP beeinflusst wird, was zu weniger steilen Steigungen führt.

Die Artikulationsrate (Abbildung 6D) bezieht sich auf SD-S, Varco-S sowie das Silbenrhythmusverhältnis (RR-S); letzteres stellt das Verhältnis zwischen kürzeren und längeren Silben dar. Solche Metriken scheinen die Artikulationsrate genau wie die betroffene Sprechgeschwindigkeit zu beeinflussen, da die Satzlänge und die Variation der Dauer zu einer höheren L2-Sprachplanung und L2-kognitiven Belastung führen9,23,54. Im Bereich der Satzlänge kann eine höhere kognitiv-linguistische Belastung erforderlich sein, so dass prosodisch-akustische Parameter beeinflusst werden55.

Bezüglich der prosodisch-akustischen Merkmale von Sprach- und Artikulationsraten deuten unsere Ergebnisse darauf hin, dass je mehr ein Sprecher die Dauer von Silben (und Vokalen) variiert, desto niedriger sind diese Raten. Wir stellen die Hypothese auf, dass die Sprachwahrnehmung sowohl von L1 als auch von L2 BP etwas langsamer klingt als L1 und L2-Englisch und dass L1-Englisch schneller klingt als alle anderen Sprachniveaus. Diese Tatsache könnte mit dem Sprachrhythmus und der Hypothese zusammenhängen, dass L1-L2 BP sich in Richtung des Silbenzeitpols des Rhythmuskontinuums bewegt, während L1-L2 Englisch sich in Richtung des betonten Zeitpols bewegt21,22.

Der lokale Schimmer, Abbildung 6B, wird von SD-S und Varco-S beeinflusst. Für den lokalen Schimmer zeigen beide Produktionen von Bra-S, L1-BP und L2-English eine etwas monotone Trajektorie, da die Variabilität der Silbendauer zunimmt (SD und Varco, siehe Ergänzende Tabelle S1). Die Wahrnehmung der Stimmanstrengung kann beim Hören der Produktionen von Bra-S aufgrund einer geringen Variation zwischen 8,5 und 9 dB offensichtlich sein. Die Sprache von Bra-S wird durch die Stimmbelastung beeinflusst. L1-BP wird stark davon beeinflusst, dass die Satzlänge weniger empfindlich auf starke Schwankungen der Silbendauer reagiert (das rhythmische Muster von BP zeigt weniger Silbenvariationen22,56).

Die Pausenrate (Abbildung 6C) zeigt, dass L2-Englisch-Sprecher längere Pausen (von 200 ms bis 375 ms) erzeugen als L1-Englisch, L1-BP und L2-BP (Mittelwert von 30 ms für L1-Englisch, 50 ms für L1-BP und 100 ms für L2-BP). In diesem Fall könnte die Sprachplanung die L2-Englisch-Produktion aufgrund einer erhöhten Gehirnaktivität beeinflusst haben54,57. Es wird erwartet, dass höhere Sprachkenntnisse zu einer höheren Lesegeschwindigkeit und span54; Nichtsdestotrotz stellten selbst für L2-kompetente Sprecher Leseaufgaben einen höheren Aufwand bei kognitiven Aspekten der Fremdsprache höherer Ordnung und bei der Sprachverarbeitung dar54,57. Unsere Ergebnisse zeigen, zumindest auf einer vorläufigen Basis, dass L2-BP-Sprecher aufgrund von Unterschieden im rhythmischen Muster beider Sprachen möglicherweise weniger von Pausen betroffen sind als L2-Englisch.

figure-results-1
Abbildung 6: Verallgemeinerte additive Modelle für die prosodisch-akustischen Merkmale. Auf der Y-Achse die Antwortvariable (die zu modellierenden akustischen Merkmale); auf der X-Achse, die Prädiktorvariablen (der Faktor "Sprache" und die Kovariaten in den additiven Modellen, die die Form und die Trajektorien der Kurven liefern (d. h. die Glättungseffekte: "Sprache + Kovariaten") und das Produkt aus der "Sprache" und einem metrischen Merkmal, das eine genauere Projektion der Antwortvariablen ermöglicht (d. h. faktorglatte Wechselwirkungen: 'Kovariate:Sprache'). Abkürzung: GAMs = Generalized Additive Models. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

In Bezug auf die Rhythmusmetriken für SD-S (Abbildung 7A) zeigen unsere Ergebnisse, dass je mehr ein Sprecher die f0-Kurve variiert und die Sprechgeschwindigkeit erhöht, desto mehr nimmt SD-S für alle Sprachniveaus ab (ein Spiegeleffekt von Abbildung 6A). Im Fall der SD für Konsonanten (SD-C, Abbildung 7C) führt L1-BP im Gegensatz zum L1-Englisch eine geringe Variation aus, wenn die Sprechgeschwindigkeit oder die Pausendauer zunimmt. Eine solche SD-Richtung wird vorhergesagt, da die L1-englische Variabilität der Silbendauer (statistisch) signifikant höher ist als die von L1-BP44,58. Der Varco-S (Abbildung 7B und ergänzende Tabelle S1) scheint in gewisser Weise mit dem L1 und dem L2 der gleichen Sprachgruppe korreliert zu sein. Mit zunehmender f0-Variabilität und Sprechgeschwindigkeit nimmt der Varco-S für den L1-BP ab und scheint für den L2-BP abzunehmen und abzuschwächen. Während bei den englischen Produktionen die f0-Variabilität und die Sprechgeschwindigkeit zunehmen, erhöht und dämpft sich Varco-S für L1-Englisch und L2-Englisch.

In Bezug auf die SD für Vokale oder Konsonanten (SD-V_C, Abbildung 7D und ergänzende Tabelle S1) zeigen unsere Ergebnisse einige Ähnlichkeiten mit der Leistung von Varco-S (Abbildung 7B). Eine höhere Sprechgeschwindigkeit, Pausendauer und f0-Variabilität begünstigen beispielsweise eine Fall-Anstiegs-Trajektorie des SD-V_C für L1-BP und für L2-BP. In englischen Produktionen sind solche prosodischen Merkmale zwar höher, aber die SD-V_C nimmt leicht ab, schwächt sich für L1-Englisch ab, nimmt leicht zu und schwächt sich dann für L2-Englisch ab. Die Korrelation von Varco-S und SD-V_C mit L1-L2 derselben Sprachgruppen kann teilweise durch den Lombardeffekt erklärt werden, der sich auf die Veränderung akustischer Parameter in der Sprache aufgrund von Hintergrundgeräuschen bezieht59.

In fremder Sprache haben Sprecher je nach Komplexität der Aufgabe (z. B. Sprache lesen) ähnliche akustische Strategien sowohl auf L1 als auch auf L2 angewendet59,60. Auf der einen Seite fanden Marcoux und Ernestus heraus, dass f0-Maße (Bereich und Median) in der lombardischen Sprache von L2 darauf hindeuten, dass L2-Englischsprecher von ihrem L1 Dutch61,62 beeinflusst wurden. Auf der anderen Seite deuten neuere Befunde darauf hin, dass, obwohl erwartet wird, dass sich die lombardische L2-Sprache aufgrund der höheren kognitiven Belastung beim Sprechen der L2 von der lombardischen L1-Sprache unterscheidet, L2-Englischsprecher die lombardische Sprache in der gleichen Richtung wie die L1-Englischsprecher produzierten63. Inwieweit unsere Ergebnisse mit Marcoux und Ernestus63 übereinstimmen und von Waaning59, Villegas et al.60 und Marcoux und Ernestus61,62 abweichen, bedarf weiterer Untersuchungen.

figure-results-2
Abbildung 7: Verallgemeinerte additive Modelle für die metrischen Merkmale. Auf der Y-Achse die Antwortvariable (die zu modellierenden metrischen Merkmale); auf der X-Achse, die Prädiktorvariablen (der Faktor "Sprache" und die Kovariaten in den additiven Modellen, die die Form und die Trajektorien der Kurven liefern (d. h. die Glättungseffekte: "Sprache + Kovariaten") und das Produkt aus der "Sprache" und einem metrischen Merkmal, das eine genauere Projektion der Antwortvariablen ermöglicht (d. h. faktorglatte Wechselwirkungen: 'Kovariate:Sprache'). Abkürzung: GAMs = Generalized Additive Models. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ergebnisse für die Sprachwahrnehmung
In Bezug auf die BP-Stimmenaufstellungen wurde in Aufstellung #1 (Abbildung 8A) die Folienstimme #3 als Zielstimme beurteilt. Tatsächlich war die Zielstimme die Stimme #4. Die Ergebnisse zeigen keinen statistisch signifikanten Unterschied (siehe Ergänzende Tabelle S1) zwischen der Folie #3 (83%) und der Zielstimme #4 (71%). In Lineup #2 (Abbildung 8B) zeigte ein Vergleich zwischen der Zielstimme #3 (40%) und der Folie #4 (20%) ebenfalls keinen statistisch signifikanten Unterschied (siehe Ergänzende Tabelle S1) für die englischen Stimmenaufstellungen. In Aufstellung #1 (Abbildung 9A) gab es keinen signifikanten Unterschied (siehe Ergänzende Tabelle S1) zwischen der Folie #2 (26%) und der Zielstimme #4 (54%).

Bei der Analyse der Stimmähnlichkeit zeigten sowohl die Kosinus-Ähnlichkeit (CoSim) als auch die euklidische Distanz (EucDist, [EucDist transformed]54) eine konsistente Korrelation zwischen Folie #3 und dem Ziel für die BP-Aufstellung #1 (CoSim = 0,99; EucDist = 77,4, [0,93]). Die Korrelation zwischen Florett #4 und dem Ziel war in der BP-Aufstellung #2 ähnlich stark (CoSim = 0,99, EucDist = 76,3, [0,93]). In der englischen Aufstellung #1 war die Korrelation für CoSim konsistent (0,83(, aber schwach bis befriedigend für EucDist (213,0, [0,47]. Insgesamt waren sowohl CoSim als auch EucDist zufriedenstellende Techniken zur Bestimmung der Stimmähnlichkeit. Darüber hinaus war CoSim etwas effektiver, wie von Gahman und Elangovan52 (siehe Ergänzende Tabelle S1) angesprochen.

Was könnte in Bezug auf die Ähnlichkeit zu einer Zunahme von Fehlalarmen geführt haben? Prosodisch-akustische Merkmale zeigten, dass, obwohl Folien und Zielstimmen (statistisch) signifikant unterschiedlich abschnitten - mit Ausnahme der in Abbildung 8A,B und <strong class="xfig">Abbildung 9A dargestellten Aufstellungen - die Auswahl der Hörer entlang verschiedener Folien in den anderen Aufstellungen (Abbildung 8C,D und Abbildung 9B-D). Eine solche Beurteilung scheint mehr von einem (oder vielleicht mehreren) spezifischen akustischen Merkmal der Lautsprecher abzuhängen als von einer ganzen Klasse prosodisch-akustischer Merkmale. Zum Beispiel präsentierte unsere Studie mehrere Merkmale, die zwischen den Produktionen (ko)variierten; Nichtsdestotrotz zeigen die Wahrnehmungsergebnisse die Präferenzen der Urteile für eine bestimmte Folie, die mit der Zielstimme übereinstimmt8,35,64,65. Weitere Analysen sind in zukünftigen Arbeiten notwendig.

Es ist bemerkenswert, die Wahl einer mehrdimensionalen parametrischen Matrix für akustische Ähnlichkeit66 als die in dieser Studie vorgestellte zu betrachten. Unsere Ergebnisse stimmen mit früheren Studien überein, in denen akustische Merkmale basierend auf f0, VQ und Intensität verwendet wurden9,35. Solche Funktionen werden bemerkenswert für Lautsprechervergleichsaufgaben im forensischen Bereich empfohlen9,66. Es ist jedoch wichtig hervorzuheben, dass in der vorliegenden Forschung keine der Folien als ähnlich mit der Zielstimme vorhergesagt wurde, obwohl wir eine Variante der McFarlane-Richtlinien verwendet haben16,17 bei der Vorbereitung der Stimmenaufstellungen für die Erkennung von Sprechern mit fremdem Akzent. Darüber hinaus müssen wir betonen, dass unser Stimmaufstellungsverfahren wichtige Unterschiede zu McFarlanes Richtlinien enthält, einschließlich der Stimuluslänge, der Anzahl der Stimmen, der Auswahl der Folien (hier randomisiert) und des Sprechstils.

Inwieweit prosodisch-akustische Merkmale von f0, Sprachqualität und Intensität mit der Wahrnehmung der Zuhörer zusammenhängen, hängt stark vom in der Forschung verwendeten Sprechstil ab. Hier haben wir Lesepassagen verwendet. Die Mehrzahl der Ohrenzeugenstudien entscheidet sich für (halb-)spontane Stimuli als ausgewogene Lösung - z.B. das DyVis-Corpus67-, das in zeitgenössischen Ohrenzeugenuntersuchungen ausgiebig eingesetzt wurde28,68. Der Grund, der uns dazu veranlasst hat, die Leseaufgaben zu wählen, ist, dass unser Korpus zum Zeitpunkt der Erstellung dieses Manuskripts ausschließlich aus Daten bestand, die aus Leseaufgaben gewonnen wurden. Es ist jedoch wichtig zu erkennen, dass der Prozess der Zusammenstellung eines (halb-)spontanen Korpus bereits im Gange ist. Darüber hinaus kann der Akt des Lesens einer Geschichte ein zuverlässiges Maß an Einheitlichkeit und Variation erzeugen, sowohl innerhalb als auch zwischen den Sprechern. Dies erleichtert die Betonung prosodischer oder phonetischer Merkmale - individuell oder dialektal - in Situationen, in denen Stimmvergleiche erforderlich sind. Dies macht sich besonders bemerkbar in Fällen von Stimmbelastung während der Produktion eines fremden Akzents, selbst bei geübten Sprechern 8,9,23,54.

figure-results-3
Abbildung 8: Balkendiagramme mit den Ergebnissen für die vier Aufstellungen, die von den brasilianischen Zuhörern durchgeführt wurden. (A,B) Nicht signifikanter Unterschied zwischen der Zielstimme (in blau) und einer Folie (in hellblau). (C,D) signifikante Unterschiede zu den Folien und der Zielstimme. Abkürzung: NS = nicht signifikant. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-4
Abbildung 9: Balkendiagramme mit den Ergebnissen für die vier Aufstellungen, die von den amerikanischen Hörern durchgeführt wurden. (A) Nicht signifikante Differenz zwischen der Zielstimme (in rot) und einer Folie (in rosa). (B,C,D) Deutliche Unterschiede zu den Folien und der Zielstimme. Abkürzung: NS = nicht signifikant. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ergänzende Tabelle S1: Sprachproduktionsstatistik - Generalisierte additive Modelle (GAMs): Die F-Statistik (Freiheitsgrade), das adjustierte R2 jedes statistisch signifikanten prosodisch-akustischen Merkmals (Abbildung 6) und die Rhythmusmetrik (Abbildung 7) pro Sprachstufe sowie die einzelnen Werte jedes glatten Terms (die Kovariaten). Sprachwahrnehmungsstatistik: Die Kruskall-Wallis χ2-Statistik (Freiheitsgrade), die p-Werte und die angepasste η2 sowie ein Post-hoc-Dunn-Test für den paarweisen Vergleich (Abbildung 8 und Abbildung 9) jeder statistisch nicht signifikanten Differenz zwischen den Paaren von Ziel-Folien-Stimmen (Abbildung 8A,B und Abbildung 9A). Akustische Ähnlichkeitsmatrizen für den Kosinus- und euklidischen Abstand jeder Besetzung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Das aktuelle Protokoll stellt ein Novum auf dem Gebiet der (forensischen) Phonetik dar. Sie gliedert sich in zwei Phasen: eine auf der Produktion (akustische Analyse) und eine auf der Wahrnehmung basierende (Beurteilungsanalyse). Die Phase der Produktionsanalyse umfasst neben den Statistiken auch die Datenaufbereitung und die erzwungene Ausrichtung, die Neuausrichtung und die automatische Extraktion von prosodisch-akustischen Merkmalen. Dieses Protokoll verbindet die Phase der Datenerfassung schneller und effizienter mit der Datenanalyse als die traditionellen Protokolle, die auf einer überwiegend manuellen Segmentierung basieren.

Der in den Protokollschritten 1.3.6 bis 1.3.6.9 gezeigte Neuausrichtungsprozess funktioniert jedoch grundsätzlich mit den in den Protokollschritten 1.3.1 bis 1.3.4 generierten Telefon- und Word-Einheiten. Das Neue an der Neuausrichtung besteht darin, dass ein neues TextGrid generiert wird, das drei neue Textebenen enthält: eine Silbenebene, eine Sprachblockebene, die automatisch oder manuell auf der Grundlage von Wörtern generiert werden kann, und eine Tonebene, die für die Berechnung von f0-Maßen sehr nützlich sein kann. Die für dieses Protokoll vorgeschlagenen Neuausrichtungsrichtlinien wurden zuvor in Studien zum L2-Sprachrhythmus 21,69,70, Studien zur Erkennung des Fremdakzentgrades unter Verwendung von Techniken des maschinellen Lernens22 und Studien im forensischen Bereich 9 verwendet.

Die automatische Extraktion prosodischer Merkmale, die in den Protokollschritten 1.3.7 bis 1.3.7.10 vorgestellt wurde, erzeugt eine mehrdimensionale Matrix prosodisch-akustischer Merkmale, wie in der aktuellen Forschung nachgewiesen werden konnte. Zu diesen Merkmalen gehören melodische, dauerhafte und spektrale (Sprachqualität und -intensität) Sprachmerkmale71. Eine beträchtliche Anzahl dieser akustischen Merkmale ist weniger empfindlich und einigermaßen robust gegenüber verrauschten Audioaufnahmen, die schließlich in der Forensik oder in anderen Szenarien gesammelt werden72. Darüber hinaus kann die mehrdimensionale Matrix über verschiedene KI-Techniken auf Spracherkennungssysteme angewendet werden (work in progress). Es kann immer noch sehr nützlich sein, wenn es darum geht, prosodische Aspekte in den L2-Ausspracheklassen21 (in Arbeit) zu unterrichten.

Die statistische Analyse dieses Teils des Protokolls stellt die Verwendung der GAM-Methode dar, da wir uns mit einer komplexen Beziehung zwischen einem spezifischen akustischen Merkmal und mehreren Sprachfaktor-Sprechern befasst haben. Um beispielsweise ein bestimmtes akustisches Merkmal zu modellieren, war es notwendig, zu überprüfen, wie sich andere akustische Merkmale aus der Matrix (die glatten Terme) verhalten würden, damit wir genauer beschreiben konnten, was während der Sprachproduktion passierte.

Was die Wahrnehmungsanalyse betrifft, so wurde das aktuelle Protokoll durch die Vorbereitung und Implementierung der Stimmenaufstellungen, die statistische Analyse und die akustische Ähnlichkeitsanalyse erstellt. Um die Aufstellungen vorzubereiten, haben wir das CreateLineup-Skript für Praat verwendet, das automatisch eine Audiodatei für jede Aufstellung generiert, die zufällig sequenzierte Folien und Zielstimme enthält, wie in den Protokollschritten 2.2 bis 2.2.1.9 beschrieben.

Für die statistische Analyse dieses Protokolls haben wir den nicht-parametrischen Kruskal-Wallis-Test durchgeführt, da unsere Daten nicht den Annahmen der Varianzanalyse (ANOVA) entsprachen. Sobald wir eine Beziehung zwischen den von den Zuhörern bewerteten und kontrollierten Beurteilungswerten für die Zielstimme und die Foils hatten, entschieden wir uns für die Verwendung der linearen Modellstatistik.

Für die akustische Ähnlichkeitsanalyse haben wir das Skript AcousticSmilarity_cosine_euclidean für Python verwendet. Das Programm öffnet den Verzeichnisbaum des Computers und fordert den Benutzer auf, die Datei auszuwählen, die die prosodisch-akustischen Merkmale der Folien und die Zielstimme enthält, aus der sich die Aufstellung in der Analyse zusammensetzt. Mit einem Klick auf eine Schaltfläche generiert das Skript drei Ähnlichkeitsmatrizen: einen Kosinus, eine euklidische und eine transformierte (null zu eins) euklidische Matrize, sowohl für '.txt' (tabulatorgetrennte) als auch für '.csv'-Dateien. Wir müssen immer noch im Hinterkopf behalten, dass jeder Datensatz (die '.txt'-Datei mit den prosodisch-akustischen Merkmalen der Foils und des Ziels) sich im Originalordner der Aufstellung befinden muss, und jeder Aufstellungsordner muss eine Kopie des AcousticSmilarity_cosine_euclidean Skripts enthalten.

Zusammenfassend lässt sich sagen, dass das aktuelle Protokoll in der (forensischen) Phonetikforschung Fortschritte macht. Es besteht aus unterschiedlichen Phasen - Produktions- und Wahrnehmungsanalysen sowie akustischer Ähnlichkeit - und schließt die Lücke zwischen Datenerfassung und mehrdimensionaler akustischer Merkmalsanalyse. Forschende können von einer ganzheitlichen Perspektive profitieren, die sowohl Produktions- als auch Wahrnehmungsaspekte untersucht. Darüber hinaus gewährleistet dieses Protokoll die Reproduzierbarkeit der Forschung, so dass andere auf den Richtlinien dieser Arbeit aufbauen können.

Grenzen und zukünftige Richtungen
Wir müssen uns immer noch vor Augen halten, dass alles erfolgreich funktionieren wird, wenn die Datenaufbereitung den Richtlinien folgt, die in den Protokollschritten 1.3.1 bis 1.3.4 vorgeschlagen wurden. Außerdem müssen wir uns bei den Verfahren zur erzwungenen Ausrichtung darüber im Klaren sein, dass ein externer, vortrainierter Zwangs-Aligner, wie MAUS, der in der aktuellen Arbeit verwendet wird, anfällig für Segmentierungsfehler ist, insbesondere bei nicht vortrainierten Daten mit fremdem Akzent oder sogar bei vortrainierten Alignern, unabhängig davon, ob der Ton keine gute Qualität hat oder der Aligner die Audiosprache nicht enthält (diese Tatsache würde die Arbeit des Experten schwieriger und zeitaufwändiger machen). Die forensische Transkription, insbesondere von längeren Audiodateien, stößt auf Schwierigkeiten bei der genauen und zuverlässigen Wiedergabe von gesprochenen Aufzeichnungen72.

Es gibt auch einige Herausforderungen beim Transkribieren und Ausrichten längerer Audiodateien. Die Leistung der Aligner wird durch den Sprechstil und die phonetische Umgebung sowie durch dialektspezifische Faktoren beeinflusst. Obwohl es Aligner-spezifische Unterschiede gibt, ist ihre Leistung im Allgemeinen ähnlich und führt zu Segmentierungen, die sich gut mit der manuellen Ausrichtung insgesamt vergleichenlassen 73. Darüber hinaus wurden die englischen L1- und L2-Produktionen mit einem vortrainierten akustischen Modell des amerikanischen Englisch durchgeführt, da in MAUS keine ausländischen Sprachmodelle verfügbar waren. Darüber hinaus gibt es in MAUS keine vortrainierten akustischen Modelle für BP. Für die BP-Daten wurden die bereits vorhandenen akustischen Modelle des Italienischen verwendet (siehe ANMERKUNG, Protokollschritt 1.3.5.7).

In zukünftigen Arbeiten (in Arbeit) werden wir den Montreal Forced Aligner (MFA)74 als Teil des Protokolls verwenden. Ein großer Vorteil der MFA ist die Verfügbarkeit von vortrainierten akustischen Modellen und Graphem-zu-Phonem-Modellen für eine Vielzahl von Sprachen (einschließlich BP) sowie die Möglichkeit, neue akustische und Graphem-zu-Phonem-Modelle auf jeden neuen Datensatz (d. h. unser Sprachkorpus mit fremdem Akzent) zu trainieren75.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben keine Interessenkonflikte anzugeben.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Studie wurde vom Nationalen Rat für wissenschaftliche und technologische Entwicklung - CNPq, Fördernummer 307010/2022-8 für den Erstautor und Fördernummer 302194/2019-3 für den Zweitautor unterstützt. Die Autoren möchten den Teilnehmern dieser Studie ihren aufrichtigen Dank für ihre großzügige Zusammenarbeit und ihre unschätzbaren Beiträge aussprechen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
CreateLineupPersonal collection#Skript für Praat zur Vorbereitung von Sprachaufstellungen
Dell I3 (mit Solid-State-Laufwerk - SSD) Dell#Laptop-Computer
PraatPaul Boersma & David Weenink#Software für phonetische Analyse
Python 3Python Software Foundation#Interpretierte, universelle Programmiersprache auf hohem Niveau 
RDas R-Projekt für statistisches Rechnen#Programmiersprache für stattistisches Rechnen
Shure Beta SM7BShure#Microphone
SpeechRhythmExtractorPersönliche Sammlung#Skript für Praat zur automatischen Extraktion von akustischen Merkmalen
SurveyMonkeySurveyMonkey Inc.#Zusammenstellung von kostenlosen, anpassbaren Umfragen sowie einer Suite von Backend-Programmen, die Datenanalyse, Stichprobenauswahl, Debiasing und Datendarstellung umfassen.
Tascam DR-100 MKIITascam#Digitaler Diktiergerät
Das automatische Segmentierungssystem München MAUSUniversität München#Forced-Aligner von Audio- (.wav) und linguistischen Informationsdateien (.txt)
VVUnitAlignerPersönliche Sammlung#Skript für Praat zur automatischen Neuausrichtung und Nachbearbeitung phonetischer Einheiten

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Prosodische MerkmaleSprachwahrnehmungStimmqualit tGrundfrequenzSprechererkennungakustische hnlichkeit

Verwandte Artikel