In dieser Studie wurden öffentlich verfügbare Datensätze, und zwar der BVC Challenging Voice Set und der Mozilla Common Voice, ohne direkte Beteiligung von Teilnehmern verwendet. Daher war keine Genehmigung durch eine institutionelle Ethikkommission und keine zusätzliche informierte Einwilligung erforderlich. Es wurden lediglich Daten verarbeitet, die für die Klassifizierung von Geschlecht und Alter notwendig waren, und es wurde kein Versuch unternommen, einzelne Sprecher zu identifizieren. Die vollständige methodische Vorgehensweise des vorgeschlagenen Frameworks ist in Abbildung 1 dargestellt.
Datenerfassung
Der in dem vorgeschlagenen Ansatz verwendete Datensatz bestand aus .wav-Audiodateien, die aus dem BVC Challenging Voice Set stammen, einem öffentlich verfügbaren Sprachdatensatz der Biometrics Vision and Computing (BVC)-Gruppe, der auf GitHub32 gehostet wird. Der Datensatz enthielt Sprachaufnahmen von 526 Personen, darunter 336 männliche und 190 weibliche Sprecher. Er umfasste etwa 3.964 Aufnahmen, darunter Einzel- und Mehrsatzaufnahmen jedes Sprechers. Tabelle 2 fasst die demografischen Merkmale, die Sprachabdeckung, die Aufnahmebedingungen, die Strategie zur Datenaufteilung sowie die verwendeten Vorbereitungseinstellungen für die Sprachdatensätze im vorgeschlagenen VoiceNet-RAI-Framework zusammen.
Merkmalsextraktion
Audiodateien wurden verarbeitet, um wesentliche Eigenschaften zu extrahieren, die anschließend in einer CSV-Datei gespeichert wurden. Metadaten wie Alter, Geschlecht und Aussprache der Sprecher wurden aus den entsprechenden README-Dateien extrahiert. Zur Verarbeitung der WAV-Dateien und zur Extraktion relevanter Merkmale wurde Python zusammen mit dem SciPy-Paket verwendet. Für die Umwandlung der Audiosignale vom Zeitbereich in den Frequenzbereich kamen die Fast-Fourier-Transformation (FFT) und Frequenzfunktionen von NumPy zum Einsatz. Die WAV-Dateien stellten die Amplitude als Funktion der Zeit dar; für die Klassifizierungsaufgabe waren jedoch frequenzbezogene Merkmale, die männliche und weibliche Stimmen unterscheiden konnten, von größerem Interesse33.
Um die Audiosignale in Darstellungen im Frequenzbereich umzuwandeln, wurde die Diskrete Fourier-Transformation (DFT) unter Verwendung des FFT-Algorithmus implementiert. Die Fourier-Transformation wandelt ein Signal im Zeitbereich in ein Frequenzspektrum um. Da dieses Spektrum keine zeitlichen Informationen bewahrte, wurde das Audiosignal in überlappende Segmente unterteilt, und die Fourier-Transformation wurde mithilfe der Methode der Kurzzeit-Fourier-Transformation (STFT) auf jedes Segment angewendet. Die Funktion np.fft.fft erzeugte das komplexe Frequenzspektrum, während np.fft.fftfreq die entsprechenden Abtastfrequenzen bereitstellte. Im Beispielverzeichnis standen 10 Audiodateien für einen einzelnen Sprecher zur Verfügung. Jede WAV-Datei wurde mit 200 ms langen verschiebbaren Fenstern verarbeitet, um die dominierenden Frequenzen zu extrahieren. Beispielsweise ergab eine viersekündige Audioaufnahme eine Liste mit 20 Frequenzwerten. Für ein Verzeichnis mit 10 Aufnahmen wurden die 10 entsprechenden Listen, jede mit 20 Frequenzwerten, zu einer Liste von Listen zusammengefasst. Die Frequenzen wurden gefiltert, um Werte zwischen 20 Hz und 280 Hz beizubehalten, während potenzielles Rauschen bei etwa 50 Hz ausgeschlossen wurde.
Hybride MFCC- und wav2vec-2.0-Merkmalrepräsentation
Um sowohl kontextuelle Sprachdarstellungen auf hoher Ebene als auch akustische Merkmale auf niedriger Ebene zu erfassen, verwendete diese Studie eine hybride Strategie zur Merkmalsextraktion, die MFCC-Merkmale mit Transformer-basierten wav2vec-2.0-Embeddings kombinierte.
Extraktion von MFCC-Merkmalen
Mel-Frequenz-Cepstrum-Koeffizienten (MFCCs) sind weit verbreitete Merkmale in der Sprach- und Audiosignalverarbeitung, insbesondere für Anwendungen wie die Spracherkennung und Sprecheridentifikation34,35. In dieser Studie wurde durch die MFCC-Extraktion der Audiosignale Merkmalsvektoren erzeugt, die wahrnehmungsrelevante Eigenschaften der Sprache repräsentieren. Der Prozess begann mit einer Vorbetonung zur Verstärkung der hochfrequenten Anteile, gefolgt von einer Segmentierung und Fensterung, um das Signal in kurze, überlappende Abschnitte zu unterteilen. Jede Audiodatei wurde zunächst auf 16 kHz umgetastet und in 25-ms-Frames mit einer Überlappung von 10 ms segmentiert. Danach wurde die Schnelle Fourier-Transformation (FFT) auf jeden Frame angewendet, um das Signal vom Zeitbereich in den Frequenzbereich zu überführen.
Das resultierende Frequenzspektrum wurde durch eine Reihe von Mel-Filterbänken geleitet, die die nichtlineare Frequenzantwort der menschlichen auditorischen Wahrnehmung annäherten. Diese Filterbänke betonten stärker wahrnehmungsrelevante Frequenzen und verringerten den Beitrag weniger aussagekräftiger Frequenzen. Anschließend wurde der Logarithmus jedes Filterbankausgangs berechnet, um die logarithmische Empfindlichkeit des menschlichen Gehörs gegenüber Lautstärke zu approximieren. Danach wurde eine diskrete Kosinustransformation (DCT) auf die logarithmischen Filterbankenergien angewendet, um die Koeffizienten zu entkoppeln und eine kompakte Darstellung des Audiosignals zu erzeugen. Die resultierenden Koeffizienten, bekannt als MFCCs, erfassen wichtige spektrale Merkmale der Sprache. MFCCs wurden für die Klassifizierung nach Geschlecht und Alter verwendet, da sie akustische Merkmale erfassen, die Stimmen hinsichtlich dieser Attribute unterscheiden.
Extraktion von wav2vec 2.0-Embeddings
Das wav2vec-2.0-Base-Modell wurde auf umfangreichen, nicht gekennzeichneten Sprachkorpora vortrainiert. Das Modell bestand aus einem mehrschichtigen Transformer-Encoder, der Rohwellenform-Eingaben verarbeitete und kontextualisierte Sprach-Embeddings generierte36.
Bei gegebener Eingangswellenform x ∈ RT erzeugte das wav2vec 2.0-Modell eine Sequenz latenter Darstellungen:
Z = {z1,z1,....,zn},zi ∈ R768 (1)
wobei jeder Embedding-Vektor eine Dimensionalität von 768 aufwies. Um eine Darstellung fester Länge zu erhalten, die für die Klassifizierung geeignet ist, wurde eine zeitliche Mittelwert-Pooling-Operation über alle Zeitschritte hinweg angewendet.
(2)
Mechanismus der Merkmalsfusion
Die MFCC- und wav2vec-2.0-Merkmale wurden durch Merkmalsverkettung auf Ebene der Merkmale fusioniert. Insbesondere wurden die MFCC-Merkmale zunächst durch zeitliche Mittelung aggregiert, um einen Vektor fester Länge zu erzeugen.
m ∈ R40 (3)
Der endgültige hybride Merkmalsvektor wurde wie folgt erhalten:
h = [m || zpooled] ∈ R808 (4)
wobei || die Verkettung bezeichnet. Diese Fusion kombinierte tiefe kontextuelle Einbettungen mit manuell erstellten spektralen Merkmalen und ermöglichte es dem Modell, sowohl semantische Informationen auf höherer Ebene als auch fein abgestimmte akustische Muster zu erfassen.
Alle Audiodaten wurden zunächst auf 16 kHz umgesampelt. MFCC-Merkmale wurden rahmenweise berechnet und zeitlich gemittelt, um einen festen 40-dimensionalen Vektor zu erzeugen, während wav2vec-2.0-Embeddings über die Zeit gemittelt wurden, um eine 768-dimensionale Repräsentation zu erzeugen. Da beide Merkmalsmengen vor der Fusion in Vektoren fester Länge umgewandelt wurden, war eine zeitliche Ausrichtung auf Rahmenebene nicht erforderlich. Die resultierenden MFCC- und wav2vec-Repräsentationen wurden anschließend zu einem 808-dimensionalen hybriden Merkmalsvektor konkateniert, bevor sie dem Klassifikationsmodell übergeben wurden.
Integration mit EfficientNet-Lite
Der fusionierte Merkmalsvektor h wurde in ein für das Merkmal-Lernen geeignetes Format umgeformt und als Eingabe für das EfficientNet-Lite-Modell zum Training bereitgestellt. Eine voll verbundene Projektionsschicht bildete zunächst den 808-dimensionalen Vektor auf einen höherdimensionalen latenten Raum ab, woraufhin die EfficientNet-Lite-Blöcke hierarchische Merkmale verfeinerten. Batch-Normalisierungs- und Dropout-Schichten kamen zum Einsatz, um Überanpassung zu verringern und die Generalisierungsfähigkeit des Modells zu verbessern. Die SoftMax-Aktivierungsfunktion diente der Erzeugung der endgültigen vorhergesagten Wahrscheinlichkeiten für die Geschlechts- und Altersklassen. Die fusionierte Darstellung h ∈ R808 wurde anfänglich als eindimensionaler Merkmalsvektor behandelt und durch eine voll verbundene Projektionsschicht geleitet, die sie auf 4.096 Dimensionen abbildete. Die projizierte Darstellung wurde anschließend in einen 1 × 64 × 64-Tensor umgeformt, bevor sie der EfficientNet-Lite-Architektur zugeführt wurde.
Um die einkanalige Sprachmerkmalsdarstellung anstelle der herkömmlichen dreikanaligen Bilddarstellung zu berücksichtigen, wurde die Eingangsfaltungsschicht des ursprünglichen EfficientNet-Lite von drei auf einen Eingangskanal modifiziert. Die übrigen EfficientNet-Lite-Merkmalextraktionsblöcke blieben ohne wesentliche architektonische Änderungen erhalten. Auf die endgültigen Merkmalskarten wurde eine adaptive globale Durchschnittspooling-Schicht angewendet, um eine Darstellung fester Länge zu erzeugen. Der ursprüngliche Klassifizierungskopf wurde durch eine aufgabenspezifische vollverknüpfte Schicht ersetzt, die zwei Ausgabeeinheiten für die Geschlechtsklassifizierung sowie die entsprechende Anzahl an Ausgabeeinheiten für die vordefinierten Altersgruppen enthielt. Abschließend wurde die SoftMax-Aktivierungsfunktion angewendet, um Klassenwahrscheinlichkeiten zu erzeugen. Die vorgeschlagene hybride Darstellung kombinierte moderne selbstüberwachte Sprachembeddings mit traditionellen signalverarbeitenden Merkmalen. Die wav2vec-2.0-Embeddings erfassten kontextuelle Informationen und langreichweitige Abhängigkeiten, während die MFCC-Merkmale komplementäre akustische Informationen auf niedriger Ebene lieferten. Die Integration dieser Darstellungen verbesserte die Klassifizierungsleistung, insbesondere unter verrauschten und mehrsprachigen Sprachbedingungen.
ML-Klassifikator
In dieser Studie wurde die Leistung mehrerer ML-Algorithmen für die stimmgestützte Klassifizierung von Geschlecht und Altersgruppe analysiert.
Random Forest
Random Forest (RF) wurde als robuster Machine-Learning-(ML)-Klassifikator verwendet, der mehrere Entscheidungsbäume (DTs) kombiniert, um die Vorhersagegenauigkeit zu verbessern und Überanpassung zu verringern. RF arbeitete mithilfe eines Ensemble-Lernverfahrens, bei dem Vorhersagen aus mehreren Bäumen aggregiert wurden, um die endgültige Vorhersage zu erzeugen37,38. Dieser Ansatz ermöglichte es RF, vielfältige Muster in den Daten zu erfassen, während gleichzeitig die Überanpassung, die häufig mit einzelnen DTs verbunden ist, reduziert wurde. Die Zufälligkeit, die während des Baumaufbaus eingeführt wurde, verbesserte die Generalisierbarkeit des Modells und machte RF für Klassifizierungsaufgaben wie Geschlechts- und Altersklassifizierung anhand von Sprachdaten geeignet.
Logistische Regression
Die logistische Regression (LR) wurde als statistisches ML-Modell für die Klassifizierung verwendet39. Bei der binären Klassifizierung schätzt die LR die Wahrscheinlichkeit eines Ergebnisses anhand der Eingabemerkmale unter Verwendung der logistischen (Sigmoid-)Funktion, und die resultierenden Wahrscheinlichkeiten werden zur Erzeugung von Klassenvorhersagen genutzt. Die LR war ebenfalls auf Mehrklassen-Klassifizierungsprobleme mit mehr als zwei Klassen anwendbar. Für die Mehrklassen-Klassifizierung kamen bei der LR Ansätze wie One-vs-Rest oder SoftMax-Regression zum Einsatz, abhängig von der jeweiligen Klassifizierungsaufgabe.
Extra-Tree-Klassifizierer
Der Extra-Trees-Klassifikator (ETC) wurde als Ensemble-Lernalgorithmus verwendet, der mehrere DTs kombinierte, um Vorhersagen zu generieren40,41. Im Gegensatz zu RF führt ETC eine zusätzliche Zufälligkeit ein, indem Kandidatenmerkmale und Aufteilungsschwellenwerte während der Baumkonstruktion zufällig ausgewählt werden. Dieses Verfahren erzeugte weniger korrelierte Bäume und verringerte die Empfindlichkeit des Modells gegenüber einzelnen Merkmalen, wodurch die Robustheit gegenüber Rauschen verbessert wurde. Der Gini-Index wurde als Kriterium für die Aufteilung verwendet, um die Wichtigkeit der Merkmale zu bewerten und die Daten zu partitionieren.
Stützvektormaschine
Die Support-Vektor-Maschine (SVM) wurde als ML-Klassifikator verwendet, um eine optimale Entscheidungsgrenze in einem hochdimensionalen Merkmalsraum zu identifizieren42. Ziel war es, eine Hyperebene zu bestimmen, die den Abstand zwischen den Klassen maximiert. Ein größerer Abstand zwischen der Entscheidungsgrenze und den nächstgelegenen Datenpunkten unterstützt in der Regel eine bessere Klassentrennung und Verallgemeinerung. Die SVM ist auf verschiedene ML-Aufgaben anwendbar, darunter Klassifikation, Regression und merkmalsbasierte Datenanalyse.
Faltungsneuronale Netze
Faltungsneuronale Netze (CNNs) wurden als Deep-Learning-(DL-)Modelle für Klassifizierungsaufgaben mit strukturierten Darstellungen von Bild- und Audiodaten verwendet. Eindimensionale CNNs (1D-CNNs) wurden ebenfalls häufig auf sequenzielle und textuelle Daten angewendet. CNN-Architekturen nutzten Faltungskerne und Pooling-Operationen, um diskriminative Merkmale aus den Eingabedaten zu extrahieren43,44. Zur Geschlechts- und Altersklassifizierung anhand von Sprachdaten wurden CNNs auf sprachbasierte Darstellungen angewendet, um Muster im Zusammenhang mit Tonhöhe, Frequenz, Klangfarbe und anderen stimmlichen Merkmalen zu lernen, die für die Unterscheidung von Geschlechts- und Altersgruppen relevant sind.
VGG19
VGG19 wurde als eine Deep-Learning-Architektur verwendet, die sich durch eine tiefe, relativ einheitliche hierarchische Struktur zur Merkmalsextraktion auszeichnet45. Die Architektur verwendet kleine 3 × 3-Faltungsfilter über 19 Schichten hinweg, wodurch eine schrittweise Extraktion diskriminativer Merkmale ermöglicht wird. Bei Anwendung auf aus Sprache abgeleitete Darstellungen erfasst VGG19 sowohl akustische Muster auf niedriger Ebene, wie Tonhöhe und Frequenzvariationen, als auch diskriminative Merkmale auf höherer Ebene. Die tiefe Architektur ermöglicht eine fortschreitende Abstraktion von Merkmalen zur Modellierung stimmlicher Eigenschaften, die mit Geschlecht und Alter assoziiert sind.
EfficientNet-Lite
EfficientNet-Lite wurde als recheneffiziente DL-Architektur verwendet46,47. Das Modell verwendete eine ausgewogene Skalierungsstrategie, um eine hohe Klassifizierungsleistung zu erzielen, während es weniger Rechenressourcen benötigte als schwerere DL-Architekturen. Sein verbundener Skalierungsansatz berücksichtigte gemeinsam die Modelltiefe, -breite und die Eingabeauflösung, um eine effiziente Merkmalsextraktion zu ermöglichen.
EfficientNet-Lite wurde für den vorgeschlagenen VoiceNet-RAI-Ansatz aufgrund seiner leichten Architektur und des günstigen Verhältnisses zwischen Klassifizierungsleistung und Modellkomplexität ausgewählt. Im Vergleich zu schwereren Architekturen verwendete es effiziente faltende Blöcke und verbundene Skalierung, um ein effektives Merkmalslernen mit weniger Parametern und geringeren Rechenanforderungen zu erreichen. Diese Eigenschaften machten EfficientNet-Lite für den vorgeschlagenen Sprachklassifizierungsansatz geeignet und boten das Potenzial für den Einsatz in ressourcenbeschränkten Umgebungen.
MobileNet
MobileNet wurde als leichtgewichtige DL-Architektur für Anwendungen mit begrenzten Rechenressourcen verwendet, einschließlich mobiler und Edge-Computing-Umgebungen48. Die hohe Recheneffizienz wurde hauptsächlich durch tiefenweise separable Faltungen erreicht, die die Anzahl der Parameter und Rechenoperationen im Vergleich zu herkömmlichen faltenden Architekturen verringerten. Diese Eigenschaften machten MobileNet geeignet, um Geschlechts- und Altersklassifizierung anhand von Sprachdaten zu bewerten, während gleichzeitig relativ geringe Rechenanforderungen beibehalten wurden.
InceptionV3
InceptionV3 wurde als tiefe Architektur verwendet, um hierarchische Merkmale aus sprachbasierten Darstellungen zu extrahieren49. Die Architektur enthielt konvolutionale, Pooling- und gemischte Operationen, um Merkmale auf unterschiedlichen Abstraktionsstufen zu extrahieren. Für die Klassifizierung von Geschlecht und Alter anhand von Stimmdaten wurde InceptionV3 eingesetzt, um komplexe akustische Muster und hierarchische Darstellungen zu lernen, die mit Variationen in den Stimmmerkmalen assoziiert sind.
Evaluationsparameter
Genauigkeit war eine der am häufigsten verwendeten Evaluierungsmetriken für Klassifizierungsaufgaben50. Obwohl die Genauigkeit eine nützliche Maßzahl für die Gesamtleistung der Klassifizierung darstellte, lieferte sie nicht immer eine umfassende Bewertung, insbesondere bei unausgeglichenen Datensätzen. Daher wurden zusätzliche Metriken wie Präzision, Sensitivität und F1-Score verwendet, um die Modellleistung zu bewerten. Diese Metriken ermöglichten eine umfassendere Beurteilung, indem sie korrekte und inkorrekte Vorhersagen für jede Klasse berücksichtigten.
Genauigkeit wurde definiert als das Verhältnis korrekt klassifizierter Beobachtungen zur Gesamtanzahl der Beobachtungen. Obwohl die Genauigkeit besonders aussagekräftig für ausgewogene Datensätze ist, war der in dieser Studie verwendete Datensatz unausgewogen. Daher wurden bei der Berechnung und Interpretation der Klassifizierungsmetriken Richtige Positive (TP), Falsch Positive (FP), Richtige Negative (TN) und Falsch Negative (FN) berücksichtigt. Die folgende Gleichung stellt die Standarddefinition der Genauigkeit dar:
Genauigkeit = (TP+TN)/(TP+TN+FP+FN)×100 (5)
Die Präzision bewertet die Fähigkeit des Klassifikators, nur relevante Instanzen zurückzugeben:
Präzision= TP/(TP+FP) ×100 (6)
Die Rückstellrate, auch Sensitivität genannt, misst die Fähigkeit des Klassifikators, alle relevanten Instanzen zu identifizieren:
Erinnerung= TP/(FN+TP) × 100 (7)
Der F1-Wert kombiniert Präzision und Sensitivität zu einer einzelnen Kennzahl und ist besonders nützlich zur Bewertung der Klassifikationsleistung bei unausgewogenen Datensätzen:
F1-Score =2 ×(PPV ×TPR)/(TPR+PPV) × 100 (8)