Forschungsartikel

VoiceNet: Ein verantwortungsbewusstes, mehrsprachiges Framework für künstliche Intelligenz zur Geschlechts- und Altersklassifizierung von Sprache

48 Aufrufe

⸱

11. September 2026

 ,  ,  ,  ,  ,  ,  , 
1Department of Electrical and Computer Engineering, College of Engineering, Anderson University, South Carolina, 2Department of Computer Science, Faculty of Computing and Information Technology, King Abdulaziz University, 3Department of Information Technology, College of Computer and Information Sciences, Princess Nourah bint Abdulrahman University, 4Department of Computer Science, College of Computer Engineering and Sciences, Prince Sattam Bin Abdulaziz University, 5Department of Computer Science and Informatics, Applied College, Taibah University, 6Department of Computer Science & Information Technology, The Islamia University of Bahawalpur, Bahawalpur, 7Center for Scientific Research and Entrepreneurship, Northern Border University, 8School of Medicine, University of South Carolina

In diesem Artikel

Zusammenfassung

VoiceNet-RAI integriert MFCC-Merkmale, mehrsprachige wav2vec-2.0-Embeddings und EfficientNet-Lite zur Geschlechts- und Altersklassifizierung anhand von Sprachdaten. Das Framework erreicht eine Genauigkeit von bis zu 97,87 % bei der englischsprachigen Teildatensammlung und unterstützt verantwortungsvolle Anwendungen in der Spracherkennung, Authentifizierung und digitalen Forensik.

Zusammenfassung

Eine genaue Geschlechts- und Altersklassifizierung anhand von Sprachdaten ist wichtig für personalisierte, sichere und ethische Mensch-Computer-Interaktionen (HCI). Angesichts der zunehmenden Nutzung großer vortrainierter Sprachmodelle wie wav2vec 2.0 besteht die Notwendigkeit, diese Repräsentationen verantwortungsvoll für mehrsprachige und datenschutzkonforme demografische Schlussfolgerungen zu nutzen. Diese Studie schlägt VoiceNet-RAI vor, ein Deep-Learning-(DL-)Framework, das Mel-Frequenz-Cepstrum-Koeffizienten (MFCCs) mit transformerbasierten mehrsprachigen wav2vec-2.0-Embeddings in einer EfficientNet-Lite-Architektur kombiniert, um eine genaue, faire und transparente Klassifizierung in unterschiedlichen sprachlichen Kontexten zu ermöglichen. Das Framework verbindet kontextuelle und spektrale Informationen, um die Robustheit unter variablen Aufnahmebedingungen zu verbessern. Experimente mit mehrsprachigen Sprachdaten, die 28 Sprachen umfassen, zeigen eine hohe Klassifizierungsleistung, wobei die englische Teildatensatz 97,87 % Genauigkeit, 98,61 % Präzision, 98,70 % Sensitivität und einen F1-Score von 98,65 % erreicht. Eine externe Validierung anhand des Mozilla-Common-Voice-Datensatzes ergab eine Genauigkeit von 98,27 % bei der Geschlechtsklassifizierung und belegt damit die Übertragbarkeit auf einen unabhängigen Datensatz. Eine Ablationsanalyse zeigte zudem, dass die Kombination von MFCC- und wav2vec-2.0-Merkmalen die Leistung im Vergleich zu Rohdaten und reinen MFCC-Darstellungen verbessert. Diese Ergebnisse verdeutlichen das Potenzial hybrider spektral-kontextueller Sprachrepräsentationen für robuste und verantwortungsvolle Geschlechts- und Altersklassifizierung.

Einleitung

Die Spracherkennung ist ein zentraler Bestandteil der menschlichen Kommunikation, über die Individuen ihre Gefühle, Gedanken und Ziele ausdrücken. Menschliche Stimmen entstehen durch einen biologischen Prozess, bei dem Luft aus der Lunge ausgeatmet und durch artikulatorische Organe wie Lippen, Zunge und Zähne zu Schall geformt wird1. Das Ohr spielt eine wesentliche Rolle bei der Stimmerkennung und kann anhand von Merkmalen wie Lautstärke und Tonhöhe zwischen männlichen und weiblichen Stimmen unterscheiden. Ein Merkmal, das zu erheblichen Unterschieden in der Stimmtonhöhe zwischen Männern und Frauen beiträgt, ist der sexuelle Dimorphismus2. Die Klassifizierung von Alter und Geschlecht anhand der Stimme ist für zahlreiche Anwendungen relevant, darunter die Mensch-Maschine-Interaktion, die automatisierte Geschlechtsidentifikation, personalisierte Begrüßungen, die Vor-Klassifizierung von Emotionen in der Sprache und die geschlechtsbasierte Klassifizierung von Anrufen3.

Sprache ist ein wesentlicher Bestandteil der menschlichen Interaktion. Die menschliche Stimme weist mehrere Merkmale auf, die zwischen Individuen variieren und Informationen über emotionale und mentale Zustände sowie über Alter und Geschlecht liefern können. Diese vielschichtigen Merkmale können in Anwendungen wie sprachbasierten Sicherheitssystemen und auf Sprache ausgerichteten Künstlichen Intelligenzen (KI) genutzt werden. Weitere Bereiche, in denen die Stimmanalyse wichtig ist, umfassen Systeme zur automatischen Sprechererkennung (ASV) und emotionssensitive KI-Systeme. Sprachbasierte Eingabesysteme können zudem den Suchraum in Datenbanken verringern4,5. Außerdem können KI-basierte Sicherheitssysteme Sprachdaten für Anwendungen wie kriminalistische Ermittlungen und den Schutz von Opfern verwenden. Männliche und weibliche Stimmen weisen aufgrund von Unterschieden in den Resonanzeigenschaften des Stimmtrakts unterschiedliche Merkmale auf. Diese Merkmale können aus Sprachsignalen in einer Form extrahiert werden, die für die computergestützte Verarbeitung geeignet ist, wodurch eine Geschlechtsklassifizierung anhand von Stimmdaten ermöglicht wird6,7. Daher sind effektive Lernalgorithmen für die geschlechtsspezifische Klassifizierung anhand der Stimme erforderlich. Tiefenlern-Algorithmen (DL) eignen sich besonders gut für sprachbezogene Klassifizierungen, da sie komplexe Muster aus Audiodaten lernen können. Solche Modelle können je nach Architektur faltende, rekurrente, zeitlich-faltende oder vollständig vernetzte Schichten enthalten. Diese Schichten können relevante akustische Merkmale wie Klangfarbe und Tonhöhe lernen. Nach dem Training kann ein Modell das Geschlecht anhand zuvor unbekannter Audioaufnahmen klassifizieren8. Ein weiterer wichtiger Bereich der Forschung im Maschinellen Lernen (ML) ist die Altersklassifizierung anhand von Sprachaufnahmen. ML-Algorithmen können akustische Merkmale wie Tonhöhe, Klangfarbe und Amplitude nutzen, um altersbezogene Muster zu identifizieren. Techniken wie die Hauptkomponentenanalyse (PCA) können ebenfalls angewendet werden, um aussagekräftige Muster aus Sprachdaten zu extrahieren und möglicherweise die Klassifizierungsleistung zu verbessern9.

DL hat eine starke Leistung bei Anwendungen wie Bild-, Emotions- und Spracherkennung gezeigt. Tiefere Neuronale Netze (DNNs) werden insbesondere häufig für sprachbezogene Aufgaben eingesetzt. In dieser Studie werden DL-basierte Ansätze in Kombination mit etablierten Verfahren zur Merkmalsextraktion für die Stimmklassifizierung angewendet. Mel-Frequenz-Cepstrum-Koeffizienten (MFCCs) erfassen relevante spektrale Eigenschaften von Sprachsignalen und liefern eine effiziente Darstellung für die anschließende Verarbeitung. Die extrahierten Merkmale werden anschließend in ein Transfer-Learning-Modell zur geschlechts- und altersbasierten Klassifizierung anhand der Stimme integriert10,11.

Aktuelle Studien verwenden zunehmend selbstüberwachte und auf Transformatoren basierende Sprachrepräsentationen für die Klassifizierung von Sprechereigenschaften. Forschende haben demografische Verzerrungen, einschließlich Geschlechts- und Altersverzerrungen, in selbstüberwachten Sprachmodellen wie HuBERT und wav2vec 2.0 untersucht und dabei die Bedeutung einer bewussten Bewertung hinsichtlich Fairness hervorgehoben12. Kürzlich haben sprachunabhängige, auf Transformatoren basierende Ansätze die Wirksamkeit gelernter kontextueller Sprachrepräsentationen für die Geschlechtsklassifizierung unter mehrsprachigen und verrauschten Bedingungen gezeigt13. Sinha et al. untersuchten zudem schichtweise wav2vec-2.0-Repräsentationen hinsichtlich Alters- und Geschlechtsklassifizierung und zeigten, dass verschiedene Transformer-Schichten unterschiedliche Ebenen an sprecherbezogenen Informationen erfassen14. Diese Entwicklungen motivieren das vorgeschlagene VoiceNet-RAI-Framework, das konventionelle, auf MFCC basierende spektrale Informationen mit kontextuellen wav2vec-2.0-Repräsentationen kombiniert und dabei mehrsprachige Aspekte sowie Grundsätze der verantwortungsvollen Künstlichen Intelligenz (Responsible AI) berücksichtigt.

Neuere Studien haben gezeigt, dass das Sprecheralter und das Geschlecht anhand herkömmlicher akustischer Merkmale sowie repräsentationsbasierter Deep-Learning-Verfahren charakterisiert werden können. Ansätze, die akustische und zeitliche Informationen kombinieren, haben belegt, dass komplementäre Sprachmerkmale die Leistung bei der Klassifizierung von Alter und Geschlecht verbessern können15,16. In verwandten Untersuchungen wurde außerdem nachgewiesen, dass transformierte Sprachmerkmale, die mithilfe tiefer Bottleneck-Repräsentationen generiert werden, die Klassifizierungsleistung hinsichtlich Sprecheralter und -geschlecht verbessern können17. Diese Ergebnisse stützen die breitere Anwendung spektraler, zeitlicher und gelernter Repräsentationen für Klassifizierungsaufgaben, die Sprache und davon abgeleitete Signale betreffen.

Mehrere Studien haben die Alters- und Geschlechtsklassifizierung anhand von Sprache mithilfe von maschinellem Lernen und Deep-Learning-Ansätzen untersucht18,19,20,21,22,23,24,25,26,27,28,29,30. Neuere Ansätze haben transformierte MFCC-Darstellungen und tiefe neuronale Netze für die Klassifizierung von Sprecheralter und -geschlecht erforscht31, wobei multilinguale und sprachabhängige Variabilität wichtige Aspekte bei der Entwicklung robuster, auf der Stimme basierender demografischer Klassifizierungssysteme bleiben. Unterschiede in der Aussprache, der phonetischen Struktur, den Sprechereigenschaften und den Aufnahmebedingungen können die Generalisierbarkeit von Modellen über verschiedene Sprachen und Populationen hinweg beeinträchtigen. Daher könnte die Verwendung komplementärer spektraler und kontextueller Sprachdarstellungen die Robustheit in multilingualen Szenarien verbessern.

Obwohl hybride Ansätze zuvor mehrere akustische Merkmale oder Ensemble-Klassifikatoren für die demografische Erkennung anhand der Stimme kombiniert haben, unterscheidet sich VoiceNet-RAI durch die Integration zweier komplementärer Ebenen der Sprachrepräsentation innerhalb eines einheitlichen Frameworks. Konventionelle MFCC-Merkmale bewahren dabei lokalisierte spektrale und stimmliche Eigenschaften, während wav2vec 2.0 kontextualisierte Repräsentationen bereitstellt, die mithilfe eines Transformer-Encoders aus roher Sprache gelernt wurden. Anstatt ausschließlich auf manuell gestaltete akustische Deskriptoren oder eine einzelne tiefe Repräsentation zu setzen, führt VoiceNet-RAI eine Merkmalsfusion zeitlich aggregierter MFCC- und wav2vec-2.0-Repräsentationen durch und verfeinert die resultierende hybride Repräsentation anschließend mit EfficientNet-Lite. Die wissenschaftliche Neuheit liegt somit in der koordinierten Integration spektraler, selbstüberwachter kontextueller und leichtgewichtiger tiefer Repräsentationen zur Klassifizierung von Geschlecht und Alter, ergänzt durch eine mehrsprachige Evaluation, eine Validierung an unabhängigen Datensätzen sowie eine Fairness-Analyse für Untergruppen. Diese Kombination erweitert herkömmliche hybride Sprachklassifizierungs-Pipelines über eine rein akkurazitorientierte Merkmalsfusion hinaus hin zu einem Framework, das gleichzeitig Repräsentationskomplementarität, leichtgewichtigen Modellentwurf, Generalisierbarkeit und Verantwortungsvolle KI berücksichtigt.

Die Hauptbeiträge dieser Forschung umfassen die Entwicklung eines Ansatzes zur Identifizierung von Geschlecht und Alter anhand von Sprachdaten, bei dem MFCC- und wav2vec-2.0-Features mit EfficientNet-Lite kombiniert werden. Umfangreiche Experimente wurden an einem Datensatz mit Sprachaufnahmen aus 28 Sprachen durchgeführt, wobei ursprüngliche Merkmale, MFCC-Merkmale, wav2vec-2.0-Merkmale sowie deren Kombinationen mit ML- und DL-Modellen evaluiert wurden. Die Modellleistung wurde sowohl anhand des vollständigen mehrsprachigen Datensatzes als auch an einem englischsprachigen Teildatensatz bewertet. Der Ansatz wurde zudem aus mehrsprachiger und verantwortungsvoller KI-Perspektive durch geschlechts- und sprachspezifische Subgruppenanalysen, sprecherunabhängige Evaluierung und Validierung anhand des Mozilla-Common-Voice-Datensatzes überprüft. Zusätzlich wurde die Leistung des vorgeschlagenen Frameworks mit modernsten, in der bestehenden Literatur beschriebenen Ansätzen verglichen, und Kreuzvalidierungsergebnisse wurden bereitgestellt. Es wurde eine umfangreiche Menge an verwandten Forschungsarbeiten durchgeführt, und Tabelle 1 fasst diese Studien zusammen, einschließlich der verwendeten Modelle, Datensätze und berichteten Ergebnisse19,20,21,22,23,24,25,26,27,28,29,30,31.

Protokoll

In dieser Studie wurden öffentlich verfügbare Datensätze, und zwar der BVC Challenging Voice Set und der Mozilla Common Voice, ohne direkte Beteiligung von Teilnehmern verwendet. Daher war keine Genehmigung durch eine institutionelle Ethikkommission und keine zusätzliche informierte Einwilligung erforderlich. Es wurden lediglich Daten verarbeitet, die für die Klassifizierung von Geschlecht und Alter notwendig waren, und es wurde kein Versuch unternommen, einzelne Sprecher zu identifizieren. Die vollständige methodische Vorgehensweise des vorgeschlagenen Frameworks ist in Abbildung 1 dargestellt.

Datenerfassung

Der in dem vorgeschlagenen Ansatz verwendete Datensatz bestand aus .wav-Audiodateien, die aus dem BVC Challenging Voice Set stammen, einem öffentlich verfügbaren Sprachdatensatz der Biometrics Vision and Computing (BVC)-Gruppe, der auf GitHub32 gehostet wird. Der Datensatz enthielt Sprachaufnahmen von 526 Personen, darunter 336 männliche und 190 weibliche Sprecher. Er umfasste etwa 3.964 Aufnahmen, darunter Einzel- und Mehrsatzaufnahmen jedes Sprechers. Tabelle 2 fasst die demografischen Merkmale, die Sprachabdeckung, die Aufnahmebedingungen, die Strategie zur Datenaufteilung sowie die verwendeten Vorbereitungseinstellungen für die Sprachdatensätze im vorgeschlagenen VoiceNet-RAI-Framework zusammen.

Merkmalsextraktion

Audiodateien wurden verarbeitet, um wesentliche Eigenschaften zu extrahieren, die anschließend in einer CSV-Datei gespeichert wurden. Metadaten wie Alter, Geschlecht und Aussprache der Sprecher wurden aus den entsprechenden README-Dateien extrahiert. Zur Verarbeitung der WAV-Dateien und zur Extraktion relevanter Merkmale wurde Python zusammen mit dem SciPy-Paket verwendet. Für die Umwandlung der Audiosignale vom Zeitbereich in den Frequenzbereich kamen die Fast-Fourier-Transformation (FFT) und Frequenzfunktionen von NumPy zum Einsatz. Die WAV-Dateien stellten die Amplitude als Funktion der Zeit dar; für die Klassifizierungsaufgabe waren jedoch frequenzbezogene Merkmale, die männliche und weibliche Stimmen unterscheiden konnten, von größerem Interesse33.

Um die Audiosignale in Darstellungen im Frequenzbereich umzuwandeln, wurde die Diskrete Fourier-Transformation (DFT) unter Verwendung des FFT-Algorithmus implementiert. Die Fourier-Transformation wandelt ein Signal im Zeitbereich in ein Frequenzspektrum um. Da dieses Spektrum keine zeitlichen Informationen bewahrte, wurde das Audiosignal in überlappende Segmente unterteilt, und die Fourier-Transformation wurde mithilfe der Methode der Kurzzeit-Fourier-Transformation (STFT) auf jedes Segment angewendet. Die Funktion np.fft.fft erzeugte das komplexe Frequenzspektrum, während np.fft.fftfreq die entsprechenden Abtastfrequenzen bereitstellte. Im Beispielverzeichnis standen 10 Audiodateien für einen einzelnen Sprecher zur Verfügung. Jede WAV-Datei wurde mit 200 ms langen verschiebbaren Fenstern verarbeitet, um die dominierenden Frequenzen zu extrahieren. Beispielsweise ergab eine viersekündige Audioaufnahme eine Liste mit 20 Frequenzwerten. Für ein Verzeichnis mit 10 Aufnahmen wurden die 10 entsprechenden Listen, jede mit 20 Frequenzwerten, zu einer Liste von Listen zusammengefasst. Die Frequenzen wurden gefiltert, um Werte zwischen 20 Hz und 280 Hz beizubehalten, während potenzielles Rauschen bei etwa 50 Hz ausgeschlossen wurde.

Hybride MFCC- und wav2vec-2.0-Merkmalrepräsentation

Um sowohl kontextuelle Sprachdarstellungen auf hoher Ebene als auch akustische Merkmale auf niedriger Ebene zu erfassen, verwendete diese Studie eine hybride Strategie zur Merkmalsextraktion, die MFCC-Merkmale mit Transformer-basierten wav2vec-2.0-Embeddings kombinierte.

Extraktion von MFCC-Merkmalen

Mel-Frequenz-Cepstrum-Koeffizienten (MFCCs) sind weit verbreitete Merkmale in der Sprach- und Audiosignalverarbeitung, insbesondere für Anwendungen wie die Spracherkennung und Sprecheridentifikation34,35. In dieser Studie wurde durch die MFCC-Extraktion der Audiosignale Merkmalsvektoren erzeugt, die wahrnehmungsrelevante Eigenschaften der Sprache repräsentieren. Der Prozess begann mit einer Vorbetonung zur Verstärkung der hochfrequenten Anteile, gefolgt von einer Segmentierung und Fensterung, um das Signal in kurze, überlappende Abschnitte zu unterteilen. Jede Audiodatei wurde zunächst auf 16 kHz umgetastet und in 25-ms-Frames mit einer Überlappung von 10 ms segmentiert. Danach wurde die Schnelle Fourier-Transformation (FFT) auf jeden Frame angewendet, um das Signal vom Zeitbereich in den Frequenzbereich zu überführen.

Das resultierende Frequenzspektrum wurde durch eine Reihe von Mel-Filterbänken geleitet, die die nichtlineare Frequenzantwort der menschlichen auditorischen Wahrnehmung annäherten. Diese Filterbänke betonten stärker wahrnehmungsrelevante Frequenzen und verringerten den Beitrag weniger aussagekräftiger Frequenzen. Anschließend wurde der Logarithmus jedes Filterbankausgangs berechnet, um die logarithmische Empfindlichkeit des menschlichen Gehörs gegenüber Lautstärke zu approximieren. Danach wurde eine diskrete Kosinustransformation (DCT) auf die logarithmischen Filterbankenergien angewendet, um die Koeffizienten zu entkoppeln und eine kompakte Darstellung des Audiosignals zu erzeugen. Die resultierenden Koeffizienten, bekannt als MFCCs, erfassen wichtige spektrale Merkmale der Sprache. MFCCs wurden für die Klassifizierung nach Geschlecht und Alter verwendet, da sie akustische Merkmale erfassen, die Stimmen hinsichtlich dieser Attribute unterscheiden.

Extraktion von wav2vec 2.0-Embeddings

Das wav2vec-2.0-Base-Modell wurde auf umfangreichen, nicht gekennzeichneten Sprachkorpora vortrainiert. Das Modell bestand aus einem mehrschichtigen Transformer-Encoder, der Rohwellenform-Eingaben verarbeitete und kontextualisierte Sprach-Embeddings generierte36.

Bei gegebener Eingangswellenform x ∈ RT erzeugte das wav2vec 2.0-Modell eine Sequenz latenter Darstellungen:

Z = {z1,z1,....,zn},zi ∈ R768  (1)

wobei jeder Embedding-Vektor eine Dimensionalität von 768 aufwies. Um eine Darstellung fester Länge zu erhalten, die für die Klassifizierung geeignet ist, wurde eine zeitliche Mittelwert-Pooling-Operation über alle Zeitschritte hinweg angewendet.

figure-protocol-1   (2)

Mechanismus der Merkmalsfusion

Die MFCC- und wav2vec-2.0-Merkmale wurden durch Merkmalsverkettung auf Ebene der Merkmale fusioniert. Insbesondere wurden die MFCC-Merkmale zunächst durch zeitliche Mittelung aggregiert, um einen Vektor fester Länge zu erzeugen.

m ∈ R40  (3)

Der endgültige hybride Merkmalsvektor wurde wie folgt erhalten:

h = [m || zpooled] ∈ R808  (4)

wobei || die Verkettung bezeichnet. Diese Fusion kombinierte tiefe kontextuelle Einbettungen mit manuell erstellten spektralen Merkmalen und ermöglichte es dem Modell, sowohl semantische Informationen auf höherer Ebene als auch fein abgestimmte akustische Muster zu erfassen.

Alle Audiodaten wurden zunächst auf 16 kHz umgesampelt. MFCC-Merkmale wurden rahmenweise berechnet und zeitlich gemittelt, um einen festen 40-dimensionalen Vektor zu erzeugen, während wav2vec-2.0-Embeddings über die Zeit gemittelt wurden, um eine 768-dimensionale Repräsentation zu erzeugen. Da beide Merkmalsmengen vor der Fusion in Vektoren fester Länge umgewandelt wurden, war eine zeitliche Ausrichtung auf Rahmenebene nicht erforderlich. Die resultierenden MFCC- und wav2vec-Repräsentationen wurden anschließend zu einem 808-dimensionalen hybriden Merkmalsvektor konkateniert, bevor sie dem Klassifikationsmodell übergeben wurden.

Integration mit EfficientNet-Lite

Der fusionierte Merkmalsvektor h wurde in ein für das Merkmal-Lernen geeignetes Format umgeformt und als Eingabe für das EfficientNet-Lite-Modell zum Training bereitgestellt. Eine voll verbundene Projektionsschicht bildete zunächst den 808-dimensionalen Vektor auf einen höherdimensionalen latenten Raum ab, woraufhin die EfficientNet-Lite-Blöcke hierarchische Merkmale verfeinerten. Batch-Normalisierungs- und Dropout-Schichten kamen zum Einsatz, um Überanpassung zu verringern und die Generalisierungsfähigkeit des Modells zu verbessern. Die SoftMax-Aktivierungsfunktion diente der Erzeugung der endgültigen vorhergesagten Wahrscheinlichkeiten für die Geschlechts- und Altersklassen. Die fusionierte Darstellung h ∈ R808 wurde anfänglich als eindimensionaler Merkmalsvektor behandelt und durch eine voll verbundene Projektionsschicht geleitet, die sie auf 4.096 Dimensionen abbildete. Die projizierte Darstellung wurde anschließend in einen 1 × 64 × 64-Tensor umgeformt, bevor sie der EfficientNet-Lite-Architektur zugeführt wurde.

Um die einkanalige Sprachmerkmalsdarstellung anstelle der herkömmlichen dreikanaligen Bilddarstellung zu berücksichtigen, wurde die Eingangsfaltungsschicht des ursprünglichen EfficientNet-Lite von drei auf einen Eingangskanal modifiziert. Die übrigen EfficientNet-Lite-Merkmalextraktionsblöcke blieben ohne wesentliche architektonische Änderungen erhalten. Auf die endgültigen Merkmalskarten wurde eine adaptive globale Durchschnittspooling-Schicht angewendet, um eine Darstellung fester Länge zu erzeugen. Der ursprüngliche Klassifizierungskopf wurde durch eine aufgabenspezifische vollverknüpfte Schicht ersetzt, die zwei Ausgabeeinheiten für die Geschlechtsklassifizierung sowie die entsprechende Anzahl an Ausgabeeinheiten für die vordefinierten Altersgruppen enthielt. Abschließend wurde die SoftMax-Aktivierungsfunktion angewendet, um Klassenwahrscheinlichkeiten zu erzeugen. Die vorgeschlagene hybride Darstellung kombinierte moderne selbstüberwachte Sprachembeddings mit traditionellen signalverarbeitenden Merkmalen. Die wav2vec-2.0-Embeddings erfassten kontextuelle Informationen und langreichweitige Abhängigkeiten, während die MFCC-Merkmale komplementäre akustische Informationen auf niedriger Ebene lieferten. Die Integration dieser Darstellungen verbesserte die Klassifizierungsleistung, insbesondere unter verrauschten und mehrsprachigen Sprachbedingungen.

ML-Klassifikator

In dieser Studie wurde die Leistung mehrerer ML-Algorithmen für die stimmgestützte Klassifizierung von Geschlecht und Altersgruppe analysiert.

Random Forest

Random Forest (RF) wurde als robuster Machine-Learning-(ML)-Klassifikator verwendet, der mehrere Entscheidungsbäume (DTs) kombiniert, um die Vorhersagegenauigkeit zu verbessern und Überanpassung zu verringern. RF arbeitete mithilfe eines Ensemble-Lernverfahrens, bei dem Vorhersagen aus mehreren Bäumen aggregiert wurden, um die endgültige Vorhersage zu erzeugen37,38. Dieser Ansatz ermöglichte es RF, vielfältige Muster in den Daten zu erfassen, während gleichzeitig die Überanpassung, die häufig mit einzelnen DTs verbunden ist, reduziert wurde. Die Zufälligkeit, die während des Baumaufbaus eingeführt wurde, verbesserte die Generalisierbarkeit des Modells und machte RF für Klassifizierungsaufgaben wie Geschlechts- und Altersklassifizierung anhand von Sprachdaten geeignet.

Logistische Regression

Die logistische Regression (LR) wurde als statistisches ML-Modell für die Klassifizierung verwendet39. Bei der binären Klassifizierung schätzt die LR die Wahrscheinlichkeit eines Ergebnisses anhand der Eingabemerkmale unter Verwendung der logistischen (Sigmoid-)Funktion, und die resultierenden Wahrscheinlichkeiten werden zur Erzeugung von Klassenvorhersagen genutzt. Die LR war ebenfalls auf Mehrklassen-Klassifizierungsprobleme mit mehr als zwei Klassen anwendbar. Für die Mehrklassen-Klassifizierung kamen bei der LR Ansätze wie One-vs-Rest oder SoftMax-Regression zum Einsatz, abhängig von der jeweiligen Klassifizierungsaufgabe.

Extra-Tree-Klassifizierer

Der Extra-Trees-Klassifikator (ETC) wurde als Ensemble-Lernalgorithmus verwendet, der mehrere DTs kombinierte, um Vorhersagen zu generieren40,41. Im Gegensatz zu RF führt ETC eine zusätzliche Zufälligkeit ein, indem Kandidatenmerkmale und Aufteilungsschwellenwerte während der Baumkonstruktion zufällig ausgewählt werden. Dieses Verfahren erzeugte weniger korrelierte Bäume und verringerte die Empfindlichkeit des Modells gegenüber einzelnen Merkmalen, wodurch die Robustheit gegenüber Rauschen verbessert wurde. Der Gini-Index wurde als Kriterium für die Aufteilung verwendet, um die Wichtigkeit der Merkmale zu bewerten und die Daten zu partitionieren.

Stützvektormaschine

Die Support-Vektor-Maschine (SVM) wurde als ML-Klassifikator verwendet, um eine optimale Entscheidungsgrenze in einem hochdimensionalen Merkmalsraum zu identifizieren42. Ziel war es, eine Hyperebene zu bestimmen, die den Abstand zwischen den Klassen maximiert. Ein größerer Abstand zwischen der Entscheidungsgrenze und den nächstgelegenen Datenpunkten unterstützt in der Regel eine bessere Klassentrennung und Verallgemeinerung. Die SVM ist auf verschiedene ML-Aufgaben anwendbar, darunter Klassifikation, Regression und merkmalsbasierte Datenanalyse.

Faltungsneuronale Netze

Faltungsneuronale Netze (CNNs) wurden als Deep-Learning-(DL-)Modelle für Klassifizierungsaufgaben mit strukturierten Darstellungen von Bild- und Audiodaten verwendet. Eindimensionale CNNs (1D-CNNs) wurden ebenfalls häufig auf sequenzielle und textuelle Daten angewendet. CNN-Architekturen nutzten Faltungskerne und Pooling-Operationen, um diskriminative Merkmale aus den Eingabedaten zu extrahieren43,44. Zur Geschlechts- und Altersklassifizierung anhand von Sprachdaten wurden CNNs auf sprachbasierte Darstellungen angewendet, um Muster im Zusammenhang mit Tonhöhe, Frequenz, Klangfarbe und anderen stimmlichen Merkmalen zu lernen, die für die Unterscheidung von Geschlechts- und Altersgruppen relevant sind.

VGG19

VGG19 wurde als eine Deep-Learning-Architektur verwendet, die sich durch eine tiefe, relativ einheitliche hierarchische Struktur zur Merkmalsextraktion auszeichnet45. Die Architektur verwendet kleine 3 × 3-Faltungsfilter über 19 Schichten hinweg, wodurch eine schrittweise Extraktion diskriminativer Merkmale ermöglicht wird. Bei Anwendung auf aus Sprache abgeleitete Darstellungen erfasst VGG19 sowohl akustische Muster auf niedriger Ebene, wie Tonhöhe und Frequenzvariationen, als auch diskriminative Merkmale auf höherer Ebene. Die tiefe Architektur ermöglicht eine fortschreitende Abstraktion von Merkmalen zur Modellierung stimmlicher Eigenschaften, die mit Geschlecht und Alter assoziiert sind.

EfficientNet-Lite

EfficientNet-Lite wurde als recheneffiziente DL-Architektur verwendet46,47. Das Modell verwendete eine ausgewogene Skalierungsstrategie, um eine hohe Klassifizierungsleistung zu erzielen, während es weniger Rechenressourcen benötigte als schwerere DL-Architekturen. Sein verbundener Skalierungsansatz berücksichtigte gemeinsam die Modelltiefe, -breite und die Eingabeauflösung, um eine effiziente Merkmalsextraktion zu ermöglichen.

EfficientNet-Lite wurde für den vorgeschlagenen VoiceNet-RAI-Ansatz aufgrund seiner leichten Architektur und des günstigen Verhältnisses zwischen Klassifizierungsleistung und Modellkomplexität ausgewählt. Im Vergleich zu schwereren Architekturen verwendete es effiziente faltende Blöcke und verbundene Skalierung, um ein effektives Merkmalslernen mit weniger Parametern und geringeren Rechenanforderungen zu erreichen. Diese Eigenschaften machten EfficientNet-Lite für den vorgeschlagenen Sprachklassifizierungsansatz geeignet und boten das Potenzial für den Einsatz in ressourcenbeschränkten Umgebungen.

MobileNet

MobileNet wurde als leichtgewichtige DL-Architektur für Anwendungen mit begrenzten Rechenressourcen verwendet, einschließlich mobiler und Edge-Computing-Umgebungen48. Die hohe Recheneffizienz wurde hauptsächlich durch tiefenweise separable Faltungen erreicht, die die Anzahl der Parameter und Rechenoperationen im Vergleich zu herkömmlichen faltenden Architekturen verringerten. Diese Eigenschaften machten MobileNet geeignet, um Geschlechts- und Altersklassifizierung anhand von Sprachdaten zu bewerten, während gleichzeitig relativ geringe Rechenanforderungen beibehalten wurden.

InceptionV3

InceptionV3 wurde als tiefe Architektur verwendet, um hierarchische Merkmale aus sprachbasierten Darstellungen zu extrahieren49. Die Architektur enthielt konvolutionale, Pooling- und gemischte Operationen, um Merkmale auf unterschiedlichen Abstraktionsstufen zu extrahieren. Für die Klassifizierung von Geschlecht und Alter anhand von Stimmdaten wurde InceptionV3 eingesetzt, um komplexe akustische Muster und hierarchische Darstellungen zu lernen, die mit Variationen in den Stimmmerkmalen assoziiert sind.

Evaluationsparameter

Genauigkeit war eine der am häufigsten verwendeten Evaluierungsmetriken für Klassifizierungsaufgaben50. Obwohl die Genauigkeit eine nützliche Maßzahl für die Gesamtleistung der Klassifizierung darstellte, lieferte sie nicht immer eine umfassende Bewertung, insbesondere bei unausgeglichenen Datensätzen. Daher wurden zusätzliche Metriken wie Präzision, Sensitivität und F1-Score verwendet, um die Modellleistung zu bewerten. Diese Metriken ermöglichten eine umfassendere Beurteilung, indem sie korrekte und inkorrekte Vorhersagen für jede Klasse berücksichtigten.

Genauigkeit wurde definiert als das Verhältnis korrekt klassifizierter Beobachtungen zur Gesamtanzahl der Beobachtungen. Obwohl die Genauigkeit besonders aussagekräftig für ausgewogene Datensätze ist, war der in dieser Studie verwendete Datensatz unausgewogen. Daher wurden bei der Berechnung und Interpretation der Klassifizierungsmetriken Richtige Positive (TP), Falsch Positive (FP), Richtige Negative (TN) und Falsch Negative (FN) berücksichtigt. Die folgende Gleichung stellt die Standarddefinition der Genauigkeit dar:

Genauigkeit =  (TP+TN)/(TP+TN+FP+FN)×100  (5)

Die Präzision bewertet die Fähigkeit des Klassifikators, nur relevante Instanzen zurückzugeben:

Präzision=  TP/(TP+FP)  ×100   (6)

Die Rückstellrate, auch Sensitivität genannt, misst die Fähigkeit des Klassifikators, alle relevanten Instanzen zu identifizieren:

Erinnerung=  TP/(FN+TP) × 100   (7)

Der F1-Wert kombiniert Präzision und Sensitivität zu einer einzelnen Kennzahl und ist besonders nützlich zur Bewertung der Klassifikationsleistung bei unausgewogenen Datensätzen:

F1-Score =2 ×(PPV ×TPR)/(TPR+PPV) × 100   (8)

Ergebnisse

Experimental results for age and gender classification were evaluated using MFCC-based and hybrid feature representations with ML and DL models. The dataset was partitioned into training and testing sets at an 80:20 ratio, with 80% used for training and 20% for testing. Speaker-level partitioning was applied to prevent recordings from the same speaker from appearing in both sets.

The hyperparameters and implementation details of the proposed framework are summarized in Table 3. The experiments were conducted on a system equipped with an Intel i7-8265U CPU, 16 GB of RAM, and an NVIDIA Tesla K80 GPU running Windows 11. Python and the Scikit-learn library were used to develop the ML models, whereas the proposed DL framework was implemented using PyTorch. These models were evaluated for gender and age classification from voice data.

The Adam optimizer was used with an initial learning rate of 1 × 10⁻4, β₂ = 0.999, and ε = 1 × 10⁻8. A batch size of 64 and a maximum of 50 epochs were used, with early stopping set to a patience of four epochs to reduce overfitting. A dropout rate of 0.3 was applied to the fully connected layers for regularization. Categorical cross-entropy was used as the loss function for the classification tasks. The ReduceLROnPlateau learning-rate scheduler was used to monitor the validation loss.

To prevent data leakage and ensure a fair evaluation, speaker-level splitting was enforced so that no speaker appeared in both the training and testing sets. In addition, five-fold cross-validation was performed to assess the generalizability and robustness of the proposed model.

Results of models using the original dataset

Table 4 presents the performance of several ML and DL models for gender classification on a dataset comprising 28 languages, without MFCC features. Precision, recall, F1-score, and accuracy were used as the evaluation metrics.

Among the evaluated models, EfficientNet-Lite achieved the highest accuracy of 83.48%, with a precision 82.87%, a recall 84.28%, and an F1-score 83.54%. MobileNet and InceptionV3 also performed well, with MobileNet achieving 81.33% accuracy and 83.11% F1-score, and InceptionV3 achieving 80.77% accuracy and 82.52% F1-score. The CNN model achieved an accuracy of 75.71% and an F1-score of 77.43%, while ResNet achieved an accuracy of 74.37% and an F1-score of 75.54%. SVM, RF, LR, and ETC achieved accuracies ranging from 71.42% to 73.59% and F1-scores ranging from 72.48% to 74.34%. VGG19 achieved a comparatively lower accuracy of 70.56%, with a recall of 75.07% and an F1-score of 74.17%. Overall, EfficientNet-Lite and MobileNet achieved the strongest performance among the evaluated models when using the original features.

Results of models using MFCC features

MFCC features were subsequently evaluated for gender classification. Table 5 compares the performance of the ML and DL models using MFCC features on the dataset comprising 28 languages.

EfficientNet-Lite achieved the highest performance, with an accuracy of 92.64%, precision of 93.79%, recall of 94.92%, and F1-score of 94.84%. MobileNet achieved an accuracy of 91.39% and an F1-score of 91.07%, whereas InceptionV3 achieved an accuracy of 90.24% and an F1-score of 89.83%. ResNet achieved an accuracy of 89.43% and an F1-score of 83.67%, while CNN achieved an accuracy of 88.60% and an F1-score of 87.35%. VGG19 achieved an accuracy of 87.48% and an F1-score of 85.58%.

Among the traditional ML models, SVM achieved an accuracy of 85.47% and an F1-score of 84.29%; RF achieved an accuracy of 84.57% and an F1-score of 87.42%; LR achieved an accuracy of 83.25% and an F1-score of 84.98%; and ETC achieved an accuracy of 83.59% and an F1-score of 85.43%. Overall, the inclusion of MFCC features improved the performance of most models compared with the results obtained using the original features. EfficientNet-Lite achieved the highest overall performance in this experiment.

Results of models using hybrid MFCC–wav2vec 2.0 features with the English-language dataset

The next set of experiments evaluated gender classification using the hybrid MFCC–wav2vec 2.0 feature representation on the English-language subset. The performance of the evaluated models is presented in Table 6. EfficientNet-Lite achieved the highest performance, with an accuracy of 97.87%, precision of 98.61%, recall of 98.70%, and F1-score of 98.65%.

Among the traditional ML models, SVM achieved an accuracy of 92.58% and an F1-score of 91.52%; ETC achieved an accuracy of 91.49% and an F1-score of 92.79%; LR achieved an accuracy of 90.64% and an F1-score of 91.34%; and RF achieved an accuracy of 88.36% and an F1-score of 90.86%. Overall, the models demonstrated strong performance on the English-language subset, with EfficientNet-Lite achieving the highest values across the reported evaluation metrics.

Results of five-fold cross-validation

Five-fold cross-validation was performed to evaluate the stability and generalizability of the proposed framework. The cross-validation results obtained using the English-language voice dataset are presented in Table 7. EfficientNet-Lite achieved a standard deviation of ±0.0033 across the five folds. The low variability across folds indicated stable performance under the evaluated cross-validation setting.

Age classification using voice data

In addition to gender classification, age classification was evaluated using multiple models and MFCC features. Table 8 presents the performance of the evaluated models for age classification.

The results showed that the transfer-learning models achieved accuracies above 85%, with MobileNet achieving 85.23% and InceptionV3 achieving 86.67%. EfficientNet-Lite achieved the highest reported performance, with an accuracy of 88.42%, precision of 86.56%, and recall of 87.21%.

Validation of the proposed framework

To evaluate the proposed framework on an external dataset, additional experiments were conducted using the Mozilla Common Voice dataset51. The dataset contained approximately 500 hours of crowdsourced speech recordings with associated demographic metadata, including age, gender, and accent information. The corpus was organized into predefined training, development, and test subsets. Audio recordings were processed using the same preprocessing pipeline as that used in the primary experiments, including resampling to 16 kHz, extraction of 40-dimensional MFCC features, and generation of 768-dimensional wav2vec 2.0 embeddings. The two representations were concatenated to produce the 808-dimensional hybrid feature vector used by VoiceNet-RAI. The validation results are presented in Table 9.

EfficientNet-Lite with the hybrid low- and high-level feature representation achieved a gender classification accuracy of 98.27%, higher than that of the other evaluated models. Among the ML models, RF achieved 90.47% accuracy, SVM 90.69%, and LR 89.75%. Among the other DL models, ResNet achieved 92.19% accuracy, whereas VGG19 achieved 92.12%. The corresponding precision, recall, and F1-score values are reported in Table 9.

Ablation study on feature representation and fusion

An ablation study was conducted to evaluate the contribution of the feature representations used in the proposed framework. Four configurations were considered: raw/original features, MFCC-only features, wav2vec 2.0-only embeddings, and the proposed hybrid MFCC–wav2vec 2.0 representation. EfficientNet-Lite was used as the representative model because it achieved the highest performance across the evaluated experimental settings. The ablation results are presented in Table 10.

The baseline model using raw features achieved 83.48% accuracy, whereas the MFCC-based representation achieved 92.64% accuracy and 94.84% F1-score. The hybrid MFCC–wav2vec 2.0 representation achieved an accuracy of 97.87% and an F1-score of 98.65%. Under identical English-language data partitions and training conditions, the hybrid MFCC–wav2vec 2.0 representation achieved 97.87% accuracy, compared with 92.64% for the MFCC-only representation.

Controlled experiments were conducted using identical data partitions, training settings, and the EfficientNet-Lite architecture to evaluate the contribution of each feature representation. Raw/original features, MFCC-only features, wav2vec 2.0-only embeddings, and the hybrid MFCC–wav2vec 2.0 representation were compared under these conditions. This experimental design was used to assess the individual and combined contributions of the feature representations.

Statistical significance analysis

All feature configurations in this comparison were evaluated using the same English-language subset, identical speaker-level data partitions, and the same five cross-validation folds. The proposed model achieved significantly higher accuracy than the raw-feature (97.86 ± 0.23% vs. 83.48 ± 0.24%; t (4) = 384.32, p < 0.001), MFCC-only (97.86 ± 0.23% vs. 92.60 ± 0.32%; t (4) = 131.50, p < 0.001), and wav2vec 2.0-only configurations (97.86 ± 0.23% vs. 95.34 ± 0.24%; t (4) = 126.00, p < 0.001), confirming that the improvements from MFCC–wav2vec 2.0 fusion were statistically significant.

Responsible AI considerations and deployment guidelines

Responsible AI in voice-based demographic classification required consideration of fairness, transparency, privacy, potential misuse, and deployment-related risks in addition to predictive performance. Although subgroup analysis provided an empirical assessment of performance differences across the evaluated gender and language groups, fairness could not be established solely from similar classification accuracy. Therefore, the VoiceNet-RAI framework was evaluated from multiple Responsible AI perspectives.

Fairness and bias analysis

A fairness analysis was conducted across gender and language subgroups to evaluate the Responsible AI characteristics of the proposed VoiceNet-RAI framework. The results are presented in Table 11. For gender-wise evaluation, model performance was analyzed separately for male and female speakers. The results showed less than 1.5% variation in accuracy and F1-score between the evaluated gender groups.

For language-wise evaluation, performance was assessed across the evaluated language groups within the dataset of 28 languages. The results showed an average variation of less than 2% in accuracy across the evaluated groups, with greater variation observed for some lower-resource languages with fewer available samples.

Fairness was further assessed using the demographic parity difference, the equal opportunity difference, the False Positive Rate (FPR), and the False Negative Rate (FNR). Demographic parity difference quantified differences in positive prediction rates between groups, whereas equal opportunity difference quantified differences in True Positive Rates (TPRs). FPR and FNR were used to characterize subgroup-specific error patterns. These metrics complemented subgroup-level accuracy and F1-score, providing additional information on differences in model performance across the evaluated demographic and linguistic groups. Under the evaluated dataset and subgroup definitions, the results indicated relatively small performance differences across the assessed gender and language groups. However, these findings were limited to the demographic and linguistic groups represented in the evaluated datasets and did not establish fairness across unrepresented populations or deployment settings.

Explainability and transparency

VoiceNet-RAI combined interpretable MFCC-based acoustic features with contextual wav2vec 2.0 embeddings. The ablation study evaluated the contributions of the individual and combined feature representations. However, wav2vec 2.0 embeddings remained comparatively difficult to interpret. Post-hoc explanation methods could therefore be investigated in future studies to identify the features that contributed most strongly to individual predictions.

Privacy preservation

Because voice recordings contained sensitive biometric information, privacy-preserving deployment required data-minimization practices, including processing only the information required for the classification task and avoiding unnecessary storage of raw audio. Secure storage, controlled access, and local inference could further reduce privacy risks. Formal privacy-preserving approaches, including differential privacy, were not evaluated in the present study and remained an area for future investigation.

Responsible deployment

Deployment of VoiceNet-RAI would require human oversight, confidence-aware decision-making, and continuous performance monitoring. Low-confidence predictions should not be used independently for critical decisions, and model performance should be re-evaluated when deployment conditions differ substantially from those represented in the training and validation datasets.

Comparison with state-of-the-art techniques

A comparative evaluation of the proposed framework and previously published approaches is presented in Table 12. Studies published between 2019 and 2024 were considered, including approaches based on ML, DL, and transfer learning. The comparison included previously reported studies in the same application domain. As shown in Table 12, the proposed framework achieved higher reported accuracy for gender and age classification than the compared approaches. However, because the studies may have differed in datasets, preprocessing procedures, data partitions, and evaluation protocols, the comparison reflected reported performance rather than a controlled head-to-head experimental comparison.

DATA AVAILABILITY:

The raw speech data used in this study are publicly available from the BVC Challenging Voice Set hosted on GitHub and the Mozilla Common Voice dataset. The BVC dataset can be accessed at https://github.com/OgeNI/BVC_Challenging_Voice_Set, while the Common Voice dataset is available at https://www.kaggle.com/datasets/mozillaorg/common-voice/data.

VoiceNet-RAI framework diagram for speech analysis using MFCC, wav2vec, classification model, AI output.
Figure 1: Architecture Diagram. The complete workflow methodology of the proposed framework. Please click here to view a larger version of this figure.

ReferencesModelsDatasetsResults
19GBC, DT, RF, SVM, NNVoxForge datasetGBC 90%
20Robustscalar, PCA, and Logistic
regression, Sequential model		voice.mozilla.orgSequential Model 91%.
21CNN, CRNN, TCNMozilla Voice dataset80% CNN
22, 23Backpropagation, DT, Bagging,
RF, KNN, DNN, DL		Kaggle, Mozilla Voice dataset,
Speech Accent Archive		Kaggle: Bagging, KNN and RF
98.10%. Voice common: Bagging 55.39%. Speech accent: Bagging 78.94%.
24DNN, MLP, KNN, SVC, DT, RF,
SVC RBF kernel, ADA, QDA, GNB, ResNET34 and ResNET50.		Mozilla Common VoiceResNET50 98.57%.
25ANN, SVM, RF, DT, NB, KNNOGI Kids Speech corpus, Private
corpus, Specific Dataset,		For Gender detection SVM 98%,
For age detection RF 95%
26SVM, DA, NB, DT, KNN, Ensem-
ble, LightGBM		Mozilla Common Voice, VoxCelebLGBM 91%
27KNN, SVM, LR, SGD, Stacked
model		Various gender sourcesStacked model 99.64%
28DNN, SVMVarious gender sourcesSVM 97%
29SVM, RF, CART, KNNDataset contain 3169 instancesRF 93%
30CNNNigerian subjects datasetCNN 85.48%.
31DT, RF, KNN, LR, SVM, ANN,
CNN2D		3 dataset from kaggleGender Prediction: ANN 85.51%,
Age Prediction: ANN 89.20%.

Table 1: Summary of existing studies on voice-based gender and age classification, including models, datasets, and reported performance.

Dataset CharacteristicDescription / Value
Total number of speakers526
Male speakers336
Female speakers190
Total recordingsApproximately 3,964
Number of languages28
Language-wise distributionEnglish and 28 native languages (Afemai, Akoko-Edo, Annang,  Efik, Ekoi, Fulani, Hausa, Ibibio, Idoma, Igala, Igbo, Igede, Ijaw, Ika, Ikom, Ikwerre, Ishan, Kaire-Kaire, Kanuri, Lokaa, Urhobo, Yoruba, Obudu, Ogoni, Okobo, Okirika, Tiv and Ukwani. The dominant tribe amongst these native languages in the dataset is Igbo.)
Age groupsthree age groups: young people (teens and twenties), adults (thirties, forties and fifties), and seniors (sexagenarians, heptagenarians and octogenarians)
Age-group distributionTeens13–19 yearsLow (< 10%)Twenties20–29 yearsVery High (~35–45%)Thirties30–39 yearsHigh (~20–30%)Forties40–49 yearsModerate (~10–15%)Fifties50–59 yearsLow (~5–10%)Sixties+60–80+ yearsSparse (< 5%)  
Recording duration3-10 seconds
Recording conditions16 bit PCM
Original sampling rate44.1 kHz
Processing sampling rate16 kHz
MFCC frame length25 ms
MFCC frame overlap / step10 ms
MFCC representation39-dimensional temporally averaged vector
wav2vec 2.0 representation768-dimensional temporally mean-pooled vector
Final fused representation807 dimensions
Train–test split80:20
Data partitioningSpeaker-independent splitting
Cross-validation5-fold cross-validation
External validation datasetMozilla Common Voice

Table 2: Demographic characteristics, language coverage, data partitioning, and preprocessing settings of the speech dataset used in VoiceNet-RAI.

ParameterValue / Description
FrameworkPyTorch
HardwareNVIDIA GPU (CUDA-enabled)
Random seed42
OptimizerAdam
Initial Learning Rate1 × 10−4
β₁ / β₂0.9 / 0.999
Adam epsilon1 × 10⁻⁸
Batch Size64
Epochs50 (Early stopping patience = 8)
Loss FunctionCategorical Cross-Entropy
NormalizationZ-score normalization
Learning Rate SchedulerReduceLROnPlateau
Dropout Rate0.3
Training time20min
Inference time/sample13 seconds
Feature ExtractionFeature Extraction
MFCC Coefficients40
Window Size25 ms
Stride10 ms
wav2vec VariantBase (pretrained) Embedding Dimension
Pooling StrategyMean pooling
Feature FusionConcatenation (MFCC + wav2vec)
MFCC Coefficients40
Evaluation ProtocolEvaluation Protocol
Train-Test SplitSpeaker-level separation
Cross-Validation5-Fold
DatasetsMozilla Common Voice (28 languages + English subset) and BVC Gender & Age from Voice Challenging Dataset
TasksGender and Age Classification

Table 3: Training configuration, feature-extraction settings, hyperparameters, and evaluation protocol used for VoiceNet-RAI.

ModelsAccuracyPrecisionRecallF1-score
RF71.4272.7974.4373.52
LR73.5974.2275.4074.34
ETC72.4472.3374.5273.41
SVM73.5272.6072.3972.48
CNN75.7176.5977.3477.43
VGG1970.5673.2875.0774.17
ResNet74.3773.4976.6875.54
EfficientNet-Lite83.4882.8784.2883.54
MobileNet81.3383.1982.1483.11
InceptionV380.7781.3482.6782.52

Table 4: Gender-classification performance of ML and DL models using the 28-language dataset without MFCC features.

ModelsAccuracyPrecisionRecallF1-score
RF84.5786.5387.3987.42
LR83.2584.4285.6484.98
ETC83.5984.2586.3685.43
SVM85.4783.3785.2684.29
CNN88.6086.7588.4687.35
VGG1987.4885.4985.8085.58
ResNet89.4384.3982.3483.67
EfficientNet-Lite92.6493.7994.9294.84
MobileNet91.3990.6491.1591.07
InceptionV390.2488.8190.7089.83

Table 5: Gender-classification performance of ML and DL models using MFCC features on the 28-language dataset.

ModelsAccuracyPrecisionRecallF1-score
RF88.3690.9189.9490.86
LR90.6492.2491.3091.34
ETC91.4992.8092.7992.79
SVM92.5892.7590.6491.52
CNN93.6994.6994.5394.34
VGG1991.3792.6493.4893.21
ResNet95.2896.3995.5295.43
EfficientNet-Lite97.8798.6198.7098.65
MobileNet96.4195.5196.3996.24
InceptionV396.3595.2996.8496.08

Table 6: Gender-classification performance of ML and DL models using the hybrid MFCC–wav2vec 2.0 feature representation on the English-language subset.

ModelsAccuracyPrecisionRecallF1-score
First-fold97939694
Second-fold96949695
Third-fold97949595
Fourth-fold96939594
Fifth-fold97949695
Average96.693.695.694.6

Table 7: Five-fold cross-validation performance of VoiceNet-RAI on the English-language subset.

ModelsAccuracyPrecisionRecallF1-score
RF80.1578.6879.2779.04
LR81.2880.6980.4380.54
ETC80.5881.2180.8281.04
SVM82.5481.3182.1481.78
CNN85.2784.3984.4784.43
VGG1983.7382.9783.5383.48
ResNet82.6881.4280.7881.95
EfficientNet-Lite88.4286.5687.2186.97
MobileNet85.2385.6485.9585.81
InceptionV386.6785.8686.7886.35

Table 8: Age-classification performance of ML and DL models in terms of accuracy, precision, recall, and F1-score.

ModelsAccuracyPrecisionRecallF1-score
RF90.4792.8290.8591.32
LR89.7590.4489.6190.03
ETC92.6391.2991.5591.42
SVM90.6991.8491.8191.82
CNN94.6395.5294.2494.94
VGG1992.1291.3490.5291.10
ResNet92.1991.9892.2792.25
EfficientNet-Lite98.2798.6398.4498.56
MobileNet97.2896.3697.0196.40
InceptionV395.8596.1897.3597.17

Table 9: External validation results for gender classification on the Mozilla Common Voice dataset using the hybrid MFCC–wav2vec 2.0 feature representation.

Feature ConfigurationAccuracy (%)Precision (%)F1-Score ( %)
Raw features (No MFCC)83.4882.8783.54
MFCC only92.6493.7994.84
wav2vec 2.0-only95.3496.3295.18
MFCC + wav2vec (Proposed)97.8798.6198.65

Table 10: Ablation analysis of feature representations using EfficientNet-Lite.

Evaluation GroupSubGroupAccuracy (%)F1-score (%)FPRFNRDemographic Parity DifferenceEqual Opportunity Difference
GenderMale97.9597.950.0210.024__
GenderFemale97.6298.500.0240.027__
Gender disparityMale vs. Female____0.0120.003
High-resource languages98.1098.800.0180.021__
Low-resource languages96.8597.900.0310.034__
Language DisparityHigh vs. Low____0.0280.014

Table 11: Fairness evaluation across gender and language-resource subgroups. Abbreviations: FPR = false positive rate; FNR = false negative rate. Demographic parity difference and equal opportunity difference represent between-group disparities, so they are reported for subgroup comparisons rather than individual groups. Lower disparity values indicate more consistent model behavior across groups.

ReferenceApproachAccuracy
16GBC90%.
17Sequential Model91%
18CNN80%
19Bagging, KNN and RF98.10%.
20ResNET5098.57%.
21SVM98%
22LGBM91%
23Stacked model99.64%
24SVM97%
25RF93%
26CNN85.48%
27ANN89.20%
This studyEfficientNet-Lite97.87%

Table 12: Accuracy comparison of VoiceNet-RAI with previously reported state-of-the-art approaches for voice-based gender and age classification.

Diskussion

Diese Studie entwickelte und evaluierte einen automatisierten Rahmen für die Geschlechts- und Altersklassifizierung anhand von Sprachdaten, indem MFCC-Merkmale und wav2vec-2.0-Embeddings mit EfficientNet-Lite kombiniert wurden. In den anfänglichen Experimenten erreichte EfficientNet-Lite eine Genauigkeit von 83,48 %, eine Präzision von 82,87 %, einen Rückruf von 84,28 % und einen F1-Score von 83,54 % unter Verwendung der ursprünglichen Merkmale. Nach der Integration der MFCC-Merkmale verbesserte sich die Leistung deutlich: Auf dem Datensatz, der 28 Sprachen umfasst, wurden eine Genauigkeit von 92,64 %, eine Präzision von 93,79 %, ein Rückruf von 94,92 % und ein F1-Score von 94,84 % erreicht. Bei Verwendung der hybriden MFCC–wav2vec-2.0-Darstellung auf dem englischsprachigen Teildatensatz erzielte EfficientNet-Lite eine Genauigkeit von 97,87 %, eine Präzision von 98,61 %, einen Rückruf von 98,70 % und einen F1-Score von 98,65 %. Die Generalisierbarkeit wurde zusätzlich anhand des Mozilla-Common-Voice-Datensatzes überprüft, auf dem der vorgeschlagene Rahmen ebenfalls eine hohe Leistung zeigte. Außerdem wurde die Modellstabilität mittels fünffacher Kreuzvalidierung bewertet.

Die Verbesserung, die nach der Integration der MFCC-Merkmale beobachtet wurde, zeigte an, dass spektrale Merkmale auf niedriger Ebene – einschließlich Tonhöhe, Klangfarbe und Informationen zum Vokaltrakt – für die Klassifizierung nach Geschlecht und Alter weiterhin hochgradig diskriminierend waren. Der zusätzliche Leistungszuwachs, der mit der hybriden MFCC–wav2vec-2.0-Darstellung erzielt wurde, legte nahe, dass kontextbasierte, auf Transformer-Modellen basierende Einbettungen komplementäre Informationen bereitstellten, die durch manuell konstruierte akustische Merkmale allein nicht vollständig erfasst wurden. Diese Komplementarität könnte die verbesserte Leistung der vorgeschlagenen hybriden Darstellung im Vergleich zu den Konfigurationen mit nur den ursprünglichen oder nur den MFCC-Merkmalen erklären. Die bessere Leistung in der Untermenge mit englischer Sprache deutete zudem darauf hin, dass sprachliche Variabilität zur Schwierigkeit der Klassifizierung beigetragen haben könnte. Wenn mehrere Sprachen kombiniert wurden, könnten Unterschiede in Aussprache, Akzent, phonetischer Struktur und Stichprobenverteilung zusätzliche Variabilität eingeführt haben, während die Einzelsprachensituation einen homogeneren Merkmalsraum bot. Die Validierung anhand des Mozilla-Common-Voice-Datensatzes legte außerdem nahe, dass die vorgeschlagene Darstellung über den primären Datensatz hinaus generalisierte, obwohl Unterschiede in den Aufnahmebedingungen und den demografischen Verteilungen die Leistung weiterhin beeinflusst haben könnten.

Insgesamt zeigten die Ergebnisse, dass die Leistung von VoiceNet-RAI auf den komplementären Beiträgen spektraler und kontextueller Sprachrepräsentationen beruhte, anstatt auf einem einzelnen Merkmalstyp. Die verbleibenden Leistungsschwankungen zwischen Sprachen und Altersgruppen unterstrichen jedoch die Notwendigkeit einer umfassenderen Subgruppenauswertung, von Tests zur Rauschrobustheit sowie zusätzlicher Vergleiche mit aktuellen selbstüberwachten Sprachmodellen.

Zu den alternativen Ansätzen für die sprachbasierte Klassifizierung von Geschlecht und Alter zählen akustische Merkmale, die manuell erstellt wurden, in Kombination mit herkömmlichen ML-Klassifikatoren, CNN-basiertes Lernen aus Sprachdarstellungen, Ensemble-Methoden sowie selbstüberwachte Modelle wie HuBERT, WavLM und data2vec. Im Gegensatz dazu kombiniert VoiceNet-RAI auf MFCC basierende spektrale Informationen mit kontextuellen wav2vec-2.0-Embeddings, um die komplementären Stärken manuell erstellter und gelernter Sprachdarstellungen zu nutzen.

Diese Studie hatte mehrere Einschränkungen. Erstens wies der primäre Datensatz unausgewogene Verteilungen hinsichtlich Geschlecht, Sprachen und Altersgruppen auf, was die Leistung in Untergruppen beeinflusst und die Übertragbarkeit auf unterrepräsentierte Bevölkerungsgruppen eingeschränkt haben könnte. Zweitens könnten Variationen in Aufnahmegeräten, Akzenten, Aussprache und akustischen Bedingungen die Zuverlässigkeit der Klassifizierung beeinträchtigt haben. Drittens war, obwohl die Validierung mithilfe des Mozilla Common-Voice-Datensatzes die Übertragbarkeit über den primären Datensatz hinaus unterstützte, eine umfassendere Bewertung anhand zusätzlicher realweltlicher Datensätze weiterhin erforderlich. Schließlich wirft der Einsatz der demografischen Klassifizierung anhand der Stimme Datenschutz-, Fairness- und ethische Bedenken auf, insbesondere bei unkontrollierten oder folgenschweren Anwendungen. Daher wären eine kontinuierliche Leistungsüberwachung, menschliche Aufsicht und datenschutzbewusste Bereitstellungspraktiken für eine verantwortungsvolle Implementierung notwendig. Das Framework zeigte Potenzial für Anwendungen in der Mensch-Computer-Interaktion, der sprachbasierten Authentifizierung, der Sprachanalytik und der digitalen Forensik. Zukünftige Arbeiten werden VoiceNet-RAI mit aktuellen selbstüberwachten Sprachmodellen wie HuBERT, WavLM und data2vec vergleichen und eine aufgabenspezifische Aufmerksamkeit bezüglich der fusionierten MFCC–wav2vec-2.0-Repräsentation untersuchen. Im Gegensatz zum internen Selbst-Aufmerksamkeitsmechanismus von wav2vec 2.0 würde der vorgeschlagene zukünftige Mechanismus explizit zeitliche und merkmalsbezogene Informationen gewichten, die für die Klassifizierung von Geschlecht und Alter relevant sind.

Offenlegungen

Die Autoren haben keine Interessenkonflikte offenzulegen.

Danksagungen

Die Autoren möchten dem Princess Nourah bint Abdulrahman University Researchers Supporting Project Nummer (PNURSP2026R748), der Princess Nourah bint Abdulrahman University, Riad, Saudi-Arabien, für die Finanzierung dieser Forschung danken.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
BVC Challenging Voice SetBiometrics Vision and Computing Group / OgeNIBVC Challenging Voice Sethttps://github.com/OgeNI/BVC_Challenging_Voice_Set
EfficientNet-LiteGoogleEfficientNet-Lite, verwendete genaue Variantehttps://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
Graphics Processing UnitNVIDIATesla K80https://www.nvidia.com/
Mozilla Common Voice DatasetMozilla FoundationCommon Voice, in den Experimenten verwendete Versionhttps://www.kaggle.com/datasets/mozillaorg/common-voice/data
NumPyNumPy-EntwicklerGenau die in den Experimenten verwendete Versionhttps://numpy.org/
ProzessorIntelIntel Core i7-8265Uhttps://www.intel.com/
PythonPython Software FoundationGenau die in den Experimenten verwendete Versionhttps://www.python.org/
PyTorchPyTorch FoundationGenau die in den Experimenten verwendete Versionhttps://pytorch.org/
Scikit-learnScikit-learn-EntwicklerGenau die in den Experimenten verwendete Versionhttps://scikit-learn.org/
SciPySciPy-EntwicklerGenau die in den Experimenten verwendete Versionhttps://scipy.org/
wav2vec 2.0 BaseMeta AIfacebook/wav2vec2-basehttps://huggingface.co/facebook/wav2vec2-base
Windows 11MicrosoftWindows 11, gegebenenfalls genaue Edition/Buildhttps://www.microsoft.com/windows/windows-11

Referenzen

  1. Pahwa A, Aggarwal G. Speech feature extraction for gender recognition. Int J Image Graph Signal Process. 2016;8:17.
  2. Ericsdotter C, Ericsson AM. Gender differences in vowel duration in read Swedish: Preliminary results. Work Pap Lund Univ Dep Linguist Phon. 2001;49:34-37.
  3. Gamit MR, Dhameliya K, Bhatt NS. Classification techniques for speech recognition: A review. Int J Emerg Technol Adv Eng. 2015;5:58-63.
  4. Rabiner LR, Juang BH. Fundamentals of Speech Recognition. PTR Prentice Hall; Englewood Cliffs, NJ; 1993.
  5. Hansen JHL, Hasan T. Speaker recognition by machines and humans: A tutorial review. IEEE Signal Process Mag. 2015;32(6):74-99.
  6. Zhang Y, et al. Towards end-to-end speech recognition with deep convolutional neural networks [conference presentation]. Presented at: Interspeech 2016; San Francisco, CA; 2016. p. 410-414. Available from: https://www.isca-archive.org/interspeech_2016/zhang16b_interspeech.html
  7. Kabil SH, Muckenhirn H, Magimai-Doss M. On learning to identify genders from raw speech signal using CNNs [conference presentation]. Presented at: Interspeech 2018; Hyderabad, India; 2018. p. 287-291. Available from: https://www.isca-archive.org/interspeech_2018/kabil18_interspeech.html
  8. Albawi S, Mohammed TA, Al-Zawi S. Understanding of a convolutional neural network [conference presentation]. Presented at: 2017 International Conference on Engineering and Technology (ICET); Antalya, Türkiye; 2017. p. 1-6. Available from: https://ieeexplore.ieee.org/document/8308186
  9. Abdi H, Williams LJ. Principal component analysis. Wiley Interdiscip Rev Comput Stat. 2010;2(4):433-459.
  10. Mavaddati S. Voice-based age, gender, and language recognition based on ResNet deep model and transfer learning in spectro-temporal domain. Neurocomputing. 2024;580:127429.
  11. Jiang H, et al. 3WD-DRT: A three-way decision enhanced dynamic routing transformer for cost-sensitive multimodal sentiment analysis. Inf Sci. 2026;725:122704.
  12. Jameel HK, Al Ghrairi AHT, Neamah MM. Self-supervised learning for speech recognition: A review. Dijlah J Eng Sci. 2026;3(2).
  13. Anidjar OH, Yozevitch R. Transformer-based language-independent gender recognition in noisy audio environments. Sci Rep. 2025;15(1):14421.
  14. Sinha A, Kathania HK, Kurimo M. A study on the layer-wise transferability of self-supervised learning features for children's speech processing tasks. Speech Commun. 2026;180:103392.
  15. Li M, Han KJ, Narayanan SS. Automatic speaker age and gender recognition using acoustic and prosodic level information fusion. Comput Speech Lang. 2013;27(1):151-167.
  16. Sánchez-Hevia HA, Gil-Pita R, Utrilla-Manso M, Rosa-Zurera M. Age group classification and gender recognition from speech with temporal convolutional neural networks. Multimed Tools Appl. 2022;81:3535-3552.
  17. Abu Mallouh A, Qawaqneh Z, Barkana BD. New transformed features generated by deep bottleneck extractor and a GMM–UBM classifier for speaker age and gender classification. Neural Comput Appl. 2018;30:2581-2593.
  18. Almomani A, et al. Age and gender classification using backpropagation and bagging algorithms. Comput Mater Contin. 2023;74(2):3045-3062.
  19. Sahar RM, Rao TS, Anuradha S, Rao BS. Performance analysis of ML algorithms to detect gender based on voice. In: Recent Trends in Intensive Computing. 2021. p. 163-171. Available from: https://journals.sagepub.com/doi/abs/10.3233/APC210192
  20. Kone VS, et al. Voice-based gender and age recognition system [conference presentation]. Presented at: 2023 International Conference on Advancement in Computation & Computer Technologies (InCACCT); Gharuan, India; 2023. p. 74-80. Available from: https://ieeexplore.ieee.org/document/10141801
  21. Alhussein M, Muhammad G. Voice gender recognition under unconstrained environments using self-attention. Appl Acoust. 2021;175:107823.
  22. Yücesoy E. Automatic age and gender recognition using ensemble learning. Appl Sci. 2024;14(16):6868.
  23. Alnuaim AA, et al. Speaker gender recognition based on deep neural networks and ResNet50. Wirel Commun Mob Comput. 2022;2022:4444388.
  24. Ibrahim F, Nahar KMO, Al-Shannaq MA. Gender identification and age estimation of Arabic speaker using machine learning. J Theor Appl Inf Technol. 2020;98(19):3242-3256.
  25. Kannapiran P, Sindha MMR. Voice-based gender recognition model using FRT and LightGBM. Teh Vjesn. 2023;30:282-291.
  26. Alkhammash EH, Hadjouni M, Elshewey AM. A hybrid ensemble stacking model for gender voice recognition approach. Electronics. 2022;11:1750.
  27. Mutiany M, Herlistiono IO. Gender detection by voice using deep learning. Int J Innov Sci Res Technol. 2020;5(10):841-845.
  28. Raahul A, Sapthagiri R, Pankaj PK, Vijayarajan V. Voice based gender classification using machine learning. IOP Conf Ser Mater Sci Eng. 2017;263(4):042083. Available from: https://iopscience.iop.org/article/10.1088/1757-899X/263/4/042083
  29. Iloanusi O, et al. Voice recognition and gender classification in the context of native languages and lingua franca [conference presentation]. Presented at: 2019 6th International Conference on Soft Computing & Machine Intelligence (ISCMI); Johannesburg, South Africa; 2019. p. 175-179. Available from: https://ieeexplore.ieee.org/document/9004306
  30. Gupta Y, Gangwar K, Singhal M, Hemavathi D. Gender and age recognition using audio data-artificial neural networks. In: Soft Computing for Security Applications: Proceedings of ICSCS 2021. Springer; 2022. p. 449-470. Available from: https://link.springer.com/chapter/10.1007/978-981-16-5301-8_34
  31. Qawaqneh Z, Mallouh AA, Barkana BD. Deep neural network framework and transformed MFCCs for speaker’s age and gender classification. Knowl-Based Syst. 2017;115:5-14.
  32. OgeNI. BVC Challenging Voice Set [Internet]. GitHub; 2025 [cited 2026 Aug 16]. Available from: https://github.com/OgeNI/BVC_Challenging_Voice_Set
  33. Oppenheim AV, Schafer RW. Discrete-Time Signal Processing. 3rd ed. Pearson; Upper Saddle River, NJ; 2010.
  34. Logan B. Mel frequency cepstral coefficients for music modeling [conference presentation]. Presented at: International Society for Music Information Retrieval Conference (ISMIR); Plymouth, UK; 2000. Available from: https://ismir.net/conferences/ismir-2000/
  35. Davis SB, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Trans Acoust Speech Signal Process. 1980;28(4):357-366.
  36. Baevski A, Zhou H, Mohamed A, Auli M. wav2vec 2.0: A framework for self-supervised learning of speech representations [conference presentation]. Presented at: Advances in Neural Information Processing Systems 33 (NeurIPS 2020); Virtual; 2020. p. 12449-12460. Available from: https://proceedings.neurips.cc/paper/2020/hash/92d1e1eb1cd6f9fba3227870bb6d7f07-Abstract.html
  37. Yıldırım Ş, Bingöl MS. Metaheuristic approaches to enhance voice-based gender identification using machine learning methods. Appl Sci. 2025;15(23):12815.
  38. Breiman L. Random forests. Mach Learn. 2001;45:5-32.
  39. Hosmer DW Jr, Lemeshow S, Sturdivant RX. Applied Logistic Regression. 3rd ed. Wiley; Hoboken, NJ; 2013.
  40. Geurts P, Ernst D, Wehenkel L. Extremely randomized trees. Mach Learn. 2006;63:3-42.
  41. Yücesoy E, Nabiyev VV. A new approach with score-level fusion for the classification of a speaker age and gender. Comput Electr Eng. 2016;53:29-39.
  42. Cortes C, Vapnik V. Support-vector networks. Mach Learn. 1995;20:273-297.
  43. Abdel-Hamid O, et al. Convolutional neural networks for speech recognition. IEEE/ACM Trans Audio Speech Lang Process. 2014;22(10):1533-1545.
  44. Nasaruddin N, Pratama Tresma MAP, Muchamad MK, Fuadi Z. Voice frequency-based gender classification using convolutional neural network for smart home. IEEE Access. 2024;12:104190-104203.
  45. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); San Diego, CA; 2015. Available from: https://iclr.cc/archive/www/2015.html
  46. Tan M, Le QV. EfficientNet: Rethinking model scaling for convolutional neural networks [conference presentation]. Presented at: 36th International Conference on Machine Learning (ICML); Long Beach, CA; 2019. p. 6105-6114. Available from: https://proceedings.mlr.press/v97/tan19a.html
  47. Ertam F. An effective gender recognition approach using voice data via deeper LSTM networks. Appl Acoust. 2019;156:351-358.
  48. Zhao L, Wang L, Jia Y, Cui Y. A lightweight deep neural network with higher accuracy. PLoS One. 2022;17(8):e0271225.
  49. Szegedy C, et al. Rethinking the Inception architecture for computer vision [conference presentation]. Presented at: IEEE Conference on Computer Vision and Pattern Recognition (CVPR); Las Vegas, NV; 2016. p. 2818-2826. Available from: https://openaccess.thecvf.com/content_cvpr_2016/html/Szegedy_Rethinking_the_Inception_CVPR_2016_paper.html
  50. Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Inf Process Manag. 2009;45(4):427-437.
  51. Mozilla Common Voice Project. Common Voice Dataset [Internet]. 2024 [cited 2024 Jun 18]. Available from: https://www.kaggle.com/datasets/mozillaorg/common-voice/data

Nachdrucke und Genehmigungen

Tags

Mehrsprachige SprachklassifizierungGeschlechtsklassifizierungVerantwortungsbewusste KIVoiceNet FrameworkWav2vec 2 0MFCC MerkmaleDeep Learning f r SpracheEfficientNet LiteSprachdemografie
Kontaktieren Sie uns
Der Bibliothek empfehlen

Datenschutz

Nutzungsbedingungen

Richtlinien

Urheberrecht © 2026 MyJoVE Corporation. Alle Rechte vorbehalten.