研究記事

VoiceNet：性別および年齢分類のための責任あるAI多言語音声フレームワーク

48 回視聴

⸱

2026年9月11日

 ,  ,  ,  ,  ,  ,  , 
1Department of Electrical and Computer Engineering, College of Engineering, Anderson University, South Carolina, 2Department of Computer Science, Faculty of Computing and Information Technology, King Abdulaziz University, 3Department of Information Technology, College of Computer and Information Sciences, Princess Nourah bint Abdulrahman University, 4Department of Computer Science, College of Computer Engineering and Sciences, Prince Sattam Bin Abdulaziz University, 5Department of Computer Science and Informatics, Applied College, Taibah University, 6Department of Computer Science & Information Technology, The Islamia University of Bahawalpur, Bahawalpur, 7Center for Scientific Research and Entrepreneurship, Northern Border University, 8School of Medicine, University of South Carolina

この記事について

サマリー

VoiceNet-RAIは、音声データから性別および年齢を分類するために、MFCC特徴量、多言語wav2vec 2.0埋め込み、およびEfficientNet-Liteを統合したものです。このフレームワークは、英語のサブセットにおいて最大97.87%の精度を達成しており、音声認識、認証、およびデジタルフォレンジックにおける責任ある応用に活用できます。

要約

音声データからの正確な性別および年齢の分類は、パーソナライズされ、安全で、倫理的なヒューマンコンピュータインタラクション（HCI）にとって重要です。wav2vec 2.0のような大規模な事前学習済み音声モデルの利用が拡大する中、多言語かつプライバシーに配慮したデモグラフィック推論のために、これらの表現を責任を持って活用することが求められています。本研究では、Mel-Frequency Cepstral Coefficients（MFCCs）とtransformerベースの多言語wav2vec 2.0埋め込みをEfficientNet-Liteアーキテクチャ内で統合し、多様な言語的文脈において正確で公平かつ透明性の高い分類をサポートするディープラーニング（DL）フレームワークであるVoiceNet-RAIを提案します。このフレームワークは、文脈情報とスペクトル情報を組み合わせることで、変動する録音条件下での堅牢性を向上させます。28言語をカバーする多言語音声データを用いた実験では、高い分類性能が示され、英語サブセットでは正解率97.87%、適合率98.61%、再現率98.70%、F1スコア98.65%を達成しました。Mozilla Common Voiceデータセットを用いた外部検証では、性別分類において98.27%の正解率が得られ、独立したデータセットに対する汎用性が実証されました。また、アブレーション解析により、MFCCとwav2vec 2.0の特徴を組み合わせることで、生のデータのみまたはMFCCのみの表現と比較して性能が向上することが示されました。これらの知見は、堅牢で責任ある性別および年齢分類に向けた、ハイブリッドなスペクトル・文脈音声表現の有用性を示すものです。

概要

音声認識は、個人が感情、思考、目的を表現するための人間によるコミュニケーションの中核的な構成要素です。人間の声は、肺から呼気され、唇、舌、歯などの調音器官によって音に形作られるという生物学的プロセスを通じて生成されます1。耳は音声の識別において不可欠な役割を果たし、音量やピッチなどの特性に基づいて男性の声と女性の声を区別することができます。男女間の音声ピッチに大幅な差をもたらす要因の一つに、性的二型があります2。音声からの年齢および性別分類は、ヒューマンマシンインタラクション、自動性別認識、パーソナライズされた挨拶、音声感情の事前分類、性別に基づく通話分類など、数多くのアプリケーションに関連しています3。

音声は人間同士の相互作用における本質的な要素です。人間の声には個人間で異なる多様な特性が含まれており、感情や精神状態、さらには年齢や性別に関する情報を提供します。これらの多次元的な特性は、音声ベースのセキュリティシステムや音声指向の人工知能（AI）アシスタントなどのアプリケーションに活用できます。また、音声分析が重要となるその他の領域として、自動話者照合（ASV）システムや感情ベースのAIシステムが挙げられます。音声ベースの入力システムは、データベース内の検索範囲を縮小させることも可能です4,5。さらに、AIベースのセキュリティシステムは、犯罪捜査や被害者保護などのアプリケーションに音声データを利用できます。男女の声は、声道（vocal tract）の共鳴特性の違いにより、異なる特性を示します。これらの特性を計算処理に適した形式で音声信号から抽出することで、音声データからの性別分類が可能になります6,7。したがって、音声ベースの性別分類には効果的な学習アルゴリズムが必要です。ディープラーニング（DL）アルゴリズムは、オーディオデータから複雑なパターンを学習できる能力があるため、音声関連の分類に特に適しています。このようなモデルは、アーキテクチャに応じて、畳み込み層、再帰層、時間畳み込み層、または全結合層で構成されます。これらの層は、音色やピッチを含む関連する音響特性を学習できます。一度学習すれば、モデルは初見の音声録音から性別を分類することが可能です8。機械学習（ML）研究のもう一つの重要な領域は、音声録音からの年齢分類です。MLアルゴリズムは、ピッチ、音色、振幅などの音響特性を用いて、年齢に関連するパターンを特定できます。また、主成分分析（PCA）などの手法を適用して音声データから有益なパターンを抽出し、分類性能を向上させられる可能性があります9。

DLは、画像、感情、音声認識などのアプリケーションにおいて強力なパフォーマンスを実証してきました。特にディープニューラルネットワーク（DNN）は、音声関連のタスクに広く利用されています。本研究では、確立された特徴抽出手法と組み合わせて、音声分類にDLベースのアプローチを適用します。メル周波数ケプストラム係数（MFCC）は、音声信号の関連するスペクトル特性を捉え、後続の処理のための効率的な表現を提供します。抽出された特徴は、その後、音声に基づく性別および年齢分類のための転移学習フレームワークに統合されます10,11。

近年の研究では、話者属性の分類に自己教師あり学習およびTransformerベースの音声表現がますます採用されるようになっています。研究者は、HuBERTやwav2vec 2.0などの自己教師あり音声モデルにおける、性別や年齢などの人口統計学的バイアスを調査し、公平性を考慮した評価の重要性を強調しています12。より最近では、Transformerベースの言語独立アプローチにより、多言語環境やノイズのある条件下での性別認識における学習済みコンテキスト音声表現の有効性が示されています13。Sinhaらは、年齢および性別分類に向けたwav2vec 2.0のレイヤーごとの表現をさらに調査し、異なるTransformerレイヤーが異なるレベルの話者関連情報を捉えていることを明らかにしました14。これらの進展により、従来のMFCCベースのスペクトル情報とコンテキストwav2vec 2.0表現を組み合わせ、さらに多言語対応と責任あるAI（Responsible AI）の考慮を組み込んだ、提案するVoiceNet-RAIフレームワークの動機付けがなされています。

近年の研究により、話者の年齢と性別は、従来の音響的特徴量とディープラーニングに基づく表現の両方を用いて特徴付けることができることが示されています。音響情報と時間情報を組み合わせたアプローチでは、相補的な音声特性によって年齢および性別の分類性能を向上させることができることが示されています15,16。また、関連する研究において、ディープボトルネック表現を用いて生成された変換音声特徴量が、話者の年齢および性別の分類性能を向上させることが実証されています17。これらの知見は、音声および音声由来の信号を扱う分類タスクにおいて、スペクトル、時間、および学習による表現を幅広く利用することを支持するものです。

機械学習およびディープラーニングの手法を用いて、音声から年齢および性別を認識させる研究が数多く行われてきました18,19,20,21,22,23,24,25,26,27,28,29,30。より最近のアプローチでは、話者の年齢および性別の分類に向けて、変換後のMFCC表現やディープニューラルネットワークが検討されています31。その一方で、堅牢な音声ベースの人口統計学的分類システムを開発する際には、多言語間および言語依存的な変動が引き続き重要な検討事項となります。発音、音韻構造、話者の特性、および録音条件の違いは、言語や集団を越えたモデルの汎化性能を低下させる可能性があります。したがって、相補的なスペクトル表現および文脈的音声表現を用いることで、多言語環境における堅牢性を向上させられる可能性があります。

音声ベースの人口統計学的認識において、これまでも複数の音響特徴量やアンサンブル分類器を組み合わせたハイブリッドアプローチが採用されてきましたが、VoiceNet-RAIは、統一されたフレームワーク内で2つの相補的なレベルの音声表現を統合している点で異なります。具体的には、従来のMFCC特徴量は局所的なスペクトル特性および音声特性を保持し、一方でwav2vec 2.0はTransformerエンコーダを用いて生音声から学習された文脈化表現を提供します。VoiceNet-RAIは、手作業で設計された音響記述子や単一のディープ表現のみに依存するのではなく、時間的に集約されたMFCCとwav2vec 2.0の表現を特徴量レベルで融合し、得られたハイブリッド表現をEfficientNet-Liteを用いて精緻化します。したがって、本研究の科学的な新規性は、性別および年齢分類のために、スペクトル表現、自己教師あり文脈表現、および軽量ディープ表現を協調的に統合したことにあり、併せて多言語評価、独立データセットによる検証、およびサブグループ間の公平性分析を行っている点にあります。この組み合わせにより、従来のハイブリッド音声分類パイプラインを、単なる精度重視の特徴量融合から、表現の相補性、軽量モデル設計、汎用性、および責任あるAI（Responsible AI）を同時に考慮したフレームワークへと拡張させました。

本研究の主な貢献は、MFCCおよびwav2vec 2.0の特徴量をEfficientNet-Liteと統合することで、音声データから性別と年齢を特定する手法を開発したことです。28言語の音声録音データセットを用いて広範な実験を行い、元の特徴量、MFCC特徴量、wav2vec 2.0特徴量、およびそれらの組み合わせを、機械学習（ML）およびディープラーニング（DL）モデルで評価しました。モデルの性能は、多言語データセット全体と英語のサブセットの両方を用いて評価しています。さらに、性別および言語別のサブグループ解析、話者独立評価、およびMozilla Common Voiceデータセットを用いた検証を通じて、多言語および責任あるAI（Responsible AI）の観点からフレームワークの評価を行いました。加えて、提案したフレームワークの性能を既存の文献で報告されている最新の手法と比較し、交差検証の結果を提示しています。関連する多くの研究が行われており、Table 1 に、モデル、データセット、および報告された結果を含むこれらの研究の要約を示します19,20,21,22,23,24,25,26,27,28,29,30,31。

プロトコル

本研究では、参加者が直接関与することのない、公開されているBVC Challenging Voice SetおよびMozilla Common Voiceデータセットを使用しました。したがって、機関の倫理承認および追加のインフォームドコンセントは不要でした。性別および年齢の分類に必要なデータのみを処理し、個々の話者を特定する試みは行いませんでした。提案されたフレームワークの完全なワークフローの手法を図1に示します。

データ取得

提案手法で使用したデータセットは、Biometrics Vision and Computing (BVC) グループによって開発され、GitHubで公開されているパブリックボイスデータセットであるBVC Challenging Voice Setから取得した.wav形式のオーディオファイルで構成されています32。このデータセットには、男性336名、女性190名の計526名の個人の音声録音が含まれていました。また、各話者からの単一文および複数文の録音を含む、約3,964件の録音で構成されていました。表2に、提案するVoiceNet-RAIフレームワークの音声データセットに使用した人口統計学的特性、言語カバー範囲、録音特性、データ分割戦略、および前処理設定をまとめます。

特徴抽出

オーディオファイルを処理して主要な特性を抽出し、その後CSVファイルに保存しました。年齢、性別、話者の発音を含むメタデータは、対応するREADMEファイルから抽出しました。WAVファイルの処理および関連する特徴の抽出には、PythonとSciPyパッケージを使用しました。音声信号を時間領域から周波数領域に変換するために、NumPyの高速フーリエ変換（FFT）および周波数関数を用いました。WAVファイルは時間の関数として振幅を表現していましたが、分類タスクにおいては、男女の声を区別できる周波数に関連する特性がより重要でした33。

オーディオ信号を周波数領域の表現に変換するために、FFTアルゴリズムを用いて離散フーリエ変換（DFT）を実装しました。フーリエ変換は、時間領域の信号を周波数スペクトルに変換します。このスペクトルでは時間情報が保持されないため、オーディオ信号をオーバーラップさせたセグメントに分割し、短時間フーリエ変換（STFT）の手法を用いて各セグメントにフーリエ変換を適用しました。np.fft.fft 関数で複素周波数スペクトルを生成し、np.fft.fftfreq で対応するサンプル周波数を取得しました。サンプルディレクトリには、1人の話者のオーディオファイルが10個用意されていました。各WAVファイルは、200 msのスライディングウィンドウを用いて処理され、支配的な周波数が抽出されました。例えば、4秒間のオーディオ録音からは20個の周波数値のリストが生成されます。10個の録音を含むディレクトリの場合、それぞれ20個の周波数値を含む10個の対応するリストを、リストのリストにまとめました。周波数は20 Hzから280 Hzの範囲の値のみを保持するようにフィルタリングし、50 Hz付近の潜在的なノイズは除外しました。

ハイブリッドMFCCおよびwav2vec 2.0特徴表現

高レベルの文脈的な音声表現と低レベルの音響的特性の両方を捉えるため、本研究ではMFCC特徴量とTransformerベースのwav2vec 2.0埋め込みを統合したハイブリッド特徴抽出戦略を採用しました。

MFCC特徴量抽出

メル周波数ケプストラム係数（MFCC）は、音声およびオーディオ信号処理において、特に音声認識や話者識別などのアプリケーションで広く利用されている特徴量である34,35。本研究では、MFCC抽出によりオーディオ信号を、音声の知覚的に関連のある特性を表す特徴ベクトルへと変換した。まず、高周波成分を強調するためのプリエンファシスを行い、続いてフレーミングとウィンドウ処理によって信号を短く重複したフレームに分割した。各オーディオサンプルは、まず16 kHzにリサンプリングされ、10 msのオーバーラップを持つ25 msのフレームにセグメント化された。その後、各フレームに高速フーリエ変換を適用し、信号を時間領域から周波数領域へと変換した。

得られた周波数スペクトルは、人間の聴覚知覚の非線形周波数応答を近似する一連のMelフィルタバンクに通過させられました。これらのフィルタバンクは、知覚的に重要度の低い周波数の寄与を抑えつつ、より関連性の高い周波数を強調します。続いて、音量に対する人間の聴覚の対数的な感度を近似するため、各フィルタバンク出力の対数を算出しました。その後、対数フィルタバンクエネルギーに離散コサイン変換（DCT）を適用し、係数の無相関化を行い、音声信号のコンパクトな表現を生成しました。MFCCとして知られるこの結果得られた係数は、音声の重要なスペクトル特性を捉えています。MFCCは、これらの属性に応じて声を区別する音響的特性を捉えているため、性別および年齢の分類に使用されました。

wav2vec 2.0 エンベディング抽出

wav2vec 2.0 Baseモデルは、大規模なラベルなし音声コーパスを用いて事前学習が行われました。このモデルは、生の波形入力を処理し、文脈化された音声埋め込みを生成する多層Transformerエンコーダーで構成されています36。

入力波形 x ∈ RT が与えられると、wav2vec 2.0 モデルは潜在表現のシーケンスを生成します。

Z = {z1,z1,....,zn},zi ∈ R768  (1)

各埋め込みベクトルの次元数は768でした。分類に適した固定長の表現を得るために、すべてのタイムステップにわたって時間平均プーリング操作を適用しました。

figure-protocol-1   (2)

特徴融合メカニズム

MFCCとwav2vec 2.0の特徴量は、特徴量レベルの連結によって統合されました。具体的には、まず時間的平均化を用いてMFCC特徴量を集約し、固定長のベクトルを生成しました。

m ∈ R40  (3)

最終的なハイブリッド特徴ベクトルは、次のように得られた：

h = [m || zpooled] ∈ R808  (4)

ここで || は結合を表します。この融合により、深いコンテキスト埋め込みと手動で設計されたスペクトル特徴が組み合わされ、モデルが高レベルの意味情報と詳細な音響パターンの両方を捉えることが可能になりました。

すべてのオーディオサンプルは、まず16 kHzにリサンプリングされました。MFCC特徴量はフレームごとに計算され、時間的に平均化して固定の40次元ベクトルを作成しました。一方、wav2vec 2.0埋め込みは、時間軸方向に平均プーリングを行い、768次元の表現を作成しました。両方の特徴量セットは統合前に固定長のベクトルに変換されていたため、フレームレベルの時間的アライメントは不要でした。得られたMFCC表現とwav2vec表現は、分類モデルに渡される前に連結され、808次元のハイブリッド特徴量ベクトルとなりました。

EfficientNet-Liteとの統合

統合された特徴ベクトルhは、特徴学習に適した形式にリシェイプされ、トレーニングのためにEfficientNet-Liteモデルに入力されました。まず、全結合投影レイヤーによって808次元のベクトルが高次元の潜在空間にマッピングされ、その後、EfficientNet-Liteブロックによって階層的な特徴が精査されました。過学習を抑制し、モデルの汎化性能を向上させるために、バッチ正規化とドロップアウトレイヤーが採用されました。性別および年齢クラスの最終的な予測確率を生成するために、SoftMax活性化関数が使用されました。統合表現h ∈ R808は、当初は1次元の特徴ベクトルとして扱われ、4,096次元にマッピングする全結合投影レイヤーを通過しました。その後、投影された表現は1 × 64 × 64のテンソルにリシェイプされ、EfficientNet-Liteアーキテクチャに供給されました。

従来の3チャネルの画像入力ではなく、単一チャネルの音声特徴表現に対応させるため、元のEfficientNet-Liteの入力畳み込み層を3チャネルから1チャネルに変更した。残りのEfficientNet-Lite特徴抽出ブロックについては、大幅なアーキテクチャの変更を加えずそのまま保持した。固定長の表現を生成するために、最終的な特徴マップに適応的グローバル平均プーリング層を適用した。元の分類ヘッドは、性別分類用の2つの出力ユニットと、定義済みの年齢グループに対応する数の出力ユニットを持つ、タスク固有の全結合層に置き換えた。最後に、クラス確率を生成するためにSoftMax活性化関数を適用した。提案したハイブリッド表現は、最新の自己教師あり音声埋め込みと従来の信号処理特徴を組み合わせたものである。wav2vec 2.0の埋め込みは文脈情報と長距離依存性を捉え、一方でMFCC特徴は補完的な低レベル音響情報を提供した。これらの表現を統合することで、特にノイズがある環境や多言語音声の条件下において、分類性能が向上した。

機械学習分類器

本研究では、音声による性別および年齢層の分類において、複数の機械学習（ML）アルゴリズムの性能を分析しました。

ランダムフォレスト

予測精度の向上と過学習の抑制を目的に、複数の決定木（DT）を組み合わせた堅牢な機械学習（ML）分類器として、ランダムフォレスト（RF）を使用した。RFは、複数の決定木による予測を統合して最終的な予測を生成するアンサンブル学習の手法で動作する37,38。このアプローチにより、RFは個々の決定木で一般的に発生する過学習を抑えながら、データ内の多様なパターンを捉えることが可能となった。決定木の構築過程で導入されるランダム性はモデルの汎化性能を向上させ、音声データからの性別および年齢の分類といった分類タスクにRFを適したものとした。

ロジスティック回帰

分類のための統計的機械学習（ML）モデルとして、ロジスティック回帰（LR）を用いた39。二値分類において、LRはロジスティック（シグモイド）関数を用いて入力特徴量に基づいた結果の確率を推定し、得られた確率を用いてクラス予測を生成する。LRは、3つ以上のクラスを含む多クラス分類問題にも適用可能であった。多クラス分類では、分類設定に応じて、one-vs-restまたはSoftMax回帰などの手法を用いた。

エクストラツリー分類器

予測を生成するために、複数の決定木（DT）を組み合わせたアンサンブル学習アルゴリズムとして、Extra Trees Classifier（ETC）を使用した40,41。RFとは異なり、ETCは木の構築中に候補となる特徴量と分割しきい値をランダムに選択することで、さらなるランダム性を導入する。この手順により、相関性の低い木が生成され、個々の特徴量に対するモデルの感度が低下し、その結果、ノイズに対する堅牢性が向上した。また、特徴量の重要度を評価しデータを分割するための分割基準として、ジニ係数を使用した。

サポートベクターマシン

高次元の特徴空間において最適な決定境界を特定するための機械学習（ML）分類器として、サポートベクターマシン（SVM）を用いた42。目的は、クラス間のマージンを最大化する超平面を決定することであった。決定境界と最近接データポイントの間のマージンが大きいほど、一般的にクラス分離と汎化性能が向上する。SVMは、分類、回帰、特徴ベースのデータ分析を含む、いくつかのMLタスクに適用可能であった。

畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（CNN）は、画像および音声データの構造化された表現を扱う分類タスク向けのディープラーニング（DL）モデルとして用いられました。1次元CNN（1D-CNN）は、シーケンシャルデータやテキストデータにも広く適用されています。CNNアーキテクチャは、畳み込みフィルターとプーリング操作を用いて、入力データから識別的な特徴を抽出します43,44。音声データからの性別および年齢の分類において、CNNを音声由来の表現に適用し、ピッチ、周波数、トーン、および性別や年齢層の区別に有用なその他の音声特性に関連するパターンを学習させました。

VGG19

深層で比較的均一な階層的特徴抽出構造を特徴とするDLアーキテクチャとして、VGG19を使用した45。そのアーキテクチャは、19層にわたって小さな3 × 3の畳み込みフィルタを採用しており、識別的な特徴の段階的な抽出を可能にする。音声由来の表現に適用した場合、VGG19はピッチや周波数変動などの低次のアコースティックパターンと、より高次の識別的特徴の両方を捉えた。その深層アーキテクチャにより、性別や年齢に関連する音声特性をモデリングするための段階的な特徴抽象化が可能となった。

EfficientNet-Lite

計算効率に優れたDLアーキテクチャとしてEfficientNet-Liteが使用されました46,47。このモデルは、より重いDLアーキテクチャよりも少ない計算リソースで強力な分類性能を実現するために、バランスのとれたスケーリング戦略を採用しています。その複合スケーリング手法により、モデルの深さ、幅、および入力解像度が共同で考慮され、効率的な特徴抽出が実現されています。

EfficientNet-Liteは、その軽量なアーキテクチャと、分類性能とモデル複雑度の良好なバランスを備えているため、提案するVoiceNet-RAIフレームワークに選定されました。より重いアーキテクチャと比較して、効率的な畳み込みブロックと複合スケーリングを用いることで、より少ないパラメータ数と低い計算要件で効果的な特徴学習を実現しています。これらの特性により、EfficientNet-Liteは提案した音声分類フレームワークに適しており、リソース制限のある環境への導入の可能性を提供しています。

MobileNet

MobileNetは、モバイルやエッジコンピューティング環境を含む、計算リソースが限られたアプリケーション向けの軽量なDLアーキテクチャとして使用されました48。その計算効率は、主に深度別分離畳み込み（depthwise separable convolutions）によって実現されており、これにより従来の畳み込みアーキテクチャと比較してパラメータ数と計算回数が削減されました。これらの特性により、MobileNetは比較的低い計算要件を維持しながら、音声データから性別および年齢の分類を評価することに適していました。

InceptionV3

音声由来の表現から階層的な特徴を抽出するためのディープアーキテクチャとして、InceptionV3が使用されました49。このアーキテクチャは、異なる抽象化レベルの特徴を抽出するために、畳み込み、プーリング、および混合操作を組み込んでいます。音声データからの性別および年齢の分類において、InceptionV3は、声の特性の変動に関連する複雑な音響パターンおよび階層的表現を学習するために用いられました。

評価パラメータ

正解率は、分類タスクにおいて最も頻繁に使用される評価指標の一つであった50。正解率は分類性能の全体的な有用な尺度となるが、特に不均衡データセットにおいては、必ずしも包括的な評価が得られるとは限らない。そのため、モデルの性能を評価するために、適合率（precision）、再現率（recall）、F1スコアを含む追加の指標が用いられた。これらの指標は、各クラスにおける正解および不正解の予測を考慮することで、より包括的な評価を可能にした。

正解率は、正しく分類された観測値の総数と全観測値の数の比として定義されました。正解率はバランスの取れたデータセットにおいて特に有用ですが、本研究で使用したデータセットは不均衡であったため、分類指標の算出および解釈にあたっては、真陽性（TP）、偽陽性（FP）、真陰性（TN）、および偽陰性（FN）を考慮しました。以下の式は、正解率の標準的な定義を示しています：

正解率 =  (TP+TN)/(TP+TN+FP+FN)×100  (5)

適合率（Precision）は、分類器が関連するインスタンスのみを返す能力を評価します：

精度=  TP/(TP+FP)  ×100   (6)

再現率（感度とも呼ばれる）は、分類器がすべての関連インスタンスを識別できる能力を測定するものです：

再現率（Recall）=  TP/(FN+TP) × 100   (7)

F1スコアは適合率（precision）と再現率（recall）を一つの指標に統合したものであり、特に不均衡データセットにおける分類性能の評価に有用です：

F1-Score =2 ×(PPV ×TPR)/(TPR+PPV) × 100   (8)

結果

Experimental results for age and gender classification were evaluated using MFCC-based and hybrid feature representations with ML and DL models. The dataset was partitioned into training and testing sets at an 80:20 ratio, with 80% used for training and 20% for testing. Speaker-level partitioning was applied to prevent recordings from the same speaker from appearing in both sets.

The hyperparameters and implementation details of the proposed framework are summarized in Table 3. The experiments were conducted on a system equipped with an Intel i7-8265U CPU, 16 GB of RAM, and an NVIDIA Tesla K80 GPU running Windows 11. Python and the Scikit-learn library were used to develop the ML models, whereas the proposed DL framework was implemented using PyTorch. These models were evaluated for gender and age classification from voice data.

The Adam optimizer was used with an initial learning rate of 1 × 10⁻4, β₂ = 0.999, and ε = 1 × 10⁻8. A batch size of 64 and a maximum of 50 epochs were used, with early stopping set to a patience of four epochs to reduce overfitting. A dropout rate of 0.3 was applied to the fully connected layers for regularization. Categorical cross-entropy was used as the loss function for the classification tasks. The ReduceLROnPlateau learning-rate scheduler was used to monitor the validation loss.

To prevent data leakage and ensure a fair evaluation, speaker-level splitting was enforced so that no speaker appeared in both the training and testing sets. In addition, five-fold cross-validation was performed to assess the generalizability and robustness of the proposed model.

Results of models using the original dataset

Table 4 presents the performance of several ML and DL models for gender classification on a dataset comprising 28 languages, without MFCC features. Precision, recall, F1-score, and accuracy were used as the evaluation metrics.

Among the evaluated models, EfficientNet-Lite achieved the highest accuracy of 83.48%, with a precision 82.87%, a recall 84.28%, and an F1-score 83.54%. MobileNet and InceptionV3 also performed well, with MobileNet achieving 81.33% accuracy and 83.11% F1-score, and InceptionV3 achieving 80.77% accuracy and 82.52% F1-score. The CNN model achieved an accuracy of 75.71% and an F1-score of 77.43%, while ResNet achieved an accuracy of 74.37% and an F1-score of 75.54%. SVM, RF, LR, and ETC achieved accuracies ranging from 71.42% to 73.59% and F1-scores ranging from 72.48% to 74.34%. VGG19 achieved a comparatively lower accuracy of 70.56%, with a recall of 75.07% and an F1-score of 74.17%. Overall, EfficientNet-Lite and MobileNet achieved the strongest performance among the evaluated models when using the original features.

Results of models using MFCC features

MFCC features were subsequently evaluated for gender classification. Table 5 compares the performance of the ML and DL models using MFCC features on the dataset comprising 28 languages.

EfficientNet-Lite achieved the highest performance, with an accuracy of 92.64%, precision of 93.79%, recall of 94.92%, and F1-score of 94.84%. MobileNet achieved an accuracy of 91.39% and an F1-score of 91.07%, whereas InceptionV3 achieved an accuracy of 90.24% and an F1-score of 89.83%. ResNet achieved an accuracy of 89.43% and an F1-score of 83.67%, while CNN achieved an accuracy of 88.60% and an F1-score of 87.35%. VGG19 achieved an accuracy of 87.48% and an F1-score of 85.58%.

Among the traditional ML models, SVM achieved an accuracy of 85.47% and an F1-score of 84.29%; RF achieved an accuracy of 84.57% and an F1-score of 87.42%; LR achieved an accuracy of 83.25% and an F1-score of 84.98%; and ETC achieved an accuracy of 83.59% and an F1-score of 85.43%. Overall, the inclusion of MFCC features improved the performance of most models compared with the results obtained using the original features. EfficientNet-Lite achieved the highest overall performance in this experiment.

Results of models using hybrid MFCC–wav2vec 2.0 features with the English-language dataset

The next set of experiments evaluated gender classification using the hybrid MFCC–wav2vec 2.0 feature representation on the English-language subset. The performance of the evaluated models is presented in Table 6. EfficientNet-Lite achieved the highest performance, with an accuracy of 97.87%, precision of 98.61%, recall of 98.70%, and F1-score of 98.65%.

Among the traditional ML models, SVM achieved an accuracy of 92.58% and an F1-score of 91.52%; ETC achieved an accuracy of 91.49% and an F1-score of 92.79%; LR achieved an accuracy of 90.64% and an F1-score of 91.34%; and RF achieved an accuracy of 88.36% and an F1-score of 90.86%. Overall, the models demonstrated strong performance on the English-language subset, with EfficientNet-Lite achieving the highest values across the reported evaluation metrics.

Results of five-fold cross-validation

Five-fold cross-validation was performed to evaluate the stability and generalizability of the proposed framework. The cross-validation results obtained using the English-language voice dataset are presented in Table 7. EfficientNet-Lite achieved a standard deviation of ±0.0033 across the five folds. The low variability across folds indicated stable performance under the evaluated cross-validation setting.

Age classification using voice data

In addition to gender classification, age classification was evaluated using multiple models and MFCC features. Table 8 presents the performance of the evaluated models for age classification.

The results showed that the transfer-learning models achieved accuracies above 85%, with MobileNet achieving 85.23% and InceptionV3 achieving 86.67%. EfficientNet-Lite achieved the highest reported performance, with an accuracy of 88.42%, precision of 86.56%, and recall of 87.21%.

Validation of the proposed framework

To evaluate the proposed framework on an external dataset, additional experiments were conducted using the Mozilla Common Voice dataset51. The dataset contained approximately 500 hours of crowdsourced speech recordings with associated demographic metadata, including age, gender, and accent information. The corpus was organized into predefined training, development, and test subsets. Audio recordings were processed using the same preprocessing pipeline as that used in the primary experiments, including resampling to 16 kHz, extraction of 40-dimensional MFCC features, and generation of 768-dimensional wav2vec 2.0 embeddings. The two representations were concatenated to produce the 808-dimensional hybrid feature vector used by VoiceNet-RAI. The validation results are presented in Table 9.

EfficientNet-Lite with the hybrid low- and high-level feature representation achieved a gender classification accuracy of 98.27%, higher than that of the other evaluated models. Among the ML models, RF achieved 90.47% accuracy, SVM 90.69%, and LR 89.75%. Among the other DL models, ResNet achieved 92.19% accuracy, whereas VGG19 achieved 92.12%. The corresponding precision, recall, and F1-score values are reported in Table 9.

Ablation study on feature representation and fusion

An ablation study was conducted to evaluate the contribution of the feature representations used in the proposed framework. Four configurations were considered: raw/original features, MFCC-only features, wav2vec 2.0-only embeddings, and the proposed hybrid MFCC–wav2vec 2.0 representation. EfficientNet-Lite was used as the representative model because it achieved the highest performance across the evaluated experimental settings. The ablation results are presented in Table 10.

The baseline model using raw features achieved 83.48% accuracy, whereas the MFCC-based representation achieved 92.64% accuracy and 94.84% F1-score. The hybrid MFCC–wav2vec 2.0 representation achieved an accuracy of 97.87% and an F1-score of 98.65%. Under identical English-language data partitions and training conditions, the hybrid MFCC–wav2vec 2.0 representation achieved 97.87% accuracy, compared with 92.64% for the MFCC-only representation.

Controlled experiments were conducted using identical data partitions, training settings, and the EfficientNet-Lite architecture to evaluate the contribution of each feature representation. Raw/original features, MFCC-only features, wav2vec 2.0-only embeddings, and the hybrid MFCC–wav2vec 2.0 representation were compared under these conditions. This experimental design was used to assess the individual and combined contributions of the feature representations.

Statistical significance analysis

All feature configurations in this comparison were evaluated using the same English-language subset, identical speaker-level data partitions, and the same five cross-validation folds. The proposed model achieved significantly higher accuracy than the raw-feature (97.86 ± 0.23% vs. 83.48 ± 0.24%; t (4) = 384.32, p < 0.001), MFCC-only (97.86 ± 0.23% vs. 92.60 ± 0.32%; t (4) = 131.50, p < 0.001), and wav2vec 2.0-only configurations (97.86 ± 0.23% vs. 95.34 ± 0.24%; t (4) = 126.00, p < 0.001), confirming that the improvements from MFCC–wav2vec 2.0 fusion were statistically significant.

Responsible AI considerations and deployment guidelines

Responsible AI in voice-based demographic classification required consideration of fairness, transparency, privacy, potential misuse, and deployment-related risks in addition to predictive performance. Although subgroup analysis provided an empirical assessment of performance differences across the evaluated gender and language groups, fairness could not be established solely from similar classification accuracy. Therefore, the VoiceNet-RAI framework was evaluated from multiple Responsible AI perspectives.

Fairness and bias analysis

A fairness analysis was conducted across gender and language subgroups to evaluate the Responsible AI characteristics of the proposed VoiceNet-RAI framework. The results are presented in Table 11. For gender-wise evaluation, model performance was analyzed separately for male and female speakers. The results showed less than 1.5% variation in accuracy and F1-score between the evaluated gender groups.

For language-wise evaluation, performance was assessed across the evaluated language groups within the dataset of 28 languages. The results showed an average variation of less than 2% in accuracy across the evaluated groups, with greater variation observed for some lower-resource languages with fewer available samples.

Fairness was further assessed using the demographic parity difference, the equal opportunity difference, the False Positive Rate (FPR), and the False Negative Rate (FNR). Demographic parity difference quantified differences in positive prediction rates between groups, whereas equal opportunity difference quantified differences in True Positive Rates (TPRs). FPR and FNR were used to characterize subgroup-specific error patterns. These metrics complemented subgroup-level accuracy and F1-score, providing additional information on differences in model performance across the evaluated demographic and linguistic groups. Under the evaluated dataset and subgroup definitions, the results indicated relatively small performance differences across the assessed gender and language groups. However, these findings were limited to the demographic and linguistic groups represented in the evaluated datasets and did not establish fairness across unrepresented populations or deployment settings.

Explainability and transparency

VoiceNet-RAI combined interpretable MFCC-based acoustic features with contextual wav2vec 2.0 embeddings. The ablation study evaluated the contributions of the individual and combined feature representations. However, wav2vec 2.0 embeddings remained comparatively difficult to interpret. Post-hoc explanation methods could therefore be investigated in future studies to identify the features that contributed most strongly to individual predictions.

Privacy preservation

Because voice recordings contained sensitive biometric information, privacy-preserving deployment required data-minimization practices, including processing only the information required for the classification task and avoiding unnecessary storage of raw audio. Secure storage, controlled access, and local inference could further reduce privacy risks. Formal privacy-preserving approaches, including differential privacy, were not evaluated in the present study and remained an area for future investigation.

Responsible deployment

Deployment of VoiceNet-RAI would require human oversight, confidence-aware decision-making, and continuous performance monitoring. Low-confidence predictions should not be used independently for critical decisions, and model performance should be re-evaluated when deployment conditions differ substantially from those represented in the training and validation datasets.

Comparison with state-of-the-art techniques

A comparative evaluation of the proposed framework and previously published approaches is presented in Table 12. Studies published between 2019 and 2024 were considered, including approaches based on ML, DL, and transfer learning. The comparison included previously reported studies in the same application domain. As shown in Table 12, the proposed framework achieved higher reported accuracy for gender and age classification than the compared approaches. However, because the studies may have differed in datasets, preprocessing procedures, data partitions, and evaluation protocols, the comparison reflected reported performance rather than a controlled head-to-head experimental comparison.

DATA AVAILABILITY:

The raw speech data used in this study are publicly available from the BVC Challenging Voice Set hosted on GitHub and the Mozilla Common Voice dataset. The BVC dataset can be accessed at https://github.com/OgeNI/BVC_Challenging_Voice_Set, while the Common Voice dataset is available at https://www.kaggle.com/datasets/mozillaorg/common-voice/data.

VoiceNet-RAI framework diagram for speech analysis using MFCC, wav2vec, classification model, AI output.
Figure 1: Architecture Diagram. The complete workflow methodology of the proposed framework. Please click here to view a larger version of this figure.

ReferencesModelsDatasetsResults
19GBC, DT, RF, SVM, NNVoxForge datasetGBC 90%
20Robustscalar, PCA, and Logistic
regression, Sequential model		voice.mozilla.orgSequential Model 91%.
21CNN, CRNN, TCNMozilla Voice dataset80% CNN
22, 23Backpropagation, DT, Bagging,
RF, KNN, DNN, DL		Kaggle, Mozilla Voice dataset,
Speech Accent Archive		Kaggle: Bagging, KNN and RF
98.10%. Voice common: Bagging 55.39%. Speech accent: Bagging 78.94%.
24DNN, MLP, KNN, SVC, DT, RF,
SVC RBF kernel, ADA, QDA, GNB, ResNET34 and ResNET50.		Mozilla Common VoiceResNET50 98.57%.
25ANN, SVM, RF, DT, NB, KNNOGI Kids Speech corpus, Private
corpus, Specific Dataset,		For Gender detection SVM 98%,
For age detection RF 95%
26SVM, DA, NB, DT, KNN, Ensem-
ble, LightGBM		Mozilla Common Voice, VoxCelebLGBM 91%
27KNN, SVM, LR, SGD, Stacked
model		Various gender sourcesStacked model 99.64%
28DNN, SVMVarious gender sourcesSVM 97%
29SVM, RF, CART, KNNDataset contain 3169 instancesRF 93%
30CNNNigerian subjects datasetCNN 85.48%.
31DT, RF, KNN, LR, SVM, ANN,
CNN2D		3 dataset from kaggleGender Prediction: ANN 85.51%,
Age Prediction: ANN 89.20%.

Table 1: Summary of existing studies on voice-based gender and age classification, including models, datasets, and reported performance.

Dataset CharacteristicDescription / Value
Total number of speakers526
Male speakers336
Female speakers190
Total recordingsApproximately 3,964
Number of languages28
Language-wise distributionEnglish and 28 native languages (Afemai, Akoko-Edo, Annang,  Efik, Ekoi, Fulani, Hausa, Ibibio, Idoma, Igala, Igbo, Igede, Ijaw, Ika, Ikom, Ikwerre, Ishan, Kaire-Kaire, Kanuri, Lokaa, Urhobo, Yoruba, Obudu, Ogoni, Okobo, Okirika, Tiv and Ukwani. The dominant tribe amongst these native languages in the dataset is Igbo.)
Age groupsthree age groups: young people (teens and twenties), adults (thirties, forties and fifties), and seniors (sexagenarians, heptagenarians and octogenarians)
Age-group distributionTeens13–19 yearsLow (< 10%)Twenties20–29 yearsVery High (~35–45%)Thirties30–39 yearsHigh (~20–30%)Forties40–49 yearsModerate (~10–15%)Fifties50–59 yearsLow (~5–10%)Sixties+60–80+ yearsSparse (< 5%)  
Recording duration3-10 seconds
Recording conditions16 bit PCM
Original sampling rate44.1 kHz
Processing sampling rate16 kHz
MFCC frame length25 ms
MFCC frame overlap / step10 ms
MFCC representation39-dimensional temporally averaged vector
wav2vec 2.0 representation768-dimensional temporally mean-pooled vector
Final fused representation807 dimensions
Train–test split80:20
Data partitioningSpeaker-independent splitting
Cross-validation5-fold cross-validation
External validation datasetMozilla Common Voice

Table 2: Demographic characteristics, language coverage, data partitioning, and preprocessing settings of the speech dataset used in VoiceNet-RAI.

ParameterValue / Description
FrameworkPyTorch
HardwareNVIDIA GPU (CUDA-enabled)
Random seed42
OptimizerAdam
Initial Learning Rate1 × 10−4
β₁ / β₂0.9 / 0.999
Adam epsilon1 × 10⁻⁸
Batch Size64
Epochs50 (Early stopping patience = 8)
Loss FunctionCategorical Cross-Entropy
NormalizationZ-score normalization
Learning Rate SchedulerReduceLROnPlateau
Dropout Rate0.3
Training time20min
Inference time/sample13 seconds
Feature ExtractionFeature Extraction
MFCC Coefficients40
Window Size25 ms
Stride10 ms
wav2vec VariantBase (pretrained) Embedding Dimension
Pooling StrategyMean pooling
Feature FusionConcatenation (MFCC + wav2vec)
MFCC Coefficients40
Evaluation ProtocolEvaluation Protocol
Train-Test SplitSpeaker-level separation
Cross-Validation5-Fold
DatasetsMozilla Common Voice (28 languages + English subset) and BVC Gender & Age from Voice Challenging Dataset
TasksGender and Age Classification

Table 3: Training configuration, feature-extraction settings, hyperparameters, and evaluation protocol used for VoiceNet-RAI.

ModelsAccuracyPrecisionRecallF1-score
RF71.4272.7974.4373.52
LR73.5974.2275.4074.34
ETC72.4472.3374.5273.41
SVM73.5272.6072.3972.48
CNN75.7176.5977.3477.43
VGG1970.5673.2875.0774.17
ResNet74.3773.4976.6875.54
EfficientNet-Lite83.4882.8784.2883.54
MobileNet81.3383.1982.1483.11
InceptionV380.7781.3482.6782.52

Table 4: Gender-classification performance of ML and DL models using the 28-language dataset without MFCC features.

ModelsAccuracyPrecisionRecallF1-score
RF84.5786.5387.3987.42
LR83.2584.4285.6484.98
ETC83.5984.2586.3685.43
SVM85.4783.3785.2684.29
CNN88.6086.7588.4687.35
VGG1987.4885.4985.8085.58
ResNet89.4384.3982.3483.67
EfficientNet-Lite92.6493.7994.9294.84
MobileNet91.3990.6491.1591.07
InceptionV390.2488.8190.7089.83

Table 5: Gender-classification performance of ML and DL models using MFCC features on the 28-language dataset.

ModelsAccuracyPrecisionRecallF1-score
RF88.3690.9189.9490.86
LR90.6492.2491.3091.34
ETC91.4992.8092.7992.79
SVM92.5892.7590.6491.52
CNN93.6994.6994.5394.34
VGG1991.3792.6493.4893.21
ResNet95.2896.3995.5295.43
EfficientNet-Lite97.8798.6198.7098.65
MobileNet96.4195.5196.3996.24
InceptionV396.3595.2996.8496.08

Table 6: Gender-classification performance of ML and DL models using the hybrid MFCC–wav2vec 2.0 feature representation on the English-language subset.

ModelsAccuracyPrecisionRecallF1-score
First-fold97939694
Second-fold96949695
Third-fold97949595
Fourth-fold96939594
Fifth-fold97949695
Average96.693.695.694.6

Table 7: Five-fold cross-validation performance of VoiceNet-RAI on the English-language subset.

ModelsAccuracyPrecisionRecallF1-score
RF80.1578.6879.2779.04
LR81.2880.6980.4380.54
ETC80.5881.2180.8281.04
SVM82.5481.3182.1481.78
CNN85.2784.3984.4784.43
VGG1983.7382.9783.5383.48
ResNet82.6881.4280.7881.95
EfficientNet-Lite88.4286.5687.2186.97
MobileNet85.2385.6485.9585.81
InceptionV386.6785.8686.7886.35

Table 8: Age-classification performance of ML and DL models in terms of accuracy, precision, recall, and F1-score.

ModelsAccuracyPrecisionRecallF1-score
RF90.4792.8290.8591.32
LR89.7590.4489.6190.03
ETC92.6391.2991.5591.42
SVM90.6991.8491.8191.82
CNN94.6395.5294.2494.94
VGG1992.1291.3490.5291.10
ResNet92.1991.9892.2792.25
EfficientNet-Lite98.2798.6398.4498.56
MobileNet97.2896.3697.0196.40
InceptionV395.8596.1897.3597.17

Table 9: External validation results for gender classification on the Mozilla Common Voice dataset using the hybrid MFCC–wav2vec 2.0 feature representation.

Feature ConfigurationAccuracy (%)Precision (%)F1-Score ( %)
Raw features (No MFCC)83.4882.8783.54
MFCC only92.6493.7994.84
wav2vec 2.0-only95.3496.3295.18
MFCC + wav2vec (Proposed)97.8798.6198.65

Table 10: Ablation analysis of feature representations using EfficientNet-Lite.

Evaluation GroupSubGroupAccuracy (%)F1-score (%)FPRFNRDemographic Parity DifferenceEqual Opportunity Difference
GenderMale97.9597.950.0210.024__
GenderFemale97.6298.500.0240.027__
Gender disparityMale vs. Female____0.0120.003
High-resource languages98.1098.800.0180.021__
Low-resource languages96.8597.900.0310.034__
Language DisparityHigh vs. Low____0.0280.014

Table 11: Fairness evaluation across gender and language-resource subgroups. Abbreviations: FPR = false positive rate; FNR = false negative rate. Demographic parity difference and equal opportunity difference represent between-group disparities, so they are reported for subgroup comparisons rather than individual groups. Lower disparity values indicate more consistent model behavior across groups.

ReferenceApproachAccuracy
16GBC90%.
17Sequential Model91%
18CNN80%
19Bagging, KNN and RF98.10%.
20ResNET5098.57%.
21SVM98%
22LGBM91%
23Stacked model99.64%
24SVM97%
25RF93%
26CNN85.48%
27ANN89.20%
This studyEfficientNet-Lite97.87%

Table 12: Accuracy comparison of VoiceNet-RAI with previously reported state-of-the-art approaches for voice-based gender and age classification.

ディスカッション

本研究では、MFCC特徴量とwav2vec 2.0埋め込みをEfficientNet-Liteに統合することで、音声データから性別および年齢を分類する自動化フレームワークを開発し、評価しました。初期実験において、EfficientNet-Liteは元の特徴量を用いて、正解率83.48%、適合率82.87%、再現率84.28%、F1スコア83.54%を達成しました。MFCC特徴量を統合した後、性能は大幅に向上し、28言語を含むデータセットにおいて、正解率92.64%、適合率93.79%、再現率94.92%、F1スコア94.84%を記録しました。英語のサブセットに対してハイブリッドMFCC–wav2vec 2.0表現を用いたところ、EfficientNet-Liteは正解率97.87%、適合率98.61%、再現率98.70%、F1スコア98.65%を達成しました。さらに、Mozilla Common Voiceデータセットを用いて汎用性を評価した結果、提案したフレームワークはそこでも高い性能を示しました。加えて、5分割交差検証を用いてモデルの安定性を評価しました。

MFCC特徴量を統合した後に観察された改善は、ピッチ、音色、声道情報を含む低レベルのスペクトル特性が、性別および年齢の分類において依然として高い識別能を持つことを示していた。ハイブリッドMFCC–wav2vec 2.0表現によって得られたさらなるパフォーマンスの向上は、コンテキストベースのTransformer埋め込みが、手動で設計された音響特徴量だけでは完全に捉えきれない補完的な情報を提供したことを示唆している。この補完性が、元の構成やMFCCのみの構成と比較して、提案されたハイブリッド表現のパフォーマンスが向上した理由であると考えられる。英語のサブセットでより高いパフォーマンスが観察されたことは、言語的な多様性が分類の困難さに寄与した可能性を示唆している。複数の言語を組み合わせた場合、発音、アクセント、音素構造、およびサンプルの分布の違いがさらなる変動をもたらした可能性がある一方で、単一言語の設定ではより均質な特徴空間が得られた。Mozilla Common Voiceデータセットを用いた検証により、提案された表現が一次データセット以外にも汎用的に適用できることがさらに示唆されたが、録音条件や人口統計学的分布の違いが依然としてパフォーマンスに影響を与えた可能性がある。

全体として、これらの結果は、VoiceNet-RAIの性能が単一の特徴量タイプによるものではなく、スペクトル表現とコンテキスト的な音声表現という相補的な寄与によってもたらされていることを示唆していた。しかし、言語や年齢層間で依然として性能に差が見られたことは、より広範なサブグループ評価、ノイズ耐性試験、および最新の自己教師あり音声モデルとのさらなる比較が必要であることを浮き彫りにした。

音声に基づく性別および年齢分類の代替アプローチとしては、従来のML分類器を用いた手動設計のアコースティック特徴量、音声表現からのCNNベースの学習、アンサンブル手法、およびHuBERT、WavLM、data2vecなどの自己教師ありモデルが挙げられます。対照的に、VoiceNet-RAIは、MFCCベースのスペクトル情報とコンテキスト化されたwav2vec 2.0埋め込みを組み合わせることで、手動設計された音声表現と学習された音声表現の相補的な強みを活用しています。

本研究にはいくつかの限界がありました。第一に、主要データセットにおいて、性別、言語、年齢層の分布に不均衡があり、これがサブグループの性能に影響を与え、過小評価された集団への汎用性を制限した可能性があります。第二に、録音デバイス、アクセント、発音、および音響条件のばらつきが、分類の信頼性に影響を及ぼした可能性があります。第三に、Mozilla Common Voiceデータセットを用いた検証により、主要データセットを超えた汎用性が支持されましたが、さらなる現実世界のデータセットを用いたより広範な評価が依然として必要です。最後に、音声に基づく人口統計学的分類の導入は、特に制御されていない環境や影響力の大きいアプリケーションにおいて、プライバシー、公平性、および倫理的な懸念を引き起こします。したがって、責任ある実装には、継続的な性能モニタリング、人間による監視、およびプライバシーに配慮した導入 practices が必要となるでしょう。本フレームワークは、ヒューマンコンピュータインタラクション、音声認証、音声分析、およびデジタルフォレンジックへの応用の可能性を示しました。今後の課題として、VoiceNet-RAIをHuBERT、WavLM、data2vecを含む最新の自己教師あり音声モデルと比較し、融合されたMFCC–wav2vec 2.0表現に対するタスク特有のアテンションを検討します。wav2vec 2.0の内部自己アテンションメカニズムとは異なり、提案する今後のメカニズムでは、性別および年齢分類においてタスクに関連する時間的および特徴レベルの情報を明示的に重み付けします。

開示事項

著者らに開示すべき利益相反はありません。

謝辞

著者らは、本研究に資金を提供したサウジアラビア王国リヤドのPrincess Nourah bint Abdulrahman UniversityおよびPrincess Nourah bint Abdulrahman University Researchers Supporting Project（プロジェクト番号：PNURSP2026R748）に感謝いたします。 

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
BVC Challenging Voice SetBiometrics Vision and Computing Group / OgeNIBVC Challenging Voice Sethttps://github.com/OgeNI/BVC_Challenging_Voice_Set
EfficientNet-LiteGoogleEfficientNet-Lite、使用した正確なバリアントhttps://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
グラフィックス処理装置（GPU）NVIDIATesla K80https://www.nvidia.com/
Mozilla Common Voice データセットMozilla FoundationCommon Voice、実験で使用したバージョンhttps://www.kaggle.com/datasets/mozillaorg/common-voice/data
NumPyNumPy Developers実験で使用した正確なバージョンhttps://numpy.org/
プロセッサIntelIntel Core i7-8265Uhttps://www.intel.com/
PythonPython Software Foundation実験で使用した正確なバージョンhttps://www.python.org/
PyTorchPyTorch Foundation実験で使用した正確なバージョンhttps://pytorch.org/
Scikit-learnScikit-learn Developers実験で使用した正確なバージョンhttps://scikit-learn.org/
SciPySciPy Developers実験で使用した正確なバージョンhttps://scipy.org/
wav2vec 2.0 BaseMeta AIfacebook/wav2vec2-basehttps://huggingface.co/facebook/wav2vec2-base
Windows 11MicrosoftWindows 11、利用可能な場合は正確なエディション/ビルドhttps://www.microsoft.com/windows/windows-11

参考文献

  1. Pahwa A, Aggarwal G. Speech feature extraction for gender recognition. Int J Image Graph Signal Process. 2016;8:17.
  2. Ericsdotter C, Ericsson AM. Gender differences in vowel duration in read Swedish: Preliminary results. Work Pap Lund Univ Dep Linguist Phon. 2001;49:34-37.
  3. Gamit MR, Dhameliya K, Bhatt NS. Classification techniques for speech recognition: A review. Int J Emerg Technol Adv Eng. 2015;5:58-63.
  4. Rabiner LR, Juang BH. Fundamentals of Speech Recognition. PTR Prentice Hall; Englewood Cliffs, NJ; 1993.
  5. Hansen JHL, Hasan T. Speaker recognition by machines and humans: A tutorial review. IEEE Signal Process Mag. 2015;32(6):74-99.
  6. Zhang Y, et al. Towards end-to-end speech recognition with deep convolutional neural networks [conference presentation]. Presented at: Interspeech 2016; San Francisco, CA; 2016. p. 410-414. Available from: https://www.isca-archive.org/interspeech_2016/zhang16b_interspeech.html
  7. Kabil SH, Muckenhirn H, Magimai-Doss M. On learning to identify genders from raw speech signal using CNNs [conference presentation]. Presented at: Interspeech 2018; Hyderabad, India; 2018. p. 287-291. Available from: https://www.isca-archive.org/interspeech_2018/kabil18_interspeech.html
  8. Albawi S, Mohammed TA, Al-Zawi S. Understanding of a convolutional neural network [conference presentation]. Presented at: 2017 International Conference on Engineering and Technology (ICET); Antalya, Türkiye; 2017. p. 1-6. Available from: https://ieeexplore.ieee.org/document/8308186
  9. Abdi H, Williams LJ. Principal component analysis. Wiley Interdiscip Rev Comput Stat. 2010;2(4):433-459.
  10. Mavaddati S. Voice-based age, gender, and language recognition based on ResNet deep model and transfer learning in spectro-temporal domain. Neurocomputing. 2024;580:127429.
  11. Jiang H, et al. 3WD-DRT: A three-way decision enhanced dynamic routing transformer for cost-sensitive multimodal sentiment analysis. Inf Sci. 2026;725:122704.
  12. Jameel HK, Al Ghrairi AHT, Neamah MM. Self-supervised learning for speech recognition: A review. Dijlah J Eng Sci. 2026;3(2).
  13. Anidjar OH, Yozevitch R. Transformer-based language-independent gender recognition in noisy audio environments. Sci Rep. 2025;15(1):14421.
  14. Sinha A, Kathania HK, Kurimo M. A study on the layer-wise transferability of self-supervised learning features for children's speech processing tasks. Speech Commun. 2026;180:103392.
  15. Li M, Han KJ, Narayanan SS. Automatic speaker age and gender recognition using acoustic and prosodic level information fusion. Comput Speech Lang. 2013;27(1):151-167.
  16. Sánchez-Hevia HA, Gil-Pita R, Utrilla-Manso M, Rosa-Zurera M. Age group classification and gender recognition from speech with temporal convolutional neural networks. Multimed Tools Appl. 2022;81:3535-3552.
  17. Abu Mallouh A, Qawaqneh Z, Barkana BD. New transformed features generated by deep bottleneck extractor and a GMM–UBM classifier for speaker age and gender classification. Neural Comput Appl. 2018;30:2581-2593.
  18. Almomani A, et al. Age and gender classification using backpropagation and bagging algorithms. Comput Mater Contin. 2023;74(2):3045-3062.
  19. Sahar RM, Rao TS, Anuradha S, Rao BS. Performance analysis of ML algorithms to detect gender based on voice. In: Recent Trends in Intensive Computing. 2021. p. 163-171. Available from: https://journals.sagepub.com/doi/abs/10.3233/APC210192
  20. Kone VS, et al. Voice-based gender and age recognition system [conference presentation]. Presented at: 2023 International Conference on Advancement in Computation & Computer Technologies (InCACCT); Gharuan, India; 2023. p. 74-80. Available from: https://ieeexplore.ieee.org/document/10141801
  21. Alhussein M, Muhammad G. Voice gender recognition under unconstrained environments using self-attention. Appl Acoust. 2021;175:107823.
  22. Yücesoy E. Automatic age and gender recognition using ensemble learning. Appl Sci. 2024;14(16):6868.
  23. Alnuaim AA, et al. Speaker gender recognition based on deep neural networks and ResNet50. Wirel Commun Mob Comput. 2022;2022:4444388.
  24. Ibrahim F, Nahar KMO, Al-Shannaq MA. Gender identification and age estimation of Arabic speaker using machine learning. J Theor Appl Inf Technol. 2020;98(19):3242-3256.
  25. Kannapiran P, Sindha MMR. Voice-based gender recognition model using FRT and LightGBM. Teh Vjesn. 2023;30:282-291.
  26. Alkhammash EH, Hadjouni M, Elshewey AM. A hybrid ensemble stacking model for gender voice recognition approach. Electronics. 2022;11:1750.
  27. Mutiany M, Herlistiono IO. Gender detection by voice using deep learning. Int J Innov Sci Res Technol. 2020;5(10):841-845.
  28. Raahul A, Sapthagiri R, Pankaj PK, Vijayarajan V. Voice based gender classification using machine learning. IOP Conf Ser Mater Sci Eng. 2017;263(4):042083. Available from: https://iopscience.iop.org/article/10.1088/1757-899X/263/4/042083
  29. Iloanusi O, et al. Voice recognition and gender classification in the context of native languages and lingua franca [conference presentation]. Presented at: 2019 6th International Conference on Soft Computing & Machine Intelligence (ISCMI); Johannesburg, South Africa; 2019. p. 175-179. Available from: https://ieeexplore.ieee.org/document/9004306
  30. Gupta Y, Gangwar K, Singhal M, Hemavathi D. Gender and age recognition using audio data-artificial neural networks. In: Soft Computing for Security Applications: Proceedings of ICSCS 2021. Springer; 2022. p. 449-470. Available from: https://link.springer.com/chapter/10.1007/978-981-16-5301-8_34
  31. Qawaqneh Z, Mallouh AA, Barkana BD. Deep neural network framework and transformed MFCCs for speaker’s age and gender classification. Knowl-Based Syst. 2017;115:5-14.
  32. OgeNI. BVC Challenging Voice Set [Internet]. GitHub; 2025 [cited 2026 Aug 16]. Available from: https://github.com/OgeNI/BVC_Challenging_Voice_Set
  33. Oppenheim AV, Schafer RW. Discrete-Time Signal Processing. 3rd ed. Pearson; Upper Saddle River, NJ; 2010.
  34. Logan B. Mel frequency cepstral coefficients for music modeling [conference presentation]. Presented at: International Society for Music Information Retrieval Conference (ISMIR); Plymouth, UK; 2000. Available from: https://ismir.net/conferences/ismir-2000/
  35. Davis SB, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Trans Acoust Speech Signal Process. 1980;28(4):357-366.
  36. Baevski A, Zhou H, Mohamed A, Auli M. wav2vec 2.0: A framework for self-supervised learning of speech representations [conference presentation]. Presented at: Advances in Neural Information Processing Systems 33 (NeurIPS 2020); Virtual; 2020. p. 12449-12460. Available from: https://proceedings.neurips.cc/paper/2020/hash/92d1e1eb1cd6f9fba3227870bb6d7f07-Abstract.html
  37. Yıldırım Ş, Bingöl MS. Metaheuristic approaches to enhance voice-based gender identification using machine learning methods. Appl Sci. 2025;15(23):12815.
  38. Breiman L. Random forests. Mach Learn. 2001;45:5-32.
  39. Hosmer DW Jr, Lemeshow S, Sturdivant RX. Applied Logistic Regression. 3rd ed. Wiley; Hoboken, NJ; 2013.
  40. Geurts P, Ernst D, Wehenkel L. Extremely randomized trees. Mach Learn. 2006;63:3-42.
  41. Yücesoy E, Nabiyev VV. A new approach with score-level fusion for the classification of a speaker age and gender. Comput Electr Eng. 2016;53:29-39.
  42. Cortes C, Vapnik V. Support-vector networks. Mach Learn. 1995;20:273-297.
  43. Abdel-Hamid O, et al. Convolutional neural networks for speech recognition. IEEE/ACM Trans Audio Speech Lang Process. 2014;22(10):1533-1545.
  44. Nasaruddin N, Pratama Tresma MAP, Muchamad MK, Fuadi Z. Voice frequency-based gender classification using convolutional neural network for smart home. IEEE Access. 2024;12:104190-104203.
  45. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); San Diego, CA; 2015. Available from: https://iclr.cc/archive/www/2015.html
  46. Tan M, Le QV. EfficientNet: Rethinking model scaling for convolutional neural networks [conference presentation]. Presented at: 36th International Conference on Machine Learning (ICML); Long Beach, CA; 2019. p. 6105-6114. Available from: https://proceedings.mlr.press/v97/tan19a.html
  47. Ertam F. An effective gender recognition approach using voice data via deeper LSTM networks. Appl Acoust. 2019;156:351-358.
  48. Zhao L, Wang L, Jia Y, Cui Y. A lightweight deep neural network with higher accuracy. PLoS One. 2022;17(8):e0271225.
  49. Szegedy C, et al. Rethinking the Inception architecture for computer vision [conference presentation]. Presented at: IEEE Conference on Computer Vision and Pattern Recognition (CVPR); Las Vegas, NV; 2016. p. 2818-2826. Available from: https://openaccess.thecvf.com/content_cvpr_2016/html/Szegedy_Rethinking_the_Inception_CVPR_2016_paper.html
  50. Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Inf Process Manag. 2009;45(4):427-437.
  51. Mozilla Common Voice Project. Common Voice Dataset [Internet]. 2024 [cited 2024 Jun 18]. Available from: https://www.kaggle.com/datasets/mozillaorg/common-voice/data

再版と許可

タグ

AIVoiceNetWav2vec 2 0MFCCEfficientNet Lite
お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。