このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

研究記事

VoiceNet：性別および年齢分類のための責任あるAI多言語音声フレームワーク

127 回視聴

⸱

2026年9月11日

 ,  ,  ,  ,  ,  ,  , 
1Department of Electrical and Computer Engineering, College of Engineering, Anderson University, South Carolina, 2Department of Computer Science, Faculty of Computing and Information Technology, King Abdulaziz University, 3Department of Information Technology, College of Computer and Information Sciences, Princess Nourah bint Abdulrahman University, 4Department of Computer Science, College of Computer Engineering and Sciences, Prince Sattam Bin Abdulaziz University, 5Department of Computer Science and Informatics, Applied College, Taibah University, 6Department of Computer Science & Information Technology, The Islamia University of Bahawalpur, Bahawalpur, 7Center for Scientific Research and Entrepreneurship, Northern Border University, 8School of Medicine, University of South Carolina

この記事について

サマリー

VoiceNet-RAIは、音声データから性別および年齢を分類するために、MFCC特徴量、多言語wav2vec 2.0埋め込み、およびEfficientNet-Liteを統合したものです。このフレームワークは、英語のサブセットにおいて最大97.87%の精度を達成しており、音声認識、認証、およびデジタルフォレンジックにおける責任ある応用に活用できます。

要約

音声データからの正確な性別および年齢の分類は、パーソナライズされ、安全で、倫理的なヒューマンコンピュータインタラクション（HCI）にとって重要です。wav2vec 2.0のような大規模な事前学習済み音声モデルの利用が拡大する中、多言語かつプライバシーに配慮したデモグラフィック推論のために、これらの表現を責任を持って活用することが求められています。本研究では、Mel-Frequency Cepstral Coefficients（MFCCs）とtransformerベースの多言語wav2vec 2.0埋め込みをEfficientNet-Liteアーキテクチャ内で統合し、多様な言語的文脈において正確で公平かつ透明性の高い分類をサポートするディープラーニング（DL）フレームワークであるVoiceNet-RAIを提案します。このフレームワークは、文脈情報とスペクトル情報を組み合わせることで、変動する録音条件下での堅牢性を向上させます。28言語をカバーする多言語音声データを用いた実験では、高い分類性能が示され、英語サブセットでは正解率97.87%、適合率98.61%、再現率98.70%、F1スコア98.65%を達成しました。Mozilla Common Voiceデータセットを用いた外部検証では、性別分類において98.27%の正解率が得られ、独立したデータセットに対する汎用性が実証されました。また、アブレーション解析により、MFCCとwav2vec 2.0の特徴を組み合わせることで、生のデータのみまたはMFCCのみの表現と比較して性能が向上することが示されました。これらの知見は、堅牢で責任ある性別および年齢分類に向けた、ハイブリッドなスペクトル・文脈音声表現の有用性を示すものです。

概要

音声認識は、個人が感情、思考、目的を表現するための人間によるコミュニケーションの中核的な構成要素です。人間の声は、肺から呼気され、唇、舌、歯などの調音器官によって音に形作られるという生物学的プロセスを通じて生成されます1。耳は音声の識別において不可欠な役割を果たし、音量やピッチなどの特性に基づいて男性の声と女性の声を区別することができます。男女間の音声ピッチに大幅な差をもたらす要因の一つに、性的二型があります2。音声からの年齢および性別分類は、ヒューマンマシンインタラクション、自動性別認識、パーソナライズされた挨拶、音声感情の事前分類、性別に基づく通話分類など、数多くのアプリケーションに関連しています3。

音声は人間同士の相互作用における本質的な要素です。人間の声には個人間で異なる多様な特性が含まれており、感情や精神状態、さらには年齢や性別に関する情報を提供します。これらの多次元的な特性は、音声ベースのセキュリティシステムや音声指向の人工知能（AI）アシスタントなどのアプリケーションに活用できます。また、音声分析が重要となるその他の領域として、自動話者照合（ASV）システムや感情ベースのAIシステムが挙げられます。音声ベースの入力システムは、データベース内の検索範囲を縮小させることも可能です4,5。さらに、AIベースのセキュリティシステムは、犯罪捜査や被害者保護などのアプリケーションに音声データを利用できます。男女の声は、声道（vocal tract）の共鳴特性の違いにより、異なる特性を示します。これらの特性を計算処理に適した形式で音声信号から抽出することで、音声データからの性別分類が可能になります6,7。したがって、音声ベースの性別分類には効果的な学習アルゴリズムが必要です。ディープラーニング（DL）アルゴリズムは、オーディオデータから複雑なパターンを学習できる能力があるため、音声関連の分類に特に適しています。このようなモデルは、アーキテクチャに応じて、畳み込み層、再帰層、時間畳み込み層、または全結合層で構成されます。これらの層は、音色やピッチを含む関連する音響特性を学習できます。一度学習すれば、モデルは初見の音声録音から性別を分類することが可能です8。機械学習（ML）研究のもう一つの重要な領域は、音声録音からの年齢分類です。MLアルゴリズムは、ピッチ、音色、振幅などの音響特性を用いて、年齢に関連するパターンを特定できます。また、主成分分析（PCA）などの手法を適用して音声データから有益なパターンを抽出し、分類性能を向上させられる可能性があります9。

DLは、画像、感情、音声認識などのアプリケーションにおいて強力なパフォーマンスを実証してきました。特にディープニューラルネットワーク（DNN）は、音声関連のタスクに広く利用されています。本研究では、確立された特徴抽出手法と組み合わせて、音声分類にDLベースのアプローチを適用します。メル周波数ケプストラム係数（MFCC）は、音声信号の関連するスペクトル特性を捉え、後続の処理のための効率的な表現を提供します。抽出された特徴は、その後、音声に基づく性別および年齢分類のための転移学習フレームワークに統合されます10,11。

近年の研究では、話者属性の分類に自己教師あり学習およびTransformerベースの音声表現がますます採用されるようになっています。研究者は、HuBERTやwav2vec 2.0などの自己教師あり音声モデルにおける、性別や年齢などの人口統計学的バイアスを調査し、公平性を考慮した評価の重要性を強調しています12。より最近では、Transformerベースの言語独立アプローチにより、多言語環境やノイズのある条件下での性別認識における学習済みコンテキスト音声表現の有効性が示されています13。Sinhaらは、年齢および性別分類に向けたwav2vec 2.0のレイヤーごとの表現をさらに調査し、異なるTransformerレイヤーが異なるレベルの話者関連情報を捉えていることを明らかにしました14。これらの進展により、従来のMFCCベースのスペクトル情報とコンテキストwav2vec 2.0表現を組み合わせ、さらに多言語対応と責任あるAI（Responsible AI）の考慮を組み込んだ、提案するVoiceNet-RAIフレームワークの動機付けがなされています。

近年の研究により、話者の年齢と性別は、従来の音響的特徴量とディープラーニングに基づく表現の両方を用いて特徴付けることができることが示されています。音響情報と時間情報を組み合わせたアプローチでは、相補的な音声特性によって年齢および性別の分類性能を向上させることができることが示されています15,16。また、関連する研究において、ディープボトルネック表現を用いて生成された変換音声特徴量が、話者の年齢および性別の分類性能を向上させることが実証されています17。これらの知見は、音声および音声由来の信号を扱う分類タスクにおいて、スペクトル、時間、および学習による表現を幅広く利用することを支持するものです。

機械学習およびディープラーニングの手法を用いて、音声から年齢および性別を認識させる研究が数多く行われてきました18,19,20,21,22,23,24,25,26,27,28,29,30。より最近のアプローチでは、話者の年齢および性別の分類に向けて、変換後のMFCC表現やディープニューラルネットワークが検討されています31。その一方で、堅牢な音声ベースの人口統計学的分類システムを開発する際には、多言語間および言語依存的な変動が引き続き重要な検討事項となります。発音、音韻構造、話者の特性、および録音条件の違いは、言語や集団を越えたモデルの汎化性能を低下させる可能性があります。したがって、相補的なスペクトル表現および文脈的音声表現を用いることで、多言語環境における堅牢性を向上させられる可能性があります。

音声ベースの人口統計学的認識において、これまでも複数の音響特徴量やアンサンブル分類器を組み合わせたハイブリッドアプローチが採用されてきましたが、VoiceNet-RAIは、統一されたフレームワーク内で2つの相補的なレベルの音声表現を統合している点で異なります。具体的には、従来のMFCC特徴量は局所的なスペクトル特性および音声特性を保持し、一方でwav2vec 2.0はTransformerエンコーダを用いて生音声から学習された文脈化表現を提供します。VoiceNet-RAIは、手作業で設計された音響記述子や単一のディープ表現のみに依存するのではなく、時間的に集約されたMFCCとwav2vec 2.0の表現を特徴量レベルで融合し、得られたハイブリッド表現をEfficientNet-Liteを用いて精緻化します。したがって、本研究の科学的な新規性は、性別および年齢分類のために、スペクトル表現、自己教師あり文脈表現、および軽量ディープ表現を協調的に統合したことにあり、併せて多言語評価、独立データセットによる検証、およびサブグループ間の公平性分析を行っている点にあります。この組み合わせにより、従来のハイブリッド音声分類パイプラインを、単なる精度重視の特徴量融合から、表現の相補性、軽量モデル設計、汎用性、および責任あるAI（Responsible AI）を同時に考慮したフレームワークへと拡張させました。

本研究の主な貢献は、MFCCおよびwav2vec 2.0の特徴量をEfficientNet-Liteと統合することで、音声データから性別と年齢を特定する手法を開発したことです。28言語の音声録音データセットを用いて広範な実験を行い、元の特徴量、MFCC特徴量、wav2vec 2.0特徴量、およびそれらの組み合わせを、機械学習（ML）およびディープラーニング（DL）モデルで評価しました。モデルの性能は、多言語データセット全体と英語のサブセットの両方を用いて評価しています。さらに、性別および言語別のサブグループ解析、話者独立評価、およびMozilla Common Voiceデータセットを用いた検証を通じて、多言語および責任あるAI（Responsible AI）の観点からフレームワークの評価を行いました。加えて、提案したフレームワークの性能を既存の文献で報告されている最新の手法と比較し、交差検証の結果を提示しています。関連する多くの研究が行われており、Table 1 に、モデル、データセット、および報告された結果を含むこれらの研究の要約を示します19,20,21,22,23,24,25,26,27,28,29,30,31。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

本研究では、参加者が直接関与することのない、公開されているBVC Challenging Voice SetおよびMozilla Common Voiceデータセットを使用しました。したがって、機関の倫理承認および追加のインフォームドコンセントは不要でした。性別および年齢の分類に必要なデータのみを処理し、個々の話者を特定する試みは行いませんでした。提案されたフレームワークの完全なワークフローの手法を図1に示します。

データ取得

提案手法で使用したデータセットは、Biometrics Vision and Computing (BVC) グループによって開発され、GitHubで公開されているパブリックボイスデータセットであるBVC Challenging Voice Setから取得した.wav形式のオーディオファイルで構成されています32。このデータセットには、男性336名、女性190名の計526名の個人の音声録音が含まれていました。また、各話者からの単一文および複数文の録音を含む、約3,964件の録音で構成されていました。表2に、提案するVoiceNet-RAIフレームワークの音声データセットに使用した人口統計学的特性、言語カバー範囲、録音特性、データ分割戦略、および前処理設定をまとめます。

特徴抽出

オーディオファイルを処理して主要な特性を抽出し、その後CSVファイルに保存しました。年齢、性別、話者の発音を含むメタデータは、対応するREADMEファイルから抽出しました。WAVファイルの処理および関連する特徴の抽出には、PythonとSciPyパッケージを使用しました。音声信号を時間領域から周波数領域に変換するために、NumPyの高速フーリエ変換（FFT）および周波数関数を用いました。WAVファイルは時間の関数として振幅を表現していましたが、分類タスクにおいては、男女の声を区別できる周波数に関連する特性がより重要でした33。

オーディオ信号を周波数領域の表現に変換するために、FFTアルゴリズムを用いて離散フーリエ変換（DFT）を実装しました。フーリエ変換は、時間領域の信号を周波数スペクトルに変換します。このスペクトルでは時間情報が保持されないため、オーディオ信号をオーバーラップさせたセグメントに分割し、短時間フーリエ変換（STFT）の手法を用いて各セグメントにフーリエ変換を適用しました。np.fft.fft 関数で複素周波数スペクトルを生成し、np.fft.fftfreq で対応するサンプル周波数を取得しました。サンプルディレクトリには、1人の話者のオーディオファイルが10個用意されていました。各WAVファイルは、200 msのスライディングウィンドウを用いて処理され、支配的な周波数が抽出されました。例えば、4秒間のオーディオ録音からは20個の周波数値のリストが生成されます。10個の録音を含むディレクトリの場合、それぞれ20個の周波数値を含む10個の対応するリストを、リストのリストにまとめました。周波数は20 Hzから280 Hzの範囲の値のみを保持するようにフィルタリングし、50 Hz付近の潜在的なノイズは除外しました。

ハイブリッドMFCCおよびwav2vec 2.0特徴表現

高レベルの文脈的な音声表現と低レベルの音響的特性の両方を捉えるため、本研究ではMFCC特徴量とTransformerベースのwav2vec 2.0埋め込みを統合したハイブリッド特徴抽出戦略を採用しました。

MFCC特徴量抽出

メル周波数ケプストラム係数（MFCC）は、音声およびオーディオ信号処理において、特に音声認識や話者識別などのアプリケーションで広く利用されている特徴量である34,35。本研究では、MFCC抽出によりオーディオ信号を、音声の知覚的に関連のある特性を表す特徴ベクトルへと変換した。まず、高周波成分を強調するためのプリエンファシスを行い、続いてフレーミングとウィンドウ処理によって信号を短く重複したフレームに分割した。各オーディオサンプルは、まず16 kHzにリサンプリングされ、10 msのオーバーラップを持つ25 msのフレームにセグメント化された。その後、各フレームに高速フーリエ変換を適用し、信号を時間領域から周波数領域へと変換した。

得られた周波数スペクトルは、人間の聴覚知覚の非線形周波数応答を近似する一連のMelフィルタバンクに通過させられました。これらのフィルタバンクは、知覚的に重要度の低い周波数の寄与を抑えつつ、より関連性の高い周波数を強調します。続いて、音量に対する人間の聴覚の対数的な感度を近似するため、各フィルタバンク出力の対数を算出しました。その後、対数フィルタバンクエネルギーに離散コサイン変換（DCT）を適用し、係数の無相関化を行い、音声信号のコンパクトな表現を生成しました。MFCCとして知られるこの結果得られた係数は、音声の重要なスペクトル特性を捉えています。MFCCは、これらの属性に応じて声を区別する音響的特性を捉えているため、性別および年齢の分類に使用されました。

wav2vec 2.0 エンベディング抽出

wav2vec 2.0 Baseモデルは、大規模なラベルなし音声コーパスを用いて事前学習が行われました。このモデルは、生の波形入力を処理し、文脈化された音声埋め込みを生成する多層Transformerエンコーダーで構成されています36。

入力波形 x ∈ RT が与えられると、wav2vec 2.0 モデルは潜在表現のシーケンスを生成します。

Z = {z1,z1,....,zn},zi ∈ R768  (1)

各埋め込みベクトルの次元数は768でした。分類に適した固定長の表現を得るために、すべてのタイムステップにわたって時間平均プーリング操作を適用しました。

figure-protocol-1   (2)

特徴融合メカニズム

MFCCとwav2vec 2.0の特徴量は、特徴量レベルの連結によって統合されました。具体的には、まず時間的平均化を用いてMFCC特徴量を集約し、固定長のベクトルを生成しました。

m ∈ R40  (3)

最終的なハイブリッド特徴ベクトルは、次のように得られた：

h = [m || zpooled] ∈ R808  (4)

ここで || は結合を表します。この融合により、深いコンテキスト埋め込みと手動で設計されたスペクトル特徴が組み合わされ、モデルが高レベルの意味情報と詳細な音響パターンの両方を捉えることが可能になりました。

すべてのオーディオサンプルは、まず16 kHzにリサンプリングされました。MFCC特徴量はフレームごとに計算され、時間的に平均化して固定の40次元ベクトルを作成しました。一方、wav2vec 2.0埋め込みは、時間軸方向に平均プーリングを行い、768次元の表現を作成しました。両方の特徴量セットは統合前に固定長のベクトルに変換されていたため、フレームレベルの時間的アライメントは不要でした。得られたMFCC表現とwav2vec表現は、分類モデルに渡される前に連結され、808次元のハイブリッド特徴量ベクトルとなりました。

EfficientNet-Liteとの統合

統合された特徴ベクトルhは、特徴学習に適した形式にリシェイプされ、トレーニングのためにEfficientNet-Liteモデルに入力されました。まず、全結合投影レイヤーによって808次元のベクトルが高次元の潜在空間にマッピングされ、その後、EfficientNet-Liteブロックによって階層的な特徴が精査されました。過学習を抑制し、モデルの汎化性能を向上させるために、バッチ正規化とドロップアウトレイヤーが採用されました。性別および年齢クラスの最終的な予測確率を生成するために、SoftMax活性化関数が使用されました。統合表現h ∈ R808は、当初は1次元の特徴ベクトルとして扱われ、4,096次元にマッピングする全結合投影レイヤーを通過しました。その後、投影された表現は1 × 64 × 64のテンソルにリシェイプされ、EfficientNet-Liteアーキテクチャに供給されました。

従来の3チャネルの画像入力ではなく、単一チャネルの音声特徴表現に対応させるため、元のEfficientNet-Liteの入力畳み込み層を3チャネルから1チャネルに変更した。残りのEfficientNet-Lite特徴抽出ブロックについては、大幅なアーキテクチャの変更を加えずそのまま保持した。固定長の表現を生成するために、最終的な特徴マップに適応的グローバル平均プーリング層を適用した。元の分類ヘッドは、性別分類用の2つの出力ユニットと、定義済みの年齢グループに対応する数の出力ユニットを持つ、タスク固有の全結合層に置き換えた。最後に、クラス確率を生成するためにSoftMax活性化関数を適用した。提案したハイブリッド表現は、最新の自己教師あり音声埋め込みと従来の信号処理特徴を組み合わせたものである。wav2vec 2.0の埋め込みは文脈情報と長距離依存性を捉え、一方でMFCC特徴は補完的な低レベル音響情報を提供した。これらの表現を統合することで、特にノイズがある環境や多言語音声の条件下において、分類性能が向上した。

機械学習分類器

本研究では、音声による性別および年齢層の分類において、複数の機械学習（ML）アルゴリズムの性能を分析しました。

ランダムフォレスト

予測精度の向上と過学習の抑制を目的に、複数の決定木（DT）を組み合わせた堅牢な機械学習（ML）分類器として、ランダムフォレスト（RF）を使用した。RFは、複数の決定木による予測を統合して最終的な予測を生成するアンサンブル学習の手法で動作する37,38。このアプローチにより、RFは個々の決定木で一般的に発生する過学習を抑えながら、データ内の多様なパターンを捉えることが可能となった。決定木の構築過程で導入されるランダム性はモデルの汎化性能を向上させ、音声データからの性別および年齢の分類といった分類タスクにRFを適したものとした。

ロジスティック回帰

分類のための統計的機械学習（ML）モデルとして、ロジスティック回帰（LR）を用いた39。二値分類において、LRはロジスティック（シグモイド）関数を用いて入力特徴量に基づいた結果の確率を推定し、得られた確率を用いてクラス予測を生成する。LRは、3つ以上のクラスを含む多クラス分類問題にも適用可能であった。多クラス分類では、分類設定に応じて、one-vs-restまたはSoftMax回帰などの手法を用いた。

エクストラツリー分類器

予測を生成するために、複数の決定木（DT）を組み合わせたアンサンブル学習アルゴリズムとして、Extra Trees Classifier（ETC）を使用した40,41。RFとは異なり、ETCは木の構築中に候補となる特徴量と分割しきい値をランダムに選択することで、さらなるランダム性を導入する。この手順により、相関性の低い木が生成され、個々の特徴量に対するモデルの感度が低下し、その結果、ノイズに対する堅牢性が向上した。また、特徴量の重要度を評価しデータを分割するための分割基準として、ジニ係数を使用した。

サポートベクターマシン

高次元の特徴空間において最適な決定境界を特定するための機械学習（ML）分類器として、サポートベクターマシン（SVM）を用いた42。目的は、クラス間のマージンを最大化する超平面を決定することであった。決定境界と最近接データポイントの間のマージンが大きいほど、一般的にクラス分離と汎化性能が向上する。SVMは、分類、回帰、特徴ベースのデータ分析を含む、いくつかのMLタスクに適用可能であった。

畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（CNN）は、画像および音声データの構造化された表現を扱う分類タスク向けのディープラーニング（DL）モデルとして用いられました。1次元CNN（1D-CNN）は、シーケンシャルデータやテキストデータにも広く適用されています。CNNアーキテクチャは、畳み込みフィルターとプーリング操作を用いて、入力データから識別的な特徴を抽出します43,44。音声データからの性別および年齢の分類において、CNNを音声由来の表現に適用し、ピッチ、周波数、トーン、および性別や年齢層の区別に有用なその他の音声特性に関連するパターンを学習させました。

VGG19

深層で比較的均一な階層的特徴抽出構造を特徴とするDLアーキテクチャとして、VGG19を使用した45。そのアーキテクチャは、19層にわたって小さな3 × 3の畳み込みフィルタを採用しており、識別的な特徴の段階的な抽出を可能にする。音声由来の表現に適用した場合、VGG19はピッチや周波数変動などの低次のアコースティックパターンと、より高次の識別的特徴の両方を捉えた。その深層アーキテクチャにより、性別や年齢に関連する音声特性をモデリングするための段階的な特徴抽象化が可能となった。

EfficientNet-Lite

計算効率に優れたDLアーキテクチャとしてEfficientNet-Liteが使用されました46,47。このモデルは、より重いDLアーキテクチャよりも少ない計算リソースで強力な分類性能を実現するために、バランスのとれたスケーリング戦略を採用しています。その複合スケーリング手法により、モデルの深さ、幅、および入力解像度が共同で考慮され、効率的な特徴抽出が実現されています。

EfficientNet-Liteは、その軽量なアーキテクチャと、分類性能とモデル複雑度の良好なバランスを備えているため、提案するVoiceNet-RAIフレームワークに選定されました。より重いアーキテクチャと比較して、効率的な畳み込みブロックと複合スケーリングを用いることで、より少ないパラメータ数と低い計算要件で効果的な特徴学習を実現しています。これらの特性により、EfficientNet-Liteは提案した音声分類フレームワークに適しており、リソース制限のある環境への導入の可能性を提供しています。

MobileNet

MobileNetは、モバイルやエッジコンピューティング環境を含む、計算リソースが限られたアプリケーション向けの軽量なDLアーキテクチャとして使用されました48。その計算効率は、主に深度別分離畳み込み（depthwise separable convolutions）によって実現されており、これにより従来の畳み込みアーキテクチャと比較してパラメータ数と計算回数が削減されました。これらの特性により、MobileNetは比較的低い計算要件を維持しながら、音声データから性別および年齢の分類を評価することに適していました。

InceptionV3

音声由来の表現から階層的な特徴を抽出するためのディープアーキテクチャとして、InceptionV3が使用されました49。このアーキテクチャは、異なる抽象化レベルの特徴を抽出するために、畳み込み、プーリング、および混合操作を組み込んでいます。音声データからの性別および年齢の分類において、InceptionV3は、声の特性の変動に関連する複雑な音響パターンおよび階層的表現を学習するために用いられました。

評価パラメータ

正解率は、分類タスクにおいて最も頻繁に使用される評価指標の一つであった50。正解率は分類性能の全体的な有用な尺度となるが、特に不均衡データセットにおいては、必ずしも包括的な評価が得られるとは限らない。そのため、モデルの性能を評価するために、適合率（precision）、再現率（recall）、F1スコアを含む追加の指標が用いられた。これらの指標は、各クラスにおける正解および不正解の予測を考慮することで、より包括的な評価を可能にした。

正解率は、正しく分類された観測値の総数と全観測値の数の比として定義されました。正解率はバランスの取れたデータセットにおいて特に有用ですが、本研究で使用したデータセットは不均衡であったため、分類指標の算出および解釈にあたっては、真陽性（TP）、偽陽性（FP）、真陰性（TN）、および偽陰性（FN）を考慮しました。以下の式は、正解率の標準的な定義を示しています：

正解率 =  (TP+TN)/(TP+TN+FP+FN)×100  (5)

適合率（Precision）は、分類器が関連するインスタンスのみを返す能力を評価します：

精度=  TP/(TP+FP)  ×100   (6)

再現率（感度とも呼ばれる）は、分類器がすべての関連インスタンスを識別できる能力を測定するものです：

再現率（Recall）=  TP/(FN+TP) × 100   (7)

F1スコアは適合率（precision）と再現率（recall）を一つの指標に統合したものであり、特に不均衡データセットにおける分類性能の評価に有用です：

F1-Score =2 ×(PPV ×TPR)/(TPR+PPV) × 100   (8)

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

Experimental results for age and gender classification were evaluated using MFCC-based and hybrid feature representations with ML and DL models. The dataset was partitioned into training and testing sets at an 80:20 ratio, with 80% used for training and 20% for testing. Speaker-level partitioning was applied to prevent recordings from the same speaker from appearing in both sets.

The hyperparameters and implementation details of the proposed framework are summarized in Table 3...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

本研究では、MFCC特徴量とwav2vec 2.0埋め込みをEfficientNet-Liteに統合することで、音声データから性別および年齢を分類する自動化フレームワークを開発し、評価しました。初期実験において、EfficientNet-Liteは元の特徴量を用いて、正解率83.48%、適合率82.87%、再現率84.28%、F1スコア83.54%を達成しました。MFCC特徴量を統合した後、性能は大幅に向上し、28言語を含むデータセットにおいて、正解率92.64%、適合率93.79%、再現率94.92%、F1スコア94.84%を記録しました。英語のサブセットに対してハイブリッドMFCC–wav2vec 2.0表現を用いたところ、EfficientNet-Liteは正解率97.87%、適合率98.61%、再現率98.70%、F1スコア98.65%を達成しました。さらに、Mozilla Common Voiceデータセットを用いて汎用性を評価した結果、提案したフレームワークはそこでも高い性能を示しました。加えて、5分割交差検証を用いてモデルの安定性を評価しました。

MFCC特徴量を統合...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者らに開示すべき利益相反はありません。

謝辞

著者らは、本研究に資金を提供したサウジアラビア王国リヤドのPrincess Nourah bint Abdulrahman UniversityおよびPrincess Nourah bint Abdulrahman University Researchers Supporting Project（プロジェクト番号：PNURSP2026R748）に感謝いたします。 

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
BVC Challenging Voice SetBiometrics Vision and Computing Group / OgeNIBVC Challenging Voice Sethttps://github.com/OgeNI/BVC_Challenging_Voice_Set
EfficientNet-LiteGoogleEfficientNet-Lite、使用した正確なバリアントhttps://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
グラフィックス処理装置（GPU）NVIDIATesla K80https://www.nvidia.com/
Mozilla Common Voice データセットMozilla FoundationCommon Voice、実験で使用したバージョンhttps://www.kaggle.com/datasets/mozillaorg/common-voice/data
NumPyNumPy Developers実験で使用した正確なバージョンhttps://numpy.org/
プロセッサIntelIntel Core i7-8265Uhttps://www.intel.com/
PythonPython Software Foundation実験で使用した正確なバージョンhttps://www.python.org/
PyTorchPyTorch Foundation実験で使用した正確なバージョンhttps://pytorch.org/
Scikit-learnScikit-learn Developers実験で使用した正確なバージョンhttps://scikit-learn.org/
SciPySciPy Developers実験で使用した正確なバージョンhttps://scipy.org/
wav2vec 2.0 BaseMeta AIfacebook/wav2vec2-basehttps://huggingface.co/facebook/wav2vec2-base
Windows 11MicrosoftWindows 11、利用可能な場合は正確なエディション/ビルドhttps://www.microsoft.com/windows/windows-11

参考文献

  1. Pahwa A, Aggarwal G. Speech feature extraction for gender recognition. Int J Image Graph Signal Process. 2016;8:17.
  2. Ericsdotter C, Ericsson AM. Gender differences in vowel duration in read Swedish: Preliminary results. Work Pap Lund Univ Dep Linguist Phon. 2001;49:34-37.
  3. Gamit MR, Dhameliya K, Bhatt NS. Classification techniques for speech recognition: A review. Int J Emerg Technol Adv Eng. 2015;5:58-63.
  4. Rabiner LR, Juang BH. Fundamentals of Speech Recognition. PTR Prentice Hall; Englewood Cliffs, NJ; 1993.
  5. Hansen JHL, Hasan T. Speaker recognition by machines and humans: A tutorial review. IEEE Signal Process Mag. 2015;32(6):74-99.
  6. Zhang Y, et al. Towards end-to-end speech recognition with deep convolutional neural networks [conference presentation]. Presented at: Interspeech 2016; San Francisco, CA; 2016. p. 410-414. Available from: https://www.isca-archive.org/interspeech_2016/zhang16b_interspeech.html
  7. Kabil SH, Muckenhirn H, Magimai-Doss M. On learning to identify genders from raw speech signal using CNNs [conference presentation]. Presented at: Interspeech 2018; Hyderabad, India; 2018. p. 287-291. Available from: https://www.isca-archive.org/interspeech_2018/kabil18_interspeech.html
  8. Albawi S, Mohammed TA, Al-Zawi S. Understanding of a convolutional neural network [conference presentation]. Presented at: 2017 International Conference on Engineering and Technology (ICET); Antalya, Türkiye; 2017. p. 1-6. Available from: https://ieeexplore.ieee.org/document/8308186
  9. Abdi H, Williams LJ. Principal component analysis. Wiley Interdiscip Rev Comput Stat. 2010;2(4):433-459.
  10. Mavaddati S. Voice-based age, gender, and language recognition based on ResNet deep model and transfer learning in spectro-temporal domain. Neurocomputing. 2024;580:127429.
  11. Jiang H, et al. 3WD-DRT: A three-way decision enhanced dynamic routing transformer for cost-sensitive multimodal sentiment analysis. Inf Sci. 2026;725:122704.
  12. Jameel HK, Al Ghrairi AHT, Neamah MM. Self-supervised learning for speech recognition: A review. Dijlah J Eng Sci. 2026;3(2).
  13. Anidjar OH, Yozevitch R. Transformer-based language-independent gender recognition in noisy audio environments. Sci Rep. 2025;15(1):14421.
  14. Sinha A, Kathania HK, Kurimo M. A study on the layer-wise transferability of self-supervised learning features for children's speech processing tasks. Speech Commun. 2026;180:103392.
  15. Li M, Han KJ, Narayanan SS. Automatic speaker age and gender recognition using acoustic and prosodic level information fusion. Comput Speech Lang. 2013;27(1):151-167.
  16. Sánchez-Hevia HA, Gil-Pita R, Utrilla-Manso M, Rosa-Zurera M. Age group classification and gender recognition from speech with temporal convolutional neural networks. Multimed Tools Appl. 2022;81:3535-3552.
  17. Abu Mallouh A, Qawaqneh Z, Barkana BD. New transformed features generated by deep bottleneck extractor and a GMM–UBM classifier for speaker age and gender classification. Neural Comput Appl. 2018;30:2581-2593.
  18. Almomani A, et al. Age and gender classification using backpropagation and bagging algorithms. Comput Mater Contin. 2023;74(2):3045-3062.
  19. Sahar RM, Rao TS, Anuradha S, Rao BS. Performance analysis of ML algorithms to detect gender based on voice. In: Recent Trends in Intensive Computing. 2021. p. 163-171. Available from: https://journals.sagepub.com/doi/abs/10.3233/APC210192
  20. Kone VS, et al. Voice-based gender and age recognition system [conference presentation]. Presented at: 2023 International Conference on Advancement in Computation & Computer Technologies (InCACCT); Gharuan, India; 2023. p. 74-80. Available from: https://ieeexplore.ieee.org/document/10141801
  21. Alhussein M, Muhammad G. Voice gender recognition under unconstrained environments using self-attention. Appl Acoust. 2021;175:107823.
  22. Yücesoy E. Automatic age and gender recognition using ensemble learning. Appl Sci. 2024;14(16):6868.
  23. Alnuaim AA, et al. Speaker gender recognition based on deep neural networks and ResNet50. Wirel Commun Mob Comput. 2022;2022:4444388.
  24. Ibrahim F, Nahar KMO, Al-Shannaq MA. Gender identification and age estimation of Arabic speaker using machine learning. J Theor Appl Inf Technol. 2020;98(19):3242-3256.
  25. Kannapiran P, Sindha MMR. Voice-based gender recognition model using FRT and LightGBM. Teh Vjesn. 2023;30:282-291.
  26. Alkhammash EH, Hadjouni M, Elshewey AM. A hybrid ensemble stacking model for gender voice recognition approach. Electronics. 2022;11:1750.
  27. Mutiany M, Herlistiono IO. Gender detection by voice using deep learning. Int J Innov Sci Res Technol. 2020;5(10):841-845.
  28. Raahul A, Sapthagiri R, Pankaj PK, Vijayarajan V. Voice based gender classification using machine learning. IOP Conf Ser Mater Sci Eng. 2017;263(4):042083. Available from: https://iopscience.iop.org/article/10.1088/1757-899X/263/4/042083
  29. Iloanusi O, et al. Voice recognition and gender classification in the context of native languages and lingua franca [conference presentation]. Presented at: 2019 6th International Conference on Soft Computing & Machine Intelligence (ISCMI); Johannesburg, South Africa; 2019. p. 175-179. Available from: https://ieeexplore.ieee.org/document/9004306
  30. Gupta Y, Gangwar K, Singhal M, Hemavathi D. Gender and age recognition using audio data-artificial neural networks. In: Soft Computing for Security Applications: Proceedings of ICSCS 2021. Springer; 2022. p. 449-470. Available from: https://link.springer.com/chapter/10.1007/978-981-16-5301-8_34
  31. Qawaqneh Z, Mallouh AA, Barkana BD. Deep neural network framework and transformed MFCCs for speaker’s age and gender classification. Knowl-Based Syst. 2017;115:5-14.
  32. OgeNI. BVC Challenging Voice Set [Internet]. GitHub; 2025 [cited 2026 Aug 16]. Available from: https://github.com/OgeNI/BVC_Challenging_Voice_Set
  33. Oppenheim AV, Schafer RW. Discrete-Time Signal Processing. 3rd ed. Pearson; Upper Saddle River, NJ; 2010.
  34. Logan B. Mel frequency cepstral coefficients for music modeling [conference presentation]. Presented at: International Society for Music Information Retrieval Conference (ISMIR); Plymouth, UK; 2000. Available from: https://ismir.net/conferences/ismir-2000/
  35. Davis SB, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Trans Acoust Speech Signal Process. 1980;28(4):357-366.
  36. Baevski A, Zhou H, Mohamed A, Auli M. wav2vec 2.0: A framework for self-supervised learning of speech representations [conference presentation]. Presented at: Advances in Neural Information Processing Systems 33 (NeurIPS 2020); Virtual; 2020. p. 12449-12460. Available from: https://proceedings.neurips.cc/paper/2020/hash/92d1e1eb1cd6f9fba3227870bb6d7f07-Abstract.html
  37. Yıldırım Ş, Bingöl MS. Metaheuristic approaches to enhance voice-based gender identification using machine learning methods. Appl Sci. 2025;15(23):12815.
  38. Breiman L. Random forests. Mach Learn. 2001;45:5-32.
  39. Hosmer DW Jr, Lemeshow S, Sturdivant RX. Applied Logistic Regression. 3rd ed. Wiley; Hoboken, NJ; 2013.
  40. Geurts P, Ernst D, Wehenkel L. Extremely randomized trees. Mach Learn. 2006;63:3-42.
  41. Yücesoy E, Nabiyev VV. A new approach with score-level fusion for the classification of a speaker age and gender. Comput Electr Eng. 2016;53:29-39.
  42. Cortes C, Vapnik V. Support-vector networks. Mach Learn. 1995;20:273-297.
  43. Abdel-Hamid O, et al. Convolutional neural networks for speech recognition. IEEE/ACM Trans Audio Speech Lang Process. 2014;22(10):1533-1545.
  44. Nasaruddin N, Pratama Tresma MAP, Muchamad MK, Fuadi Z. Voice frequency-based gender classification using convolutional neural network for smart home. IEEE Access. 2024;12:104190-104203.
  45. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); San Diego, CA; 2015. Available from: https://iclr.cc/archive/www/2015.html
  46. Tan M, Le QV. EfficientNet: Rethinking model scaling for convolutional neural networks [conference presentation]. Presented at: 36th International Conference on Machine Learning (ICML); Long Beach, CA; 2019. p. 6105-6114. Available from: https://proceedings.mlr.press/v97/tan19a.html
  47. Ertam F. An effective gender recognition approach using voice data via deeper LSTM networks. Appl Acoust. 2019;156:351-358.
  48. Zhao L, Wang L, Jia Y, Cui Y. A lightweight deep neural network with higher accuracy. PLoS One. 2022;17(8):e0271225.
  49. Szegedy C, et al. Rethinking the Inception architecture for computer vision [conference presentation]. Presented at: IEEE Conference on Computer Vision and Pattern Recognition (CVPR); Las Vegas, NV; 2016. p. 2818-2826. Available from: https://openaccess.thecvf.com/content_cvpr_2016/html/Szegedy_Rethinking_the_Inception_CVPR_2016_paper.html
  50. Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Inf Process Manag. 2009;45(4):427-437.
  51. Mozilla Common Voice Project. Common Voice Dataset [Internet]. 2024 [cited 2024 Jun 18]. Available from: https://www.kaggle.com/datasets/mozillaorg/common-voice/data

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

さらに記事を探す

多言語音声分類性別分類責任あるAIVoiceNetフレームワークWav2vec 2.0MFCC特徴量ディープラーニング音声処理EfficientNet-Lite音声デモグラフィックス
お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。