修正されたXceptionNetアーキテクチャを使用した変形性膝関節症のグレーディングのための転移学習ベースの深層学習アプローチ

Summary

X線からの変形性膝関節症の同定を強化するために、本研究では、転移学習で修正されたXceptionNetを使用する深層学習モデルであるOsteoXceptionNetを提案しています。このモデルにより、特徴抽出が改善され、手動解釈エラーが減少し、より正確な自動分類が可能になります。

Abstract

変形性膝関節症 (KOA) は世界中で何百万人もの人々が罹患しており、既知の治癒治療法がなく、深刻な世界的な健康上の懸念となっています。その発生の管理は早期発見に依存しており、X線イメージングは基本的な診断技術です。ただし、放射線科医の経験レベルにはばらつきがあるため、手動の X 線解釈ではばらつきが増し、不正確さが生じる可能性があります。機械学習と深層学習技術の最近の進歩により、変形性膝関節症の放射線学的同定のための自動化システムの作成が促進されました。ただし、早期段階の検出では、より高い予測精度を得ることが依然として重要です。より大きなデータセットから収集した洞察を利用することで、より小さなドメイン固有のデータセットでトレーニングされたモデルは、転移学習を使用してより優れたパフォーマンスを発揮します。XceptionNetは、その奥深さと有効性により、医療画像の解釈を伴う仕事に特に適しています。以前の研究とは対照的に、この方法は、クラス バランシング アプローチを使用し、カスタマイズされた前処理パイプラインを統合し、カスタマイズされたアーキテクチャの改善を XceptionNet に追加することで、データセットの不均衡に効率的に対処し、初期段階の KOA 識別を改善します。これらの最先端の方法を使用することで、提案されたアプローチは、膝の X 線画像から変形性関節症を正しく識別する可能性を示し、97% の予測精度、97.8% の精度、97.6% の想起率、および 97.6% の F1 測定を達成します。さらに、生成されたモデルは 95.94% の Cohen のカッパ値を示し、これは良好な一致を示しています。この研究は、患者の転帰を改善し、より効率的な医療提供を促進する、信頼できる自動疾患検出技術を開発するためのさらなる取り組みをサポートします。

Introduction

変形性膝関節症 (KOA) は、多くの人々に影響を及ぼし、患者と医療機関の両方に大きな負担をかける、世界的な重大な公衆衛生問題です。この障害では、膝関節の関節軟骨が徐々に悪化します。年齢、肥満、関節外傷、生体力学的変数、遺伝的感受性が混在する複雑で多次元的な病因を持っています¹。

構造的完全性が失われると、軟骨が薄くなり、亀裂が開き、最終的にはびらんが生じ、下にある骨が露出します。KOA の症状は多岐にわたり、時間の経過とともに頻繁に悪化し、わずかな不快感から耐え難い痛みや機能喪失まで².膝の痛みの主な兆候は、通常、体重負荷運動や長時間の活動によって悪化します。一般的な観察には、特に休憩中のこわばり、浮腫、クレピタス、可動域の減少などがあります³。これらの症状は日常の機能に深刻な支障をきたし、その結果、機能制限が生じ、症状を経験した人の生活の質が低下します。

ここで検証された仮説は、自動化された深層学習ベースのモデルが、専門の放射線科医と同等の診断性能を発揮し、ケルグレン・ローレンス・グレーディング・システムを使用して画像データからKOAの重症度レベルを正しく診断できるというものです。

この研究の目的は、変形性膝関節症の診断と等級付けの従来の方法に関連する固有の制限に由来しています。従来、X線画像、特に膝のX線分析は、関節損傷の程度を評価するために利用されていました。それにもかかわらず、これらの画像の身体検査はばらつきの影響を受けやすく、時間がかかる可能性があります⁴.ディープラーニングと機械学習 (ML) 分野の進歩により、KOA の検出とグレーディングの精度を自動化および向上させる有望な道が提供され、より標準化された効率的なアプローチが提供されます。これは、症状の進行に伴い介入が患者の生活水準の変化に大きな影響を与える可能性がある症状の初期段階では特に重要です。

機械学習アプローチ: KOA 識別を自動化する最初の試みは、古典的な機械学習手法に基づいていました。K-Nearest Neighbors、Support Vector Machine、Decision Treeなどの戦略は、膝のX線画像から取得された手作りの特徴に依存していました。それらはある程度の自動化を提供しましたが、手動で導き出された特性の品質と関連性は、それらがどれほど効果的であるかの主な要因でした。これにより、一般化可能性とパフォーマンスが低下することがよくありました⁵。

ディープラーニング (DL) アプローチ: 畳み込みニューラル ネットワーク (ディープラーニング) の出現は、この分野における重要なマイルストーンでした。自動特徴抽出で定評のある畳み込みニューラル ネットワーク (CNN) は、KOA 画像の分析においてますます人気が高まっています。従来のML技術と比較して、これらのアルゴリズムは^、精度と画像から直接複雑なパターンを認識する能力の点で顕著な改善を示しています^6,7。

転移学習 (TL): これにより、大規模な汎用データセットで事前トレーニングされた後、医療画像を必要とするタスクに合わせてモデルを調整できるようになり、最近の研究で人気が高まっています⁸。このアプローチは、小規模で特殊なデータセットが一般的な医療分野で特に効果的です。

KOA重症度分類における改善された結果は、より大きなタスクから学習した一般的な特徴を使用し、それらを医用^{画像分析の}特定の微妙な点に合わせて調整するTLによって強調されています^9,10。

X線撮影画像を使用したKOAの識別とグレーディングのために、近年、多くの自動化技術、特に深層学習モデルが検討されています^11,12。それにもかかわらず、現在のモデルの多くは、データセットの不均衡と解釈可能性に関する問題を適切に処理していないか、初期段階で問題を十分に正確に検出していません。ここで提案する方法は、特徴抽出を改善するためのXceptionNetモデルの設計変更、モデルの信頼性を高めるためのクラスバランシング技術、膝関節の特徴を改善するために設計されたカスタマイズされた前処理パイプラインという3つの重要な機能強化を追加することで、このフレームワークを拡張します。これらの改善は、より正確で信頼性の高いKOA分類をサポートすることに加えて、従来の転移学習技術に比べて大幅な改善をもたらします。

DL と ML は KOA の分析において大きな進歩を示していますが、主に正確な分類の達成、解釈可能性の向上、データの不均衡の管理という点で、克服すべき課題がまだあります。提案された研究は、以前の研究^{13、14、15、16、17、18、19、20、21、22} を拡張することで、より徹底的で透明性があり、公平な評価を提供することにより、自動化された KOA 診断とグレーディングで現在可能なことの限界を押し広げます。 表 1 は、変形性関節症の検出で実施されている現在の研究の分析の概要を示しています。

勉強	目的		概要
Hu et al.13	MR画像を使用して変形性膝関節症の進行を予測するDeepKOAを開発します。		DeepKOA は有望な変形性膝関節症の予測機能を示し、臨床現場におけるディープラーニングの可能性を強調しています。さらなる検証が必要です。
グイダ他14	X線、MRI、臨床データを統合することで、OAの重症度分類を強化します。		融合モデルは OA 分類の精度を大幅に向上させ、マルチモーダル アプローチの利点を強調します。今後の研究では、一般化可能性に取り組む必要があります。
ベンサルマ他15	マルチモーダル分析を使用して、変形性膝関節症患者のさまざまな要因間の関連性を特定します。		この研究は、膝 OA における複数の要因間の相互関係を明らかにし、的を絞った介入とさらなる調査の手段を示唆しています。
コッポルド他16	変形性関節症の症状に対する長期の修正断食の影響を調べます。		修正断食は変形性関節症患者の顕著な症状改善を示し、治療戦略としての可能性を示しています。さらなる研究、特にランダム化比較試験が必要である。
Jain et al.17	X 線からの膝 OA 重症度評価のための OsteoHRNet を提示します。		OsteoHRNetは、X線による膝OA重症度分類の精度を高め、臨床応用の可能性を示しています。さらにデータセットの検証をお勧めします。
アフロゼ他18	さまざまな画像診断法にわたる変形性関節症 (OA) 検出のための機械学習ベースの方法を評価します。		このレビューでは、機械学習ベースの OA 検出における重大なギャップを特定し、標準化されたアプローチと経験モデルの必要性を強調しています。
Teoh et al.19	X線撮影から詳細なOA診断のためのマルチタスクモデルを開発します。		マルチタスク モデルは、個々の OA の特徴と痛みの強さを予測することで OA 診断の精度を向上させ、正確な介入の可能性を示唆しています。これらの発見を拡大するために、追加の研究が奨励されています。
Zhang et al.20	MRIにおける多段階膝軟骨損傷分類のモデルを作成する。		このモデルは、MRI を使用した膝軟骨損傷の分類において高い精度を提供し、非侵襲的な診断ツールとして期待されています。さらなる母集団間の検証をお勧めします。
Li et al.21	マルチビュー画像と事前情報の影響、および X 線を使用して変形性膝関節症を識別および分類する深層学習モデルの能力を調べること。		KOAのKLグレーディングは、DLモデルを使用して正しく識別および分類されました。さらに、事前知識とマルチビューX線画像により、分類の有効性が向上しました。
ラトナ他22	変形性膝関節症の研究で機械学習がどのように使用されているかを調べて、変形性膝関節症の進行と早期診断をより深く理解します。		この研究は、機械学習が、特に早期診断と理解開発の観点から、OA研究にどのような影響を与えたかを強調し、その臨床統合を改善するためにさらなる研究を推奨しています。

表1:変形性膝関節症の検出における最近の研究の概要。

この研究の主な貢献には、変形性膝関節症のグレーディングを目的とした修正された XceptionNet アーキテクチャである OsteoXceptionNet と、診断の精度を高めるために特別に作成された前処理パイプラインの使用が含まれます。トレーニングには変形性関節症イニシアティブ (OAI) データセットが使用され、評価には多くのベースライン デザインが使用されます。データセットと準備技術は、関連文献のレビューに続いて、研究の後続の部分で説明されます。実験結果の概要と臨床的重要性についての議論に続いて、提案されたモデル アーキテクチャをさらに掘り下げてから、主要な発見を要約し、将来の方向性を示します。

データセットと実験的構成
OAI データセットは、さまざまな臨床場所から長期にわたって収集された何千枚もの注釈付き膝 X 線画像で構成されており、この研究で使用するために公開されています。変形性膝関節症の5つのKellgren-Lawrence(KL)クラスは、この研究に使用された9786枚の膝X線画像で表されました:健康(3857画像)、疑わしい(1770)、最小(2578)、中程度(1286)、および重度(295)。前処理中、すべての画像は、双線形補間を使用して 224 x 224 ピクセルに均一にスケーリングされました。提案された OsteoXceptionNet フレームワークは、膝関節構造を自動的にセグメント化し、それらを KOA 重症度クラスに分類するために実験環境で使用されました。

可能な限りクラスバランスを確保するために、データセットはトレーニング(80%)、検証(10%)、およびテスト(10%)のサブグループに分割されました。このデータセットには、クラスの不均衡など、有用性にもかかわらず、他のデータセットよりも重度グループに分類されるサンプルが少ないなど、いくつかの欠点があります。さらに、データセットには X 線画像のみが含まれます。磁気共鳴画像法 (MRI) や臨床情報などのマルチモーダル入力が欠けているため、一般化可能性が制限される可能性があります。人口統計学的偏りは、主に北米の人口を表すため、他の民族グループとの関連性を制限するもので、これも注目すべき欠点です。クラス加重損失関数とデータ拡張は、可能な場合はこれらの制限を軽減するために使用されましたが、モデルのパフォーマンスを分析する際には、依然として重要な考慮事項です。

X 線撮影の結果に基づいて、ケルグレン・ローレンス (KL) 等級付けシステムなどの等級付け方法では、KOA の重症度をグレード 0 (健康)、グレード 1 (疑わしい)、グレード 2 (最小)、グレード 3 (中等度)、およびグレード 4 (重度) の 5 つのカテゴリに分類します²³。KLグレードのさまざまな画像を 図1に示します。

図1:膝画像のKLグレーディング。X 線撮影の結果に基づいて、KOA の重症度は、グレード 0 (健康)、グレード 1 (疑わしい)、グレード 2 (最小)、グレード 3 (中等度)、およびグレード 4 (重度) の 5 つのカテゴリに分類されました。 この図の拡大版を表示するには、ここをクリックしてください。

Protocol

このセクションでは、修正された XceptionNet モデルを使用して変形性膝関節症の診断と等級付けを強化するように設計された包括的なアプローチを紹介します。提示された方法論は、慎重なデータ前処理、徹底的なモデル アーキテクチャのカスタマイズ、および強力な評価技術に基づいており、これらはすべて、膝 OA イメージングに関連する複雑な問題に対処することを目的としています。 図2に、モデルの流れを示します。

図2:モデルのワークフロー。この図の拡大版を表示するには、ここをクリックしてください。

データセットの説明
この研究で使用したデータセットは、KL グレーディング手法に基づいて OA グレードが割り当てられた OAI データセットからの膝の X 線画像 9,786 枚で構成されています。KOAの様々なフェーズをカバーする幅広いインスタンスを提供するこのデータセットは、提案されたモデル²⁴のトレーニングと評価の両方に不可欠です。双線形補間を使用して、すべての画像をスケーリングしました。この手法は、変形性膝関節症の分類に重要な解剖学的特徴を維持するために不可欠な、計算の有効性と画像の品質の維持との間で妥協点を打つために選択されました。データセットでは、グレードは 0 から 4 で、グレード 0 は健康な膝を表し、グレード 4 は重度の変形性関節症を示します。このグレードは、複雑な範囲の疾患の進行を提供し、モデルが段階間の微細な変動を理解するために不可欠です。

さらに、データセットはテスト、検証、トレーニング セットに編成されました。モデルのパフォーマンスを評価し、トレーニングセットを過剰適合させることなく効果的に一般化することを学習するには、この分割が不可欠でした。テストセットは、モデルの重みを変更するためにも使用されたため、最終モデルの有効性を客観的に評価します。さらに、検証セットは、トレーニング段階全体を通じてハイパーパラメータを微調整し、モデルを評価するのに役立ちます。データ分布の簡単な概要を 表 2 に示し、 図 3 に同じことを視覚的に示します。

クラス	自動テスト	試験	列車	ヴァル
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

表2:データセットの簡単な説明。

図3:データセットの分布。 データセットは、テスト、検証、トレーニング セットに編成されました。 この図の拡大版を表示するには、ここをクリックしてください。

データの前処理
このステップは非常に重要であり、入力データの品質を向上させることでモデルのパフォーマンスを向上させることを目的としています。前処理に関わる段階は次のとおりです。

画像のサイズ変更: すべての X 線画像に標準寸法が適用され、画像セット全体で一貫性が保たれます。この段階は、モデルが画像を一貫して効果的に処理するために不可欠です。このプロセスでは、式 1 が使用されます。

新しい画像サイズ = サイズ変更 (元の画像、標準寸法) (1)

正規化: 画像内のピクセル値は、平均が 0 で標準偏差が 1 になるように標準化されています。この種の正規化により、入力値が同様の範囲に収まることが保証され、トレーニング中のモデルの収束が高速化されます。式 2 は、この正規化ステップを実行するために使用されます。

(2)

データ拡張: データ不足による問題に対処し、モデルの一般化能力を強化するために、データ拡張戦略が採用されました。これらの方法には、反転、ズーム、回転、移動が含まれます。トレーニングデータセットに意図的に追加された新しい画像が導入されます。式 3 は、この拡張手順の実装に使用されます。

拡張画像 = 変換を適用する (オリジナル イメージ) (3)

モデルの堅牢性を向上させ、過学習を最小限に抑えるために、トレーニング セットに変動性を提供するために、さまざまな拡張手法が採用されました。せん断範囲 0.2、ズーム範囲 0.8 から 1.2 (ズーム係数 0.2 に相当)、ランダム回転範囲 -30° から +30° がすべてトレーニング データ拡張に含まれていました。モデルの一般化を強化するために、水平方向と垂直方向の両方の反転が 0.5 の確率で許可されました。垂直方向と水平方向の両方のせん断係数には、0.1、つまり10%の歪み±せん断係数も採用されました。

クラスバランシング:データセットのクラスの不均衡の可能性(一部のOAクラスの画像が他のクラスよりも多い)のために、クラス重み付けアルゴリズムが使用されました。モデルがより一般的なクラスに有利なバイアスを示すのを防ぐために、このメソッドは過小評価されているクラスに大きな重みを与えます。このプロセスでは式 4 が利用されます。重みの決定には、正常: 3857、疑わしい: 1770、最小: 2578、中程度: 1286、および重度: 295 は、合計 9786 サンプルと 5 つのクラスのクラスごとの分布です。

(4)

トレーニングと検証の分割: データセットは、従来の 80:20 の比率を使用して検証セットとトレーニング セットに編成されました。データを分割すると、モデルはトレーニング データから学習し、検証セットを使用して定期的にパフォーマンスを評価できます。これにより、過学習を特定し、モデルの一般化能力を評価することができます。

データパイプラインの最適化: モデルトレーニング中の効果的なデータ処理を保証するために、改善されたデータパイプラインが設定されました。入出力のボトルネックを軽減し、コンピューティング パフォーマンスを向上させるために、このパイプラインではバッチ処理、プリフェッチ、並列データ抽出技術を利用します。トレーニングの効率とスループットを向上させるために、入力データパイプラインが開発されました。メモリ使用率と計算負荷のバランスを保証するために、32 のバッチ サイズが採用されました。データ入力効率を高めるため、map関数にnum_parallel_calls=4を用いて、データの読み込みと前処理を並列化しました。さらに、I/Oレイテンシーを最小限に抑えるために、TensorFlowのプリフェッチ(buffer_size=tf.data.AUTOTUNE)を使用して、プリフェッチバッファサイズの自動調整を可能にしています。これにより、データの前処理とモデルの実行が効果的に重複しました

図 4 では、基本的な前処理後に、さまざまなクラスの画像のいくつかのインスタンスを示しています。

図 4: データセットのインスタンス。 この図は、基本的な前処理後のさまざまなクラスの画像のいくつかのインスタンスを示しています。 この図の拡大版を表示するには、ここをクリックしてください。

これらの細心の注意を払った前処理ステップを通じて、データセットは修正された XceptionNet モデルをトレーニングするための堅牢な基盤に変換され、正確で信頼性の高い KOA 検出とグレーディングの準備が整います。

モデルアーキテクチャ
基本モデル: François Chollet が作成した XceptionNet モデルは、計算効率とモデルの複雑さの間で可能な限り最適なバランスを達成するために、深さごとの分離可能な畳み込みを使用する独特の設計により、際立っています²⁵。式5を利用して、深さごとの分離可能な畳み込みを実装しました。

深さ方向の分離可能な畳み込み(x) = ポイント単位(深さ方向(x)) (5)

これは、いくつかの理由からこの研究に特に関連しています。まず、そのアーキテクチャは画像から詳細で階層的な特徴を抽出することで知られており、これは微妙な特徴が状態のさまざまな段階を示すことができる医療画像分析にとって重要です。第二に、提案されたモデルは、変形性膝関節症の検出と等級付けを目的としたいくつかの画像分類タスクにわたって優れた有効性を実証したXceptionNetアーキテクチャに基づいています²⁶。

提示されたOsteoXceptionNetは、X線画像から膝の変形性関節症を自動的に分類するために特別に作成されたXceptionNetアーキテクチャのカスタマイズされたバージョンです。重要な変更には、膝関節構造に固有の特徴抽出を改善するための 3 つの畳み込みブロック (フィルター: 512、256、128) の追加や、フィルター サイズが 3 x 3 の畳み込み層と、入口、中間、出口フロー全体で 32 から 1024 の範囲の可変フィルター数を持つ畳み込み層が含まれます。バッチ正規化とReLUの活性化は、各畳み込み層の後に行われ、ドロップアウト層が追加されて、オーバーフィッティングを最小限に抑えます。モデル入力には 224 x 224 ピクセルの標準が使用されます。

微調整と変更
変更: XceptionNet モデルは、KOA のグレーディングと検出に適したものにするために、いくつかの方法で戦略的に変更されています。

微調整:事前トレーニング済みのXceptionNetモデルの最上層がフリーズ解除され、モデルは膝のX線画像に固有の高レベルの特徴を学習できるようになりました。式6に従ってモデルの微調整を実施しました。

(6)

ここで、θ_微調整は 微調整後のパラメータです。θ_{事前学習済み} は事前学習済みパラメータです。λは学習率です。∇_{θ事前学習済み}損失は、事前学習済みのパラメータに関連する損失関数の勾配です。

追加の畳み込み層: モデルの最終段階で追加の畳み込み層が導入されました。これらのレイヤーは、さまざまな OA グレードに関連するより詳細な抽出に重点を置くために、カーネル サイズが小さくなります。式7を使用して採用されました。

畳み込み出力 = 畳み込み(入力,カーネル) (7)

バッチ正規化: 畳み込み層が追加されるたびに、バッチ正規化が適用され、学習が安定し、収束速度が向上します。式8を使用して使用されます。

(8)

ここで、 は正規化された出力、x はバッチ正規化層の入力、μ は入力のバッチの平均、σ2 は入力のバッチの分散、ε は数値安定性の最小定数です。

活性化関数: ReLU 活性化関数は補足層で利用され、非線形性を導入することで、モデルがデータ内のより複雑な構造を取得できるようにします。ReLUは、式9を使用して計算されます。

ReLU(x) = 最大値(0,x) (9)

ここで、x は ReLU 活性化関数入力です。

ドロップアウト: 過学習を防ぐために、特に新しく追加されたレイヤーの後にドロップアウトレイヤーが組み込まれ、目に見えないデータでもモデルを一般化できます。これは式10によって行われました。

出力 = 入力×マスク (10)

出力層構成
出力層: 元の XceptionNet モデルは、出力層で Softmax 活性化関数を使用したマルチクラス分類用に構成されています。この適応モデルでは、出力層は、グレード 0 からグレード 4 まで、つまり健康なレベルから重度のレベルまでの変形性膝関節症の 5 つのグレードを表すようにカスタマイズされています。正確には、この層は5つのニューロンで構成され、それぞれがOAグレードの1つに対応します。この層では、ソフトマックス活性化関数を利用して5つのクラスにわたる確率分布を生成し、提案モデルが特定の膝X線画像に対して適切なOAグレードを予測できるようにしました。このアプローチにより、モデルの出力が臨床グレーディング スケールと直接一致し、医療専門家がモデルの予測を直感的かつ実践的に解釈しやすくなります。

XceptionNetアーキテクチャは、膝の変形性関節症の重症度を分類するという現在の研究の目的に合わせて特別に調整されており、最初にImageNetデータセットで事前トレーニングされました。このモデルは、ImageNet の事前トレーニング済みの重みを使用して、大規模で多様なデータセットから学習した特徴を活用し、強力な基盤を提供しました。提案された研究のために基本的なXceptionNetモデルをカスタマイズするために、多くの新しいレイヤーが追加されました。

まず、2D畳み込み層を異なる数のフィルターとカーネルサイズと組み合わせ、それぞれをReLUとバッチ正規化によって活性化して非線形性を追加しました。これらの追加のレイヤーは、膝の変形性関節症の重症度に関連する特徴を捉えて増幅することを目的としていました。その後、モデルは、重要なデータを保持しながら特徴マップを縮小する Global Average Pooling 2D (GAP) レイヤーを追加することで、最後の分類段階の準備が整いました。特に、GAP演算では、7 x 7 x 1024から1 x 1 x 1024まで変化する深さを維持しながら、各特徴マップの空間次元を1つの値に縮小することで、データ損失を最小限に抑えながら次元削減を実現します。GAP層の出力はSoftmax活性化関数に入力され、ロジットを確率に変換することでマルチクラス分類が可能になりました。式 11、12、13、14、15、16、および 17 は、それぞれ GAP、ソフトマックス活性化、特徴マップ計算、学習率の低減、モデルコンパイル、クラス重み調整、および複数クラス分類損失に使用されます。

(11)

ここで、 x_i,j は特徴マップの i 番目の行と j 番目の列の活性化です。H はフィーチャマップの高さです。W は特徴マップの幅です。

(12)

ここで、 x_i はクラス i の Softmax 関数への入力です。n はクラスの数です。

特徴マップ = σ(畳み込み(入力,カーネル) + バイアス) (13)

ここで、畳み込みは畳み込み演算です。 i は活性化関数です。入力はレイヤーへの入力テンソルです。カーネルは畳み込みカーネルです。バイアスはバイアス用語です。

新しい学習率 = 学習率 × ファクター (14)

モデル = コンパイル(アーキテクチャ、損失、オプティマイザー、メトリック) (15)

(16)

ここで、重量_クラス はクラスに割り当てられた重みです。合計サンプルはデータセットのtotal_number_of_samplesです。Number_of_Classes は、データセット内の特徴的なクラスの数です。クラス内のサンプルは、特定のクラスのサンプルの数です。

(17)

ここで、 y_i はクラス i の実際の確率分布です。 p_i はクラス I の確率分布予測です。Nはクラスの数です。

最後に、変更されたXceptionNetアーキテクチャとカスタムレイヤーで構成されるモデルがコンパイルされ、各クラスの確率を予測しました。これらの変更を通じて、目標は、変形性膝関節症の重症度のさまざまなグレードに関連する微妙な特徴を識別するモデルの能力を強化し、特定のタスクに対する分類パフォーマンスを向上させることでした。

安定した効果的な収束のために、Adamオプティマイザーを使用して、0.0001の学習率でモデルをトレーニングし、0.5をドロップアウト率として使用して、過学習を最小限に抑えました。モデルの複雑さを制限し、一般化を改善するために、L1 と L2 の両方の正則化戦略が使用されました。整数ラベルを使用した多クラス分類問題の場合、スパースカテゴリクロスエントロピーが適切な損失関数でした。訓練は50エポックにわたって実施されました。最終的な活性化関数であるSoftmaxは、クラス確率分布の生成に使用されました。さらに、トレーニングには 64 ステップ サイズが使用されました。

トレーニング: トレーニングプロセスは非常に重要な段階でした。この段階では、修正されたXceptionNetモデルは、X線画像におけるKOAの正確な検出とグレーディングを学習します。Keras バージョン 2.6.0 と TensorFlow バックエンド バージョン 2.6.0 を使用して、XceptionNet モデルを実装しました。以下は、損失関数、オプティマイザー、コールバック、バッチサイズ、エポックなど、トレーニングフェーズの主要なコンポーネントの詳細です。

Loss_Function: 多クラス分類タスクでは、カテゴリcross_entropyが使用されました。この損失関数は、各インスタンスがカテゴリ²⁷のセットのうち1つだけのラベルに割り当てられることが予想される問題に特に適しています。0 と 1 以内の確率スコアを生成することで、モデルのパフォーマンスを評価します。この損失は、予測確率が実際のラベルと異なる場合に増加するため、KOAの重大度を正確に予測するためにこのモデルを効果的にトレーニングするためのゲージとして使用されました。

オプティマイザー: 有効性と動的学習率特性でよく知られている Adam オプティマイザーが採用されました。Adamは、AdaGradアルゴリズムとRMSPropアルゴリズムの有利な特性を融合し、ノイズの多い問題設定でスパース勾配を管理することに熟した最適化アルゴリズムを提供します²⁸。

Adam オプティマイザーのキーパラメーター
学習率: 0.0001 の学習率が採用され、オプティマイザーが最初に重みを大幅に調整できるようになり、学習プロセスが最適化されました。

ベータ1とベータ2:これらのパラメータは、前の勾配の二乗勾配と移動平均がそれぞれ減少する速度を調節します。beta1 のデフォルト値 0.9、beta2 のデフォルト値 0.999 が使用されます。

イプシロン: このパラメータは、実装でゼロによる除算を防止し、ゼロに近い小さな数値に設定します。

コールバック: コールバックは、トレーニング中にモデルのパフォーマンスを監視し、調整するために使用されます。次のコールバックが採用されました。

Early_Stopping: これは、モデルの検証損失を監視するため、および事前定義されたエポック数 (忍耐力と呼ばれる) で損失が減少しなくなった場合にトレーニング プロセスを停止するために使用されます。検証データでモデルのパフォーマンスが向上しなくなると、トレーニング プロセスが停止し、過剰適合を防ぐのに役立ちます。

LROn Plateauの削減: このコールバックは、検証損失の改善が止まったときに学習率を低下させ、重みの微調整を可能にし、モデル全体のパフォーマンスを向上させる可能性があります²⁹。

モデルチェックポイント: このコールバックは、トレーニング プロセスが完了したらモデルの最適なバージョンを取得できるように、特定の間隔でモデルを保存します。通常、検証の精度または損失を監視し、拡張が検出されるたびにモデルの重みを節約します。

バッチサイズとエポック:
バッチ サイズ: 32 は、モデル収束の安定性と計算効率の両方の要件のバランスをとるために使用された一般的なバッチ サイズです。バッチサイズ32は、計算最適化を活用するのに十分な大きさでありながら、勾配の安定した推定値を提供するのに十分な大きさであり、バランスが取れています。

エポック: モデルは最大 50 エポックのトレーニングに設定されていますが、EarlyStopping コールバックがトリガーされるとトレーニングが早期に停止する可能性があります。50 エポックは、重みを調整し、モデルが収束するのに十分な反復を提供しますが、EarlyStopping はトレーニングが不必要に継続されないようにします。

これらのパラメータを細心の注意を払って設定し、コールバックを利用することで、モデルが効果的に学習し、目に見えないデータにうまく一般化できるようにトレーニング プロセスが最適化されました。すべてのクラスがモデル予測で公平かつ正確に表現されることを保証するために、データの不均衡の問題に対処するために多くのアプローチが使用されました。まず、一部のクラスの過小評価を補うために、トレーニング段階全体でクラスの重み付けが使用されました。サンプル数が少ないクラスには、より大きな重みが与えられました。トレーニング中のクラスの不均衡の影響をさらに軽減するために、KerasのImageDataGeneratorも使用して、モデルが各バッチ³⁰でさまざまなクラスに公開されていることを確認しました。

評価メトリック
開発されたモデルの有効性を評価する際に、以下に説明する多数のパラメーターが利用されました。

精度 (ACC): すべての観測値に対する正確に予測された観測値の比率は、この統計によって定量化されます。対象クラスが均等に分散すると有益です。その計算は式18に基づいています。

(18)

精度 (PR): モデルの精度は、予想されるすべての陽性症例と陽性症例をどれだけうまく区別できるかを測定します。誤検知率が大きい状況では、これは非常に重要です。その計算は式19に基づいています。

 (19)

再現率 (R): 感度とも呼ばれる再現率は、正しく検出された真陽性の割合を定量化します。これは、良い例を無視すると深刻な影響を及ぼす可能性がある状況では特に重要です。その計算には式 20 が含まれます。

 (20)

F1_Score:精度(PR)と再現率(R)の調和平均であり、特に不均一なクラス分布が存在する場合に、公正な評価を提供します。その計算には式 21 が含まれます。

(21)

ROC AUC: 受信機動作特性の曲線下面積 (ROC AUC) は、クラスを区別するモデルの能力を定量化します。AUC 値が高いということは、モデルのパフォーマンスが優れていることを意味します。その計算は式22に基づいています。

(22)

コーエンのカッパ (CK): この指標は、N 項目を C の相互に排他的なクラスに分類する 2 つの評価者間の一致を評価します。特に不均衡なクラスを扱う場合に、精度と比較して優れた堅牢性を提供します。その計算には、式23が含まれます。

(23)

メトリック平均絶対誤差 (MAE)、二乗平均平方根誤差 (RMSE)、および平均二乗誤差 (MSE): これらのパラメータは回帰タスクに一般的に使用されますが、分類シナリオ、特に順序分類において有用な啓示を提供します。彼らは、実際の値と予測値の差を計算します。これらの指標は、それぞれ式 24、25、および 26 を使用して計算されました。

(24)

(25)

(26)

F2 スコア: F2 スコアは精度よりも再現率を優先し、正の予測を見落とすと誤検知を生成するよりも大きなコストが発生するシナリオで役立ちます。その計算には式 27 が含まれます。

(27)

精度と再現率の曲線: このグラフは、さまざまなレベルで再現率と精度のバランスがどのように取れているかを示しています。曲線の下の面積が大きいほど、再現率と精度の両方のレベルが高くなります。

上記のパラメータは、特にデータセットの不均衡と変形性膝関節症のさまざまなグレードを正確に特定することの重要性の文脈において、あらゆる次元でモデルのパフォーマンスを徹底的に評価するために選択されました。

Results

モデルの検証フェーズ全体を通じて、まだ観測されていないデータに一般化されることを保証するために、いくつかの重要な対策が講じられました。最初に、データセットはトレーニングセットと検証セットに分割されます。これは、トレーニングに使用されなかったデータセットでモデルのパフォーマンスを評価するために使用される一般的な手順です。トレーニングと検証用に個別のデータセットを提供することで、この分離により過剰適合が回避され、モデルの有効性を徹底的に評価できるようになりました。

データ拡張アプローチを使用して、トレーニングをさらに改善し、過剰適合を止めました。これらの手法では、トレーニング データを強化することで、画像に回転、移動、反転が追加されました。このモデルは、トレーニングデータの多様性を広げることで、目に見えなかった入力データの分散をより一般化することができました。モデルチェックポイントは、トレーニングプロセス中に一定の間隔でモデルの重みを保存するために使用されました。この方法では、検証精度に基づいて最もパフォーマンスの高いモデルを見つけることができ、最終モデルが最高の状態で機能し続けること...

Discussion

この研究では、X 線画像を使用した KOA グレーディングのための自動ディープラーニングベースの技術が提示されました。XceptionNet アーキテクチャを使用したこのモデルは、さまざまな評価手段にわたって顕著な堅牢性と精度を示し、臨床現場での使用の可能性を示唆しました。

現在の方法論に加えて、外部データセットの検証を使用して、仮説をさらに確認し、さまざまな画像条件や人口統計データにわたるモデルの一般化可能性を評価することができます。リアルタイムの臨床操作におけるモデルの有効性は、その適用性に関する有用な情報を提供する前向き研究を通じて評価されることもあります^40,41。さらに、前処理およびモデルパイプラインの各部分の特定の寄与は、アブレーション研究によって確認される可能性があります。予測精度が向上し、臨床データまたは人口統計データとともに X 線画像などのマルチモーダル データを含めることで、よ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter Notebook/Colab	プロジェクト Jupyter / Google	該当なし	インタラクティブにモデルを開発および実験するため。
Matplotlib (バージョン: 3.4.3) &Seaborn(バージョン:0.11.2)	コミュニティ	該当なし	データの視覚化と結果プロット用。
メンデレー/カグルデータ	エルゼビア;コミュニティ	該当なし	データセットソース: 変形性膝関節症重症度グレーディングデータセット
OpenCV (バージョン: 4.5.5)	インテル	該当なし	X線画像の前処理(サイズ変更、CLAHE、ガウスフィルタリング)に。
Python (バージョン: 3.8)	Pythonソフトウェア財団	該当なし	モデル開発に使用されるプログラミング言語。
scikit-learn(バージョン:1.0.2)	コミュニティ	該当なし	データ分割、パフォーマンス指標、基本的なMLユーティリティに使用されます。
TensorFlow/Keras (テンソルフロー/ケラス)	Google/コミュニティ	該当なし	XceptionNetベースのディープラーニングモデルの実装とトレーニングに使用されます。Tensorflow バージョン: 2.6.0、RRID:SCR_018932。Kerasバージョン:2.6.0、RRID:SCR_018961
Ubuntu OS	正規	該当なし	すべてのソフトウェアツールとの互換性に使用されるオペレーティングシステム。バージョン 20.04 を推奨します。