Name: 眼窩コンピュータ断層撮影 による 深層学習に基づく医用画像セグメンテーションの応用 (動画) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: 学ぶ眼窩CT画像の深層学習セグメンテーション手法。2DシーケンシャルU-Netモデルを用いて眼球・眼外筋・視神経を高精度にマスキングし、視覚類似度0.83・ダイススコア0.86を達成。非侵襲的な眼窩疾患診断の基盤となる革新的プロトコルです。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

この研究は、韓国国立研究財団(NRF)、韓国科学情報通信部(MSIT)の助成金(番号:2020R1C1C1010079)の支援を受けました。CMC-ORBITデータセットについては、カトリック医療センターの中央治験審査委員会(IRB)が承認を与えました(XC19REGI0076)。この研究は、2022年の弘益大学研究基金によってサポートされました。

本作業は、カトリック医療センターの治験審査委員会(IRB)の承認を得て実施され、健康情報のプライバシー、機密性、およびセキュリティが保護されました。眼窩CTデータは、韓国カトリック大学医学部(CMC;ソウル聖母病院、汝矣島聖母病院、大田聖母病院、聖ビンセント病院)。眼窩CTスキャンは2016年1月から2020年12月までに取得されました。データセットには、20歳から60歳までの韓国の男性と女性からの46の眼窩CTスキャンが含まれていました。ランタイム環境 (RTE) は、 補足表 1 に要約されています。
1.眼窩CTスキャンで眼球、視神経、外眼筋をマスキングします
<ol><li>マスキングソフトウェアプログラムを実行します。 注:マスキングソフトウェアプログラム(MediLabel、 材料表を参照)は、セグメンテーション用の医用画像ラベリングソフトウェアプログラムであり、数回のクリックで高速です。</li>
	<li>ファイルを開く アイコンをクリックし 、ターゲットCTファイルを選択して、軌道CTをロードします。次に、CTスキャンが画面に表示されます。</li>
	<li>スーパーピクセルを使用して眼球、視神経、外眼筋をマスクします。<ol><li>MediLabel のスマートペンシル ウィザードをクリックして、 スマートペンシル を実行します (ビデオ 1)。</li>
		<li>必要に応じて、スーパーピクセルマップの解像度を制御します(100、500、1,000、2,000スーパーピクセルなど)。</li>
		<li>類似した画像強度値のピクセルがクラスター化されているスーパーピクセルマップ上の眼球、視神経、および外眼筋のスーパーピクセルのクラスターをクリックします。</li>
	</ol></li>
	<li>MediLabel の自動修正機能を使用してマスクを調整します。<ol><li>スライス上のスーパーピクセルの一部をマスクした後、 SmartFill ウィザードをクリックします(ビデオ2)。</li>
		<li>オートコレクトアイコンをクリックし、修正されたマスクラベルが計算されていることを確認します(ビデオ3)。</li>
	</ol></li>
	<li>マスキングの調整が完了するまで、ステップ1.3とステップ1.4を繰り返します。</li>
	<li>マスクされた画像を保存します。</li>
</ol>2.前処理:VOIのウィンドウクリッピングとトリミング
<ol><li>preprocessing_multilabel.pyを使用して VOI を抽出します (ファイルは GitHub からダウンロードできます)。<ol><li>preprocessing_multilabel.pyを実行します。</li>
		<li>トリミングされてVOIフォルダに保存されているスキャンとマスクを確認します。</li>
	</ol></li>
	<li>builder_multilabel.pyを使用して SEQ-UNET への入力用に VOI を 3 つの順次 CT スライスのセットに変換します (ファイルは GitHub からダウンロードできます)。<ol><li>sequence_builder_multilabel.pyを実行します。</li>
		<li>変換中にスライスとマスクのサイズが 64 x 64 ピクセルに変更されていることを確認します。</li>
		<li>変換中に、48 HU クリッピング レベルと 400 HU ウィンドウでクリッピングを実行します。</li>
		<li>保存した変換CTスキャン(niiファイル)とマスク(niiファイル)を、スキャンフォルダとマスクフォルダの下にあるマスクフォルダにそれぞれ確認してください。</li>
	</ol></li>
</ol>3. 軌道分割モデルの4つの交差検証
<ol><li>以下の手順に従ってモデルを構築します。<ol><li>main.py を実行します。</li>
		<li>main.py を実行するときは、4つの交差検証のフォールド番号を「-fold num x」(xは0、1、2、または3)で指定します。</li>
		<li>main.py を実行する場合は、トレーニングの反復回数であるエポックをオプションとして使用します (たとえば、"-epoch x" (x はエポック番号)。デフォルトの数は 500 です。</li>
		<li>main.py を実行する場合は、バッチサイズ(1回のトレーニングセッション内のトレーニングサンプルの数)を設定します。デフォルトの数は 32 です。</li>
		<li>main.py では、CTスキャンとマスクをロードし、LIDC-IDRIデータセット(がん画像アーカイブからダウンロード可能)を使用して、事前にトレーニングされたパラメーターでSEQ-UXETを初期化します。</li>
		<li>main.py、トレーニング後にモデルのテストを実行します。評価メトリック、サイコロスコア、ボリュームの類似性を計算し、メトリックフォルダーに保存します。</li>
		<li>セグメント化されたフォルダーで結果を確認します。</li>
	</ol></li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

著者は利益相反を宣言しません。

ディープラーニングベースの医用画像分析は、病気の検出に広く使用されています。眼科領域では、糖尿病性網膜症、緑内障、加齢黄斑変性症、および未熟児網膜症において、検出およびセグメンテーションモデルが使用されています。しかし、眼科以外の希少疾患は、ディープラーニング分析のための大規模なオープンパブリックデータセットへのアクセスが制限されているため、研究されていません。パブリックデータセットが利用できない状況でこの方法を適用する場合、労働集約的で時間のかかる作業であるマスキングステップは避けられません。ただし、提案されたマスキングステップ(プロトコルセクション、ステップ1)は、短時間で高精度のマスキングを生成するのに役立ちます。スーパーピクセルとニューラルネットワークベースの塗りつぶしを使用して、低レベルの画像プロパティが類似しているピクセルをクラスター化し、臨床医は特定のピクセルを指摘する代わりにピクセルのグループをクリックしてマスクにラベルを付けることができます。また、自動補正機能は、マスクプロセスを改善するのに役立ちます。この方法の効率と有効性は、医学研究においてより多くのマスク画像を生成するのに役立ちます。
前処理における多くの可能性の中で、VOIの抽出とウィンドウクリッピングは効果的な方法です。ここでは、VOIの抽出とウィンドウクリッピングがプロトコルのステップ2で紹介されています。臨床医がデータセットを準備する場合、ほとんどのセグメンテーションケースは医用画像全体の小さな特定の領域に焦点を当てているため、特定のデータセットからVOIを抽出することがプロセスの最も重要なステップです。VOIに関しては、眼球、視神経、外眼筋の領域は位置に基づいてトリミングされますが、VOIを抽出するためのより効果的な方法は、セグメンテーションパフォーマンスを改善する可能性があります14。 
セグメンテーションのために、SEQ-UNETが研究に採用されています。3D医用画像は大容量であるため、ディープニューラルネットワークモデルには大きなメモリ容量が必要です。SEQ-UNETでは、3D情報の特徴を失うことなく必要なメモリサイズを削減するために、セグメンテーションモデルを少数のスライスで実装します。 
モデルは46個のVOIでトレーニングされましたが、これはモデルトレーニングでは多くありません。トレーニングデータセットの数が少ないため、視神経と外眼筋のセグメンテーションのパフォーマンスは制限されています。転移学習15 およびドメイン適応8 は、セグメンテーション性能を改善するための解決策を提供することができる。
ここで紹介するセグメンテーションプロセス全体は、軌道CTセグメンテーションに限定されません。効率的なラベリング方法は、アプリケーションドメインが研究分野に固有の場合の新しい医用画像データセットを作成するのに役立ちます。前処理とセグメンテーションモデリングに関するGitHubのPythonコードは、トリミング領域、ウィンドウクリッピングレベル、およびシーケンシャルスライスの数、U-Netアーキテクチャなどのモデルのハイパーパラメーターを変更することで、他のドメインに適用できます。

眼窩は、眼球、神経、外眼筋、支持組織、視覚や眼球運動のための血管などの重要な構造を含む約30.1cm3の小さく複雑な空間です1。眼窩腫瘍は眼窩上の異常な組織成長であり、それらのいくつかは患者の視力または眼球運動を脅かし、致命的な機能障害につながる可能性があります。患者の視覚機能を維持するために、臨床医は腫瘍の特性に基づいて治療法を決定する必要があり、外科的生検は一般的に避けられません。このコンパクトで混雑したエリアは、臨床医が正常な構造を損なうことなく生検を行うことをしばしば困難にします。眼窩の状態を判断するための深層学習に基づく病理の画像解析は、生検2中の眼窩組織への不必要または回避可能な損傷を回避するのに役立つ可能性があります。眼窩腫瘍の画像解析の1つの方法は、腫瘍の検出とセグメンテーションです。しかし、眼窩腫瘍を含むCT画像の大量データの収集は、発生率が低いため制限されています3。計算腫瘍診断4のための他の効率的な方法は、腫瘍を軌道の正常な構造と比較することを含む。正常な構造の眼窩CT画像の数は、腫瘍のそれよりも比較的多い。したがって、通常の軌道構造のセグメンテーションは、この目標を達成するための最初のステップです。
本研究では、深層学習に基づく軌道構造セグメンテーションの全過程を、データ収集、前処理、その後のモデリングを含めて提示する。この研究は、現在の方法を使用してマスクされたデータセットを効率的に生成することに関心のある臨床医、および眼窩CT画像の前処理とモデリングに関する情報を必要とする眼科医のためのリソースとなることを目的としています。本稿では、医用画像セグメンテーションのためのU-Netの代表的な深層学習ソリューションに基づくシーケンシャル2Dセグメンテーションモデルである、軌道構造セグメンテーションとシーケンシャルU-Netの新しい手法を紹介します。プロトコルは、(1)軌道構造セグメンテーションのグラウンドトゥルースのためのマスキングツールの使用方法、(2)軌道画像の前処理に必要なステップ、(3)セグメンテーションモデルを訓練し、セグメンテーション性能を評価する方法など、軌道セグメンテーションの詳細な手順を記述します。
教師あり学習のために、5年以上にわたって理事会認定を受けた4人の経験豊富な眼科医が、眼球、視神経、外眼筋のマスクに手動で注釈を付けました。すべての眼科医は、CTスキャンで効率的なマスキングのために超解像を使用するマスキングソフトウェアプログラム(MediLabel、材料表を参照)を使用しました。マスキングソフトウェアには、次の半自動機能があります:(1)SmartPencilは、画像強度5の同様の値を持つスーパーピクセルマップクラスターを生成します。(2)SmartFillは、進行中の前景と背景のエネルギー関数を計算することによってセグメンテーションマスクを生成します6,7;(3)セグメンテーションマスクの境界線をきれいにし、元の画像と一貫性を持たせるオートコレクト。半自動フィーチャーの画像例を図 1 に示します。手動マスキングの詳細な手順は、プロトコルセクション(ステップ1)に記載されています。
次のステップは、眼窩CTスキャンの前処理です。軌道の関心体積(VOI)を得るために、眼球、筋肉、および神経が通常の状態で位置する軌道の領域が特定され、これらの領域がトリミングされます。データセットの解像度は高く、面内ボクセル解像度とスライスの厚さは <1 mm であるため、補間プロセスはスキップされます。代わりに、ウィンドウ クリッピングは 48 HU クリッピング レベルと 400 HU ウィンドウで実行されます。トリミングおよびウィンドウクリッピングの後、セグメンテーションモデル入力8に対して軌道VOIの3つのシリアルスライスが生成される。プロトコルセクション(ステップ2)には、前処理ステップの詳細が記載されています。
U-Net9は、医用画像に広く使用されているセグメンテーションモデルです。U-Netアーキテクチャは、医用画像の特徴を抽出するエンコーダと、識別的な特徴を意味的に提示するデコーダで構成されています。CTスキャンにU-Netを採用する場合、畳み込み層は3Dフィルタ10,11からなる。3Dフィルタの計算には大きなメモリ容量が必要なため、これは課題です。3D U-Netのメモリ要件を減らすために、U-Netでシーケンシャルな2Dスライスのセットが使用されるSEQ-UNET8が提案されました。3D CTスキャンの2D画像スライス間の時空間相関の喪失を防ぐために、基本的なU-Netでは2つの双方向畳み込み長期短期記憶(C-LSTM)12が採用されています。最初の双方向C-LSTMは、エンコーダの最後にスライス間の相関関係を抽出します。第2の双方向C−LSTMは、デコーダの出力の後に、スライスシーケンスの次元におけるセマンティックセグメンテーション情報を単一の画像セグメンテーションに変換する。SEQ-UNET のアーキテクチャを図 2 に示します。実装コードは github.com/SleepyChild1005/OrbitSeg で入手でき、コードの使用方法はプロトコルのセクション(ステップ3)で詳しく説明されています。

<table><tbody><tr><td></td><td></td><td></td><td>MediLabel</td></tr><tr><td></td><td>INGRADIENT (ソウル、韓国)</td><td></td>のGitHub SmartFil<td></td></tr><tr><td></td><td></td>ウィザードからダウンロード可能な、より少ないクリック数と高速のSEQ-UNET<td></td><td></td></tr>のための医用画像ラベリングソフトウェア<tr><td>promgram github.com/SleepyChild1005/OrbitSeg、MediLabelのGitHubリンク&nbsp;</td><td></td><td></td><td></td></tr><tr><td>スマートペンシル&nbsp;</td><td></td><td></td><td>MediLabelのウィザード&nbsp;</td></tr></tbody></table>

眼窩コンピュータ断層撮影 による 深層学習に基づく医用画像セグメンテーションの応用

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

近年、深層学習に基づくセグメンテーションモデルが眼科分野で広く応用されています。本研究では、U-Netに基づく眼窩コンピュータ断層撮影(CT)セグメンテーションモデルを構築する完全なプロセスを提示する。教師あり学習には、労働集約的で時間のかかるプロセスが必要です。軌道CT画像上のグラウンドトゥルースを効率的にマスクするための超解像ラベリング手法を紹介します。また、データセットの前処理の一環として、対象のボリュームがトリミングされます。次に、軌道構造の関心のあるボリュームを抽出した後、U-Netを使用して軌道CTの主要な構造をセグメント化するためのモデルを構築し、入力として使用されるシーケンシャル2Dスライスと、スライス間の相関を保存するための2つの双方向畳み込み長期短期メモリを使用します。この研究は主に眼球、視神経、および外眼筋のセグメンテーションに焦点を当てています。セグメンテーションの評価により、深層学習法を用いた眼窩CT画像へのセグメンテーションの応用の可能性が明らかになりました。

定量的評価には、CT画像セグメンテーションタスクで使用された2つの評価指標が採用されました。これらは、サイコロスコア(DICE)とボリューム類似度(VS)を含む2つの類似性メトリックでした13。
サイコロ (%) = 2 × TP/(2 × TP + FP + FN) 対 (%) = 1 − |FN − FP|/(2 × TP + FP + FN)
ここで、TP、FP、およびFNは、セグメンテーション結果とセグメンテーションマスクが指定されている場合、それぞれ真陽性、偽陽性、および偽陰性の値を示します。
軌道構造セグメンテーションのためのSEQ-UXEの性能は、4つの交差検証によって評価されました。結果を表1に示す。SEQ-UNTを用いた眼球セグメンテーションは、0.86のサイコロスコアと0.83のVSを達成しました。外眼筋と視神経のセグメンテーションは、低いサイコロスコア(それぞれ0.54と0.34)を達成しました。眼球セグメンテーションのサイコロスコアは、VOIの大部分を占め、CTスキャン間の不均一性がほとんどないため、80%を超えました。外眼筋と視神経のサイコロスコアは、CTボリュームに現れる頻度が低く、CTスライスの数が比較的少なかったため、比較的低かった。しかし、外眼筋と視神経の視覚的類似性スコア(それぞれ0.65と0.80)は、サイコロスコアよりも高かった。この結果は、セグメンテーションの特異度が低かったことを示している。全体として、すべての軌道下部構造のセグメンテーションに対するSEQ-UXEのサイコロスコアと視覚的類似性はそれぞれ0.79と0.82でした。軌道構造分割の視覚的結果の例を図3に示す。図3A-Cでは、青は予測されたセグメンテーション結果で、赤はグラウンドトゥルースマスクです。図3Dでは、赤、緑、オレンジがそれぞれ眼球、視神経、神経のセグメンテーションです。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg"> 図1:半自動マスキング機能。 眼窩CTスキャンで眼球、外眼筋、視神経をマスキングし、(A)スマートペンシル、(B)スマートフィル、および(C)オートコレクトを使用します。眼球のマスクは、スライスのスーパーピクセルを計算するSmartPencilによってラベル付けされ、マスクはスーパーピクセルをクリックして作成されます。眼球スーパーピクセルのいくつかをクリックした後、眼球マスク全体をSmartFillで計算できます。視神経をマスキングする場合、マスキングの改良はオートコレクトによって行われます。青色標識眼球を(A)及び(B)に示す。 <a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg"> 図2:シーケンスU-Netアーキテクチャ。 入力および出力としてのシーケンシャル2Dスライス。2つの双方向C-LSTMは、U-Netアーキテクチャに基づいてエンコードおよびデコードブロックの最後に適用されます。 <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg"> 図3:軌道構造のセグメンテーション結果。 (A)眼球(標識1)、(B)視筋(標識2)、(C)視神経(標識3)、および(D)マルチラベル(標識1、2、および3)。左の画像は軌道のVOI、中央の画像は予測されたセグメンテーション、右の画像はグラウンドトゥルースです。(A)、(B)、および(C)では、青は予測されたセグメンテーション結果であり、赤はグラウンドトゥルースマスクです。(D)では、赤、緑、オレンジがそれぞれ眼球、外眼筋、視神経の分節です。予測されたセグメンテーションは、眼球の場合は高いパフォーマンス(DICE:0.86対0.82)を示しましたが、外眼筋(DICE:0.54対0.65)および視神経(DICE:0.34対0.8)の場合は低いパフォーマンスを示しました。 <a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td rowspan="2"></td>
			<td colspan="2">マルチラベル</td>
			<td colspan="2">ラベル 1 (眼球)</td>
			<td colspan="2">ラベル2(外眼筋)</td>
			<td colspan="2">ラベル3(視神経)</td>
		</tr><tr><td>ダイス</td>
			<td>対</td>
			<td>ダイス</td>
			<td>対</td>
			<td>ダイス</td>
			<td>対</td>
			<td>ダイス</td>
			<td>対</td>
		</tr><tr><td>シークUNET</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr></tbody></table>表1:サイコロスコアと視覚的類似性のセグメンテーション結果。 スライス数が比較的多い眼球はDICE0.8でよく分節されたが、スライス数や線状が少ない外眼筋と視神経は部分的に分節され、それぞれ 0.54と0.34のDICE値であった。
ビデオ1:マスキングソフトウェアプログラムのSmartPencilウィザード。 眼球マスキングのために複数のピクセルに注釈を付けるデモンストレーション。マスキングタスクは、クラスター化されたスーパーピクセルをワンクリックで有効にします。 <a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">このビデオをダウンロードするには、ここをクリックしてください。</a>
ビデオ2:マスキングソフトウェアプログラムのスマートフィルウィザード。 眼球マスキングのために複数のピクセルに注釈を付けるデモンストレーション。注釈領域でいくつかのピクセルを選択すると、この機能は選択したピクセルと同様の強度を持つ完全なセグメンテーションマスクを生成します。 <a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">このビデオをダウンロードするには、ここをクリックしてください。</a>
ビデオ3:マスキングソフトウェアプログラムのオートコレクト。 事前学習済みの畳み込みニューラルネットワークアルゴリズムを使用したマスクされたピクセルの自動補正のデモンストレーション。 <a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">このビデオをダウンロードするには、ここをクリックしてください。</a>
補足表1:マスキング、前処理、およびセグメンテーションモデリングの実行時環境(RTE)。<a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">この表をダウンロードするには、ここをクリックしてください。</a>

眼窩コンピュータ断層撮影(CT)画像のための物体セグメンテーションプロトコルが導入されました。教師あり学習のために、超解像を用いた軌道構造のグラウンドトゥルースラベリング手法、CT画像からの関心体積抽出法、軌道CT画像に対する2次元シーケンシャルU-Netを用いたマルチラベルセグメンテーションのモデル化手法について解説する。

Recently, deep learning-based segmentation models have been widely applied in the ophthalmic field. This study presents the complete process of ...

本研究では、眼窩コンピュータ断層撮影画像のための物体分割プロトコルを導入した。これは世界で最初の裁判です。このプログラムを使用すると、解剖学的部分のマスキングを好きな場所で簡単に行うことができます。それはあなたの時間と労力を視覚化して節約します。本研究が、生検が困難な眼窩疾患の診断の礎となることを期待しています。マスキングソフトウェアプログラムを実行することから始めます。オービタルCTをロードするには、ファイルを開くアイコンをクリックし、ターゲットCTファイルを選択します。スーパーピクセルを使用して眼球、視神経、および外眼筋をマスクするには、MediLabel のスマートペンシルウィザードをクリックしてスマートペンシルを実行します。次に、必要に応じてスーパーピクセルマップの解像度を制御し、類似した画像強度値のピクセルがクラスター化されているスーパーピクセルマップ上の眼球、外眼筋、視神経のスーパーピクセルのクラスターをクリックします。マスクを調整するには、スライス上のスーパーピクセルの一部をマスクした後にスマートフィルウィザードをクリックし、次にオートコレクトアイコンをクリックして、修正されたマスクラベルが計算されていることを確認します。マスキングの調整が完了したら、マスクされた画像を保存します。前処理のためにPythonスクリプトを実行し、トリミングされてVOIsフォルダに保存されているスキャンとマスクを確認します。シーケンスビルダーのPythonスクリプトを実行して、VOIをシーケンスU-Netの入力として使用する3つのシーケンシャルCTスライスのセットに変換します。保存され、変換されたCTスキャンとマスクをスキャンフォルダーとマスクフォルダーと前処理フォルダーにそれぞれ確認します。軌道セグメンテーション モデルを構築するには、Python スクリプト main を実行します。pyとフォールド番号を与えます。エポック (トレーニングの反復回数) を設定し、バッチ サイズ (1 回のトレーニング セッション内のトレーニング サンプルの数) を設定します。スクリプトのメイン。pyはパーサーなしで実行でき、その場合、デフォルト値で実行されます。トレーニング後にモデルのテストを実行し、サイコロスコアやボリューム類似度などの評価メトリックを計算します。最後に、画像ファイルとして保存された結果を確認します。軌道構造セグメンテーションにシーケンスU-Netを用いた眼球セグメンテーションは、VOIの大部分を持ち、CTスキャン間の異質性がほとんどないため、視覚的類似性またはVSスコア0.83と高いサイコロスコア0.86を達成しました。外眼筋のセグメンテーションでは0.54、視神経では0.34と低く、CT容量にはほとんど現れず、比較的少数のCTスライスで見られたため、サイコロスコアスコアが達成されました。しかし、外眼筋と視神経の視覚的類似性スコアはサイコロスコアよりも高く、セグメンテーションの特異度が低いことを示しています。全体として、すべての軌道下部構造のセグメンテーションは、0.79のサイコロスコアと0.82の視覚的類似性スコアを達成しました。アプリケーションに応じて、VOIのサイズとウィンドウのクリッピングのレベルは異なる場合があります。シーケンス・ビルダーのコードは、他の大きな目的のために変更できます。また、モデルトレーニングのハイパーパラメータを変更することもできます。モデルは46個のVOIでトレーニングされましたが、これはモデルトレーニングでは多くありません。トレーニングデータセットの数が少ないことによるパフォーマンスの低下を克服するために、転移学習とドメイン表記を適用できます。

application-deep-learning-based-medical-image-segmentation-via

Research

JoVE Journal

Engineering

工学

これは、1つのトモグラムの一部をトレーニング入力として使用して、クライオ電子線トモグラムの多クラスセグメンテーションのためのマルチスライスU-Netをトレーニングする方法です。このネットワークを他のトモグラムに推測する方法と、サブトモグラムの平均化やフィラメントトレースなどのさらなる分析のためにセグメンテーションを抽出する方法について説明します。...

深層学習に基づくクライオ電子線トモグラムのセグメンテーション

軌道再建のための個別化医療は急速に発展しています。眼窩の繊細な性質のため、骨折再建後の小さな不一致は、視覚障害を引き起こす可能性があります。ここでは、軌道欠陥の仮想3D再構成のための3つの方法と、その適応症、および正しい再構成のための潜在的な落とし穴について説明します。...

眼窩骨折の3次元再構成

クライオ電子線トモグラフィー(クライオET)は、ナノメートルの分解能で細胞の超微細構造を3D可視化することを可能にしますが、手作業によるセグメンテーションは依然として時間がかかり、複雑です。クライオET断層撮影のための高度なバーチャルリアリティソフトウェアを統合した新しいワークフローを提示し、哺乳類細胞のミトコンドリアのセグメンテーションを通じてその有効性を示します。...

バーチャルリアリティを活用したクライオ電子線トモグラフィーデータの没入型セグメンテーションと解析

自動関節空間検出ワークフローの開発により、野生型動物において&gt;98%の精度で異なるマウスの後蹄骨の高スループットセグメンテーションが可能となりました。炎症性侵食性関節炎のある前足や足への柔軟な適用は達成されましたが、性能が低下しており、公開データを用いた今後の研究でさらなる最適化が必要です。...

自動関節空間検出が骨分断精度を向上させる

光学的に不透明な流体中または光学的に不透明なジオメトリを通じ、速度の2次元フィールドを取得することが可能なエコー粒子画像流速（EPIV）システムが記載されており、パイプフローの検証測定が報告されています。...

エコー粒子画像流速測定法

高分解能、高速の粒子画像流速（PIV）を用いて境界の近くに一時的なフローを研究するための手順は、ここで記載されている。...

表面近くの高速粒子画像流速

光アクティブデバイスの総合的なマイクロ特徴付けのためのワークフローが概説されています。これは、CT、LMおよびSEMによる構造だけでなく、機能的な調査が含まれています。この方法は、まだ特徴付けの時に動作させることが可能白色LEDのために実証されています。...

走査型電子顕微鏡（SEM）と相関X線コンピュータ断層撮影（CT）および光学顕微鏡（LM）の組合せによるLEDの深さ分析で

我々は両方の空中および地上ベースの農薬用途で使用される農業用ノズルからの噴霧液滴サイズの測定に使用されるプロトコルを提示します。レーザー回折システムを使用する場合に提示これらの方法は、一貫した再現液滴サイズデータ間との両方内実験室を提供するために開発されました。...

レーザー回折を使用した農業ノズルから測定スプレー液滴サイズ

グルコース欠乏が引き起こす SH SY5Y...

SH SY5Y 細胞のグルコース欠乏による障害に対して神経保護剤として大気圧プラズマ ジェットの新しいアプリケーション

本稿では、新規のセットアップと光音響顕微鏡やウサギなどの大型動物の非侵襲的、ラベル無料網脈絡膜イメージング用光断層影像デュアル...

生活家兎眼に新規光音響顕微鏡、光コヒーレンストモグラフィーのデュアル モダリティ網脈絡膜イメージング

学ぶ眼窩CT画像の深層学習セグメンテーション手法。2DシーケンシャルU-Netモデルを用いて眼球・眼外筋・視神経を高精度にマスキングし、視覚類似度0.83・ダイススコア0.86を達成。非侵襲的な眼窩疾患診断の基盤となる革新的プロトコルです。

眼窩コンピュータ断層撮影による深層学習に基づく医用画像セグメンテーションの応用

さらに動画を探す

眼窩コンピュータ断層撮影 による 深層学習に基づく医用画像セグメンテーションの応用

さらに動画を探す

眼窩コンピュータ断層撮影による深層学習に基づく医用画像セグメンテーションの応用