ここでは、超音波画像における甲状腺結節検出のための新しいモデルが提案されており、Swin Transformerをバックボーンとして使用して長距離コンテキストモデリングを実行します。実験は、それが感度と精度の点でうまく機能することを証明しています。
近年、甲状腺がんの発生率は増加しています。甲状腺結節の検出は、甲状腺がんの検出と治療の両方にとって重要です。畳み込みニューラルネットワーク(CNN)は、甲状腺超音波画像分析タスクで良好な結果を達成しています。しかし、畳み込み層の有効な受容野が限られているため、CNNは、超音波画像で甲状腺結節を特定するために重要な長距離の文脈依存性を捉えることができません。トランスフォーマーネットワークは、長距離コンテキスト情報をキャプチャするのに効果的です。これに触発されて、Swin TransformerバックボーンとFaster R-CNNを組み合わせた新しい甲状腺結節検出法を提案します。具体的には、超音波画像は最初に埋め込みの1Dシーケンスに投影され、次に階層的なSwinトランスフォーマーに供給されます。
Swin Transformerバックボーンは、自己注意の計算にシフトされたウィンドウを利用することにより、5つの異なるスケールで特徴を抽出します。その後、フィーチャ ピラミッド ネットワーク (FPN) を使用して、異なる縮尺のフィーチャを融合します。最後に、検出ヘッドを使用して、境界ボックスと対応する信頼度スコアを予測します。2,680人の患者から収集されたデータを使用して実験を実施し、結果は、この方法が44.8%の最高のmAPスコアを達成し、CNNベースのベースラインを上回ったことを示しました。また、競合他社よりも感度が高く(90.5%)向上しました。これは、このモデルのコンテキストモデリングが甲状腺結節の検出に有効であることを示しています。
甲状腺がんの発生率は、特に中年女性の間で、1970年以降急速に増加しています1。甲状腺結節は甲状腺がんの出現を予測する可能性があり、ほとんどの甲状腺結節は無症候性です2。甲状腺結節の早期発見は、甲状腺がんの治療に非常に役立ちます。したがって、現在の診療ガイドラインによれば、身体検査で結節性甲状腺腫が疑われる、または異常な画像所見のあるすべての患者は、さらなる検査を受ける必要があります3,4。
甲状腺超音波(US)は、甲状腺病変を検出および特徴付けるために使用される一般的な方法です5,6。米国は便利で、安価で、放射線のない技術です。しかしながら、USのアプリケーションは、オペレータ7,8によって容易に影響を受ける。甲状腺結節の形状、サイズ、エコー源性、質感などの特徴は、米国の画像で簡単に区別できます。石灰化、エコー源性、不規則な境界などの特定の米国の特徴は、甲状腺結節を特定するための基準と見なされることがよくありますが、観察者間の変動性の存在は避けられません8,9。異なるレベルの経験を持つ放射線科医の診断結果は異なります。経験の浅い放射線科医は、経験豊富な放射線科医よりも誤診する可能性が高くなります。反射、影、エコーなどの米国の一部の特性は、画質を低下させる可能性があります。米国の画像の性質によって引き起こされるこの画質の低下は、経験豊富な医師でさえ結節を正確に見つけることを困難にします。
甲状腺結節のコンピューター支援診断(CAD)は近年急速に発展しており、さまざまな医師によって引き起こされるエラーを効果的に減らし、放射線科医が結節を迅速かつ正確に診断するのに役立ちます10,11。米国甲状腺結節分析のために、セグメンテーション12,13、検出14,15、分類16,17など、さまざまなCNNベースのCADシステムが提案されています。CNNは多層の教師あり学習モデル18であり、CNNのコアモジュールは畳み込み層とプーリング層です。畳み込み層は特徴抽出に使用され、プーリング層はダウンサンプリングに使用されます。シャドウ畳み込みレイヤーはテクスチャ、エッジ、輪郭などの主要な特徴を抽出でき、深い畳み込みレイヤーは高レベルのセマンティック特徴を学習します。
CNNは、コンピュータービジョン19、20、21で大きな成功を収めています。ただし、CNNは、畳み込み層の有効な受容フィールドが限られているため、長距離のコンテキスト依存性をキャプチャできません。これまで、画像分類のバックボーン アーキテクチャでは、主に CNN が使用されていました。ビジョントランスフォーマー(ViT)22,23の出現により、この傾向は変化し、現在では多くの最先端モデルがトランスフォーマーをバックボーンとして使用しています。重なり合わない画像パッチに基づいて、ViTは、標準のトランスエンコーダ25を使用して、空間的関係をグローバルにモデル化する。Swin Transformer24は、機能を学習するためのシフトウィンドウをさらに導入しています。シフトウィンドウは、効率を高めるだけでなく、セルフアテンションがウィンドウで計算されるため、シーケンスの長さを大幅に短縮します。同時に、2つの隣接するウィンドウ間の相互作用は、シフト(移動)の操作によって行うことができます。コンピュータビジョンにおけるSwin Transformerの応用の成功は、超音波画像解析のためのトランスベースのアーキテクチャの調査につながった26。
最近、Liらは、Faster R-CNN27 に触発された甲状腺乳頭がん検出のための深層学習アプローチ28を提案した。より高速なR-CNNは、古典的なCNNベースのオブジェクト検出アーキテクチャです。オリジナルのFaster R-CNNには、CNNバックボーン、地域提案ネットワーク(RPN)、ROIプーリングレイヤー、検出ヘッドの4つのモジュールがあります。CNN バックボーンは、一連の基本的な conv+bn+relu+プーリング レイヤーを使用して、入力画像から特徴マップを抽出します。次に、機能マップがRPNとROIプーリングレイヤーに供給されます。RPNネットワークの役割は、地域提案を生成することです。このモジュールでは、softmax を使用してアンカーが正であるかどうかを判断し、バウンディング ボックス回帰によって正確なアンカーを生成します。ROIプーリングレイヤーは、入力特徴マップと提案を収集して提案特徴マップを抽出し、提案特徴マップを後続の検出ヘッドにフィードします。検出ヘッドは、提案機能マップを使用してオブジェクトを分類し、バウンディングボックス回帰によって検出ボックスの正確な位置を取得します。
本稿では、Faster R-CNNのCNNバックボーンをSwin Transformerに置き換えることで形成された新しい甲状腺結節検出ネットワークであるSwin Faster R-CNNを紹介し、超音波画像から結節検出のための特徴をより適切に抽出します。さらに、特徴ピラミッドネットワーク(FPN)29 は、異なるスケールの特徴を集約することにより、異なるサイズの結節に対するモデルの検出性能を向上させるために使用される。
このホワイトペーパーでは、環境のセットアップ、データ準備、モデル構成、およびネットワークトレーニングの実行方法について詳しく説明します。環境のセットアップ段階では、依存ライブラリに互換性があり、一致していることを確認するように注意する必要があります。データ処理は非常に重要なステップです。注釈の正確性を確保するために時間と労力を費やす必要があります。?…
The authors have nothing to disclose.
この研究は、中国国家自然科学基金会(助成金番号32101188)および中国の四川省科学技術局一般プロジェクト(助成金番号2021YFS0102)の支援を受けました。
GPU RTX3090 | Nvidia | 1 | 24G GPU |
mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
python3.8 | — | 2 | https://www.python.org |
pytorch1.7.1 | 3 | https://pytorch.org |