Qui viene proposto un nuovo modello per il rilevamento dei noduli tiroidei nelle immagini ecografiche, che utilizza Swin Transformer come spina dorsale per eseguire la modellazione del contesto a lungo raggio. Gli esperimenti dimostrano che funziona bene in termini di sensibilità e precisione.
Negli ultimi anni, l’incidenza del cancro alla tiroide è in aumento. Il rilevamento dei noduli tiroidei è fondamentale sia per l’individuazione che per il trattamento del cancro della tiroide. Le reti neurali convoluzionali (CNN) hanno ottenuto buoni risultati nelle attività di analisi delle immagini ecografiche tiroidee. Tuttavia, a causa del limitato campo ricettivo valido degli strati convoluzionali, le CNN non riescono a catturare le dipendenze contestuali a lungo raggio, che sono importanti per identificare i noduli tiroidei nelle immagini ecografiche. Le reti di trasformatori sono efficaci nell’acquisizione di informazioni contestuali a lungo raggio. Ispirati da questo, proponiamo un nuovo metodo di rilevamento dei noduli tiroidei che combina la spina dorsale Swin Transformer e Faster R-CNN. In particolare, un’immagine ecografica viene prima proiettata in una sequenza 1D di incorporamenti, che vengono poi inseriti in un trasformatore Swin gerarchico.
La dorsale Swin Transformer estrae le caratteristiche su cinque diverse scale utilizzando finestre spostate per il calcolo dell’auto-attenzione. Successivamente, viene utilizzata una rete di piramide delle caratteristiche (FPN) per fondere le caratteristiche da scale diverse. Infine, una testina di rilevamento viene utilizzata per prevedere i riquadri di delimitazione e i punteggi di confidenza corrispondenti. I dati raccolti da 2.680 pazienti sono stati utilizzati per condurre gli esperimenti e i risultati hanno mostrato che questo metodo ha raggiunto il miglior punteggio mAP del 44,8%, superando le linee di base basate sulla CNN. Inoltre, abbiamo ottenuto una migliore sensibilità (90,5%) rispetto ai concorrenti. Ciò indica che la modellazione del contesto in questo modello è efficace per il rilevamento dei noduli tiroidei.
L’incidenza del cancro alla tiroide è aumentata rapidamente dal 1970, soprattutto tra le donne di mezza età1. I noduli tiroidei possono predire l’emergere del cancro della tiroide e la maggior parte dei noduli tiroidei sono asintomatici2. La diagnosi precoce dei noduli tiroidei è molto utile nella cura del cancro alla tiroide. Pertanto, secondo le attuali linee guida pratiche, tutti i pazienti con sospetto gozzo nodulare all’esame obiettivo o con risultati di imaging anomali dovrebbero essere sottoposti a ulteriori esami 3,4.
L’ecografia tiroidea (US) è un metodo comune utilizzato per rilevare e caratterizzare le lesioni tiroidee 5,6. Gli Stati Uniti sono una tecnologia conveniente, economica e priva di radiazioni. Tuttavia, l’applicazione di US è facilmente influenzata dall’operatore 7,8. Caratteristiche come la forma, le dimensioni, l’ecogenicità e la consistenza dei noduli tiroidei sono facilmente distinguibili sulle immagini statunitensi. Sebbene alcune caratteristiche statunitensi – calcificazioni, ecogenicità e bordi irregolari – siano spesso considerate criteri per identificare i noduli tiroidei, la presenza di variabilità interosservatore è inevitabile 8,9. I risultati diagnostici dei radiologi con diversi livelli di esperienza sono diversi. I radiologi inesperti hanno maggiori probabilità di diagnosticare erroneamente rispetto ai radiologi esperti. Alcune caratteristiche di US come riflessi, ombre ed echi possono degradare la qualità dell’immagine. Questo degrado della qualità dell’immagine causato dalla natura dell’imaging statunitense rende difficile anche per i medici esperti individuare i noduli con precisione.
La diagnosi computerizzata (CAD) per i noduli tiroidei si è sviluppata rapidamente negli ultimi anni e può ridurre efficacemente gli errori causati da diversi medici e aiutare i radiologi a diagnosticare i noduli in modo rapido e preciso10,11. Sono stati proposti vari sistemi CAD basati su CNN per l’analisi dei noduli tiroidei statunitensi, tra cui la segmentazione 12,13, il rilevamento 14,15 e la classificazione 16,17. CNN è un modello di apprendimento supervisionato multilivello18 e i moduli principali della CNN sono i livelli di convoluzione e pooling. I layer di convoluzione vengono utilizzati per l’estrazione delle feature, mentre i layer di pooling vengono utilizzati per il downsampling. I livelli convoluzionali ombra possono estrarre feature primarie come la texture, i bordi e i contorni, mentre i livelli convoluzionali profondi apprendono feature semantiche di alto livello.
Le CNN hanno avuto un grande successo nella visione artificiale 19,20,21. Tuttavia, le CNN non riescono a catturare le dipendenze contestuali a lungo raggio a causa del limitato campo ricettivo valido degli strati convoluzionali. In passato, le architetture backbone per la classificazione delle immagini utilizzavano principalmente le CNN. Con l’avvento di Vision Transformer (ViT)22,23, questa tendenza è cambiata e ora molti modelli all’avanguardia utilizzano trasformatori come spine dorsali. Basato su patch di immagini non sovrapposte, ViT utilizza un encoder di trasformatori standard25 per modellare globalmente le relazioni spaziali. Lo Swin Transformer24 introduce inoltre le finestre di spostamento per apprendere le funzionalità. Le finestre di spostamento non solo portano una maggiore efficienza, ma riducono anche notevolmente la lunghezza della sequenza perché l’auto-attenzione viene calcolata nella finestra. Allo stesso tempo, l’interazione tra due finestre adiacenti può essere effettuata attraverso l’operazione di spostamento (movimento). L’applicazione di successo del trasformatore Swin nella visione artificiale ha portato allo studio di architetture basate su trasformatori per l’analisi delle immagini a ultrasuoni26.
Recentemente, Li et al. hanno proposto un approccio di deep learning28 per il rilevamento del cancro papillare tiroideo ispirato da Faster R-CNN27. Faster R-CNN è una classica architettura di rilevamento di oggetti basata su CNN. L’originale Faster R-CNN ha quattro moduli: la dorsale CNN, la rete di proposta regionale (RPN), il livello di pooling ROI e la testa di rilevamento. La dorsale CNN utilizza un set di layer di base conv+bn+relu+pooling per estrarre le feature map dall’immagine di input. Quindi, le mappe delle feature vengono inserite nell’RPN e nel livello di pooling ROI. Il ruolo della rete RPN è quello di generare proposte regionali. Questo modulo utilizza softmax per determinare se gli ancoraggi sono positivi e genera ancoraggi accurati mediante la regressione del riquadro di delimitazione. Il layer di pooling ROI estrae le feature map delle proposte raccogliendo le feature map e le proposte di input e alimenta le feature map della proposta nella successiva testa di rilevamento. La testina di rilevamento utilizza le feature map della proposta per classificare gli oggetti e ottenere posizioni accurate delle caselle di rilevamento mediante la regressione del riquadro di delimitazione.
Questo documento presenta una nuova rete di rilevamento dei noduli tiroidei chiamata Swin Faster R-CNN formata sostituendo la dorsale CNN in Faster R-CNN con il trasformatore Swin, che si traduce in una migliore estrazione delle caratteristiche per il rilevamento dei noduli dalle immagini ecografiche. Inoltre, la rete FPN (Feature Pyramid Network)29 viene utilizzata per migliorare le prestazioni di rilevamento del modello per noduli di diverse dimensioni aggregando feature di scale diverse.
In questo documento viene descritto in dettaglio come eseguire l’impostazione dell’ambiente, la preparazione dei dati, la configurazione del modello e l’addestramento della rete. Nella fase di configurazione dell’ambiente, è necessario prestare attenzione per garantire che le librerie dipendenti siano compatibili e corrispondenti. Il trattamento dei dati è un passo molto importante; Tempo e sforzi devono essere spesi per garantire l’accuratezza delle annotazioni. Durante il training del modello, è possibile che venga …
The authors have nothing to disclose.
Questo studio è stato sostenuto dalla National Natural Science Foundation of China (Grant No.32101188) e dal General Project of Science and Technology Department of Sichuan Province (Grant No. 2021YFS0102), Cina.
GPU RTX3090 | Nvidia | 1 | 24G GPU |
mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
python3.8 | — | 2 | https://www.python.org |
pytorch1.7.1 | 3 | https://pytorch.org |