Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Bioengineering
Click here for the English version

Bioengineering

Identificazione automatica superiore dei parassiti del tripanosoma utilizzando un modello ibrido di deep learning

Published: October 27, 2023 doi: 10.3791/65557
Automatic Translation
1, 2, 2, 3, 3, 4, 3, 3, 5
1Faculty of Medicine, King Mongkut’s Institute of Technology Ladkrabang, 2Veterinary Parasitology Research Unit, Faculty of Veterinary Science, Chulalongkorn University, 3College of Advanced Manufacturing Innovation, King Mongkut’s Institute of Technology Ladkrabang, 4Faculty of Science and Technology, Suan Dusit University, 5Department of Electrical Engineering, School of Engineering, King Mongkut’s Institute of Technology Ladkrabang

Summary

I parassiti del sangue medici in tutto il mondo sono stati sottoposti a screening automatico utilizzando semplici passaggi su una piattaforma di intelligenza artificiale low-code. La diagnosi prospettica dei film di sangue è stata migliorata utilizzando un metodo di rilevamento e classificazione degli oggetti in un modello ibrido di deep learning. La collaborazione tra il monitoraggio attivo e modelli ben addestrati aiuta a identificare i punti caldi di trasmissione del tripanosoma.

Abstract

La tripanosomiasi è un problema di salute pubblica significativo in diverse regioni del mondo, tra cui l'Asia meridionale e il sud-est asiatico. L'identificazione delle aree hotspot sotto sorveglianza attiva è una procedura fondamentale per il controllo della trasmissione della malattia. L'esame microscopico è un metodo diagnostico comunemente usato. Ciononostante, si affida principalmente a personale qualificato ed esperto. Per affrontare questo problema, è stato introdotto un programma di intelligenza artificiale (AI) che utilizza una tecnica ibrida di deep learning per l'identificazione degli oggetti e la classificazione degli oggetti dorsali della rete neurale sulla piattaforma di intelligenza artificiale low-code interna (CiRA CORE). Il programma è in grado di identificare e classificare le specie di tripanosomi protozoi, vale a dire Trypanosoma cruzi, T. brucei e T. evansi, a partire da immagini microscopiche ad immersione in olio. Il programma di intelligenza artificiale utilizza il riconoscimento dei modelli per osservare e analizzare più protozoi all'interno di un singolo campione di sangue ed evidenzia il nucleo e il cinetoplasto di ciascun parassita come caratteristiche specifiche utilizzando una mappa dell'attenzione.

Per valutare le prestazioni del programma di intelligenza artificiale, vengono creati due moduli unici che forniscono una varietà di misure statistiche come accuratezza, richiamo, specificità, precisione, punteggio F1, tasso di errata classificazione, curve delle caratteristiche operative del ricevitore (ROC) e curve di precisione rispetto al richiamo (PR). I risultati della valutazione mostrano che l'algoritmo di intelligenza artificiale è efficace nell'identificare e classificare i parassiti. Fornendo uno strumento di screening rapido, automatizzato e accurato, questa tecnologia ha il potenziale per trasformare la sorveglianza e il controllo delle malattie. Potrebbe anche aiutare i funzionari locali a prendere decisioni più informate sulle strategie di blocco della trasmissione della malattia.

Introduction

La tripanosomiasi è una sfida significativa per i problemi di salute globale a causa di una varietà di specie zoonotiche che causano malattie umane con un'ampia gamma di distribuzione geografica al di fuori dei continenti africano e americano, come l'Asia meridionale e sud-orientale 1,2,3. La tripanosomiasi africana umana (HAT) o malattia del sonno, è causata da Trypanosoma brucei gambiense e T. b. rhodesiense che producono rispettivamente le forme cronica e acuta, che rappresentano la maggiore diffusione in Africa. Il parassita causale appartiene al gruppo Salivaria a causa della trasmissione tramite saliva infetta delle mosche tse-tse4. Considerando che la ben nota tripanosomiasi americana (morbo di Chagas) causata da T. cruzi è stata una preoccupazione per la salute pubblica per i paesi non endemici; tra cui Canada, Stati Uniti, Europa, Australia e Giappone, a causa della frequente migrazione di individui da aree endemiche5. L'infezione da tripanosoma appartiene al gruppo Stercoraria perché viene trasmessa dalle feci infette di insetti reduviidi. Le tripanosomiasi e le tripanosomosi (malattia di Surra) causate dall'infezione da T. evansi sono endemiche in Africa, Sud America, Asia occidentale e orientale e paesi dell'Asia meridionale e sud-orientale 3,6. Sebbene sia stata segnalata la tripanosomiasi umana causata dal tripanosoma 3,4,7,8,9,10,11,12, la via di trasmissione dell'infezione parassitaria è dibattuta: il sangue meccanico o infetto attraverso insetti ematofagi come mosche tse-tse e tabanidi o tafani 6,7, 8,9,10,12,13,14. Non è stato trovato alcun caso clinico in Thailandia, tuttavia, è stata pubblicata un'alta prevalenza dell'infezione da T. evansi nel cane15, nei cavalli da corsa e nei bufali d'acqua nella regione orientale16, suggerendo che si sarebbe verificata una trasmissione acquisita tra animali domestici. Sono state segnalate diverse infezioni umane atipiche causate da tripanosomi animali (T. vivax, T. b. brucei, T. congolense, T. lewisi e T. evansi), che non sono le forme classiche di tripanosomi umani17. La consapevolezza delle infezioni umane atipiche potrebbe essere sottovalutata, evidenziando la necessità di migliorare i test diagnostici e le indagini sul campo per rilevare e confermare questi casi atipici e consentire un controllo e un trattamento adeguati delle malattie patogene animali che colpiscono il bestiame globale, la sicurezza alimentare18 e l'assistenza sanitaria umana. Ciò ha portato allo sviluppo di una potenziale strategia integrata con un metodo comune esistente (esame microscopico) per lo screening rapido di campioni di sangue in aree remote durante la sorveglianza attiva, consentendo l'identificazione delle zone hotspot per limitare e controllare la malattia.

Avere un'incidenza sporadica della malattia di Surra in una vasta gamma di animali domestici come dromedari, bovini, equini e cani che evocano un T. evansi euryxenous può essere zoonotico per l'uomo 1,4,13,14. L'infezione umana sembra impossibile perché un fattore tripanolitico nel siero umano, espresso da un gene sra-like, è in grado di prevenire T. brucei e T. congolense12,19 umani. Inoltre, come dimostra il primo caso clinico dall'India, la malattia non ha alcuna associazione con i pazienti immunocompromessi affetti da HIV4. Come descritto in precedenza, la possibile infezione umana può essere correlata a un deficit di lipoproteine ad alta densità con funzione anomala del fattore litico tripanosoma, che è una rara malattia genetica autosomica recessiva, ovvero la malattia di Tangeri4. Nel 2016, è stato scoperto che un paziente vietnamita possedeva due alleli APOL1 wild-type e una concentrazione sierica di APOL1 all'interno dell'intervallo normale. Tuttavia, la teoria del deficit di APOL-1 non è più considerata valida12. Pertanto, un possibile meccanismo di infezione da tripanosoma è il contatto diretto di una ferita con sangue animale infetto durante l'allevamento professionaledi animali 4,12. L'esame microscopico rivela che la morfologia di T. evansi è una forma monomorfa del tripomastigote che include un tripanosoma predominante, lungo, sottile, flagellato e divisore, che è simile alla loro specie relativa di T. brucei 1,12,13. Il nucleo è in posizione centrale con un piccolo cinetoplasto visibile in posizione posteriore. Uno studio precedente ha indicato che il parassita può esistere in due forme comparabili, note come forme classiche e troncate. Resta tuttavia necessario confermare i rispettivi effetti patogeni sugli ospiti20. Il decorso dei sintomi varia e va dalla febbre intermittente associata a brividi e sudorazione. La suramina, fortunatamente, è una terapia di prima linea di successo per la tripanosomiasi africana umana in fase iniziale senza invasione del sistema nervoso centrale (SNC), guarendo pazienti in India e Vietnam 4,12,21.

Fatta eccezione per l'esame dei segni clinici, esistono diversi metodi diagnostici per i parassiti T. evansi, tra cui l'osservazione microscopica parassitologica 4,9,12, sierologica 4,8,9,10,12 e i test di biologia molecolare 4,12. Le pellicole di sangue sottile colorate con Giemsa sono spesso utilizzate per visualizzare il parassita presente all'esame microscopico, che è di uso abituale e comune22. Tuttavia, la procedura sembra essere fattibile; Ciononostante, richiede molto tempo e lavoro, ha una variabilità di valutazione tra valutatori, è sensibile solo a una fase acuta e richiede un tirocinante personale23. Sia la biologia molecolare che i test sierologici richiedevano anche personale altamente qualificato per eseguire molteplici processi di preparazione dei campioni, tra cui l'estrazione e la purificazione dei campioni prima di testarli con apparecchiature costose, difficili da standardizzare, rischio di contaminazione con materiali extraparassiti e discrepanze nei risultati24. Sulla base della logica sopra descritta, è necessaria una tecnologia di screening rapido e precoce per supportare lo studio di sorveglianza sul campo e garantire che il risultato dell'indagine sia riportato in modo tempestivo per identificare la zona hotspot per un ulteriore controllo della trasmissione della malattia 1,8. I dispositivi computerizzati (CAD) sono stati proposti come tecnologia innovativa per i campi medici, comprese le attività istopatologiche e citopatologiche25. Il CAD sopra menzionato è stato eseguito ad alta velocità e calcolato utilizzando il riconoscimento di modelli, vale a dire l'intelligenza artificiale (AI). Il metodo di intelligenza artificiale viene realizzato utilizzando algoritmi di rete neurale convoluzionale che possono essere utilizzati per gestire un gran numero di campioni di set di dati, in particolare un approccio di apprendimento supervisionato che addestra un modello ben addestrato al consumo di dati.

In generale, l'intelligenza artificiale è la capacità dei computer di risolvere compiti che richiedono un'intelligenza esperta, come l'etichettatura dei dati. L'apprendimento automatico (ML), un sottocampo dell'intelligenza artificiale, è rappresentato come un sistema informatico con due diversi processi composti dall'estrazione di caratteristiche e dal riconoscimento di modelli. Il deep learning (DL), o algoritmi avanzati di ML, si riferisce allo sviluppo di programmi e dispositivi computerizzati che confrontano prestazioni simili a quelle umane con livelli di accuratezza maggiori e uguali a quelli raggiunti dai professionisti umani26. Attualmente, il ruolo della DL in campo medico e veterinario sta ampliando e rivoluzionando in modo promettente la prevenzione delle malattie trasmissibili con l'obiettivo di prevenirla recentemente e guidarla al singolo personale sanitario22,27. La potenziale applicazione della DL è illimitata con etichette di qualità e un gran numero di set di dati aumentati, liberando gli specialisti per gestire l'attività del progetto. In particolare, un progresso nell'immagine digitale insieme all'analisi assistita da computer, ha migliorato la diagnostica automatica e lo screening in cinque categorie di patologie riportate; compresi i metodi statici, dinamici, robotici, di imaging a vetrino intero e ibridi28. È necessario considerare che l'integrazione degli approcci algoritmici DL e dei dati delle immagini digitali potrebbe incoraggiare il personale locale a utilizzare la tecnologia nelle loro pratiche quotidiane.

In precedenza, era stato dimostrato l'aumento dell'accuratezza della previsione derivante dall'utilizzo di un modello ibrido27. Per identificare il parassita tripanosoma in immagini microscopiche, questa ricerca presenta due modelli ibridi, che incorporano gli algoritmi YOLOv4-tiny (rilevamento di oggetti) e Densenet201 (classificazione di oggetti). Tra i diversi modelli di rilevamento, YOLOv4-tiny con una dorsale CSPDarknet53 ha mostrato prestazioni elevate come risultato predittivo in termini di localizzazione e classificazione29. Poiché il rilevatore in tempo reale ha modificato l'equilibrio ottimale tra la risoluzione della rete di input, la quantità del livello convoluzionale, il parametro totale e il numero di uscite di layer, è migliorato dando priorità alle velocità operative elevate e ottimizzando i calcoli paralleli rispetto alle versioni precedenti. Dense Convolutional Network (DenseNet) è un altro modello popolare che consente di ottenere risultati all'avanguardia in set di dati competitivi. DenseNet201 ha prodotto un errore di convalida simile a quello di ResNet101; tuttavia, DenseNet201 ha meno di 20 milioni di parametri, che è inferiore agli oltre 40 milioni di parametri30 di ResNet101. Pertanto, il modello DenseNet potrebbe migliorare l'accuratezza della previsione con un numero crescente di parametri senza alcun segno di overfitting. In questo caso, un programma di intelligenza artificiale (AI) utilizza un algoritmo ibrido di deep learning con backbone di rete neurale di rilevamento e classificazione approfonditi sulla piattaforma interna CiRA CORE. Il programma sviluppato è in grado di identificare e classificare le specie di tripanosomi protozoi, in particolare Trypanosoma cruzi, T. brucei e T. evansi, a partire da immagini microscopiche ad immersione in olio. Questa tecnologia ha il potenziale per rivoluzionare la sorveglianza e il controllo delle malattie fornendo un metodo di screening rapido, automatizzato e accurato. Potrebbe aiutare il personale locale a prendere decisioni più informate sulle strategie di blocco della trasmissione per la malattia parassitaria dei protozoi.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

I film di sangue archiviati e la progettazione del progetto sono stati approvati dal Comitato Istituzionale per la Biosicurezza, dal Comitato Istituzionale per la Cura e l'Uso degli Animali della Facoltà di Scienze Veterinarie dell'Università Chulalongkorn (IBC n. 2031033 e IACUC n. 1931027) e dal Comitato Etico per la Ricerca Umana dell'Istituto di Tecnologia King Mongkut Ladkrabang (EC-KMITL_66_014).

1. Preparazione delle immagini raw

  1. La preparazione del set di dati dell'immagine
    1. Ottenere almeno 13 vetrini positivi con infezioni da parassiti del sangue, tra cui T. brucei, T. cruzi e T. evansi, confermati da esperti parassitologi. Separare le 13 diapositive per l'allenamento (10 diapositive) e il test (tre diapositive).
    2. Acquisire immagini delle pellicole di sangue colorate di Giemsa sopra descritte in un campo di immersione in olio di un microscopio ottico con una fotocamera digitale. Ottenere immagini contenenti più oggetti dei tripomastigoti di tutte e tre le specie di parassiti sotto esame microscopico; Cerca una forma snella, code lunghe, una membrana ondulata e un cinetoplasto all'estremità anteriore.
      NOTA: La creazione di strisci sia spessi che sottili migliorerebbe il rilevamento della tripanosomiasi in fase acuta31. Il prelievo di sangue mediante puntura del dito è raccomandato dall'OMS32. Ciononostante, i film sottili sono più efficaci nell'identificare Trypanosoma cruzi e altre specie, poiché questi organismi tendono a distorcersi nei film spessi33. Alla luce di ciò, abbiamo utilizzato immagini di film di sangue sottile per mantenere la morfologia appropriata dei parassiti per questo studio.
    3. Memorizza tutte le immagini in una cartella specifica per il parassita con le seguenti specifiche: 1.600 x 1.200 pixel, profondità a 24 bit e formato di file JPG. Suddividere le immagini nei set di training e test con un rapporto ~6:1.
      NOTA: Vedere https://gitlab.com/parasite3/superior-auto-identification-of-medically-important-trypanosome-parasites-by-using-a-hybrid-deep-learning-model/-/blob/main/JOVEimage.zip; 650 immagini sono state suddivise per addestrare (560 immagini) e testare (90 immagini) il modello.
    4. Definire la regione di interesse come un'etichetta rettangolare per due classi: tripanosomi e non tripanosomi. Utilizzare il modulo di ritaglio automatico per ritagliare tutte le immagini rilevate utilizzando il modello di rilevamento degli oggetti ben addestrato. Il modulo di auto-cropping è il modulo sviluppato nel programma interno CiRA CORE (vedi Tabella dei Materiali). Raccogliere un singolo oggetto per immagine per eseguire il training della classificazione degli oggetti.
      NOTA: Per questo documento, 1.017 immagini sono state suddivise per l'addestramento (892 immagini) e il test (126 immagini). L'addestramento del modello è stato eseguito con quattro classi etichettate, tra cui leucociti, T. brucei, T. cruzi e T. evansi.

2. Processo di formazione con piattaforma interna CiRA CORE

  1. Avvio di un nuovo progetto
    1. Aprire l'applicazione CiRA CORE dal desktop del computer (vedere Tabella dei materiali) e creare un nuovo progetto facendo doppio clic sull'icona del programma.
    2. Scegliere l'icona dell'operazione sulla barra degli strumenti verticale a sinistra per selezionare gli strumenti richiesti.
  2. Training del modello di rilevamento degli oggetti
    1. Selezionare la funzione del modello training-DL per l'etichettatura e il training dei dati usando il metodo di trascinamento della selezione . Vai alla barra degli strumenti Generale | CiRA AI | Trascina DeepTrain | Rilascia DeepTrain sullo schermo (lato destro).
      NOTA: Per ulteriori opzioni, fare clic con il pulsante destro del mouse sullo strumento selezionato ed eseguire le funzioni appropriate: Copia, Taglia o Elimina.
    2. Importa le immagini utilizzando le impostazioni dello strumento DeepTrain. Fare clic sul pulsante Carica immagini e passare alla directory delle immagini. Etichettare gli oggetti tenendo premuto il tasto sinistro del mouse e assegnando un nome all'oggetto selezionato. Regolare lo spessore della linea rettangolare e la dimensione del carattere facendo clic sul pulsante Impostazioni schermo e salvare GT come file .gt nella stessa directory.
      NOTA: Salvare se necessario per evitare condizioni indesiderate come interruzione di corrente, chiusure automatiche del programma e sospensione durante il processo di etichettatura.
    3. Prima di eseguire l'addestramento del modello, espandere i dati per raccogliere informazioni sufficienti utilizzando le quattro tecniche di aumento: Rotazione, Contrasto, Disturbo e Sfocatura. Fare clic sul pulsante Gen Setting (Impostazioni generazione ) per accedere a questa funzione.
    4. Avviare l'addestramento del modello facendo clic sul pulsante Addestramento nello strumento DeepTrain . La parte di training ha due funzioni secondarie: Genera file di training e Training. Nella funzione Genera file di training , selezionare i modelli, le dimensioni del batch e le suddivisioni desiderati. Fare clic sul pulsante Genera per generare i dati e salvarli nella directory. Nella funzione Allena , scegliere le seguenti opzioni: i) utilizzare un'altra posizione di allenamento generata per le condizioni e il backup, ii) utilizzare pesi predefiniti per l'allenamento continuo o iii) sovrascrivere i parametri per la progettazione dell'allenamento corrente. In questo modo verranno progettate la configurazione del modello e le condizioni di addestramento.
      NOTA: il tempo del processo di generazione dipende dalle dimensioni del file immagine, dall'utilizzo dell'aumento e dallo spazio di memoria disponibile.
    5. Una volta completate tutte le configurazioni necessarie, iniziare il training del modello facendo clic sul pulsante Addestra . Consenti al programma di essere eseguito continuamente, valutando la perdita di training e regolando il peso del set di dati durante il processo di training. Se il modello raggiunge una perdita ottimale, salvare il file del peso addestrato nella directory specificata facendo clic sul pulsante Esporta .

3. Valutazione del modello di rilevamento degli oggetti

  1. Selezionare la funzione di valutazione del modello di rilevamento degli oggetti per la valutazione del modello utilizzando il metodo di trascinamento della selezione. Vai alla barra degli strumenti Plugin | Valutare | Trascina EvalDetect | Rilascia EvalDetect sullo schermo (lato destro).
  2. Fare clic su Impostazioni e attendere tre funzioni: Rilevamento, Valutazione e Traccia. Avviare la valutazione del modello importando il file del peso addestrato dalla directory (passaggio 2.2.5) facendo clic su Load Config (Configura carica).
  3. Nella funzione Rilevamento , selezionare il valore di soppressione non massima (NMS) per migliorare la precisione eliminando i rilevamenti di falsi positivi (FP) ridondanti. NMS rimuove i rilevamenti duplicati generati dal modello per una maggiore affidabilità.
  4. Procedere con i seguenti passaggi nella funzione Valutazione :
    1. Importare le immagini di prova dalla directory del file immagine facendo clic su Sfoglia. Importare il file GT dalla directory in cui è stato salvato al punto 2.2.2 facendo clic su Carica GT.
    2. Scegliere il valore Intersection over Union (IoU) per valutare l'accuratezza nel set di dati di test dell'immagine specifico.
    3. Fare clic sul pulsante Valutazione per valutare il modello di rilevamento nella directory specificata. Una volta completata la valutazione, i risultati verranno automaticamente salvati come file CSV nella stessa directory, ordinati per nome della classe. Questo file CSV fornirà parametri essenziali come True Positive (TP), False Positive (FP), False Negative (FN), Recall e Precision per ogni classe.
  5. Per tracciare la curva Precision-Recall (PR), attenersi alla seguente procedura nella funzione Plot : Importare i file CSV dalla directory della sezione precedente (passaggio 3.4) facendo clic su Sfoglia. Scegliete le classi dall'elenco e fate clic sul pulsante Stampa (Plot) per visualizzare l'immagine della curva PR modificabile.
  6. Infine, per salvare un'immagine con i valori AUC della curva PR nel formato immagine richiesto nella directory specificata, fare clic sul pulsante Salva dell'immagine.

4. Ritaglio dell'immagine per un singolo oggetto per immagine

  1. Prima di ritagliare le immagini, attenersi alla seguente procedura:
    1. Importare le immagini dalla directory dei file immagine accedendo alle impostazioni dello strumento Scorrimento immagine.
    2. Importare il file del peso addestrato (salvato nel passaggio 2.2.8) accedendo alle impostazioni dello strumento Deep Detect. Fare clic sul pulsante Config | +, selezionare il backend (CUDA o CPU), specificare un nome, fare clic su OK, scegliere la directory del file del peso e fare clic su Scegli. All'interno dello strumento Deep Detect, selezionare i parametri di rilevamento (soglia e soppressione non massima (nms)); parametri di disegno; parametri di tracciamento; e la regione di interesse (ROI).
    3. Selezionare la directory in cui verranno salvate le immagini ritagliate accedendo alle impostazioni dello strumento Ritaglio profondo. Fare clic su Sfoglia | scegliere la directory in cui salvare le immagini ritagliate | fare clic su Scegli | selezionare il formato dell'immagine (jpg o png) | abilita l'opzione Salvataggio automatico.
  2. Ritaglia le immagini per ottenere un singolo oggetto per immagine per la classificazione e la segmentazione delle immagini. Per eseguire questo processo, utilizzare quattro strumenti e stabilire connessioni tra di essi: vai alla barra degli strumenti Generale | Generale | Pulsante Esegui. Quindi, vai alla barra degli strumenti Generale | CiRA AI | Rilevamento approfondito; quindi, vai alla barra degli strumenti Generale | CiRA AI | DeepCrop. Infine, vai alla barra degli strumenti Immagine | Acquisizione | ImageSlide.
  3. Una volta che tutte le impostazioni necessarie sono a posto, avvia il processo di ritaglio dell'immagine facendo clic sullo strumento Esegui pulsante .
  4. Ottenere un nuovo set di dati di training delle immagini costituito da immagini a oggetto singolo con dimensioni di 608 x 608.

5. Classificazione delle immagini come addestramento del modello

  1. Usare il trascinamento della selezione per selezionare la funzione di training del modello di classificazione delle immagini per il training dei dati. Vai alla barra degli strumenti Immagine | DeepClassif | Trascina ClassifTrain | Rilascia ClassifTrain sullo schermo.
  2. Importare immagini per il training del modello usando le impostazioni dello strumento ClassifTrain . Fare clic sul pulsante Apri cartella e passare alla directory dell'immagine desiderata. Prima di eseguire l'addestramento, espandi i dati facendo clic sul pulsante Potenziamento per ulteriori informazioni utilizzando tecniche come Rotazione, Contrasto, Capovolgimento (orizzontale e/o verticale), Disturbo e Sfocatura.
  3. Per iniziare l'addestramento del modello, fare clic sul pulsante GenTrain dello strumento ClassifTrain . Nella funzione GenTrain , selezionare i modelli, le dimensioni del batch e le suddivisioni. Assegnare una directory per salvare il file generato. Fare clic sul pulsante Genera per procedere con i dati per il training. Nella funzione Allena , seleziona le opzioni appropriate: Continua l'allenamento con il peso predefinito o il peso personalizzato.
    NOTA: il processo di generazione può richiedere tempo a seconda di fattori quali le dimensioni del file di immagine, l'utilizzo dell'aumento, il bilanciamento delle classi e lo spazio di memoria disponibile.
  4. Una volta completate tutte le preparazioni, avviare il training del modello facendo clic sul pulsante Avvia . Consenti al programma di essere eseguito continuamente, valutando la perdita di addestramento e regolando il peso del set di dati durante il processo di addestramento. Se il modello raggiunge il livello di perdita desiderato, salvare il file del peso addestrato nella directory specificata facendo clic sul pulsante Esporta .

6. Valutazione del modello di classificazione

  1. Selezionare la funzione di valutazione del modello di classificazione delle immagini per la valutazione del modello utilizzando il metodo di trascinamento della selezione . Vai alla barra degli strumenti Plugin | Valutare | Trascina EvaluateClassif | Rilasciare EvaluateClassif sullo schermo (sul lato destro).
  2. Fare clic su Impostazione per accedere a funzioni aggiuntive all'interno dello strumento EvaluateClassif , ovvero Evaluate e PlotROC.
  3. Per avviare la valutazione del modello, fare clic sul pulsante Valuta nello strumento EvaluateClassif . Segui questi passaggi nella funzione Valuta .
    1. Importare le immagini di prova dalla directory del file immagine facendo clic sull'immagine della cartella Carica. Importare il file del peso addestrato dalla directory (salvato al punto 5.4) facendo clic su Load Config (Carica configurazione). Fare clic sul pulsante Avvia per valutare il modello di classificazione.
    2. Una volta completata la valutazione, salvare il file valutato come CSV nella directory specificata facendo clic sul pulsante Esporta in CSV . Per la valutazione dei dati ad ogni soglia, salvare il file CSV con i nomi delle classi nella directory specificata facendo clic su Avvia tutte le soglie. Il file CSV salvato include parametri quali Recall (True Positive Rate), False Positive Rate e Precision per ogni classe.
  4. Per tracciare la curva ROC (Receiver Operating Characteristics), fare clic sul pulsante PlotROC all'interno dello strumento EvaluateClassif . Segui questi passaggi sotto la funzione PlotROC .
    1. Importa i file CSV dalla directory ottenuta in precedenza facendo clic su Sfoglia. Esaminate l'elenco delle classi importate e selezionate ciascuna etichetta di classe per tracciare la curva ROC.
    2. Fare clic sul pulsante Grafico per visualizzare la curva ROC come immagine. Apporta le modifiche desiderate per regolare le proprietà dell'immagine, tra cui la dimensione del carattere, i colori del carattere, l'arrotondamento del decimale, gli stili di linea e i colori della linea.
  5. Infine, salvare un'immagine della curva ROC con i valori AUC nel formato immagine richiesto nella directory specificata facendo clic sul pulsante Salva .

7. Testare il processo con l'applicazione CiRA CORE

  1. Rilevamento di oggetti come test del modello
    1. Per eseguire il test del modello, utilizzare quattro strumenti e stabilire connessioni tra di essi. Vai alla barra degli strumenti Generale | Generale | Pulsante Esegui. Quindi, barra degli strumenti Generale | Generale | Eseguire il debug. Successivamente, fai clic su Barra degli strumenti Generale | CiRA AI | DeepDetect, e infine la barra degli strumenti Immagine | Acquisizione | ImageSlide.
    2. Prima di testare le immagini, attenersi alla seguente procedura:
      1. Importare le immagini di prova dalla directory del file immagine facendo clic sull'opzione Impostazione nello strumento Scorrimento immagine .
      2. Importare il file di peso addestrato salvato dal passaggio 2.2.8 facendo clic sull'opzione Impostazione nello strumento DeepDetect . Fare clic sul pulsante Config , quindi sul pulsante +, selezionare il backend (CUDA o CPU), specificare un nome, fare clic su OK, scegliere la directory del file del peso e fare clic su Scegli. Nello strumento Rilevamento approfondito , selezionare i parametri di rilevamento (Soglia e nms), i parametri di disegno, i parametri di tracciamento e i parametri ROI.
      3. Visualizzare i risultati dell'immagine di test facendo clic sulla funzione immagine nello strumento di debug .
    3. Infine, controlla i risultati previsti per ogni immagine facendo clic sul pulsante Esegui nello strumento Esegui pulsante.
  2. Classificazione delle immagini come test del modello
    1. Per eseguire il test del modello, utilizzare quattro strumenti e stabilire connessioni tra di essi. Vai alla barra degli strumenti Generale | Generale | Esecuzione del pulsante; quindi, barra degli strumenti Generale | Eseguire il debug. Successivamente, vai alla barra degli strumenti Immagine | Acquisizione | ImageSlide e, infine, barra degli strumenti Immagine | DeepClassif | DeepClassif.
    2. Prima di testare le immagini, attenersi alla seguente procedura:
      1. Importare le immagini di prova dalla directory del file immagine facendo clic sull'opzione Impostazione nello strumento Scorrimento immagine .
      2. Importare il file di peso allenato salvato dalla sezione 5.5 facendo clic sull'opzione Impostazione nello strumento DeepClassif . Fare clic sul pulsante Config | + pulsante | selezionare il backend (CUDA o CPU) | Fornisci un nome | fare clic su OK | Scegliere la directory dei file di peso | fare clic su Scegli. Nello strumento DeepClassif , selezionare i parametri di classificazione (Soglia e numero di previsioni di prim'ordine), i parametri della mappa guida (soglia, alfa, beta e mappa a colori) e vari parametri nella mappa dei colori.
      3. Visualizzare i risultati dell'immagine di test facendo clic sulla funzione immagine nello strumento di debug .
    3. Infine, controlla i risultati previsti per ogni immagine facendo clic sul pulsante Esegui nello strumento Esegui pulsante.

8. Ibrido (rilevamento e classificazione) come test del modello

  1. Per eseguire questo test del modello, utilizzare quattro strumenti e stabilire connessioni tra di essi. Vai alla barra degli strumenti Generale | Generale | ButtonRun. Quindi, barra degli strumenti Generale | Generale | Eseguire il debug. Successivamente, barra degli strumenti Immagine | Acquisizione | ImageSlide e, infine, barra degli strumenti Immagine | Composito profondo | DeepD->C.
  2. Prima di testare le immagini, attenersi alla seguente procedura: Importare le immagini di prova dalla directory dei file immagine facendo clic sull'opzione Impostazioni nello strumento Diapositiva immagine . Importare i due file di peso allenato salvati dalla sezione 2.1.5 e dalla sezione 4.4 facendo clic sull'opzione Impostazioni nello strumento DeepD->C :
    1. Per la funzione Detect, fare clic sul pulsante Config |+, selezionare il backend (CUDA o CPU) | Fornisci un nome | fare clic su OK | scegliere la directory del file del peso | fare clic su Scegli. Nella funzione Rileva, selezionare i parametri di rilevamento (Soglia e nms), i parametri di disegno, i parametri di tracciamento e i parametri ROI.
    2. Per la funzione Classif, fare clic sul pulsante Config |+, selezionare il backend (CUDA o CPU) | Fornisci un nome | fare clic su OK | scegliere la directory del file del peso | fare clic su Scegli. Nella funzione Classif selezionare i parametri di classificazione (Soglia e numero di stime di prim'ordine) e i parametri della mappa guida (soglia, alfa, beta e mappa a colori).
  3. Visualizzare i risultati dell'immagine di test facendo clic sulla funzione immagine nello strumento di debug . Infine, controlla i risultati previsti per ogni immagine facendo clic sul pulsante Esegui nello strumento Esegui pulsante.

9. Convalida incrociata quintuplicata

NOTA: per convalidare le prestazioni del modello proposto in modo più efficace, viene utilizzata la convalida incrociata K-fold.

  1. Dividere il set di dati in cinque sezioni, corrispondenti alle cinque pieghe della convalida incrociata. Durante ogni iterazione del training e del test del modello, usare una sezione come set di convalida per il test e le restanti quattro sezioni per il training. Ripetere questo processo cinque volte, con ogni riduzione utilizzata come set di convalida una volta.
  2. Per le pieghe da 1 a 5:
    1. Ripetere la sezione 5 per eseguire il training del modello usando i dati di training delle quattro riduzioni.
    2. Ripetere la sezione 7.2 per testare il modello utilizzando la piega rimanente come set di test.

10. Valutazione del modello

  1. Matrice di confusione
    1. Sulla base dei risultati del test, le quattro condizioni si verificheranno come segue:
      1. True Positive (TP): quando l'immagine di input è vera e anche la previsione è vera.
      2. Falso positivo (FP): quando l'immagine di input è falsa, ma la stima è vera.
      3. Falso negativo (FN): quando l'immagine di input è vera, ma la previsione è falsa.
      4. True Negative (TN): quando l'immagine di input è falsa e anche la previsione è falsa.
    2. Utilizzando queste quattro condizioni, valutare le prestazioni con la matrice di confusione.
  2. Valutazioni delle prestazioni
    1. Le metriche delle prestazioni di classificazione più comunemente utilizzate sono accuratezza, precisione, richiamo, specificità e valori del punteggio F1. Calcolare tutte le metriche di valutazione nelle equazioni (1-6) utilizzate per valutare le prestazioni del modello dai valori della matrice di confusione.
      Equation 1(1)
      Equation 2(2)
      Equation 3(3)
      Equation 4(4)
      Equation 5(5)
      Equation 6(6)
  3. Curva ROC
    NOTA: la curva ROC è una misura delle prestazioni per i problemi di classificazione con diverse impostazioni di soglia. L'area sotto la curva ROC (AUC) rappresenta il grado o la misura della separabilità, mentre la ROC è una curva di probabilità.
    1. La curva ROC è un grafico bidimensionale con i valori del tasso di veri positivi (TPR) e del tasso di falsi positivi (FPR) tracciati rispettivamente sugli assi Y e X. Costruire le curve ROC utilizzando i valori TPR e TFR ottenuti dalla matrice di confusione. Il valore TPR è uguale alla sensibilità; calcolare il valore FPR utilizzando l'equazione (7).
      Equation 7(7)
    2. Dopo aver ottenuto i valori TPR e FPR, tracciare la curva ROC usando lo strumento Web open source Jupyter Notebook in un ambiente Python. L'AUC è un modo efficace per valutare le prestazioni del modello proposto nell'analisi della curva ROC.
  4. Curva PR
    1. Utilizzare la curva PR per valutare i modelli misurando l'area sotto la curva PR. Costruire la curva PR tracciando la precisione e il richiamo dei modelli utilizzando le funzioni di soglia di confidenza del modello. Poiché la curva PR è anch'essa un grafico bidimensionale, tracciare Recall sull'asse x e Precisione sull'asse y.
    2. Tracciare la curva PR, ad esempio la curva ROC, usando lo strumento Web open source Jupyter Notebook in un ambiente Python. L'area sotto il punteggio della curva di richiamo di precisione (AUC) è utile anche nella classificazione multietichetta.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

In questo studio, sono stati proposti algoritmi ibridi di deep learning per aiutare a prevedere automaticamente la positività di un campione di sangue con un'infezione da parassita tripanosoma. I film di sangue colorati con Giemsa sono stati ordinati per localizzare e classificare i parassiti rispetto ai non parassiti utilizzando l'algoritmo di rilevamento degli oggetti basato su una rete neurale backbone darknet. All'interno di qualsiasi risultato di previsione a scatola rettangolare ottenuto dal modello precedente, è stato sviluppato il modello di classificazione meglio selezionato per classificare tutte e tre le specie di tripanosomi importanti dal punto di vista medico e veterinario, tra cui T. brucei, T. cruzi e T. evansi. L'output finale dei modelli ibridi utilizzati ha rivelato la robustezza dei modelli proposti rispetto alla variazione di immagini microscopiche 100x che potrebbero influenzare il risultato della previsione, compresa la morfologia dello stadio ematico del parassita. Inoltre, i fattori ambientali possono disturbare la qualità dell'immagine del cambiamento di colore della colorazione memorizzando il tempo, l'intensità delle sorgenti luminose del microscopio e le capacità di preparazione del film di sangue. Tuttavia, il modello meglio selezionato può raggiungere l'obiettivo con prestazioni elevate.

Localizzazione e classificazione di etichette multiclasse
Poiché il rilevamento di protozoi parassiti da Giemsa che colora il film sanguigno al microscopio a immersione in olio è noioso e allunga i tempi di risposta, ciò porta a una propensione all'errore. Gli approcci di intelligenza artificiale ben addestrati richiedono un ampio pool di dati di immagine con ridimensionamento di 416 x 416 pixel e caratteristiche variabili dei canali di colore 3-RGB per aumentare la corretta previsione della localizzazione e della classificazione. Il numero di parametri durante il training e l'ottimizzazione dei modelli è impostato con una velocità di apprendimento di 0,002, un burn-in di 1.000 e passi compresi tra 400.000 e 450.000. La bassa perdita di allenamento ma l'elevata precisione di allenamento sono stati considerati il livello ottimale o la saturazione sotto quantità di moto di 0,9, tonalità di 0,1 e decadimento di 0,0005. Nella fase di test con dati inediti, sono state eseguite la localizzazione e la classificazione corrette utilizzando i concetti di intersezione su unione (IOU) e percentuale della probabilità. Il risultato dell'interpretazione del test è stato eseguito a una soglia del 50% e a una soppressione non massima (NMS) di 0,4, che ha fornito la risposta corretta con una probabilità del %.

Come per tutti i film di sangue parassitati studiati, la discriminazione del tripanosoma rispetto al non tripanosoma è stata eseguita utilizzando un modello di rete neurale di rilevamento che può funzionare sia per la localizzazione che per la classificazione (Figura 1)22. Il risultato della previsione dell'attività di rilevamento proposta ha rivelato un risultato eccezionale con una precisione media del 93,10% (Tabella 1). Sebbene il modello di rilevamento addestrato possa essere utilizzato per identificare la classe non tripanosomica più di quello utilizzato per identificare il parassita tripanosoma, ci offre una precisione superiore al 91% per entrambe le etichette di classe. Inoltre, la curva di precisione rispetto al richiamo ha mostrato un valore di AUC altamente medio di 0,969, che ha fornito i valori di AUC per il parassita e il non parassita rispettivamente a 0,976 e 0,961 (Figura 2). Questo ci ha portato ad assicurarci che il modello addestrato potesse essere affidabile. La scatola rettangolare del primo risultato di rilevamento è stata ritagliata utilizzando il modulo di acquisizione delle immagini nell'ambito del programma interno CiRA CORE. Le immagini ritagliate sopra menzionate sono state ordinate in tre cartelle specifiche per le specie di tripanosoma. Questo processo è stato preparato per l'input dei dati per il modello di classificazione del training illustrato nella sottosezione successiva.

Classificazione per modello di classificazione
Per trovare un modello adeguatamente addestrato per classificare le specie ben note del parassita, T. brucei, T. cruzi e T. evansi sono stati conservati in cartelle a cui sono stati assegnati i nomi delle classi relative. Durante l'addestramento dell'intelligenza artificiale, le immagini ridimensionate di 256 x 256 pixel sono state inserite in tre canali RGB, con una velocità di apprendimento di 0,1, un burn-in di 1000, una quantità di moto di 0,9, una tonalità di 0,1 e un decadimento di 0,0005. La perdita di training e l'accuratezza dell'addestramento sono state utilizzate per trovare il modello di training ottimale. La previsione della classificazione è stata analizzata utilizzando i concetti di determinazione pixel-wise e probabilità % a una soglia del 50%.

Il confronto di tre popolari algoritmi di classificazione delle reti neurali è stato studiato per trovare il migliore27,30. Queste tre reti neurali sono state ampiamente utilizzate nella classificazione di etichette multiclasse in campo medico e veterinario 27,34,35. Il risultato dell'inferenza del modello sottoposto a training con una probabilità % classificata da 0 a 1 è stato giustificato al di sopra della soglia del 50%. Inoltre, sono stati evidenziati diversi riconoscimenti di pattern di ciascun parassita e specifici per il nucleo della porzione centrale di T. evansi dalla mappa dell'attenzione. È stato anche evidenziato il più grande organello di cinetoplasto della porzione anteriore di T. cruzi rispetto alle altre due specie. Sia la nucleasi che il cinetoplasto sono stati enfatizzati dalla mappa dell'attenzione trovata per T. brucei (Figura 3).

Sono state utilizzate diverse metriche statistiche per misurare i tre modelli proposti, tra cui l'accuratezza, il tasso di errata classificazione, il richiamo (tasso di veri positivi), la specificità (tasso di veri negativi), il tasso di falsi positivi, il tasso di falsi negativi, la precisione e il punteggio F1. Di conseguenza, quasi tutte le metriche di valutazione che utilizzano la rete neurale Densenet201 hanno mostrato valori superiori alle altre. In media, i valori metrici di accuratezza, richiamo, specificità, precisione e punteggio F1 erano notevolmente maggiori e pari al 98%. Tuttavia, l'importanza delle prestazioni del modello ha rivelato un valore inferiore o uguale all'1,5% dei tassi di errata classificazione, falsi positivi e falsi negativi (Tabella 2). Considerando il confronto per classe, il modello Densenet201 sembra identificare correttamente T. evansi senza errori, mentre lo fa con dati di test inediti, suggerendo che il potenziale modello addestrato è per distinguere le specie di parassiti.

Nella Figura 4A-C, l'AUC sotto la curva ROC ha fornito il massimo grado di accuratezza media a 0,931 ottenuto dal miglior modello di classificazione (Figura 4C), che era rappresentativo della conferma del miglior modello selezionato studiato. L'AUC di T. evansi è stata di 0,817, che è inferiore rispetto ad altre (0,980-1,00 per T. brucei e 0,955-0,977 per T. cruzi) e in contrasto con le metriche statistiche di cui sopra. Ciò può essere dovuto al fatto che questi due valori vengono calcolati con formule diverse. L'AUC è stata ottenuta da tutte le soglie, ma le metriche statistiche solo da una soglia del 50%, suggerendo che questi due valori non possono essere confrontati. Quindi, valori di AUC coerenti per nomi di classe ottenuti da tutti e tre i modelli indicano l'accuratezza generale di T. brucei > T. cruzi > T. evansi, rispettivamente.

Convalida incrociata k-fold
Per valutare la robustezza del modello di classificazione meglio selezionato studiato in termini di stima del vero errore di previsione e di ottimizzazione dei parametri del modello come descritto sopra36, è stata utilizzata la tecnica di convalida incrociata quintupla. È stata eseguita una suddivisione casuale dei dati in cinque cartelle. I dati sottoposti a training assegnati da quattro cartelle e i dati testati per la cartella rest sono stati preparati prima del training con l'algoritmo di classificazione selezionato.

Di conseguenza, le metriche statistiche medie; l'accuratezza, il richiamo (tasso di veri positivi), la specificità (tasso di vero negativo), la precisione e il punteggio F1 hanno fornito valori simili delle metriche statistiche studiate che hanno mostrato un valore superiore al 98% (Tabella 3). Considerando ogni metrica studiata, è stata trovata una classificazione di 0,992-1,000 in termini di accuratezza. Sono stati forniti valori di alta specificità compresi tra 0,994 e 1,000. Sono stati mostrati sia i punteggi di richiamo che quelli di F1 compresi tra 0,988 e 1,000, allo stesso modo, sono stati studiati con precisione 0,989-1,000. È interessante notare che bassi tassi di errata classificazione, falsi negativi e falsi positivi sono stati riscontrati a meno dell'1,2%. Queste prestazioni di qualità hanno supportato l'eccezionale modello addestrato con varie riduzioni dei dati e hanno rappresentato la robustezza.

A corredo delle metriche proposte, l'AUC media sotto la curva ROC ottenuta ha rivelato valori chiusi compresi tra 0,937 e 0,944, fornendo valori simili di accuratezza generale tra le cinque pieghe dei dati (Figura 5). Il confronto per classe ha fornito un'AUC variata di 0,831 per T. evansi, 0,982-1,000 per T. cruzi e 1,000 per T. brucei. Sebbene il valore di AUC di T. evansi fosse inferiore rispetto agli altri, i valori possono essere esposti all'elevato grado di tasso di falsi positivi (~33%) appartenenti alle soglie dall'1% al 97% che si traduce in valori di AUC più bassi rispetto a quelli delle altre due classi (Figura 6).

Il deep learning ibrido: uno screening pratico
In questa sezione, il contributo dell'approccio ibrido di deep learning tra il rilevamento degli oggetti e, d'altra parte, la tecnica di classificazione è mostrato nella Figura 7. Le caratteristiche parassite e non parassite sono state distinte e le loro classi relative identificate all'interno del riquadro di delimitazione rosa utilizzando il primo modello di rilevamento. Successivamente, le specie specifiche del parassita sono state diagnosticate in diversi colori utilizzando il modello di classificazione ben addestrato. L'etichetta verde era per T. evansi, l'etichetta rosa per T. brucei e l'etichetta arancione per T. cruzi. La seconda etichetta di classificazione non verrebbe mostrata se il primo modello di rilevamento fallisse, suggerendo le funzioni ben connesse tra queste due diverse dorsali di rete neurale nel modulo D-C della piattaforma interna CIRA CORE.

Figure 1
Figura 1: Architettura per un modello ibrido. Tutte e tre le specie di parassiti tripanosomi (tra cui Trypanosoma evansi, T. brucei e T. cruzi) sono state utilizzate come input. Sono stati rilevati più oggetti all'interno di un'immagine microscopica 100x utilizzando il modello di rilevamento. Un singolo oggetto ritagliato dal modello precedente è stato quindi classificato in base alla sua specie relativa utilizzando il modello di classificazione migliore. Una mappa dell'attenzione integrata con il miglior modello di classificazione evidenzia le aree specifiche per ogni etichetta di classe. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 2
Figura 2: Curva PR. L'area sotto la curva PR, o valore AUC, in questo studio, viene utilizzata per misurare la capacità di discriminare tra classi di non tripanosomi e tripanosomi. Tutti i campioni possono essere rilevati su entrambe le etichette di classe. Un'AUC di 1 è una previsione perfetta, mentre un'AUC di 0,5 è una previsione casuale. La curva viene utilizzata per misurare le prestazioni del modello di rilevamento proposto. Questo modello è in grado di rilevare la classe dei tripanosomi a una velocità maggiore (AUC = 0,976) rispetto alla classe dei non tripanosomi (AUC = 0,961). Il valore medio di AUC di 0,969 è stato ottenuto dal risultato binario di due etichette di classe, il non-tripanosoma e il tripanosoma. Abbreviazioni: PR = precisione contro richiamo; AUC = area sotto la curva. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 3
Figura 3: Risultato predittivo del modello di classificazione. Tutte e tre le specie di tripanosomi sono state utilizzate per testare i migliori modelli addestrati proposti. Vengono mostrate le immagini di output delle mappe di probabilità e attenzione basate sulla classificazione delle specie. In particolare, le mappe di attenzione hanno evidenziato le aree significative all'interno dell'oggetto invisibile che stavano guidando la discriminazione delle specie parassitarie. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 4
Figura 4: Curve ROC basate sul confronto per modello. L'AUC sotto la curva ROC è un grafico delle prestazioni di un sistema di classificazione basato sulla sua diversa soglia di discriminazione. Simile alla curva AUC-PR, l'AUC-ROC di 1 è una previsione perfetta, mentre l'AUC di 0,5 è una previsione casuale, indicata da linee tratteggiate in ogni grafico. Sono stati confrontati tre modelli di classificazione, tra cui (A) il modello di classificazione 1con un'AUC media di 0,925, (B) la 2° classificazione con un'AUC media di 0,924 e (C) la migliore classificazione con un'AUC media di 0,931. Pertanto, maggiore è l'AUC, migliori sono le prestazioni. Abbreviazioni: ROC = caratteristiche di funzionamento del ricevitore; AUC = area sotto la curva. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 5
Figura 5: Convalida incrociata quintuplice. Sono stati confrontati tutti gli esperimenti basati sui migliori modelli di rete neurale di classificazione. Valori di AUC simili di dati quintuplicati includevano (A) 0,944, (B) 0,944, (C) 0,937, (D) 0,941 e (E) 0,938, che suggeriscono la robustezza del modello addestrato proposto utilizzato rispetto alla variazione dei dati biologici. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 6
Figura 6: tasso di veri positivi e tasso di falsi positivi per nome di classe. L'asse X è rappresentativo delle soglie dall'1% al 97%. L'asse Y è rappresentativo dei gradi delle metriche statistiche. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 7
Figura 7: Produzione finale dei modelli ibridi. La fase finale del contributo del modello ibrido può essere applicata con i dati di input come immagine microscopica grezza di 20 μm. Il risultato predittivo può essere ottenuto sia dal rilevamento degli oggetti che dai modelli di classificazione. Il primo risultato predittivo ha fornito se l'immagine di test invisibile conteneva parassiti tripanosomi con un rettangolo (etichette di colore rosa). Successivamente i risultati di classificazione specifici per le specie parassitarie saranno seguiti dalla prima rilevazione con etichette multicolore; verde per T. evansi, rosa per T. brucei e arancione per T. cruzi. Fare clic qui per visualizzare una versione più grande di questa figura.

Tabella 1: Precisione media per classe e precisione media (mAP) del modello di rilevamento. Clicca qui per scaricare questa tabella.

Tabella 2: Confronto tra modelli di classificazione. Per misurare le prestazioni del modello sono state utilizzate otto metriche di valutazione, tra cui l'accuratezza, il tasso di errata classificazione, il richiamo (tasso di veri positivi), la specificità (tasso di veri negativi), il tasso di falsi positivi, il tasso di falsi negativi, la precisione e il punteggio F1. Il valore in grassetto è rappresentativo del valore massimo per etichetta di classe. Il valore corsivo è rappresentativo del valore medio di ogni metrica di valutazione. Clicca qui per scaricare questa tabella.

Tabella 3: Convalida incrociata quintuplice. Il valore in grassetto è rappresentativo del valore medio per metrica di valutazione. Clicca qui per scaricare questa tabella.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

L'osservazione microscopica per l'infezione da protozoi da Trypanosoma è precoce e comunemente utilizzata, soprattutto durante la sorveglianza in aree remote dove c'è una mancanza di tecnici qualificati e processi ad alta intensità di lavoro e di tempo che sono tutti ostacoli alla segnalazione tempestiva dell'organizzazione sanitaria. Sebbene le tecniche di biologia molecolare come l'immunologia e la reazione a catena della polimerasi (PCR) siano state approvate come metodi ad alta sensibilità per supportare l'efficacia dei risultati di laboratorio, sono necessarie costose sostanze chimiche, apparecchiature e professionisti per affrontarle, che sono per lo più situate in un laboratorio centrale in un grande centro sanitario. La morfologia condivisa, l'infezione mista e immatura e le caratteristiche di tre specie di Trypanosoma sono soggette a pregiudizi dell'utente e a un'errata identificazione, riducendo la risposta al farmaco e la misuradi controllo 37. L'utilizzo di algoritmi modificati e ibridi tra due diversi modelli di deep learning all'interno del programma di intelligenza artificiale proposto può superare molte sfide, rendendo automatica e realizzabile una nuova era di tassonomia standard. Pubblicazioni precedenti hanno confermato il potenziale dei modelli ibridi nell'identificazione degli stadi ematici malarici27,38. Ecco la spiegazione del protocollo per l'addestramento, il test e la valutazione dei modelli di IA proposti per riconoscere gli stadi maturi di tre specie di Trypanosoma ben note con un processo semplificato di analisi per l'identificazione pratica e l'ulteriore quantificazione dei protozoi parassiti in un campo microscopico.

Il modello proposto guarda oltre il modello di apprendimento automatico utilizzando l'algoritmo della foresta casuale, che è stato applicato per identificare l'infezione di T. cruzi da campioni di striscio di sangue. Il modello di apprendimento automatico ha raggiunto una precisione dell'87,6%, una sensibilità del 90,5% e un'area sotto la curva caratteristica operativa del ricevitore di 0,94239. Nel 2015, sono stati condotti due metodi chiamati apprendimento AdaBoost e apprendimento SVM per distinguere T. cruzi dall'infezione da malaria negli strisci di sangue. Sebbene sia stato riportato un alto grado di sensibilità e specificità, è stato studiato un set di dati limitato di 120 immagini a colori di bassa dimensione 256 × 256 pixel, che potrebbero non essere rappresentative dell'intera popolazione40. In questo studio, tre specie zoonotiche ben note di Trypanosoma (ad esempio, T. cruzi, T. brucei e T. evansi) sono state separate utilizzando il modello ibrido proposto, che ha superato gli studi precedenti sopra descritti. Questo rappresenta l'economicità del modello di deep learning. Ciononostante, diversi set di dati di grandi dimensioni possono richiedere la convalida delle prestazioni del modello proposto per confermarne la generalizzazione41. T. lewisi ha il potenziale per infettare gli esseri umani in modo opportunistico ed è riconosciuta come una malattia zoonotica emergente trasmessa dai ratti, spesso legata a condizioni di povertà. In alcuni paesi, come Thailandia e Cina, sono stati documentati20.42 casi. Inoltre, le morfologie di T. evansi e T. lewisi presentano una sorprendente somiglianza17. Per migliorare il set di dati e il modello proposto, l'inclusione di più istanze di T. lewisi potrebbe essere utile per lo sviluppo di un modello di deep learning in futuro. Per ampliare la portata delle potenziali tecniche di deep learning per la diagnosi di ulteriori tripanosomossi animali, è consigliabile raccogliere set di dati per altre specie come T. vivax, T. theileria e T. melophagium. Una sfida significativa da affrontare è la diagnosi di infezioni miste che coinvolgono varie specie di Trypanosoma, poiché i metodi di rilevamento degli anticorpi possono mostrare una specificità ridotta a causa di reazioni crociate43. È essenziale migliorare e rafforzare le tecniche diagnostiche per far progredire le applicazioni di intelligenza artificiale e salvaguardare la salute del bestiame, degli esseri umani e dell'ambiente.

Prima di addestrare il programma di intelligenza artificiale proposto a riconoscere l'immagine 2D del protozoo parassita, i criteri importanti necessari per completarlo, come un'ampia dimensione del campione, il bilanciamento delle classi, l'aumento dei dati e l'etichettatura della qualità da parte di esperti. Come passaggi critici, il segnale di errore della fase di addestramento può essere svelato dai professionisti per riprodurre le etichette di verità di base per entrambi gli algoritmi Darknet e Densenet. Uno dei principali vantaggi del programma di intelligenza artificiale proposto è il suo uso amichevole per gli utenti non codificatori attraverso semplici passaggi di trascinamento della selezione. Un'altra caratteristica importante è il modulo combinato della versione di rilevamento e della mappa di attenzione integrato con i modelli di classificazione, che aiuta a facilitare il test dei dati invisibili il più velocemente possibile senza preoccuparsi del formato del file di immagine grezza. Questo perché è possibile utilizzare una gamma più ampia di formati di immagine, tra cui .jpeg, .jpg, .png, .tif, .tiff, .pdf e .bmp. L'applicazione del programma AI con un componente c-mount del microscopio può portare al rilevamento in tempo reale in aree remote.

Le limitazioni del metodo possono influenzare i protocolli proposti nella fase di pre-addestramento. Prima di iniziare l'addestramento di un modello di intelligenza artificiale, è necessario preparare bene alcuni requisiti, in particolare la qualità del set di dati e le etichette degli esperti. All'interno del set di dati, una piccola dimensione del campione e uno squilibrio di classe hanno portato il modello a raggiungere i minimi globali e ad avere difficoltà a raggiungere lo stadio ottimale. L'uso di un campione di grandi dimensioni e il bilanciamento dei dati aiutano a ottimizzare il modello con un'elevata precisione e una bassa perdita durante l'addestramento. La variazione delle immagini, come lo stadio di sviluppo attraverso il periodo del ciclo di vita dei protozoi e la variazione del colore mediante la colorazioneGiemsa 27,44, le scale ambientali e di immagine, desiderano essere normalizzate prima di alimentare l'addestramento di entrambi i modelli di deep learning. Per risolvere i problemi proposti sopra menzionati, varie funzioni di aumento come gli angoli di rotazione, la luminosità e il contrasto, i capovolgimenti verticali e orizzontali, il rumore gaussiano e la sfocatura gaussiana, possono essere utilizzate per affrontare la fase di pre-allenamento45.

L'importante applicazione dei modelli ibridi di IA proposti è quella di identificare il protozoo parassita in tempo reale nei dati microscopici come dati grezzi dal microscopio, immagini congelate e clip video. Consente di distribuire il modello addestrato con dispositivi embedded edge46, applicazione mobile basata su cloud47, interfaccia utente browser (BUI)48 e distribuzione di modelli basati sul Web49. Di conseguenza, il modello di intelligenza artificiale ha il potenziale per applicare il deep learning ibrido alla sorveglianza attiva e fornire un risultato tempestivo grazie alla sua capacità di supportare la decisione del personale locale in pochi millisecondi, suggerendo una tecnologia di screening automatico per l'epidemiologia ausiliaria.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Tutti gli autori non hanno informazioni finanziarie e non hanno conflitti di interesse.

Acknowledgments

Questo lavoro (Assegno di ricerca per New Scholar, Grant No. RGNS 65 - 212) è stato sostenuto finanziariamente dall'Ufficio del Segretario Permanente, dal Ministero dell'Istruzione Superiore, della Scienza, della Ricerca e dell'Innovazione (OPS MHESI), dalla Thailandia per la Ricerca Scientifica e l'Innovazione (TSRI) e dall'Istituto di Tecnologia Ladkrabang del Re Mongkut. Siamo grati al Consiglio Nazionale delle Ricerche della Thailandia (NRCT) [NRCT5-RSA63001-10] per aver finanziato il progetto di ricerca. M.K. è stato finanziato dal Thailand Science Research and Innovation Fund, Chulalongkorn University. Ringraziamo anche il College of Advanced Manufacturing Innovation, il King Mongkut's Institute of Technology, Ladkrabang che ha fornito la piattaforma di deep learning e il software a supporto del progetto di ricerca.

Materials

Name Company Catalog Number Comments
Darknet19, Darknet53 and Densenet201 Gao Huang, Z. L., Laurens van der Maaten. Densely Connected Convolutional Networks. arXiv:1608.06993 [cs.CV]. (2016) https://github.com/liuzhuang13/DenseNet  Deep convolutional neural network model that can function to  classification
Generic name: YOLO model/ detection model?
Olympus CX31 Model CX31RRBSFA  Olympus, Tokyo, Japan SN 4G42178  A light microscope 
Olympus DP21-SAL U-TV0.5XC-3  Olympus, Tokyo, Japan SN 3D03838 A digital camera
Generic name: Classification models/ densely CNNs
Window 10 Microsoft Window 10 Operation system in computers
YOLO v4-tiny  Naing, K. M. et al. Automatic recognition of parasitic products in stool examination using object detection approach. PeerJ Comput Sci. 8 e1065, (2022). https://git.cira-lab.com/users/sign_in Deep convolutional neural network model that can function to both localization and also classification 
https://git.cira-lab.com/users/sign_in

DOWNLOAD MATERIALS LIST

References

  1. Kasozi, K. I., et al. Epidemiology of trypanosomiasis in wildlife-implications for humans at the wildlife interface in Africa. Frontiers in Veterinary Science. 8, 621699 (2021).
  2. Ola-Fadunsin, S. D., Gimba, F. I., Abdullah, D. A., Abdullah, F. J. F., Sani, R. A. Molecular prevalence and epidemiology of Trypanosoma evansi among cattle in peninsular Malaysia. Acta Parasitologica. 65 (1), 165-173 (2020).
  3. Aregawi, W. G., Agga, G. E., Abdi, R. D., Buscher, P. Systematic review and meta-analysis on the global distribution, host range, and prevalence of Trypanosoma evansi. Parasites & Vectors. 12 (1), 67 (2019).
  4. Joshi, P. P., et al. Human trypanosomiasis caused by Trypanosoma evansi in India: the first case report. The Am Journal of Tropical Medicine and Hygiene. 73 (3), 491-495 (2005).
  5. Lidani, K. C. F., et al. Chagas disease: from discovery to a worldwide health problem. Frontiers in Public Health. 7, 166 (2019).
  6. Sazmand, A., Desquesnes, M., Otranto, D. Trypanosoma evansi. Trends in Parasitology. 38 (6), 489-490 (2022).
  7. Powar, R. M., et al. A rare case of human trypanosomiasis caused by Trypanosoma evansi.Indian. Journal of Medical Microbiology. 24 (1), 72-74 (2006).
  8. Shegokar, V. R., et al. Short report: Human trypanosomiasis caused by Trypanosoma evansi in a village in India: preliminary serologic survey of the local population. American Journal of Tropical Medicine and Hygiene. 75 (5), 869-870 (2006).
  9. Haridy, F. M., El-Metwally, M. T., Khalil, H. H., Morsy, T. A. Trypanosoma evansi in dromedary camel: with a case report of zoonosis in greater Cairo, Egypt. Journal of the Egyptian Society of Parasitology. 41 (1), 65-76 (2011).
  10. Dey, S. K. CATT/T.evansi antibody levels in patients suffering from pyrexia of unknown origin in a tertiary care hospital in Kolkata. Research Journal of Pharmaceutical, Biological and Chemical Sciences. 5, 334-338 (2014).
  11. Dakshinkar, N. P., et al. Aberrant trypanosomias in human. Royal Veterinary Journal of India. 3 (1), 6-7 (2007).
  12. Vn Vinh Chau, N., et al. A clinical and epidemiological investigation of the first reported human infection with the zoonotic parasite Trypanosoma evansi in Southeast Asia. Clinical Infectious Diseases. 62 (8), 1002-1008 (2016).
  13. Misra, K. K., Roy, S., Choudhary, A. Biology of Trypanosoma (Trypanozoon) evansi in experimental heterologous mammalian hosts. Journal of Parasitic Diseases. 40 (3), 1047-1061 (2016).
  14. Nakayima, J., et al. Molecular epidemiological studies on animal trypanosomiases in Ghana. Parasites & Vectors. 5, 217 (2012).
  15. Riana, E., et al. The occurrence of Trypanosoma in bats from Western Thailand. The 20th Chulalongkorn University Veterinary Conference CUVC 2021: Research in practice. 51, Bangkok, Thailand. (2021).
  16. Camoin, M., et al. The Indirect ELISA Trypanosoma evansi in equids: optimisation and application to a serological survey including racing horses, in Thailand. BioMed Research International. 2019, 2964639 (2019).
  17. Truc, P., et al. Atypical human infections by animal trypanosomes. PLoS Neglected Tropical Diseases. 7 (9), 2256 (2013).
  18. Desquesnes, M., et al. Diagnosis of animal trypanosomoses: proper use of current tools and future prospects. Parasites & Vectors. 15 (1), 235 (2022).
  19. Da Silva, A. S., et al. Trypanocidal activity of human plasma on Trypanosoma evansi in mice. Revista Brasileira de Parasitologia Veterinaria. 21 (1), 55-59 (2012).
  20. Desquesnes, M., et al. Trypanosoma evansi and surra: a review and perspectives on transmission, epidemiology and control, impact, and zoonotic aspects. BioMed Research International. 2013, 321237 (2013).
  21. World Health Organization. A new form of human trypanosomiasis in India. Description of the first human case in the world caused by Trypanosoma evansi. Weekly Epidemiological Record. 80 (7), 62-63 (2005).
  22. Naing, K. M., et al. Automatic recognition of parasitic products in stool examination using object detection approach. PeerJ Computer Science. 8, 1065 (2022).
  23. Wongsrichanalai, C., Barcus, M. J., Muth, S., Sutamihardja, A., Wernsdorfer, W. H. A review of malaria diagnostic tools: microscopy and rapid diagnostic test (RDT). American Journal of Tropical Medicine and Hygiene. 77, 119-127 (2007).
  24. Rostami, A., Karanis, P., Fallahi, S. Advances in serological, imaging techniques and molecular diagnosis of Toxoplasma gondii infection. Infection. 46 (3), 303-315 (2018).
  25. Ahmad, Z., Rahim, S., Zubair, M., Abdul-Ghafar, J. Artificial intelligence (AI) in medicine, current applications and future role with special emphasis on its potential and promise in pathology: present and future impact, obstacles including costs and acceptance among pathologists, practical and philosophical considerations. A comprehensive review. Diagnostic Pathology. 16 (1), 24 (2021).
  26. Sarker, I. H. Deep learning: a comprehensive overview on techniques, taxonomy, applications and research directions. SN Computer Science. 2 (6), 420 (2021).
  27. Kittichai, V., et al. Classification for avian malaria parasite Plasmodium gallinaceum blood stages by using deep convolutional neural networks. Scientific Reports. 11 (1), 16919 (2021).
  28. Baskota, S. U., Wiley, C., Pantanowitz, L. The next generation robotic microscopy for intraoperative teleneuropathology consultation. Journal of Pathology Informatics. 11, 13 (2020).
  29. Bochkovskiy, A., Wang, C. -Y., Liao, H. -Y. M. YOLOv4: optimal speed and accuracy of object detection. arXiv. , 10934 (2004).
  30. Huang, G., Liu, Z., vander Maaten, L., Weinberger, K. Q. Densely connected convolutional networks. arXiv. , 06993 (2018).
  31. CDC-DPDx. Diagnostic procedures - Blood specimens. , Available from: https://www.cdc.gov/dpdx/diagosticprocedures/blood/specimenproc.html#print (2020).
  32. World Health Organization. Control and surveillance of African trypanosomiasis: report of a WHO expert committee. WHO Technical Report Series 881. , Available from: https://iris.who.int/bitstream/handle/10665/42087/WHO_TRS_881.pdf?sequence=1 (1998).
  33. Leber, A. L. Detection of blood parasites. Clinical Microbiology Procedures Handbook. , ASM Press. Washington, DC. (2022).
  34. Huang, L. -P., Hong, M. -H., Luo, C. -H., Mahajan, S., Chen, L. -J. A vector mosquitoes classification system based on edge computing and deep learning. Proceedings-2018 Conmference on Technologies and Applications of Artifical Intelligence. , Taichung, Taiwan. 24-27 (2018).
  35. Cihan, P., Gökçe, E., Kalipsiz, O. A review of machine learning applications in veterinary field. Kafkas Universitesi Veteriner Fakultesi Dergisi. 23 (4), 673-680 (2017).
  36. Berrar, D. Cross-validation. Encyclopedia of Bioinformatics and Computational Biology. 1, 542-545 (2019).
  37. Gaithuma, A. K., et al. A single test approach for accurate and sensitive detection and taxonomic characterization of Trypanosomes by comprehensive analysis of internal transcribed spacer 1 amplicons. PLoS Neglected Tropical Diseases. 13 (2), 0006842 (2019).
  38. Vijayalakshmi, A., Rajesh Kanna, B. Deep learning approach to detect malaria from microscopic images. Multimedia Tools and Applications. 79 (21-22), 15297-15317 (2019).
  39. Morais, M. C. C., et al. Automatic detection of the parasite Trypanosoma cruzi in blood smears using a machine learning approach applied to mobile phone images. PeerJ. 10, 13470 (2022).
  40. Uc-Cetina, V., Brito-Loeza, C., Ruiz-Pina, H. Chagas parasite detection in blood images using AdaBoost. Computational and Mathematical Methods in Medicine. 2015, 139681 (2015).
  41. Zhang, C., et al. Deep learning for microscopic examination of protozoan parasites. Computational and Structural Biotechnology Journal. 20, 1036-1043 (2022).
  42. Sarataphan, N., et al. Diagnosis of a Trypanosoma lewisi-like (Herpetosoma) infection in a sick infant from Thailand. Journal of Medical Microbiology. 56, 1118-1121 (2007).
  43. Desquesnes, M., et al. A review on the diagnosis of animal trypanosomoses. Parasites & Vectors. 15 (1), 64 (2022).
  44. Fuhad, K. M. F., et al. Deep learning based automatic malaria parasite detection from blood smear and its smartphone based application. Diagnostics (Basel). 10 (5), 329 (2020).
  45. Christian Matek, S. S., Spiekermann, K., Marr, C. Human-level recognition of blast cells in acute myeloid leukaemia with convolutional neural networks. Nature Machine Intelligence. 1, 538-544 (2019).
  46. Hamdan, S., Ayyash, M., Almajali, S. Edge-computing architectures for internet of things applications: a survey. Sensors (Basel). 20 (22), 6441 (2020).
  47. Visser, T., et al. A comparative evaluation of mobile medical APPS (MMAS) for reading and interpreting malaria rapid diagnostic tests. Malaria Journal. 20 (1), 39 (2021).
  48. Giorgi, E., Macharia, P. M., Woodmansey, J., Snow, R. W., Rowlingson, B. Maplaria: a user friendly web-application for spatio-temporal malaria prevalence mapping. Malaria Journal. 20 (1), 471 (2021).
  49. Rajaraman, S., Jaeger, S., Antani, S. K. Performance evaluation of deep neural ensembles toward malaria parasite detection in thin-blood smear images. PeerJ. 7, 6977 (2019).

Tags

Identificazione automatica superiore Parassiti del tripanosoma Modello ibrido di deep learning Tripanosomiasi Problema di salute pubblica Asia meridionale Sud-est asiatico Aree hotspot Sorveglianza attiva Esame microscopico Personale qualificato Programma di intelligenza artificiale (AI) Tecnica ibrida di deep learning Identificazione degli oggetti Classificazione degli oggetti Dorsali della rete neurale Piattaforma AI low-code (CiRA CORE) Specie di tripanosomi protozoi Trypanosoma Cruzi T. Brucei T. Evansi Immersione in olio Immagini microscopiche Riconoscimento di pattern Nucleo e cinetoplasto Mappa dell'attenzione Misure statistiche Accuratezza Richiamo Specificità Precisione Punteggio F1 Tasso di errata classificazione Curve delle caratteristiche operative del ricevitore (ROC) Curve di precisione rispetto a quelle di richiamo (PR)
Identificazione automatica superiore dei parassiti del tripanosoma utilizzando un modello ibrido di deep learning
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Kittichai, V., Kaewthamasorn, M.,… More

Kittichai, V., Kaewthamasorn, M., Thanee, S., Sasisaowapak, T., Naing, K. M., Jomtarak, R., Tongloy, T., Chuwongin, S., Boonsang, S. Superior Auto-Identification of Trypanosome Parasites by Using a Hybrid Deep-Learning Model. J. Vis. Exp. (200), e65557, doi:10.3791/65557 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter