Name: Combinazione di realtà aumentata e stampa 3D per visualizzare i modelli di paziente su uno smartphone (Video) | JoVE Journal
Uploaded: 2020-01-02T13:00:00.000+00:00
Duration: 9 min 26 s
Description: Scopri come combinare realtà aumentata e stampa 3D per visualizzare modelli anatomici su smartphone. Questo metodo accessibile migliora la comprensione medica e l'impegno del paziente senza richiedere esperienza pregressa.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

La presente relazione è stata sostenuta dai progetti PI18/01625 e PI15/02121 (Ministerio de Ciencia, Innovaciàn y Universidades, Instituto de Salud Carlos III e Fondo europeo di sviluppo regionale "Una manera de hacer Europa") e IND2018/TIC-9753 (Comunidad de Madrid).

<ol><li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Haptics%22%5BJournal%5D)">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li>
<li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery%5BTitle%5D)+AND+%22Journal+of+Clinical+Neuroscience%22%5BJournal%5D)">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li>
<li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+for+Planning+Tumour+Resection%3A+Augmented+Reality+and+Human+Factors%5BTitle%5D)+AND+%22IEEE+Transactions+on+Biomedical+Engineering%22%5BJournal%5D)">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li>
<li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training%2C+Communication%2C+and+Clinical+Care%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210(2019).</li>
<li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Through+the+HoloLensTM+looking+glass%3A+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels%5BTitle%5D)+AND+%22European+Radiology+Experimental%22%5BJournal%5D)">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2(2018).</li>
<li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery%5BTitle%5D)+AND+%22The+Laryngoscope%22%5BJournal%5D)">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li>
<li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality%3A+Preliminary+Results+on+Clinical+Animal+Experiment%5BTitle%5D)+AND+%22Aesthetic+Plastic+Surgery%22%5BJournal%5D)">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li>
<li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).</li>
<li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC%5BTitle%5D)+AND+%22Stereotactic+and+Functional+Neurosurgery%22%5BJournal%5D)">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy%3A+Do+it+yourself%5BTitle%5D)+AND+%22The+Knee%22%5BJournal%5D)">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li>
<li>Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+%28HTO%29+-+do+it+yourself%5BTitle%5D)+AND+%22Revue+de+Chirurgie+Orthop%C3%A9dique+et+Traumatologique%22%5BJournal%5D)">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).</li>
<li>De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model%3A+a+case+report%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li>
<li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+%22one-stop+3D+printing+lab%22+for+oral+and+maxillofacial+surgery+and+dentistry+fields%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li>
<li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+3D+models+in+orthopedic+oncology%3A+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li>
<li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models%3A+impact+on+patient+education%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li>
<li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality%2C+Surgical+Navigation%2C+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex%5BTitle%5D)+AND+%22OTO+Open%3A+The+Official+Open+Access+Journal+of+the+American+Academy+of+Otolaryngology-Head+and+Neck+Surgery+Foundation%22%5BJournal%5D)">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li>
<li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries%5BTitle%5D)+AND+%22Quantitative+Imaging+in+Medicine+and+Surgery%22%5BJournal%5D)">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li>
<li>Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthcare+Technology+Letters%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li>
</ol>

Gli autori non hanno nulla da rivelare.

L'AR ha un grande potenziale nell'istruzione, nella formazione e nella guida chirurgica in campo medico. La sua combinazione con le aperture di stampa 3D può aprire nuove possibilità nelle applicazioni cliniche. Questo protocollo descrive una metodologia che consente agli utenti inesperti di creare un'app per smartphone che combina AR e 3DP per la visualizzazione di modelli 3D anatomici di pazienti con marcatori di riferimento stampati in 3D.
In generale, una delle applicazioni cliniche più interessanti di AR e 3DP è quello di migliorare la comunicazione paziente-medico dando al paziente una prospettiva diversa del caso, migliorando le spiegazioni di specifiche condizioni mediche o trattamenti. Un'altra possibile applicazione include indicazioni chirurgiche per la localizzazione di destinazione, in cui gli strumenti specifici del paziente stampati in 3D (con un marcatore AR di riferimento collegato) possono essere posizionati su strutture rigide (cioè ossee) e utilizzati come riferimento per la navigazione. Questa applicazione è particolarmente utile per le procedure chirurgiche ortopediche e maxillo-facciali, in cui la superficie del tessuto osseo è facilmente accessibile durante l'intervento chirurgico.
Il protocollo inizia con la sezione 1, che descrive la configurazione della workstation e gli strumenti software necessari. La sezione 2 descrive come utilizzare il software 3D Slicer per segmentare facilmente le anatomie di destinazione del paziente da qualsiasi modalità di imaging medicale per ottenere modelli 3D. Questo passaggio è fondamentale, poiché i modelli 3D virtuali creati sono quelli visualizzati nell'applicazione AR finale.
Nella sezione 3, 3D Slicer viene utilizzato per registrare i modelli 3D creati nella sezione precedente con un marcatore AR. Durante questa procedura di registrazione, i modelli 3D del paziente sono posizionati in modo efficiente e semplicemente rispetto al marcatore AR. La posizione definita in questa sezione determinerà la posizione relativa dell'ologramma nell'app finale. Si ritiene che questa soluzione riduca la complessità e moltiplichi le possibili applicazioni. La sezione 3 descrive due diverse opzioni per definire le relazioni spaziali tra i modelli e gli indicatori AR: la modalità "visualizzazione" e la modalità "registrazione". La prima opzione, la modalità "visualizzazione", consente di posizionare i modelli 3D ovunque rispetto al marcatore e di essere visualizzati come l'intero biomodello. Questa modalità fornisce una prospettiva 3D realistica dell'anatomia del paziente e consente lo spostamento e la rotazione dei biomodelli spostando il marcatore AR tracciato. La seconda opzione, la modalità "registrazione", consente l'attaccamento e la combinazione di un adattatore marcatore a qualsiasi parte del biomodello, offrendo un processo di registrazione automatica. Con questa opzione, una piccola sezione del modello 3D, incluso l'adattatore marcatore, può essere stampata in 3D e l'app può visualizzare il resto del modello come ologramma.
La sezione 4 fornisce linee guida per il processo di stampa 3D. In primo luogo, l'utente può scegliere tra due marcatori diversi: il "marcatore di colore doppio" e "marcatore adesivo". L'intero "marcatore a doppio colore" può essere stampato in 3D, ma richiede una stampante 3D a doppio estrusore. Nel caso in cui questa stampante non sia disponibile, viene proposto il "marcatore adesivo". Questo è un marcatore più semplice che può essere ottenuto stampando in 3D la struttura cubica, quindi incollando le immagini del cubo con carta adesiva o colla adesiva. Inoltre, entrambi i marcatori sono stati progettati con sezioni estensibili per adattarsi perfettamente a uno specifico adattatore. Pertanto, il marcatore può essere riutilizzato in diversi casi.
Nella sezione 5 viene descritto il processo di creazione di un progetto Unity per AR utilizzando il kit di sviluppo software Vuforia. Questo passaggio può essere la parte più difficile per gli utenti senza esperienza di programmazione, ma con queste linee guida, dovrebbe essere più facile ottenere l'applicazione finale presentata nella sezione 6. L'applicazione visualizza i modelli virtuali del paziente sullo schermo dello smartphone quando la fotocamera riconosce il marcatore stampato in 3D. Affinché l'applicazione per rilevare il marcatore 3D, una distanza minima di circa 40 cm o meno dal telefono al marcatore così come buone condizioni di illuminazione sono necessari.
L'applicazione finale di questo protocollo permette all'utente di scegliere i biomodelli specifici da visualizzare e in quali posizioni. Inoltre, l'applicazione può eseguire la registrazione automatica paziente-ologramma utilizzando un marcatore stampato 3D e adattatore collegato al biomodello. Questo risolve la sfida di registrare i modelli virtuali con l'ambiente in modo diretto e conveniente. Inoltre, questa metodologia non richiede un'ampia conoscenza dell'imaging medico o dello sviluppo di software, non dipende da hardware complesso e software costoso e può essere implementata in un breve periodo di tempo. Si prevede che questo metodo contribuirà ad accelerare l'adozione delle tecnologie AR e 3DP da parte di professionisti medici.

AR e 3DP sono tecnologie che forniscono un numero crescente di applicazioni in campo medico. Nel caso dell'AR, la sua interazione con i modelli 3D virtuali e l'ambiente reale avvantaggia i medici per quanto riguarda l'istruzione e la formazione1,2,3, comunicazione e interazioni con altri medici4, e la guida durante gli interventi clinici5,6,7,8,9,10. Allo stesso modo, 3DP è diventata una soluzione potente per i medici quando si sviluppano strumenti personalizzabili specifici del paziente11,12,13 o la creazione di modelli 3D dell'anatomia di un paziente, che possono contribuire a migliorare la pianificazione preoperatoria e gli interventi clinici14,15.
Entrambe le tecnologie AR e 3DP aiutano a migliorare l'orientamento, l'orientamento e le competenze spaziali nelle procedure mediche; quindi, la loro combinazione è il prossimo passo logico. Il lavoro precedente ha dimostrato che il loro uso congiunto può aumentare il valore nell'educazione dei pazienti16, facilitando le spiegazioni delle condizioni mediche e il trattamento proposto, ottimizzando il flusso di lavoro chirurgico17,18 e migliorando la registrazione paziente-modello19. Anche se queste tecnologie sono cresciute in modo esponenziale negli ultimi anni, la loro adozione da parte dei medici è ancora limitata, dal momento che richiedono una conoscenza approfondita dell'ingegneria e dello sviluppo del software. Pertanto, lo scopo di questo lavoro è descrivere una metodologia passo-passo che consente l'uso di AR e 3DP da parte di utenti inesperti senza la necessità di ampie conoscenze tecniche.
Questo protocollo descrive come sviluppare un'app per smartphone AR che consente la sovrapposizione di qualsiasi modello 3D basato sul paziente su un ambiente reale utilizzando un pennarello stampato in 3D tracciato dalla fotocamera dello smartphone. Inoltre, viene descritto un approccio alternativo per fornire la registrazione automatica tra un biomodello stampato in 3D (cioè un modello 3D creato dall'anatomia di un paziente) e gli ologrammi proiettati. Il protocollo descritto è interamente basato su software gratuito e multipiattaforma.
Nel lavoro precedente, la registrazione AR paziente-immagine è stata calcolata manualmente5 con algoritmi di riconoscimento della superficie10 o non è stata disponibile2. Questi metodi sono stati considerati un po 'limitati quando è richiesta una registrazione accurata19. Per superare queste limitazioni, questo lavoro fornisce strumenti per eseguire una registrazione accurata e semplice da paziente a immagine nelle procedure AR combinando la tecnologia AR e 3DP.
Il protocollo è generico e può essere applicato a qualsiasi modalità di imaging medico o paziente. Ad esempio, viene fornito un vero e proprio caso clinico di un paziente affetto da sarcoma delle gambe distale per illustrare la metodologia. Il primo passo descrive come segmentare facilmente l'anatomia interessata dalle immagini mediche di tomografia computerizzata (CT) per generare modelli virtuali 3D. Successivamente, viene eseguito il posizionamento dei modelli 3D, gli strumenti e i modelli necessari vengono stampati in 3D. Infine, viene distribuita l'app AR desiderata. Questa applicazione consente la visualizzazione di modelli 3D paziente sovrapposti su una fotocamera smartphone in tempo reale.

<table><tbody><tr><td>Materiale per la stampa 3D: acrilonitrile butadiene stirene (ABS)</td><td></td><td></td><td>Materiale polimerico termoplastico solitamente utilizzato nelle stampanti 3D domestiche.</td></tr><tr><td>Materiale per la stampa 3D: acido polilattico (PLA)</td><td></td><td></td><td>Materiale bioplastico solitamente utilizzato nelle stampanti 3D domestiche.</td></tr><tr><td>3D Slicer</td><td></td><td></td><td>Piattaforma software open source per l'informatica delle immagini mediche, l'elaborazione delle immagini e la visualizzazione tridimensionale</td></tr><tr><td>Android</td><td>Alphabet, Inc.</td><td></td><td>Android è un sistema operativo mobile sviluppato da Google. Si basa su una versione modificata del kernel Linux e di altri software open source ed è progettato principalmente per dispositivi mobili touchscreen come smartphone e tablet.</td></tr><tr><td>Autodesk Meshmixer</td><td>Autodesk, Inc.</td><td></td><td>Meshmixer è un software all'avanguardia per lavorare con mesh triangolari. Software libero.</td></tr><tr><td>iPhone OS</td><td>Apple, Inc.</td><td></td><td>iPhone OS è un sistema operativo mobile creato e sviluppato da Apple Inc. esclusivamente per il suo hardware.</td></tr><tr><td>Ultimaker 3 Extended</td><td>Ultimaker BV</td><td></td><td>Stampante 3D per modellazione a deposizione fusa.</td></tr><tr><td>Unity</td><td>Tecnologie Unity Unity</td><td></td><td>è una piattaforma di sviluppo in tempo reale per creare VR 3D, 2D e Visualizzazioni AR per giochi, auto, trasporti, film, animazione, architettura, ingegneria e più. Software libero.</td></tr><tr><td>Xcode</td><td>Apple, Inc.</td><td></td><td>Xcode è un set completo di strumenti per sviluppatori per la creazione di app per Mac, iPhone, iPad, Apple Watch e Apple TV. Software libero.</td></tr></tbody></table>

combinazione di realtà aumentata e stampa 3d per visualizzare i modelli di paziente su uno smartphone

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

La realtà aumentata (AR) ha un grande potenziale nell'istruzione, nella formazione e nella guida chirurgica in campo medico. La sua combinazione con la stampa tridimensionale (3D) (3DP) apre nuove possibilità nelle applicazioni cliniche. Anche se queste tecnologie sono cresciute in modo esponenziale negli ultimi anni, la loro adozione da parte dei medici è ancora limitata, dal momento che richiedono una conoscenza approfondita dell'ingegneria e dello sviluppo del software. Pertanto, lo scopo di questo protocollo è descrivere una metodologia passo-passo che consente agli utenti inesperti di creare un'app per smartphone, che combina AR e 3DP per la visualizzazione di modelli 3D anatomici di pazienti con un marcatore di riferimento stampato in 3D. Il protocollo descrive come creare modelli virtuali 3D dell'anatomia di un paziente derivati da immagini mediche 3D. Viene quindi illustrato come eseguire il posizionamento dei modelli 3D rispetto ai riferimenti dei marcatori. Sono inoltre disponibili istruzioni su come stampare in 3D gli strumenti e i modelli necessari. Infine, vengono forniti i passaggi per distribuire l'app. Il protocollo si basa su software gratuito e multipiattaforma e può essere applicato a qualsiasi modalità di imaging medico o paziente. Viene descritto un approccio alternativo per fornire la registrazione automatica tra un modello stampato in 3D creato dall'anatomia di un paziente e gli ologrammi proiettati. Ad esempio, viene fornito un caso clinico di un paziente affetto da sarcoma delle gambe distale per illustrare la metodologia. Si prevede che questo protocollo accelererà l'adozione di tecnologie AR e 3DP da parte di professionisti medici.

Il protocollo è stato applicato ai dati di un paziente affetto da sarcoma delle gambe distale al fine di visualizzare la regione anatomica interessata da una prospettiva 3D. Utilizzando il metodo descritto nella sezione 2, la porzione dell'osso interessato (qui, la tibia e il perone) e il tumore sono stati segmentati dalla TAC del paziente. Quindi, utilizzando gli strumenti di segmentazione di 3D Slicer, sono stati creati due biomodelli: l'osso (sezione della tibia e del perone) (Figura 1A) e il tumore (Figura 1B).
Successivamente, i due modelli 3D sono stati posizionati virtualmente rispetto al marcatore per una visualizzazione ottimale. Entrambe le modalità descritte nella sezione 3 sono state seguite per questo esempio. Per la modalità di visualizzazione, i modelli sono stati centrati nella faccia superiore del marcatore (Figura 2). Per la modalità di registrazione, l'adattatore marcatore è stato posizionato nell'osso (in particolare, la tibia [Figura 3]). Quindi, una piccola sezione della tibia è stata selezionata per essere stampata in 3D con un adattatore di pennarello 3D (Figura 4). Per creare i marcatori stampati in 3D (Figura 5A, B),la base del supporto del marcatore (Figura 5C) per la modalità "visualizzazione" e la sezione della tibia per la modalità "registrazione" (Figura 5A,) è stata utilizzata una stampante 3D estesa ultimatrice con materiale PLA. Figura 5E mostra come il marcatore è stato collegato alla base stampata in 3D modalità "visualizzazione". Figura 5F mostra l'allegato con la modalità "registrazione" biomodello stampato in 3D. Infine, Unity è stato utilizzato per creare l'app e distribuirla sullo smartphone.
Figura 6 viene illustrato come l'applicazione ha funzionato per la modalità di "visualizzazione". L'ologramma è stato situato con precisione nella parte superiore del cubo come definito in precedenza. Figura 7 Mostra l'applicazione per la modalità "registrazione", in cui l'applicazione posiziona il modello di osso completo sopra la sezione stampata in 3D. La visualizzazione finale degli ologrammi era chiara e realistica, manteneva le dimensioni reali dei biomodelli e posizionava con precisione. Quando si utilizza l'applicazione per smartphone, il marcatore AR deve essere visibile dalla fotocamera affinché l'app visualizzi correttamente gli ologrammi. Inoltre, le condizioni di luce nella scena devono essere di buona qualità e costanti per un corretto rilevamento dei marcatori. Condizioni di luce non corrette o riflessi sulla superficie del marcatore ostacolano il tracciamento del marcatore AR e causano malfunzionamento dell'app.
Il tempo necessario per creare l'app dipende da diversi fattori. La durata della sezione 1 è limitata dalla velocità di download. Per quanto riguarda la segmentazione dell'anatomia (sezione 2), i fattori che influenzano il tempo di segmentazione includono la complessità della regione e la modalità di imaging medico (cioè, la TC è facilmente segmentata, mentre la risonanza magnetica è più difficile). Per l'esempio rappresentativo della tibia, sono stati necessari circa 10 min per generare entrambi i modelli 3D dalla TAC. Il posizionamento del biomodello (sezione 3) è semplice e diretto. In questo caso, sono voluti circa 5 min per definire la posizione del biomodello rispetto al marcatore AR. Per la fase di stampa 3D, la durata dipende fortemente dalla modalità selezionata. Il "marcatore a doppio colore" è stato prodotto ad alta qualità in un periodo di 5 h e 20 min. Il "marcatore adesivo" è stato prodotto in un periodo di 1 h e 30 min, più il tempo necessario per incollare gli adesivi. Il passaggio finale per lo sviluppo di app può richiedere molto tempo per coloro che non hanno esperienza precedente in Unity, ma può essere facilmente completato seguendo i passaggi del protocollo. Una volta che i marcatori AR sono stati stampati in 3D, lo sviluppo di un'app AR completamente nuova può essere eseguito in meno di 1 h. Questa durata può essere ulteriormente ridotta con un'esperienza aggiuntiva.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figura 1: Rappresentazione di modelli 3D creati da un'immagine TC di un paziente affetto da sarcoma delle gambe distale. (A) Tessuto osseo rappresentato in bianco (tibia e perone). (B) Tumore rappresentato in rosso. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figura 2: Risultati che mostrano come la modalità di "visualizzazione" in 3D Slicer posiziona i modelli 3D virtuali dell'osso e del tumore rispetto al riferimento marcatore stampato in 3D. I modelli 3D del paziente (A) sono posizionati sopra la faccia superiore del cubo del marcatore (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figura 3: Risultati che mostrano come la modalità di "registrazione" in 3D Slicer posiziona i modelli 3D virtuali dell'osso e del tumore (A) rispetto al riferimento marcatore stampato in 3D (B). L'adattatore marcatore è collegato al modello di tessuto osseo. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figura 4: Piccola sezione del tessuto osseo e adattatore marcatore 3D. I due componenti vengono combinati e stampati in 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figura 5: Strumenti di stampa 3D necessari per l'applicazione finale. (A) "Marcatore cubo a due colori" stampato in 3D con due colori di materiali. (B) "Marcatore cubo di adesivo" stampato in 3D, con adesivi incollati. (C) Adattatore cubo di base. (D) Sezione del modello 3D del tessuto osseo del paziente e adattatore del cubo marcatore. (E) "Marcatore cubo di adesivo" inserito nell'adattatore del cubo di base del marcatore. (F) "Marcatore cubo a due colori" inserito nell'adattatore marcatore collegato all'anatomia del paziente. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Figura 6: Visualizzazione dell'app quando si utilizza la modalità "visualizzazione". I modelli 3D di anatomia interessati del paziente sono posizionati sopra la faccia superiore del cubo stampato in 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figura 7: Visualizzazione AR quando si utilizza la modalità "registrazione". Il pennarello stampato in 3D consente la registrazione del biomodello stampato in 3D con i modelli 3D virtuali. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Fare clic qui per visualizzare una versione più grande di questa figura.</a>

Presentato qui è un metodo per progettare un'applicazione per smartphone in realtà aumentata per la visualizzazione di modelli tridimensionali anatomici di pazienti utilizzando un marcatore di riferimento stampato in 3D.

Combinazione di realtà aumentata e stampa 3D per visualizzare i modelli di paziente su uno smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Questo protocollo offre agli utenti inesperti gli strumenti per portare soluzioni di realtà aumentata in campo medico attraverso la costruzione della propria app per smartphone. Questo metodo combina realtà aumentata e stampa 3D consentendo una visualizzazione rapida e semplice dei modelli 3D creati basando i dati su un marcatore di riferimento stampato in 3D. Questa tecnica può essere applicata a qualsiasi scenario medico in cui un riferimento stampato in 3D può essere rigidamente attaccato al paziente.La visualizzazione di modelli 3D visivi creati dalla localizzazione dei dati di base che è mirata e può anche migliorare il paziente Questo protocollo è stato specificamente progettato per gli utenti senza alcuna conoscenza preliminare dell'imaging medico o dello sviluppo software per aiutare nell'uso della realtà aumentata in campo medico. Per creare modelli 3D dell'anatomia di un paziente, tenere traccia del file di immagine medico nella finestra del software 3D Slicer e fare clic su OK. Per segmentare l'anatomia del paziente, vai al modulo editor di segmenti in 3D Slicer. Un elemento di segmentazione verrà creato automaticamente all'ingresso del modulo.Selezionare il volume desiderato nella sezione volume principale e fare clic con il pulsante destro del mouse sotto l'immagine per selezionare Aggiungi per creare un segmento. Nel pannello effetti, selezionare lo strumento più conveniente per il bersaglio e segmentare l'immagine medica del paziente. Per esportare la segmentazione in un formato di file modello 3D, aprite il modulo segmentazioni.Nei modelli di esportazione/importazione e nelle mappe etichette selezionare esporta e modelli e fare clic su Esporta per creare il modello 3D dall'area segmentata. Fare clic su Salva e selezionare gli elementi da salvare. Quindi modificate il formato di file del modello 3D in OBJ.La segmentazione può essere ripetuta per creare ulteriori modelli 3D di diverse regioni anatomiche. Per il posizionamento di un modello di paziente 3D in qualsiasi posizione rispetto al marcatore di realtà aumentata, aprire il modulo di posizione del modello AR Health e selezionare la modalità di visualizzazione. Fate clic sul modello marcatore di carico per caricare il marcatore per questa opzione, sul pulsante con i puntini di sospensione per selezionare il percorso del modello 3D salvato e caricare il modello per caricare il modello in 3D Slicer.Fate clic su Fine (Finish) e centra (Center) per centrare tutti i modelli all'interno del marcatore. Utilizzate le barre di scorrimento per regolare la posizione, l'orientamento e il ridimensionamento dei modelli 3D rispetto al marcatore desiderato. Quindi selezionare il percorso in cui archiviare i file e fare clic su Salva modelli per salvare i modelli in questa posizione.Per combinare il marcatore di realtà aumentata con un biomodello 3D in qualsiasi posizione desiderata, aprire il modulo di posizione del modello AR Health e nella sezione di inizializzazione selezionare la modalità di registrazione. Fate clic sul modello marcatore di carico per caricare il marcatore per questa opzione e spostate i modelli 3D fino a quando non si intersecano con la struttura di supporto del marcatore cubo, modificando l'altezza della base marcatore in base alle esigenze. Per salvare il modello in questa posizione, selezionate il percorso in cui archiviare i file e fate clic su Salva modelli (Save models).Se il modello anatomico è troppo grande, caricare il biomodello e la struttura di supporto del modello di marcatore cubo nel software del miscelatore mesh. Selezionate entrambi i modelli nella finestra del browser oggetti per combinare i modelli e utilizzate lo strumento taglio semplice dal menu di modifica per rimuovere eventuali sezioni indesiderate del modello che non verranno stampate in 3D. Per salvare il modello da stampare in 3D, selezionate file ed esportate e selezionate il formato desiderato.Per stampare in 3D i modelli fisici necessari per l'applicazione finale di realtà aumentata, nel software di stampa 3D, selezionare un materiale di colore bianco per il TwoColorCuebMarker_white. obj e un materiale di colore nero per la TwoColorCubeMarker_white. obj.Quindi utilizzare una stampante 3D a doppio estrusore per stampare in 3D il marcatore cubico in bianco e nero in modalità di alta qualità con una piccola altezza del livello. Per progettare un'app per smartphone in Unity Engine che includa i modelli 3D, apri Vuforia Developer e crea un account. Selezionare Ottieni chiave di sviluppo per ottenere una chiave di licenza di sviluppo gratuita e nel menu gestione licenze selezionare e copiare la chiave.Per configurare lo smartphone, nell'applicazione Unity versione 2019, in Impostazioni di compilazione nel menu file selezionare la piattaforma appropriata per il dispositivo. Per abilitare Vuforia nel progetto, selezionare modifica, impostazione del progetto, impostazioni del lettore e impostazioni XR e selezionare la casella con l'etichetta Supporto per la realtà aumentata Vuforia. Per creare una fotocamera in realtà aumentata, selezionare la barra dei menu, l'oggetto gioco, vuforia engine e la fotocamera AR e importare i componenti Vuforia quando richiesto.Per aggiungere il codice di licenza Vuforia alle impostazioni di configurazione vuforia, selezionare la cartella delle risorse, fare clic su Configurazione Vuforia e incollare il codice di licenza nella sezione del codice di licenza dell'app. Importa il file di destinazione Vuforia contenente i file necessari a Vuforia per rilevare i marcatori in Unity e selezionare la barra dei menu, l'oggetto gioco, Vuforia Engine e l'immagine multi per creare un multi-destinazione Vuforia. Fare clic sulla destinazione multi per selezionare il tipo di marcatore che verrà utilizzato per il rilevamento e nell'opzione database in Comportamento multi-destinazione selezionare ARHealth_3dPrintedCube_30x30x30.Nell'opzione multisobiere di destinazione in comportamento multi destinazione, selezionare TwoColorCubeMarker o StickerCubeMarker a seconda dell'indicatore. Trascinate i modelli 3D nella cartella models e trascinate la cartella sotto l'elemento di destinazione multi. I modelli dovrebbero diventare visibili nella scena della vista 3D Unity.Per modificare i colori dei modelli 3D, create nuovi materiali e assegnate i nuovi materiali ai modelli. Se è disponibile una webcam, fare clic su Riproduci per testare l'applicazione sul computer. Se il marcatore è visibile alla webcam, dovrebbe essere rilevato e i modelli 3D dovrebbero apparire nella scena.Se uno smartphone Android verrà utilizzato per lo sviluppo dell'app, seleziona le impostazioni di compilazione in Unity e seleziona il telefono collegato dall'elenco. Quindi salvare il file con un'estensione apk e consentire al processo di finire. Se l'app verrà distribuita in un dispositivo iOS, seleziona il file nelle impostazioni di compilazione e salva il file.Per visualizzare l'app, apri l'app sullo smartphone e usa la fotocamera dello smartphone per guardare il marcatore dall'interno dell'app a una distanza minima di 40 centimetri. Una volta che l'app rileva il marcatore, i modelli 3D creati in precedenza dovrebbero apparire sullo schermo dello smartphone nella posizione esatta definita durante la procedura. Utilizzando il metodo come dimostrato, questa porzione della tibia e della perbula colpite da un paziente affetto da sarcoma della gamba distale e tumore è stata segmentata dalla TAC del paziente.Utilizzando gli strumenti di segmentazione, è stato creato un biomodello per l'osso ed è stato creato un biomodello per il tumore. Per la modalità di visualizzazione, i modelli sono stati centi nella fase superiore del marcatore. Per la modalità di registrazione, l'adattatore marcatore è stato posizionato nella tibia ed è stata selezionata una piccola sezione della tibia per essere stampata in 3D con un adattatore marcatore 3D.L'acido polilattico può essere utilizzato per creare marcatori stampati in 3D, basi porta marcatori e sezioni ossee come dimostrato. Qui un marcatore è collegato a una base stampata in 3D in modalità di visualizzazione e qui l'allegato viene mostrato con il biomodello stampato in 3D in modalità di registrazione. Questa rappresentazione mostra come funziona l'app in modalità di visualizzazione con l'ologramma accuratamente posizionato nella parte superiore del cubo come definito in precedenza.In modalità registrazione, il modello osseo completo può essere posizionato sopra la sezione stampata in 3D con una visualizzazione chiara e realistica del marcatore nel sito osseo. Per utilizzare la realtà aumentata per visualizzare importanti informazioni sui pazienti, avrai bisogno di diversi strumenti software liberamente disponibili, nonché dell'accesso a una stampante 3D e a uno smartphone. Questa procedura può essere applicata a qualsiasi modello ottenuto dall'imaging medico.Il suo utilizzo può essere esteso ad altri interventi come il posizionamento radioterapicio dell'inserimento dell'ago. Ora stiamo estendendo le applicazioni di questo sviluppo a nuove aree cliniche, tra cui la chirurgia miofasciale o ortopedica. La nostra ricerca iniziale è promettente e il feedback del chirurgo è molto positivo.

combining-augmented-reality-3d-printing-to-display-patient-models-on

Research

Ricerca

JoVE Journal

Medicine

Medicina

Questo video dimostra l'utilizzo della realtà aumentata (AR) per la resezione del tumore, in cui un campione di tumore scansionato in 3D viene visualizzato come un ologramma su un display montato sulla testa. I chirurghi possono manipolare e bloccare l'ologramma in posizione per garantire una rimozione precisa del tumore.

Visualizzazione basata sulla realtà aumentata di un campione tumorale resecato

Utilizzo di estrusione di plastica e moderne tecnologie di stampa, è ora possibile produrre velocemente ea basso costo i modelli fisici di dati a raggi X CT prese in un laboratorio. Il tridimensionale stampa di tomografica dei dati è una visualizzazione potente, di ricerca e strumento didattico, che possono ora essere accessibili da parte della comunità di imaging preclinico.

La stampa 3D di preclinica X-tomografia computerizzata a raggi Data Set

Qui, presentiamo un protocollo per utilizzare modelli stampati tridimensionali per la pianificazione preoperatoria e intraoperatoria riorganizzazione dei percorsi vascolari complicati quando si maneggia un'anomalia aortica congenita.

Stampa tridimensionale di un'anomalia aortica complessa

Questo metodo dimostra un flusso di lavoro di stampa 3D basato su voxel, che stampa direttamente da immagini mediche con esatta fedeltà spaziale e risoluzione spaziale / di contrasto. Ciò consente il controllo preciso e graduato delle distribuzioni dei materiali attraverso materiali morfologicamente complessi e graduati correlati alla radiodensità senza perdita o alterazione dei dati.

Anatomia della stampa Voxel: progettazione e fabbricazione di modelli di pianificazione realistici e prechirurgici tramite stampa bitmap

Una complessa artroplastica dell'anca di revisione è stata eseguita utilizzando un impianto personalizzato e una tecnologia di realtà mista. Secondo le conoscenze degli autori, questo è il primo rapporto di tale procedura descritta in letteratura.<br...

L'uso della realtà mista nell'artroplastica dell'anca di revisione su misura: un primo caso clinico

Il display montato sulla testa di realtà aumentata, Magic Leap, è stato utilizzato in combinazione con un sistema di navigazione convenzionale per posizionare viti peduncolari in un modello suino aderendo a un nuovo flusso di lavoro. Con un tempo di inserimento mediano di &lt;2,5 min, sono state raggiunte un'accuratezza tecnica submillimetrica e un'accuratezza clinica del 100% secondo Gertzbein.

Posizionamento della vite peduncolare utilizzando un display montato sulla testa a realtà aumentata in un modello suino

I progressi nel trattamento endovascolare hanno sostituito le complesse procedure chirurgiche a cielo aperto con opzioni minimamente invasive, come la sostituzione della valvola e la riparazione dell'aneurisma. Questo documento propone di utilizzare la modellazione tridimensionale (3D) e la realtà virtuale per facilitare il posizionamento dell'arco a C, le misurazioni dell'angolo e la generazione di roadmap per la pianificazione procedurale del laboratorio di cateterismo neurointerventistico,...

Approcci pionieristici specifici per il paziente per la chirurgia di precisione utilizzando l'imaging e la realtà virtuale

Viene proposto un nuovo metodo per la scansione 3D e la mappatura virtuale delle resezioni del cancro con l'obiettivo di migliorare la comunicazione tra il team multidisciplinare di cura del cancro.

Miglioramento della comunicazione dei margini tumorali utilizzando la scansione e la mappatura 3D

Questo articolo presenta la progettazione e l'implementazione di un modulo di chirurgia automatica basato sulla ricostruzione 3D basata sulla realtà aumentata (AR). Il sistema consente la chirurgia remota consentendo ai chirurghi di ispezionare le caratteristiche ricostruite e replicare i movimenti chirurgici della mano come se stessero eseguendo l'intervento chirurgico nelle immediate vicinanze.

Chirurgia automatica nella sostituzione transcatetere della valvola aortica utilizzando la realtà aumentata

Qui, descriviamo un protocollo per costruire un modello di cuore da zero basato sulla tomografia computerizzata e lo presentiamo agli studenti di medicina utilizzando la stampa tridimensionale (3D) e la tecnologia di realtà mista per apprendere l'anatomia.

Tecnologia di realtà mista e stampa tridimensionale nell'insegnamento: l'anatomia del cuore come esempio

Scopri come combinare realtà aumentata e stampa 3D per visualizzare modelli anatomici su smartphone. Questo metodo accessibile migliora la comprensione medica e l'impegno del paziente senza richiedere esperienza pregressa.

Combinazione di realtà aumentata e stampa 3D per visualizzare i modelli di paziente su uno smartphone

Esplora altri video