Patient-specific 4D Virtual Reality Simulation of Punctures and Radiofrequency Ablations in Breathing Virtual Body Models

  • Handels, Heinz (Principal Investigator (PI))
  • Mastmeyer, André (Project Staff)

Project: DFG ProjectsDFG Individual Projects

Project Details

Description

In this project, methods for realistic visuo-haptic virtual reality simulation of respiratory motion in virtual patient models are developed. Areas of application are patient-specific planning and training of punctures and radiofrequency ablations (RFA) under respiratory motion. For static 3D image data of a new patient, individual as well as mean 4D motion models are transferred, which have been extracted from 4D image data and serve as voxel-related descriptions of real respiratory motion. By using surrogate-based 4D motion models, the variability of respiration is simulated realistically in different respiratory cycles. The anatomical differences between the anatomy of the model and the patient are compensated and the 4D motion of organs is transferred for animation onto the static 3D patient image data by means of non-linear registration methods. The 4D motion models are integrated into a visuo-haptic framework, which enables the visuo-haptic interaction of the puncture or ablation needle with the breathing virtual patient model. For the real-time 4D visualization of animated 3D image data, special volume-based 4D rendering techniques are developed and highly parallelized on the GPU. Additionally, for needle punctures and RFA, the effects on 4D path planning and biophysical simulation of RFA caused by respiratory motion are compared to planning and simulating by using static 3D image data. Apart from evaluation of the separate methods and components, a user evaluation of the whole VR training simulator for RF ablations including respiratory motion is carried out.

Key findings

Im Rahmen des Projektes wurden Methoden für die realitätsnahe visuo-haptische VR-Simulation von Atembewegungen für die Planung und das Training von Punktionen und Radiofrequenz-Ablationen in virtuellen Körpermodellen entwickelt. Hierbei wurde nicht nur die visuelle, sondern auch die haptische Immersion mit einem haptischen Kraftrückkopp-lungsgerät mit 6 Freiheitsgraden realisiert, so dass der Bediener neben der Wahrnehmung eines stereoskopischen Bewegtbildes auch die Intervention und Atembewegung spüren kann. Mithilfe des haptischen Kraftrückkopplungsgeräts ist der Benutzer in der Lage, die Punktions- bzw. Ablationsnadel in einem dreidimensionalen Arbeitsraum intuitiv zu steu-ern. Zugleich spürt er realistische Kräfte bei der Einführung der Nadel in den Körper sowie beim Gleiten durch den Körper und dem Durchstechen innerer Organe. Zur realitätsnahen Simulation der Atembewegungen wurden auf der Grundlage von 4D-Bilddaten reale Bewegungsmuster mithilfe nicht-linearer Registrierungsverfahren extra-hiert, die die Bewegung eines jeden Bildpunktes über den Atemzyklus hinweg durch ein zeitlich sich veränderndes 3D-Vektorfeld beschreiben. Im Rahmen des Projektes wurden sowohl individuelle als auch über ein Patientenkollektiv gemittelte 4D-Bewegungsmodelle generiert und zu voxelbezogenen Simulation realer Atembewegungen verwendet. Mithilfe surrogatbasierter 4D-Bewegungsmodelle wurde zudem zeitliche Veränderungen der Atmungsmuster in verschiedenen Atmungszyklen in Abhängigkeit von einem externen Sur-rogat (z.B. Volumen der zu den verschiedenen Atemphasen ein- und ausgeatmeten Luft) realitätsnah simuliert. Die Kompensation der anatomischen Unterschiede zwischen der Modell- und der Patien-tenanatomie sowie der Übertragung der komplexen 4D-Bewegungsmodelle auf die stati-schen 3D-Patientendaten zur Animation wurde durch Einsatz deformierbarer Registrie-rungsverfahren ermöglicht. Die 4D-Bewegungsmodelle wurden in ein visuo-haptisches Framework integriert, das die haptisch-visuell gesteuerte Interaktion der Punktions- bzw. Ablationsnadel mit dem atmenden virtuellen Körper ermöglichte. Für die visuo-haptische 4D-Darstellung der bewegten 3D-Bilddaten in Echtzeit wurden spezielle volumenbasierte 4D-Renderingtechniken entwickelt und laufzeitoptimiert auf der GPU parallelisiert. Weiter-hin wurde insbesondere für die Planung und das Training von Radiofrequenzablationen im Leberbereich die biophysikalische Simulation der mit der RF-Ablation einhergehenden Temperaturveränderungen im Gewebe ermöglicht. Über die Methodenentwicklung hinaus wurden die entwickelten Verfahren prototypisch in einen VR-Simulator mit eingebautem Kraftrückkopplungsgerät und Stereobilddarstellungsmöglichkeit integriert und somit für den praktischen Einsatz verfügbar gemacht.

Statusfinished
Effective start/end date01.04.1031.03.18

UN Sustainable Development Goals

In 2015, UN member states agreed to 17 global Sustainable Development Goals (SDGs) to end poverty, protect the planet and ensure prosperity for all. This project contributes towards the following SDG(s):

  • SDG 3 - Good Health and Well-being

Research Areas and Centers

  • Academic Focus: Biomedical Engineering

DFG Research Classification Scheme

  • 205-01 Epidemiology, Medical Biometrics/Statistics

Fingerprint

Explore the research topics touched on by this project. These labels are generated based on the underlying awards/grants. Together they form a unique fingerprint.