Automated real-time image fusion of radiological image data and patient anatomy in augmented reality using artificial intelligence

Projekt: DFG-ProjekteDFG Einzelförderungen

Projektdaten

Projektbeschreibung

Ziel des Projekts ist die Entwicklung eines KI-gestützten, automatisierten Bildfusionsprozesses von 3D-Computertomographie (CT)-Bilddaten mit tatsächlicher Patientenanatomie in der Augmented reality zur Unterstützung chirurgischer und interventioneller Verfahren. Dieses Ziel soll mit Hilfe der in die AR-Brille integrierten Kamerasysteme und eines 3D Spatial Transformer Network erreicht werden. Die Kameras erfassen die Anatomie des Patienten in Echtzeit und ein KI-Algorithmus fusioniert dann automatisch die aus dem CT-Datensatz rekonstruierten 3D-Daten auf der Grundlage anatomischer Landmarken. Das Fusionsergebnis wird in Echtzeit auf Basis eines KI-Algorithmus permanent neu bewertet und gegebenenfalls entsprechend angepasst (z. B. wenn der Patient sich bewegt). Als Praxisbeispiel wird die Anwendung bei endovaskulären Interventionen zur gezielten Punktion der A. femoralis communis in einer Patientenstudie demonstriert. Der Schwerpunkt des Projektes liegt dabei nicht auf der Automatisierung von Tätigkeiten, die bisher von Interventionalisten durchgeführt wurden, sondern auf der synergetischen Unterstützung der menschlichen Expertise durch Technologie. Die Anwendung von KI verspricht den Einsatz von AR zu erleichtern und wäre theoretisch auch auf andere AR-Anwendungen im medizinischen Bereich übertragbar. Die erfolgreiche Umsetzung des klinischen Anwendungsfalls könnte sich positiv auf die Erfolgsraten endovaskulärer Interventionen und das Patientenoutcome auswirken. Darüber hinaus ist davon auszugehen, dass die bereits wissenschaftlich belegten Vorteile konventioneller, kommerzieller Fusionsbildgebung (z. B. Dosiseinsparungen) hier ebenfalls zum tragen kommen.
AkronymAURA-AI
Statusabgeschlossen
Tatsächlicher Beginn/ -es Ende01.01.2331.12.23

UN-Ziele für nachhaltige Entwicklung

2015 einigten sich UN-Mitgliedstaaten auf 17 globale Ziele für nachhaltige Entwicklung (Sustainable Development Goals, SDGs) zur Beendigung der Armut, zum Schutz des Planeten und zur Förderung des allgemeinen Wohlstands. Die Arbeit dieses Projekts leistet einen Beitrag zu folgendem(n) SDG(s):

  • SDG 3 – Gesundheit und Wohlergehen

Strategische Forschungsbereiche und Zentren

  • Forschungsschwerpunkt: Biomedizintechnik

DFG-Fachsystematik

  • 2.22-07 Medizininformatik und medizinische Bioinformatik
  • 2.22-30 Radiologie

Mittelgeber

  • DFG: Deutsche Forschungsgemeinschaft