Integrated Analysis and Probabilistic Registration of Medical Images with Missing Correspondences

The automatic, robust and reliable registration of medical images is a central problem in medical image computing with high impact on image-guided diagnostics and therapy. Currently available registration methods reach their limits, if strong anatomical or pathologic discrepancies are present in the images and corresponding structures are missing in parts of the images. Another limitation of current registration methods is the lack of information they provide to the user about the local (un)certainty of the estimated transformation and therefore does not allow an assessment of the registration results. The aim of this project is to enable the robust and reliable registration of images even if one-to-one correspondences are missing in parts of the images. To achieve this, a general probabilistic registration framework based on correspondence probabilities is developed that does not only rely on image intensities but also on additional information extracted by image analysis methods like organ segmentations, landmarks and local image features to align images. The methods to develop will enable the registration of areas with missing local correspondences as well as the objective assessment of the reliability of the local registration results.The proposed methodical innovations extend the medical application spectrum of image registration algorithms, significantly. For example, the proposed method will facilitate and improve the quality of image-based follow-up studies and clinical monitoring, comparison of pre- and post-operative images as well as image-based statistical studies to reveal spatial distribution patterns of pathological tissues or neuronal activities.

Die Registrierung (Fusion) von Bilddaten ist ein zentraler Schritt für die Analyse medizinischer Bilddaten, wenn Informationen mehrerer Bilder involviert sind, d.h. wenn Bilder verschiedener Zeitpunkte, verschiedener Modalitäten oder verschiedener Patienten zusammengeführt werden müssen. Die Entwicklung von Algorithmen insbesondere für die nicht-lineare Registrierung von Bilddaten war in den letzten Jahren ein wesentliches Forschungsfeld der medizinischen Bildverarbeitung – mit bemerkenswertem Erfolg. Doch obwohl zahlreiche Evaluationsstudien eine hohe mittlere Genauigkeit für aktuelle nicht-lineare Registrierungsverfahren belegen, wird die Präzision dieser Verfahren durch pathologische Strukturen, inhomogene Bildbereiche oder resezierte Gewebe massive beeinflusst, was die Anwendbarkeit dieser Verfahren im klinischen Umfeld beeinträchtigt. Wesentliches Ziel dieses Projektes war die Entwicklung eines Verfahrens, das eine präzise und robuste Registrierung pathologischer oder inhomogener Bilddaten erlaubt. Grundlage des entwickelten Verfahrens sind dabei Korrespondenzwahrscheinlichkeiten, d.h. neben der zu bestimmenden Transformation werden auch die Wahrscheinlichkeiten berechnet, welche Bildpunkte zueinander korrespondieren. Diese Korrespondenzwahrscheinlichkeiten ermöglichen die Identifikation von Bildbereichen die z.B. pathologisch verändert sind und somit ohne Entsprechung im anderen Bild. In Experimenten konnte gezeigt werden, dass dieser probabilistische Registrierungsansatz in seiner Genauigkeit mit Methoden des Standes der Technik vergleichbar ist, jedoch eine wesentlich höhere Robustheit bei pathologischen Bilddaten aufweist. Ein weiteres Ziel des Projektes war die Bestimmung lokaler Registrierungsunsicherheiten, wodurch eine automatische Unterscheidung von lokalen Bildbereichen mit hoher und möglicherweise geringer Registrierungsgüte ermöglicht wird. Hier konnte gezeigt werden, dass die Korrespondenzwahrscheinlichkeiten zwar keine quantitative Abschätzung des Registrierungsfehlers erlauben, jedoch eine Korrelation damit aufweisen. So können die Korrespondenzwahrscheinlichkeiten beispielsweise genutzt werden, um pathologische Bildbereiche automatisch zu detektieren. Eine Schwierigkeit bei der Projektbearbeitung ergab sich dadurch, dass der Einfluss pathologischer Veränderungen auf die Genauigkeit von Registrierungsverfahren kaum quantitativ untersucht wurde und demzufolge keine geeigneten Benchmark-Datensätze zur Verfügung stehen. Deshalb wurden im Rahmen des Projektes neue Evaluationstechniken für die Interpatienten–Registrierung mit pathologischen Bilddaten entwickelt. Ein generatives neuronales Netzwerk erzeugt dabei auf der Basis eines bestehenden (gesunden) Bildes ein synthetisches realistisch aussehendes Bild mit eingebrachter Pathologie. Das entstehende Bildpaar (gesund + pathologisch) kann dann genutzt werden, um dediziert die Einflüsse pathologischer Strukturen auf die Registrierungsgüte zu untersuchen. Neben pathologischen Veränderungen können auch verschiedene Bildmodalitäten bzw. –eigenschaften simuliert werden, was ein breites Anwendungsspektrum für diesen Ansatz eröffnet.