Probabilistic preference measures for knowledge-based scene interpretation

  • Neumann, Bernd (Principal Investigator (PI))
  • Möller, Ralf (Associated Staff)

Project: DFG ProjectsDFG Individual Projects

Project Details

Description

Das Vorhaben befasst sich mit allgemeingültigen rechnerbasierten Methoden zur Deutung komplexer stationärer oder zeitveränderlicher visueller Szenen aus der Alltagswelt, z.B. Innenraumszenen im Kontext von Assistenzaufgaben oder Verkehrsszenen im Kontext von Überwachungsaufgaben. Szeneninterpretationen dieser Art erfordern einerseits umfangreiches Vorwissen über die relevanten Alltagsvorgänge, repräsentierbar mit Methoden der Wissensrepräsentation, andererseits probabilistische Modelle zur Steuerung unsicherer Entscheidungen und zur Prädiktion. In diesem Vorhaben wird eine besondere Form der Integration von probabilistischen Modellen mit formaler Wissensrepräsentation untersucht, bei der probabilistische Inferenzen mit klassischen logikbasierten Inferenzen bei der Szeneninterpretation kooperieren. Logikbasierte Inferenzen grenzen den Raum möglicher konsistenter Szeneninterpretationen ab, während probabilistische Inferenzen unter den logisch möglichen Interpretationen bevorzugte bestimmen.

Key findings

Im Projekt PRAESINT wurde eine Theorie für die Szeneninterpretation entwickelt, die auf einer Kombination von prädikatenlogisch und probabilistisch modelliertem Wissen fußt. Dabei wurden für Teilaspekte unterschiedliche konkrete Repräsentationsformen untersucht (z.B. Beschreibungslogik, Prädikatenlogik und Markov-Logik) sowie neue Repräsentationsformen entwickelt, insbesondere für die Repräsentation von und Inferenz mit probabilistischem Wissen (Bayes’sche Kompositionelle Hierarchien). Als Grundlage für die Definition einer Szeneninterpretation haben sich Konstruktionsoperatoren (Aggregierung, Teileerzeugung, Spezialisierung und Verschmelzung) bewährt, mit denen ausgehend von Eingaben (Evidenz r) ein Konstruktionssuchraum aufgespannt werden kann, in dem sich Lösungen für das Interpretationsproblem als wahrscheinlichste Konstruktionen I ergeben. Der theoretische Ansatz wurde durch zwei Implementierungen gestützt, die jeweils unterschiedliche Aspekte komplementär beleuchten. In den Untersuchungen erfolgte in einem Ansatz eine operationale Realisierung des Interpretationssystems aus den Wissensbasen durch Generierung einer Constraint- und regelbasierten Interpretationsmaschine (System SCENIOR). In dem anderen Ansatz (RMI-Maschine) wurde untersucht, wie die elementaren Konstruktionsschritte als logische Inferenz (Abduktion und Deduktion) begriffen werden können. Mit Abduktion können auch mehrere Modellinstanzen pro Szene hergeleitet werden. Während, etwas vereinfach ausgedrückt, im ersten Ansatz (SCENIOR) argmax i P(Γ, I) als Optimierungskriterium gewählt wurde, konnte im zweiten Ansatz (RMI) gezeigt werden, dass sich auch argmax i P(Γ | I) als Formulierung eines Präferenzmaßes für I eignet. Die Bestimmung der P-Werte erfolgte auf verschiedene Weisen, einmal über eine Implementierung des BCH-Formalismus, im anderen Fall über externe Markov-Logik-Schlussverfahren (Alchemy). In beiden Implementierungen wurde die (optimale) Lösung im Konstruktionsraum durch Approximation mittels lokaler Gradientensuche und Strahlsuche realisiert, so dass Realzeitsysteme mit der gewünschten Funktionalität entstanden. Durch die Arbeiten in PRAESINT wurde die prädikatenlogische Formalisierung von Interpretationswissen und Interpretationsverfahren (Möller & Neumann, 2008) unseres Erachtens wegweisend um probabilistisches Wissen erweitert. Die Logik definiert den grundsätzlichen Interpretationsraum, das probabilistische Wissen favorisiert darin enthaltene Instanzen als Lösungen des Interpretationsproblems. Für beide im Projekt PRAESINT entwickelten komplementären Ansätze konnte in konkreten Implementierungen gezeigt werden, dass Eingabedaten Γ trotz Beschränkungen von Zeit- und Platzressourcen um bedeutungstragende Interpretationen I angereichert werden können, die für praktische Anwendungen verwendbar und nützlich sind.
Statusfinished
Effective start/end date01.01.0731.12.12

Collaborative partners

  • University of Hamburg (Joint applicant, Co-PI) (lead)

UN Sustainable Development Goals

In 2015, UN member states agreed to 17 global Sustainable Development Goals (SDGs) to end poverty, protect the planet and ensure prosperity for all. This project contributes towards the following SDG(s):

  • SDG 3 - Good Health and Well-being

Research Areas and Centers

  • Centers: Center for Artificial Intelligence Luebeck (ZKIL)
  • Research Area: Intelligent Systems

DFG Research Classification Scheme

  • 409-05 Interactive and Intelligent Systems, Image and Language Processing, Computer Graphics and Visualisation

Fingerprint

Explore the research topics touched on by this project. These labels are generated based on the underlying awards/grants. Together they form a unique fingerprint.
  • Islands and Query Answering for ALCHI-Ontologies

    Wandelt, S. & Möller, R., 28.03.2011, IC3K 2009: Knowledge Discovery, Knowlege Engineering and Knowledge Management . Springer Vieweg, Berlin Heidelberg, Vol. 128. p. 224-236 13 p. (Communications in Computer and Information Science; vol. 128).

    Research output: Chapters in Books/Reports/Conference ProceedingsConference contributionpeer-review

  • Logical formalization of multimedia interpretation

    Espinosa, S., Kaya, A. & Möller, R., 16.05.2011, Knowledge-Driven Multimedia Information Extraction and Ontology Evolution: Bridging the Semantic Gap. Paliouras, G., Spyropoulos, C. & Tsatsaronis, G. (eds.). p. 110-133 24 p. (Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics); vol. 6050).

    Research output: Chapters in Books/Reports/Conference ProceedingsChapterpeer-review

    6 Citations (Scopus)
  • A probabilistic abduction engine for media interpretation based on ontologies

    Gries, O., Möller, R., Nafissi, A., Rosenfeld, M., Sokolski, K. & Wessel, M., 08.11.2010, RR 2010: Web Reasoning and Rule Systems. Springer Vieweg, Berlin Heidelberg, Vol. 6333. p. 182-194 13 p. (Lecture Notes in Computer Science).

    Research output: Chapters in Books/Reports/Conference ProceedingsConference contributionpeer-review