SPP 1527, Teilprojekt: Lernen effizienter Abtastung für das aktive Sehen

Agenten in der realen Welt, ausgestattet mit limitierten Ressourcen zur Informationsverarbeitung, müssen effiziente Strategien zur Informationsaufnahme einsetzen. Neue theoretische Ergebnisse zum Compressed Sensing versprechen völlig neue Ansätze zur effizienten Informationsaufnahme. Unser Projekt soll diese Ansätze für Active Vision nutzen, sie erweitern und deren Grenzen ausloten. Zunächst wollen wir Compressed Sensing und Prinzipien des Active Vision zu einer hierarchischen Informationsaufnahme zusammenführen und dadurch die Effizienz signifikant steigern. Die daraus resultierenden Strategien der bildbasierten Informationsaufnahme sollen sich an spezielle Bildklassen (z.B. Landschaften, Gesichter, Text, etc.) oder Aufgaben (z.B. Objektsuche) anpassen. Dazu entwickeln und nutzen wir Verfahren des maschinellen Lernens, die auf den Gütemaßen des Compressed Sensing agieren und mit Ansätzen des ”reinforcement learning” aus dem Bereich Active Vision verknüpft werden sollen. Damit kann der Agent seine Strategie der Informationsaufnahme an Umgebungen und Aufgaben anpassen. Schließlich wollen wir die Erkenntnisse für ein besseres Verständnis des menschlichen aktiven Sehens nutzen und mit ”eye-tracking” Experimenten untermauern. Die experimentellen Daten sollen für entsprechende ”challenges” zur Verfügung gestellt werden.

The different sensing frameworks developed during Esensing are novel approaches to the problem of how to adaptively sense the environment, i.e., how to extract relevant information from a particular environment that is previously unknown. Since they are based on learning and can be embedded in an action-perception loop, the novel methods have a great potential in the context of autonomously acting agents that must rely on efficient sensing schemes. Our approaches are inspired by Active Vision, motivated by Compressed Sensing, and are based on the principles of Sparse Coding. The scientific contribution we have accomplished during Esensing is twofold: (i) we developed new algorithms (CA, OSC, GF-OSC) to learn representations for an efficient encoding and sensing, and (ii) we developed new performant hierarchical sensing schemes (AHS, HMS), which are adaptive, because sensing operations are not conducted in a random fashion but are more carefully selected depending on both, the environment and the particular scene that is sensed. We developed AHS and HMS in the context of actionperception loops and collaborated with our partners in Leipzig and Berkeley. Our methods are inspired by biological sensing strategies and enable mobile agents to autonomously adapt their representations and their sensing strategies to a particular environment, which can then be sensed more efficiently.