Kamerabasierte Personenerfassung im Auto legt Basis für neue Assistenzsysteme

Rückfahrassistent oder Fußgängererkennung: Moderne Autos analysieren ihre Umgebung aufs Genauste. Den Innenraum dagegen sparen die Sensoren bisher weitestgehend aus. Nicht so ein neuartiges System: Es erkennt Anzahl und Größe der Personen im Fahrzeug und weiß, worauf sie ihre Aufmerksamkeit richten. Somit legt es die Basis für neuartige Assistenzsysteme, etwa für das automatisierte Fahren.

Assistenzsysteme sollen künftig erkennen, womit sich die Insassen im Auto beschäftigen. Wichtig ist dies etwa beim automatisierten Fahren. Foto: Fraunhofer IAO

Den Blick fest auf die Straße gerichtet, jederzeit zur Reaktion bereit – so sitzen Autofahrer hinter dem Steuer. Künftig könnte sich das ändern: Wenn das Auto eigenständig lenkt und bremst, kann sich der Fahrer bequem zurücklehnen, eine Nachricht auf dem Smartphone verschicken, sich zu den Kindern auf der Rückbank umdrehen oder – das Fahrzeug kann dem Fahrer temporär ein erweitertes Infotainment-Angebot bereitstellen. Mit dieser Vision des vollautomatisierten Fahrens ergeben sich neue Möglichkeiten für den Fahrer, die Fahrtzeit zu nutzen und Aktivitäten jenseits des Fahrens nachzugehen – und damit auch neue Anforderungen an die Assistenzsysteme. Doch während es bereits zahlreiche Sensoren gibt, die das Umfeld des Autos analysieren, fehlen solche Systeme für den Innenraum.

Basis für neue Assistenzsysteme

Forscher der Fraunhofer-Institute für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe und für Arbeitswirtschaft und Organisation IAO in Stuttgart entwickeln im Projekt »Intelligent Car Interieur«, kurz InCarIn, erstmals ein System für den Fahrzeug-Innenraum – gemeinsam mit ihren Kollegen der Volkswagen Konzernforschung, von Bosch, Visteon und weiteren Unternehmen. Das Projekt wird vom Bundesministerium für Bildung und Forschung (BMBF) gefördert. »Wir weiten die Sensorik auf den gesamten Innenraum aus«, erläutert Dr. Michael Voit, Gruppenleiter am IOSB. »Über Tiefenkameras erfassen wir das Fahrzeuginnere, erkennen die Anzahl der Personen, ihre Größe und ihre Körperhaltung. Daraus leiten wir die Aktivitäten der Personen ab.« Das langfristige Ziel liegt im Aufbau neuer Assistenzsysteme. Wichtig ist dies unter anderem bei teilautomatisiertem Fahren: Dreht sich der Fahrer zu den Kindern um, die auf der Rückbank sitzen, könnte in diesem Moment das System auf einem Monitor das Videobild der Rückbank darstellen – so kann der Fahrer den Blick umgehend wieder gen Straße richten und sieht dennoch, was die Kinder machen. »Über die Sensoren kann das System abschätzen, wie lange der Fahrer nach dem automatisierten Fahren brauchen wird, um die Kontrolle über das Fahrzeug wieder vollständig zu übernehmen«, erklärt Frederik Diederichs, Wissenschaftler und Projektleiter am IAO. Anhand der Information, wo die Personen sitzen und wie groß sie sind, ließe sich beispielsweise auch der Airbag an die individuelle Körpergröße anpassen – und über die Analyse der Gliedmaßen auch an spezielle Situationen wie an den Beifahrer, der die Füße auf das Armaturenbrett gelegt hat.

System erkennt Aktivitäten der Personen

Die Herausforderung liegt vor allem in der Auswertung der aufgenommenen Daten. Personen und deren Gliedmaßen erkennt die Software bereits, auch kann sie über eine Art Skelett, das sie über die Personenbilder legt, die Bewegungen nachvollziehen. Doch wie bringt man dem Computer bei, welche Aktivitäten die Personen gerade ausführen? »Eine Herausforderung liegt darin, Gegenstände, mit denen sich die Person beschäftigt, zuverlässig zu erkennen. Wenn man bedenkt, dass prinzipiell jedes Objekt in das Fahrzeug gebracht werden kann, müssen irgendwo Grenzen der Erfassungsmöglichkeiten gezogen werden. Wir setzen daher Grundvoraussetzungen, indem wir dem Computer mitteilen, wo sich etwa Sonnenschutzblende und Handschuhfach befinden«, erklärt Voit.

Die Forscher haben die Kameras und die zugehörigen Auswertealgorithmen zunächst im IAO-eigenen Fahrsimulator getestet und weiterentwickelt. Nun soll das System – integriert in einen Volkswagen Multivan – in Probandenversuchen zeigen, was es kann. Hier werden Grundlagen für die neuen Fahrzeugkonzepte der nächsten fünf bis zehn Jahre gelegt.