Fahrerassistenzsysteme Fusion von Radar- und Kameradaten: Zukunft der Kfz-Innenraumüberwachung

Im Innenraum eines modernen Fahrzeugs werden immer mehr Sensoren verbaut, beispielsweise für die Insassen-Überwachung. Der vorliegende Artikel beschreibt die Vorteile, die die gemeinsame Verwendung von Radar- und Kamerasystemen im Innenraum von Fahrzeugen hat, und bietet Denkanstöße für die Umsetzung solcher Kombilösungen.

Während in der Automobilindustrie ein Trend zu mehr Intelligenz und zu Software-definierten Architekturen zu beobachten ist, werden die Innenräume der Kraftfahrzeuge mit immer mehr Sensoren bestückt. Die Sicherheitsvorschriften werden dementsprechend weiterentwickelt. Unter anderem spezifiziert das European New Car Assessment Program (NCAP) die direkte Erfassung von Kindern, und zusätzlich gibt es Forderungen nach Erfassung von Sitzhaltung und Größe der Personen. Um diesen Vorschriften gerecht zu werden, haben Automobilhersteller damit begonnen, höher auflösende Sensoren und Kameras einzubauen, die den Fahrzeuginnenraum und das Umfeld überwachen. Dabei sollen die Lösungskosten minimiert werden, indem die Funktionen verschiedener, bereits in den Fahrzeugen verbauter Sensoren genutzt und zusammengeführt werden. Insbesondere bei der Fusion mit Kamerasystemen erweist sich Radar zunehmend als potenzielle Lösung zum Erreichen beider Ziele und zur Realisierung zukunftssicherer Insassen-Überwachungssysteme.

Smartere Sensorik dank Radar

Autobauer setzen bereits stromsparende, auf 60-GHz-Technik basierende Kindererkennungs-Systeme mit folgendem Funktionsumfang ein:

• Detektierung kleinster Bewegungen wie Atmung oder Herzschlag

• Durchdringung von Geweben, Sitzen, Rückhaltesystemen und anderen Materialien

• Unabhängigkeit von den Lichtverhältnissen

Angesichts des zunehmenden Einsatzes von Radarsystemen sowohl außen am Fahrzeug als auch im Innenraum werden die Automobilhersteller und ihre Zulieferer immer versierter, was die Nutzung dieser Technik und das Verständnis ihres Potenzials im Fahrzeuginnenraum betrifft. Durch korrekte Erkennung von Menschen und Haustieren im Unterschied zu unbelebten Objekten trägt die Radartechnik dazu, die Zahl der Fehlalarme zu reduzieren.

Werden Echtzeit-Entscheidungen direkt im Radar-SoC gefällt, können Automobilhersteller den Stromverbrauch und die Latenz verringern. Für Autobauer sind beides wichtige Faktoren insbesondere für die Kinderdetektierung und die Einbruchserkennung bei abgeschaltetem Fahrzeug.

Kameras im Fahrzeuginnenraum

Innenraumkameras sollen die am Steuer sitzende Person überwachen und sicherstellen, dass diese aktiv am Verkehrsgeschehen teilnimmt. Meist werden hier mithilfe von KI-Algorithmen Anzeichen für Ablenkung, Schläfrigkeit oder andere Beeinträchtigungen detektiert.

Häufig nutzt man diese Kamerasysteme auch für andere Zwecke. Insassenüberwachungs-Systeme sollen die Präsenz von Personen oder auch Haustieren detektieren und außerdem mithilfe von Deep-Learning-Algorithmen feststellen, ob die Sicherheitsgurte korrekt angelegt sind, welche Sitze belegt sind – was insbesondere für das Auslösen der Airbags eine Rolle spielt – oder ob sich beispielsweise Kinder in Kindersitzen befinden. Dadurch können Fahrer- und Insassenüberwachungs-Systeme dazu beitragen, Verletzungen zu vermeiden oder zumindest zu minimieren.

Sensorfusion für die Innenraumüberwachung

Viele moderne Fahrzeuge sind bereits mit kamerabasierten Insassenüberwachungs-Systemen und radarbasierten Kindererkennungs- und Einbruchmeldesystemen ausgestattet. Es wäre also vorteilhaft, die Sensordaten dieser Systeme zusammenzuführen und eine Sensortechnologie zur Ergänzung der jeweils anderen zu nutzen. Tabelle 1 verdeutlicht, wie sich die Synergie zwischen beiden Techniken darstellen könnte. Darin sind die „toten Winkel“ der jeweiligen Technik rot markiert, während gelb für teilweise Abdeckung und grün für umfassende Abdeckung steht.

Kamerabasierte Computer-Bildverarbeitungssysteme werden auf dem Markt bereits angeboten und für die Überwachung der Personen am Steuer und in der ersten Sitzreihe eingesetzt. Wie aus Tabelle 1 hervorgeht, können Entwickler stromsparende 60-GHz-Radarbausteine wie den AWRL6844 von Texas Instruments nutzen, um Einbrucherkennung, Kinder-Präsenzerkennung und Insassenlokalisierung zu implementieren.

Insgesamt können fusionsbasierte Lösungen als überzeugendste Lösung für die Zukunft betrachtet werden. Allerdings müssen Entwickler bei der Integration von Radar- und Kameratechnik für die Innenraumüberwachung folgende Aspekte beachten:

• Platzierung der Sensoren

• Architektur

• Transport und Verarbeitung der Radardaten

• Synchronisation

• KI-Fusionsmodelle

Platzierung der Sensoren

Wie in Bild 1 zu erkennen ist, müssen Radar- und Kamerasensoren nicht zusammen platziert werden, um effektiv zu funktionieren. Eine im Innenspiegel angebrachte Kamera hat einen guten Blick auf die vorn sitzenden Personen sowie einige Personen auf der Rückbank. Inzwischen kann ein Radarsensor in der Dachkonsole den Innenraum vollständig abdecken, einschließlich schwierig einzusehender Bereiche, wie Fußräume oder Armaturentafel.

Architektur

Die Tatsache, dass die Sensoren nicht zusammen platziert werden müssen, schafft Flexibilität für die Architektur. Typische Kameraarchitekturen in einem Fahrzeug stützen sich für die Datenverarbeitung auf eine CSI-2-Verbindung zum zentralen Steuergerät (Electronic Control Unit, ECU, Bild 2).

Wie die Verbindung zwischen der Radareinheit und dem Haupt-ECU gestaltet ist, hängt vom gewünschten Fusionsgrad ab. Eine geringe und frühe Zusammenführung erfordert ein schnelles Interface zur Übertragung der Radar-Rohdaten an das Fusions-ECU. Bei einer hochgradigen oder späten Fusion dagegen werden vom Chip nur die finalen Resultate, wie Klassifizierungswerte oder andere Detektierungsalarme ausgegeben.

Transport und Verarbeitung der Radardaten

Beim Implementieren einer Fusionslösung muss sorgfältig darüber entschieden werden, wie die Daten im Fahrzeug zwischen Radarprozessor und ECU übertragen werden. Welche Lösung die beste ist, hängt von der verwendeten Verarbeitungsmethode ab.

Verarbeitung per Edge-KI

Edge-KI-Verarbeitung punktet mit niedriger Latenz, und außerdem gibt der Chip ausschließlich finale Entscheidungen aus. Wenn Daten nur auf einer höheren Ebene ausgegeben werden – zum Beispiel in Form von Klassifizierungs-Entscheidungen –, kann ein Standardprotokoll wie Controller Area Network (CAN) oder Local Interconnect Network (LIN) geeignet sein. Hierbei steht für die Fusion mit dem Haupt-ECU jedoch nur ein begrenzter Umfang an Daten zur Verfügung.

Rohdaten-Verarbeitung

Alternativ bietet sich das Streamen unverarbeiteter Radarsignale aus dem Baustein über ein schnelles Interface wie CSI-2 oder Ethernet an. Dank des Zugriffs auf sämtliche Radardaten ermöglicht dieses Konzept zentralisierte, hochpräzise KI- und Machine-Learning-Ketten.

Nachteilig an der Rohdaten-Verarbeitung sind die Mehrkosten und die erhöhte Komplexität. Neben einer breitbandigen Architektur wird zusätzliche Hard- und Software benötigt, und auch die Integrationskosten sind insgesamt höher als mit Edge-KI-Verarbeitung.

Punktwolken-Verarbeitung

Der goldene Mittelweg ist das Streamen von Punktwolken-Daten aus dem Radarbaustein, wobei die Daten zum Teil bereits im Chip verarbeitet werden.

Das Punktwolken-Konzept kann für Entwickler funktionieren, die eine Fusion von Kamera- und Radarsystemen anvisieren. Obwohl hier für den Datentransfer eine einfache Schnittstelle wie zum Beispiel CAN ausreicht, steht dem ECU ein reichhaltiger Datenbestand für die Fusion zur Verfügung. Dennoch ist der Datenumfang nicht so groß wie bei der zuvor betrachteten Option, und die Fusionsalgorithmen haben keinen Zugriff auf die Rohsignale.

Synchronisation

Die Sensorfusion erfordert die zeitliche Ausrichtung zwischen Kamera- und Radar-Frames. Mit speziellen Schnittstellen oder Middleware lässt sich die Millisekunden-genaue Synchronisation erreichen, auch wenn Entscheidungen auf Systemebene üblicherweise nicht binnen einer Millisekunde gefällt werden. Kinderpräsenzerkennungs- und Insassenüberwachungs-Systeme benötigen für ihre Entscheidungen mindestens eine Sekunde, sodass bei der Synchronisation ein gewisser Fehlerspielraum bleibt.

KI-Fusionsmodelle

Bei der Fusion geht es nicht nur um das schlichte Überlagern der Daten zweier Sensoren, sondern auch um deren intelligente Interpretation. Edge-fähige Deep-Learning-Modelle können aus Radar-Punktwolken und Kamerabildern für Menschen verständliche Aussagen generieren wie etwa:

• „Erwachsener links hinten ohne angelegten Gurt“

• „Kind auf rückwärtsgewandtem Sitz, teilweise zugedeckt, Atmung erkannt“

• „Möglicherweise Kind auf Rücksitz; Bestätigung durch Fahrer erforderlich“

Sensorfusion als Strategie

Um die komplexen Regelwerke zu erfüllen und dem Wunsch des Endverbrauchers nach Sicherheit und Komfort nachzukommen, müssen Automobilhersteller die Sensorfusion weniger als Feature, sondern eher als Strategie begreifen. Die durch Fusion von Radar- und Kameradaten gewonnenen Erkenntnisse werden einen neuen Grad an Echtzeit-Entscheidungen und personalisiertem Fahrzeugverhalten ermöglichen. Dazu einige Beispiele:

• Erzeugung von Warnmeldungen

• Personalisiertes Infotainment

• Optimierte Klimatisierung

• Verhaltensmeldungen für das Flottenmanagement

Durch die Erfassung kleinster Bewegungen, den geringen Stromverbrauch und die Erfassung des gesamten Innenraums ist die Radartechnik zu einem zentralen Stützpfeiler für die Innenraumüberwachung geworden und hat sich von einem ergänzenden zu einem essenziellen Element entwickelt. Im Verbund mit Bildverarbeitungs-Systemen und KI-basierender Sensorfusion macht die Radartechnik Fahrzeuge nicht nur intelligenter, sondern auch sicherer, einfacher und besser skalierbar.  (se)

* Tim Henderson ist Product Marketing Engineer, low-power Automotive Radar und Lakshmi Sriraman arbeitet als Product Marketing Manager bei Texas Instruments.

(ID:51003614)