Bildsensoren für automatisierte Fahrzeuge Immer gute Sicht

Immer mehr Fahrzeuge sind heute mit Fahrerassistenzsystemen oder automatisierten Fahrsystemen ausgestattet, die eine teilweise Automatisierung des Fahrens ermöglichen. Dazu zählen Stauassistent, automatischer Parkassistent, Spurhalteassistent oder Toter-Winkel-Warnung. Viele dieser Funktionen werden durch Kameras mit Automotive-Bildsensoren möglich. Ein Anbieter dieser Bildsensoren ist onsemi.

In den meisten ADAS- und AD-Systemen kommen mehrere Kameras zum Einsatz, die ein 360-Grad-Sensorumfeld bilden (Bild 1). Kameras mit engem und weitem Sichtfeld (Field of View, FOV) werden zur Erkennung verschiedener Objekte eingesetzt: andere Fahrzeuge und ungeschützte Verkehrsteilnehmer wie Fußgänger, Radfahrer und Motorräder. Die Kameras dienen auch dazu, Fahrspuren, Bordsteine oder Ampelfarben zu erfassen und Informationen aus Verkehrsschildern zu extrahieren.

Über das menschliche Auge hinaus

Die Kameras müssen in der Lage sein, detaillierte Bilder bei unterschiedlichen Lichtverhältnissen, wie Sonne tagsüber und Dunkelheit bei Nacht, zu erfassen. Die Lichtverhältnisse sind so vielfältig, dass die aufgenommenen Bilder oft einen hohen Dynamikbereich (High Dynamic Range, HDR) aufweisen, der weit über die Fähigkeiten des menschlichen Auges hinausgeht. Normalerweise ist das menschliche Auge zu einer Wahrnehmung von 80 bis 90 dB fähig, während eine Straßenszene am Tag mit direkter Sonneneinstrahlung oft 140 dB Dynamikbereich übersteigt, was dem 100.000- bis 1-Millionenfachen entspricht. Darüber hinaus schreiben die zugelassenen Geschwindigkeiten vor, dass die Erkennung von Objekten in 200 oder 300 m Entfernung bei 130 km/h auf der Autobahn zuverlässig funktionieren muss. Die Erkennung über große Entfernungen erfordert daher Bilder mit hoher Auflösung. All diese Herausforderungen definieren die Anforderungen an neue Bildsensoren für Fahrzeuge.

Weniger Verkehrstote

Bereits in der Vergangenheit hatte onsemi 120-dB-HDR-Sensoren entwickelt, um erste ADAS-Designs zu ermöglichen, die zwischen 2009 und 2015 auf den Markt kamen. Diese frühen Systeme basieren auf 1- und 2-Megapixel- HDR-Bildsensoren.

Der Verband der Europäischen Automobilhersteller (ACEA) berichtete, dass sich die Zahl der Verkehrstoten in der Europäischen Union (EU) seit 2008 halbiert hat (Bild 2). ADAS-Systeme, die mit HDR-Kameras ausgestattet sind, haben wesentlich zu diesem Trend beigetragen. Hierfür hat onsemi einen 8,3-MP-Sensor in Automotive-Qualität auf den Markt gebracht. Der hochauflösende Sensor der ersten Generation ermöglichte die Erkennung weit entfernter Objekte. Der 8,3 MP Sensor AR0820AT mit einem 2,1-µm-Dual-Gain-Pixel bietet 140 dB und eine gute Leistungsfähigkeit bei schlechten Lichtverhältnissen. Der Sensor ermöglichte die Erkennung von Objekten auf große Entfernungen (Bild 3) und sorgte für mehr Sicherheit im Straßenverkehr. Einer der Betriebsmodi des Sensors wurde für sehr schwache Lichtverhältnisse entwickelt, indem eine In-Pixel-Summierungstechnik vier Pixel bei geringem Ausleserauschen miteinander kombiniert. Dieser Modus reduziert die Auflösung von 8,3 auf 2 MP, erhöht aber das Signal-Rausch-Verhältnis (SNR) bei sehr schwachem Licht um mehr als das Doppelte und ermöglicht hochwertige Bilder bei weniger als einem Lux Beleuchtungsstärke (Mondlose Nacht) bei Nacht. Viele Systeme wechseln Bild für Bild zwischen der 8,3 MP Auflösung mit besten Bilddetails auf die niedrigere Auflösung, die bei schlechten Lichtverhältnissen eine viel bessere Bildaufnahme ermöglicht. Der aktive Wechsel des Sensormodus zwischen diesen beiden Auflösungen wird durch den Sensor selbstständig, entsprechend der Programmierung, umgesetzt.

Ein Beispiel für 140-dB-HDR-Bilderfassung zur Erkennung von Verkehrsteilnehmern, ist in Bild 4 dargestellt. Es wurde vom AR0820AT im 4-Belichtungs-HDR-Modus aufgenommen. Die Tote-Winkel-Kamera zeigte trotz der hellen Lichtverhältnisse deutlich ein Motorrad und dessen Scheinwerfer. Selbst bei äußerst tief stehender Sonne war das Motorrad sichtbar und konnte erkannt werden. Der AR0820AT war auch der erste Bildsensor für Fahrzeuge, der zwei nicht-traditionelle neue Farbfilteranordnungen (Color Filter Arrays, CFA) einführte.

Höhere Leistungsfähigkeit

Die erste CFA enthielt rote, gelbe und cyanfarbene (RYYCy) Pixel. Moderne Farbverarbeitungssysteme können RYYCy-Rohaufnahmen effektiv in lebendige Farbbilder wie in Bild 4 umwandeln. Weil mehr Photonen von dem Pixel erfasst werden, verbessert das RYYCy- CFA Leistungsfähigkeit bei schlechten Lichtverhältnissen. Das andere CFA-Muster umfasst rote, klare und blaue (RCCB) Pixel mit verbesserter Leistungsfähigkeit bei schlechten Lichtverhältnissen und guter Farbwiedergabe. Beide CFA-Muster des AR0820AT kommen häufig in ADAS- und AD-Systemen zum Einsatz.

Um Level 3 und höhere Autonomiestufen zu unterstützen, die in Serienfahrzeugen Autopilot-Funktionen auf Autobahnen und in Städten ermöglichen, und um die Entwicklung fortschrittlicher Sicherheitsfunktionen fortzusetzen, hat onsemi die Leistungsfähigkeit mit dem 8,3 MP Sensor Hyperlux AR0823AT weiter erhöht. Die zweite Generation des „Super-Exposure“ AR0823AT verbessert die Leistungsfähigkeit bei schlechten Lichtverhältnissen deutlich und sorgt für 150 dB Ultra-HDR mit LED-Flackervermeidung (LFM). Der Sensor erfasst scharfe Bilddetails bei verschiedenen Lichtverhältnissen und stattet Systemlösungen mit zahlreichen Funktionen aus. Bild 5 zeigt Details von Objekten in einem dunklen Tunnel sowie von Fahrzeugen in ca. 400 m Entfernung unter direkter Sonneneinstrahlung. Der Sensor behält seine stabile Leistungsfähigkeit über den gesamten Temperaturbereich im Fahrzeug bei und deckt auch Sonderfälle ab, um autonomes Fahren der Stufe 3 und höher vollständig zu ermöglichen.

Ampeln und Schilder korrekt erkennen

HDR-LFM bei Bildsensoren wird immer wichtiger, weil LED-betriebene Leuchten und Schilder Einzug in den Straßenverkehr halten. Verkehrsampeln und -schilder, Scheinwerfer und Bremslichter setzen LEDs mit Pulsweitenmodulation ein, die zu fehlenden oder unleserlichen Informationen in den aufgenommenen Bildern führen können. Der AR0823AT mit In-Pixel-HDR-LFM-Funktion stellt sicher, dass helle Ampeln und Schilder korrekt erkannt werden. Die Vorgängervariante setzte auf HDR-Mehrfachbelichtung, was jedoch zu LED- Flackern in den Bildern führte, durch die Teile der LED-Verkehrszeichen fehlten oder verfälscht wurden. Im Vergleich dazu bietet der neue Sensor im Super-Exposure-LFM-Modus einen flackerfreien Dynamik-Bereich von bis zu 120 dB, wobei alle Informationen der LED-Verkehrszeichen erhalten bleiben. Bild 6 zeigt Bilder eines 90-km/h-Geschwindigkeitsbegrenzungsschilds, die vom AR0820AT (links) mit einer gewissen Verschlechterung und vom AR0823AT (rechts) mit scharfen und echten Details aufgenommen wurden. 150 dB HDR ist eine der wichtigsten Funktionen des AR0823AT. Ultra-HDR ist vor allem in Extremsituationen mit direkter Sonneneinstrahlung oder -reflexionen sowie beim Erkennen von Ampelfarben nützlich. Der Vergleich zeigt, wie direkte Sonneneinstrahlung vom AR0823AT im Vergleich zu einem anderen Sensor erfasst wird. Der konkurrierende Sensor unterstützt dabei nur 130 dB HDR. Die Erkennungsfähigkeit ist hier beeinträchtigt, weil das Bild um die Sonne herum gesättigt ist (Bild 7). Geht es um das Erkennen von Verkehrsampeln, kann der AR0823AT selbst bei sehr hellem Sonnenlicht die reale Farbe erfassen, während der andere Sensor versagt und die Farbe falsch darstellt.

Einsatz von Hyperlux-Sensoren

Die Funktionen des AR0823AT, einschließlich scharfer und farbgetreuer Bilder, die verbesserte Leistungsfähigkeit bei schlechten Lichtverhältnissen und 150 dB HDR-LFM, sind entscheidend, um Objekte über große Entfernungen, an sonnigen Tagen und in dunklen Nächten zu erkennen. onsemi hat die Auswirkungen der Bildqualität auf die Ebenen der Objekterkennung mit neuen Hyperlux-Sensoren in Testfahrzeugen untersucht. Millionen von realen Bildern und Videos wurden aufgenommen und mit der You-Only-Look-Once -Echtzeit-Objekterkennungs-Engine verarbeitet.

Bild 8 demonstriert einige Ergebnisse der Objekterkennung durch den AR0823AT. Bei einem sonnigen Tag auf einer Autobahn mit guten Lichtverhältnissen werden Fahrzeuge, Verkehrsschilder, Lichter etc. auf bis zu 400 m zuverlässig erkannt. Im Nachtszenario auf einer dunklen Stadtstraße liegt die zuverlässige Objekterkennung bei bis zu 250 m. Die Ergebnisse dieser Studien bestätigen die Fähigkeit des Sensors, Fahrzeuge nach Autonomielevel 3 und höher bei Autobahngeschwindigkeiten von bis zu 130 km/h zu unterstützen.

Für zukünftiges automatisiertes Fahren, ist davon auszugehen, dass die Auflösung der Bildsensoren in Zukunft über 8,3 MP hinausgehen wird.

 (se)

Fahrerassistenz und autonomes Fahren

Vom Automotive-Radar zum Supersensor

Automatisiertes und elektrisches Fahren

Nio: Unter Wert verkauft

* Sergey Velichko ist Senior Manager, ASD Technology & Product Strategy, bei onsemi.

(ID:50186160)