Suchen

Generic Neuro Chip: Intelligente Augen für Fahrzeuge und Automatisierung

| Redakteur: Michael Eckstein

Eine KI-Baukastenlösung für intelligentes Auswerten von Kameradaten bringt Assistenzsystemen und industriellen Automatisierungslösungen das Sehen, Erkennen und Stromsparen bei – und beschleunigt Neuronale Netze um bis zu Faktor 40.

Rückschau: Der Abbiegeassistent auf Basis des AVInet und des GNCs hilft, den gefährlichen „Toten Winkel“ etwa bei Lkws zu entschärfen.
Rückschau: Der Abbiegeassistent auf Basis des AVInet und des GNCs hilft, den gefährlichen „Toten Winkel“ etwa bei Lkws zu entschärfen.
(Bild: AVI Systems)

Das auf Vision-Anwendungen spezialisierte Unternehmen AVI Systems hat das Deep-Learning-Framework „AVInet“ sowie ein umfassendes Tool-Set entwickelt, mit dem sich Neuronale Netze (NN) optimieren, aufbereiten und in geeignete Hardwarebausteine wie FPGAs synthetisieren lassen. Die eigene Expertise ist darüber hinaus in den Generic Neuro Chip (GNC) geflossen, der Kameradaten mit deutlich geringerem Energieaufwand auswerten können soll als bisherige Lösungen auf Basis von Grafikchips oder CPUs – etwa Teslas „Full Self-Driving“-Chip (FSD).

In modernen Fahrzeugen erfassen zahlreiche unterschiedliche Sensoren – etwa Kameras, Radar, Ultraschall- und Laser beziehungsweise Lidar-Sensoren – die Umgebung. Dabei erzeugen sie massenhaft Daten. Immer häufiger kommen NN zum Einsatz, die diese Informationen auswerten und Entscheidungen ableiten. Sie warnen beispielsweise vor plötzlich auftauchenden Hindernissen, leiten Notbremsvorgänge ein oder helfen beim Einparken. Die Krux dabei: Damit diese NN die Daten quasi in Echtzeit analysieren können, ist einiges an Rechenleistung nötig – und das bedeutet bisher: viel elektrische Leistung. Das wiederum ist keine gute Nachricht für Elektro-Vehikel: Mit jedem für ihr ADAS aufgewendeten Watt Leistung sinkt ihre Reichweite.

Beispiel Tesla: Das Gehirn der aktuellen US-Stromer heißt schlicht „Hardware 3“ (HW3) – ein von zwei redundant ausgelegten, hauseigenen „Full Self-Driving“-Chips (FSD) befeuerter Kompaktrechner. Und laut Nikkei Asian Review Teslas „wichtigste Waffe im Elektroauto-Markt“. Die im 14-nm-FinFET-CMOS-Prozess gefertigten FSD-Chips sind komplexe System-on-Chips, die jeweils neben drei Arm Cortex A72 64-Bit-Quad-Core-Hauptprozessoren (CPU), Grafikprozessor (GPU) und DRAM-Controller auch zwei „Neural Processing Units“ (NPU) sowie einen Crypto-Chip enthalten. Tesla gibt eine Rechenleistung von 36 TOPS pro NPU bei 2 GHz Takt an, für vier entsprechend 144 TOPS.

Teslas Zentralrechner verbraucht so viel Strom wie ein kleines Elektroauto

So gerüstet sind die FSD-SoCs in der Lage, die Informationen von drei Frontkameras (35°, 50° und 120°), zwei Seitenkameras und zwei Heckkameras zu verarbeiten. Die Kehrseite der Medaille: Der Computer benötigt viel elektrische Leistung. Tesla rechnet mit einem Verbrauch von rund 72 Watt oder 250 Wh pro gefahrene Meile (ca. 156 Wh/km) – das entspricht dem Durchschnittsverbrauch eines vollelektrischen Kleinwagens. Tatsächlich sind es im Realbetrieb wohl noch einige Watt mehr, wie Tests nahelegen. Das macht klar: Hochoptimierte NN und besonders energieeffiziente Hardware sind wichtige Schlüssel, um den Aktionsradius elektrischer, zunehmend autonom fahrender Vehikel zu vergrößern.

Hinzu kommt: „In der Automatisierung ist die Qualität der Sensorinformationen entscheidend“, sagt Dr.-Ing. Johannes Traxler, Gründer und Geschäftsführer von AVI Systems: Jede noch so gute Sensorfusion scheitere, wenn der Sensor keine relevanten Informationen liefere. Nicht umsonst habe Tesla etwa den KI-Algorithmus-Spezialisten Deepscale übernommen. Das Unternehmen hat Methoden entwickelt, mit denen sich trainierte Neuronale Netze immer weiter verfeinern – und damit verkleinern – lassen, „bis ein Optimum zwischen bestmöglicher Performance und minimalem Rechenaufwand gefunden ist.“

Modularer Ansatz zum Optimieren und Beschleunigen von Neuronalen Netzen

Damit hat man auch bei AVI Systems weitreichende Erfahrungen: „Wir beschäftigen uns seit über 20 Jahren mit Neuronalen Netzen – und seit über fünf Jahren intensiv mit Deep-Learning“, erklärt Traxler. Während viele Unternehmen heute öffentlich verfügbare Deep-Learning-Angebote nutzen, hat AVI Systems ein eigenes Framework zum Entwickeln, Trainieren und Optimieren Neuronaler Netze entwickelt. „So konnten wir es von Beginn an auf unsere Zielmärkte ausrichten“, sagt Traxler. Und meint damit „Mobilitäts- und Safety-Anwendungen der Zukunft“ für Automotive, Schienen- und Straßenverkehr sowie die Industrie. Ein Grund für den eigenen Weg war auch, dass AVI Systems bereits mit NN experimentiert hat, bevor Open-Source-Angebote die Tensorflow, Keras, Caffee, Torch und andere breit verfügbar waren.

„2016 haben wir entschieden, einen alternativen Weg abseits gängiger GPUs und CPUs einzuschlagen und uns auf eine eigene Deep-Learning-Beschleuniger-Architektur zu fokussieren.“ In enger Kooperation mit dem Fraunhofer Institut, dem Software Competence Centre Hagenberg, dem Austrian Institute of Technology, der TU-Dresden, der TU-Wien, der FH St. Pölten und anderen Partnern entstanden so das eigene Neuronale Netz mit dem Namen AVInet (liegt aktuell in Version 3 vor) sowie Werkzeuge und Algorithmen, mit denen sich eigene, aber auch fremde Neuronale Netze weitreichend optimieren lassen.

Die eigenen, zum Patent angemeldeten Methoden würden über die von Deepscale verwendeten Verfahren hinaus gehen, versichert Traxler: „Sie wirken sowohl in Richtung des Neuronalen Netzes als auch in Richtung der Trainingsdaten.“ Grundlage ist ein selbst entwickeltes Framework, das ganz ohne Open-Source-Komponenten auskommt. Die NN ließen sich damit noch besser „auskämmen“, also nicht unbedingt erforderliche Verarbeitungsschritte entfernen. Entsprechend seien die erreichbaren Ergebnisse deutlich kompakter, sprich: die optimierten NN noch kleiner. Konkret bedeutet das: „Ein fertig optimiertes NN beispielsweise für die Objekterkennung ist nur noch wenige kByte klein, liefert aber dieselben Ergebnisse“, sagt Dr. Wolfgang Domann, Geschäftsführer für Marketing und Vertrieb von AVI Systems.

AVI Systems fasst seine Methoden im hauseigenen Software-Tool-Set „AVI Deep-Learning-Accelerator“ (ADA) zusammen. Es läuft auf Windows ab Version 10 und Linux-Derivaten mit Debian-Kernel ab Version 4.9. „Allein durch den Einsatz von ADA lassen sich vorhandene Neuronale Netze so weit zu optimieren, dass sie auf der bisherigen Hardware-Plattform bis zu 40-mal schneller arbeiten“, sagt Traxler. Und diese Optimierung wirkt sich nicht nur auf die erreichbare Geschwindigkeit, sondern auch unmittelbar auf den Stromverbrauch in der Anwendung aus – ein Argument, dass nicht zuletzt angesichts der immer stärker nachgefragten E-Mobilität zieht.

So kommt das Neuronale Netz in einen geeigneten Baustein

Teil 2 des AVI-Systems-Baukasten zur Beschleunigung von NN ist das ADA Tool zur Synthetisierung der optimierten Algorithmen in Hardware-Bausteine wie „Field Programmable Gate Arrays“ (FPGA). Das durch die im ersten Schritt mithilfe der ADA-Werkzeuge erzeugte Deep-Learning-Netz wird in der Software konfiguriert, mit dem „ADA Synthetisierer“ auf die Architektur des Zielbausteins abgestimmt und in diesen übertragen.

Ein so optimierter Algorithmus ist laut Traxler hoch performant und benötigt nach der Übertragung etwa auf einem FPGA-Chip nur mehr 1/10 des ursprünglichen Strombedarfs: „Damit ist eine Objekterkennung in Echtzeit möglich, die rund 90 Prozent weniger Energie benötigt als eine auf heute marktüblichen Systemen basierende Lösung.“

Generic Neuro Chip: Flexible Hardware-IP beschleunigt jedes Neuronale Netz

Damit nicht genug: AVI Systems ist nicht nur sofwareseitig aktiv, sondern entwickelt auch hocheffiziente Hardware-IP auf Basis der eigenen Algorithmen. Ein Meilenstein ist dabei der „Generic Neuro Chip“, kurz GNC: Die generische Halbleiter-Architektur ist laut Traxler hochflexibel und eigne sich für beliebige DL-Anwendungen auf Basis von Neuronalen Netzen, die Daten unmittelbar an den Sensoren vorverarbeiten, bis hin zur Integration in „Onboard Units“ (OBUs). „Automobilhersteller zum Beispiel können den GNC als Deep-Learning Processing Unit ihren eigenen ASIC-Chip oder einen FPGA ihrer Wahl integrieren“, sagt Domann.

Die Architektur des GNC ist so ausgelegt, dass keine Speicheroperationen zwischen den einzelnen Modulen bzw. Funktionsblöcken benötigt werden, was die Anzahl zeitaufwendiger Kopiervorgänge auf ein Minimum reduziert. Ein solcher „Execute in Place“-Ansatz steigert die Verarbeitungsgeschwindigkeit und wirkt sich positiv auf den Energieverbrauch aus. Ein GNC kann bis zu acht Kamera-Streams mit einer Auflösung von je 1920 x 1200 Bildpunkten verarbeiten, wobei das AVInet-NN mit 640 x 480 Pixeln je Bild gefüttert wird. Insgesamt erreicht er mit 72 TOPS eine Rate von 13.600 Frames/s und verbraucht dabei rund 24 W.

Ein alleiniger Vergleich der rohen TOPS-Leistungsangaben sei nicht aussagekräftig für den Vergleich von KI-Chips, warnt Traxler: Schließlich würde der FPGA die Faltungsoperationen massiv parallel und mit Fixkommaoperationen mit 16 oder 8 Bit Tiefe umsetzen, wobei eine von AVI Systems entwickelte „Batch-Normalisierung“ zum Einsatz komme. So unterscheide sich die Verarbeitung grundlegend von der in Teslas FSD-Chip. Die eigene, zum Patent angemeldete NPU-Architektur sei zudem in der Lage, das Neuronale Netz während der Laufzeit dynamisch zu verändern.

Intelligenter Außenspiegel und Abbiegeassistent

Als Beispiel für eine Anwendung demonstriert Domann das hauseigene „CarEye Smart Camera“-System: eine KI-basierte Kamerasensorik für Fahrzeuge. Kern der Kamera ist ein selbstentwickelter und voll trainierter Deep-Learning-Algorithmus zum Detektieren und Erkennen von Objekten und Personen in Echtzeit. Laut AVI Systems ist Careye in der Lage, selbst in 130 m einen Würfel mit 40 cm x 40 cm x 40 cm Kantenlänge zuverlässig zu erkennen und zu klassifizieren – und so„eine bislang unerreichte Qualität für Objektdaten zur Steuerung von Fahrzeugen zu erzielen“. Der eingesetzte Deep-Learning-Algorithmus sei speziell auf den Straßenverkehr trainiert und könne für jeden Blickwinkel – also für Front-, Seiten und Heckkameras – eingesetzt werden.

Auf dieser Basis hat AVI Systems den „CarEye Safety Angle“-Abbiegeassistent entwickelt, der sich zum Beispiel an Lkws nachrüsten lässt. „Das System ist bereits bei mehreren Anwendern im Einsatz“, sagt Thomas von Gelmini, der bei AVI Systems für Marketing und Öffentlichkeitsarbeit zuständig ist. Es erkenne Fußgänger, Radfahrer oder Objekte zuverlässig und warne in Echtzeit akustisch und optisch vor einer möglichen Kollision. „Besonders die Gefahren des toten Winkels werden entschärft“, erklärt von Gelmini. Laut Hersteller entspricht das Produkt bereits den Anforderungen der kommenden EU-Verordnung und ist durch die Systemarchitektur nach SIL 1 ein sicheres und international einsetzbares System.

Die zentrale Verarbeitungseinheit bietet AVI Systems auch als Traffic-Interface-Controller (TIC) an. Die lüfterlose, mobile Deep-Learning-Unit kann die Daten von bis zu vier Kamerasensoren in Full-HD (1920 x 1080 Pixel) mit 60 Bildern/s verarbeiten. Das Herz der kompakten Box ist ein GNC, der in einen leistungsstarken FPGA-Chip synthetisiert wurde. Darauf läuft AVIs DL-Algorithmus im „Edge-Computing“-Modus, also ohne Netz- und Cloud-Anbindung. „Unter Verwendung unserer ADA-Tools lassen sich jedoch beliebige andere Neuronale Netze verarbeiten“, sagt Traxler. Im Zusammenspiel sollen Software und Hardware die Effizienz der Berechnungen soweit steigern, dass „statt 60 Watt nur 2 Watt zum Verarbeiten für die hochqualitative und intelligente Auswertung von Objektdaten ausreichen“. Stolz ist man beim AVI Systems darauf, dass „alle Produkte in Europa gefertigt werden und höchste Sicherheitsanforderungen erfüllen“.

Modulares System

Anwendern steht somit ein modulares System zur Verfügung, dass aus drei Kernkomponenten besteht: der ADA-Software zum Optimieren von neuronalen Netzen, dem ADA-Tool zum Synthetisieren der Algorithmen in den gewählte Hardware-Baustein und dem „Generic Neuro Chip“ als hochoptimierten und energieeffizienten KI-Beschleuniger. „Die Plattform ist aktualisierbar und lässt sich jederzeit funktional erweitern“, sagt Traxler.

Dadurch eigne sie sich gleichermaßen für den Einsatz in Prototyp- als auch Serienfahrzeugen. Domann ist überzeugt: „Mithilfe unserer Lösungen können Entwickler das Leistungspotenzial von FPGAs oder ASICs viel besser ausnutzen – und ihre Neuronalen Netze bei minimalem Stromverbrauch maximal beschleunigen.“ Selbst Tesla könnte seinen Autopilot mit den ADA-Softwarewerkzeugen optimieren und auf dem GNC laufen lassen.

(ID:46589875)