Künstliche Intelligenz FEV und Microsoft arbeiten an multimodalen Sprach-, Text- und Gesteninteraktionen

FEV und Microsoft wollen zusammen generative KI-Funktionen direkt im Fahrzeug integrieren – auf Basis GPU-beschleunigter Rechenleistung von Nvidia und KI-Modell-Microservices. Ziel der Zusammenarbeit ist es, multimodale Sprach-, Text- und Gesteninteraktionen direkt im Fahrzeug zu ermöglichen – unabhängig von einer dauerhaften Internetverbindung.

Im Fokus der Kooperation steht der Einsatz sogenannter Small Language Models (SLM), wie etwa Microsofts Phi-4-mini-instruct in Microsoft Foundry, das auf NVIDIA DRIVE AGX beschleunigter Rechenleistung basiert. Die Lösung ermöglicht es, Fahrzeugfunktionen wie das Armaturenbrett oder individuelle Fahrzeugprofile per Sprachbefehl zu konfigurieren. Gleichzeitig fungiert das System als lokale KI-Absicherung für Cloud-basierende Large Language Models (LLMs).

Wirtschaftliche Skalierung Software-definierter Fahrzeugfunktionen

Eingebettete Small Language Models erweitern die intelligenten Funktionen moderner Fahrzeuge und ihre Reaktionsfähigkeit. Weil die Inferenz direkt im Fahrzeug stattfindet, bleiben zentrale Funktionen auch bei eingeschränkter oder fehlender Internetverbindung verfügbar. Darüber hinaus ermöglichen eingebettete SLMs eine Reduzierung der Backend- und Infrastrukturkosten, weil Cloud-gestützte LLMs je nach Anwendungsfall ergänzt oder teilweise ersetzt werden können. Das trägt dazu bei, Software-definierte Fahrzeugfunktionen wirtschaftlich zu skalieren.

Zentrale Anwendungsfelder für eingebettete GenAI

Im Rahmen der Kooperation untersucht FEV mehrere Anwendungsfelder mit hohem Serienpotenzial:

• Automatisiertes und autonomes Fahren (SAE-Level 3 bis 5): Multimodale GenAI-Modelle verbessern die Erkennung von Objekten, Verkehrssituationen und Fahrwegen, insbesondere in komplexen urbanen Umgebungen und bei Grenzfällen (Edge Cases).

• Fahrer- und Insassenüberwachung: Eingebettete GenAI verbessert die Erkennung von Müdigkeit, Ablenkung oder ungewöhnlichem Verhalten und erhöht durch lokale Verfügbarkeit die Robustheit sicherheitsrelevanter Funktionen – auch als Backup für cloudbasierte Systeme.

• Personalisierte Fahrzeug- und HMI-Konfiguration: Fahrzeugfunktionen und Benutzeroberflächen lassen sich per Sprachbefehl intuitiv anpassen, etwa für unterschiedliche Fahrerprofile oder Nutzungsszenarien – ohne Abhängigkeit von externer Cloud-Infrastruktur.

Multimodale Systemarchitektur auf Nvidia-Plattformen

Die zugrunde liegende Architektur ist als multimodales System konzipiert und verarbeitet Sprache, Text und visuelle Informationen. Um eine hohe Leistungsfähigkeit in der begrenzten Umgebung eines eingebetteten Fahrzeugsystems zu erreichen, hat FEV im Fine-Tuning-Prozess synthetisch generierte Daten verwendet, die mit Nvidia NeMo kuratiert wurden, um das Phi-4-mini-instruct-Modell zu optimieren. Anschließend erfolgt die Integration und Bereitstellung der resultierenden KI auf Nvidia Drive AGX, was eine weitere Verbesserung der Modellleistung ermöglicht. Die KI-Funktionen werden als modulare Software-Dienste im Fahrzeug betrieben.

Dashboard-Konfigurator als Technologiedemonstrator

Aufbauend auf diesen Technologien hat der Entwicklungsdienstleister einen Dashboard-Konfigurator als Technologiedemonstrator entwickelt, der das Potenzial intelligenter Fahrzeugschnittstellen veranschaulicht. Mithilfe natürlicher Sprachbefehle aktualisiert ein lokal eingesetztes SLM dynamisch das Armaturenbrett – dies reduziert die Abhängigkeit von einer durchgängigen Cloud-Verbindung und ermöglicht gleichzeitig eine schnelle, reaktionsfähige Performance.

Zukünftig plant FEV, Cloud-basierende KI-Funktionen schrittweise durch lokal im Fahrzeug laufende Modelle zu ergänzen oder zu ersetzen. (se)

VDA Mobility Innovation Summit 2026

„Die deutsche Autoindustrie ist für zukünftige Herausforderungen gut aufgestellt – der Standort nicht“

Automotive Engineering

ADAS und autonomes Fahren: Wie KI und digitaler Zwilling das Engineering unterstützen

(ID:50901522)