Wenn Algorithmen Dieselabgase sauber machen Künstliche Intelligenz senkt Stickoxide erheblich

Stickoxide sind ein Nebenprodukt der Verbrennung fossiler Brennstoffe. Sie gehören zu den am strengsten regulierten Schadstoffen und zählen zu den schädlichsten für die menschliche Gesundheit. Die unter dem Kürzel „NOx" zusammengefassten Verbindungen verursachen den braunen Smog, der trotz strengerer Luftreinhaltebestimmungen noch immer über manchen Stadtsilhouetten hängt.

Das California Air Resources Board legt Grenzwerte für Schadstoffemissionen aus Offroad-Dieselmotoren fest. Die vorgeschlagenen Tier-5-Standards, die im Laufe des nächsten Jahrzehnts schrittweise eingeführt werden sollen, verlangen in einigen Leistungskategorien eine Senkung der NOx-Emissionen um 90 Prozent. Bereits heute reagieren Hersteller in den USA auf strengere Vorgaben mit aufwendigerer Abgasnachbehandlung: Bei Dieselmotoren für Industrieanwendungen werden SCR-Katalysatoren (selektive katalytische Reduktion) vor allem im Leistungsbereich ab 56 kW eingesetzt – eine Konsequenz auf die NOx-Grenzwerte der seit 2014 geltenden EPA-Tier-4-Final-Vorschriften.

Mit immer schärferen Emissionsgrenzen werden zusätzliche NOx-Reduzierungen erforderlich, was immer komplexere und technisch anspruchsvollere Systemen nach sich zieht und den Entwicklungsaufwand weiter erhöht. Daher steigt der Bedarf an effizienteren Lösungen. Ingenieure von Yanmar America, einem Hersteller von landwirtschaftlichen Geräten, Energiesystemen und Industriemotoren, setzen dabei auf Deep Reinforcement Learning, um die Technik ihrer Abgasnachbehandlung zu optimieren.

Als die Ingenieure von Yanmar America vor einigen Jahren mit der Erarbeitung einer Lösung begannen, waren ihre Motoren bereits mit SCR-Katalysatoren ausgestattet. Diese minimierten die Emissionen durch eine chemische Reaktion zwischen Ammoniak und NOx. Dabei wird dem Abgasstrom über einen Diesel Exhaust Fluid (DEF)-Injektor Ammoniak zugeführt. DEF ist eine Harnstoff-Wasser-Lösung, die sich in den heißen Abgasen zu Ammoniak zersetzt. Im Katalysator reagiert das Ammoniak mit den NOx-Verbindungen und wandelt sie in harmlosen Stickstoff um – einen natürlichen Bestandteil der Luft.

Trotz dieses Reinigungsprozesses können geringe Mengen NOx dennoch in die Luft gelangen, und auch Ammoniak, selbst ein gesundheitsschädlicher Schadstoff, kann in die Luft entweichen. Dieses unerwünschte Phänomen wird als Ammoniakschlupf bezeichnet. „Man sollte versuchen, so viel Ammoniak wie möglich im SCR zu speichern, um die NOx-Konvertierungsfähigkeit zu steigern“, erklärt Martin Muinos, Forschungs- und Entwicklungsingenieur bei Yanmar America. „Das ist jedoch nicht einfach, weil die Ammoniaklagerung temperaturabhängig ist.“ Beispielsweise kann ein rascher Anstieg der Abgastemperatur zu Ammoniakschlupf führen.

Die Größe des SCR ist ein weiterer begrenzender Faktor. „Die Leistung von SCR-Systemen hängt stark von der Größe ab. Das heißt, sie haben keinen unbegrenzten Platz für Ammoniakeinspritzungen“, so Shota Nomura, Testingenieur bei Yanmar America.

Vom Testbench zur Simulation

Die SCR-Entwicklung umfasst typischerweise einen langwierigen Kalibrierungsprozess, um eine angemessene NOx-Reduzierung zu gewährleisten – häufig werden über 240 Arbeitsstunden dafür benötigt. „Es gibt über 20 Kalibrierungskarten, die die SCR-Steuerungen definieren, und wir benötigen umfangreiche Daten, um diese Karten zu kalibrieren“, betont Muinos. „Um diese Daten zu sammeln, muss ein Motorenprüfstand jeweils einige Wochen lang betrieben werden, dann die Kennfelder kalibriert und anschließend die Leistung überprüft werden.“ Und Nomura ergänzt: „Es gibt keine autonome Möglichkeit, das System zu kalibrieren. Da SCR mehrere Kennfelder gleichzeitig beeinflusst, wirkt sich jede Anpassung auf die Leistung aus.“ Die optimale Balance auf Grundlage der Testergebnisse zu erzielen, erforderte daher in der Vergangenheit umfangreiche manuelle Justierungen.

Um den Zeit- und Kostenaufwand für physische Tests zu reduzieren, wechselte das Team von Yanmar zu einem Model-in-the-Loop-Ansatz. Ingenieure verwendeten dabei Simulink und eine separate Katalysatorsimulationssoftware zur Modellierung ihrer SCR. „Ohne Simulink müssten wir Änderungen an unseren Steuerungen vorschlagen, diese unserem Lieferanten für das Motorsteuergerät übergeben, die Steuerungslogik und Software entwickeln lassen und sie anschließend auf einem realen Prüfstand testen“, so Muinos. „Simulink ist aber wie eine Sandbox für die Entwicklung von Steuerungssystemen.“

Mithilfe der Sandbox erkannte das Team schnell, dass ihre aktuellen SCR-Kontrollmethoden nicht ausreichen würden, um die neuen Tier-5-Vorgaben zu erfüllen.

Nomura fragte sich, ob künstliche Intelligenz (KI), insbesondere Deep Reinforcement Learning, helfen könnte. Reinforcement Learning ist eine KI-Methode, die durch die Aufnahme von Informationen aus der Umgebung lernt, um so ein gewünschtes Ergebnis zu erzielen. Sie entwickelt sich durch " trial and error” weiter. Weil das Team bereits Matlab und Simulink verwendete, aber wenig Wissen zu KI besaß, nutzten sie die MathWorks Consulting Services, um herauszufinden, ob Deep Reinforcement Learning dabei helfen könnte, die beste DEF-Dosierungsrate für ihr SCR zu bestimmen.

Mithilfe der Reinforcement Learning Toolbox und der Deep Learning Toolbox halfen die Berater von MathWorks Nomura dabei, aus den verschiedenen bereitgestellten Reinforcement-Learning-Algorithmen die richtigen für das Projekt von Yanmar auszuwählen. „Nachdem wir mit dem Team zusammengearbeitet und die Vor- und Nachteile des von Yanmar vorgeschlagenen Ansatzes analysiert hatten, erkannten wir, dass der Deep Q-Network-Algorithmus ihnen helfen würde, einen guten Reinforcement-Learning-Agenten zu entwickeln“, resümierte Mohammad Muquit, leitender technischer Berater bei MathWorks.

Aus Erfahrung lernen

Ausgestattet mit dem DQN-Algorithmus begann das Yanmar-Team, seinen Deep Reinforcement Learning (DRL)-Agenten so zu trainieren, dass er das Ammoniak-Dosierprofil für die SCR-Leistung optimiert. Anhand der Modellausgabe konnte man nachvollziehen, inwieweit die vom Agenten vorgeschlagenen Kalibrierungswerte mit denen aus bestehenden Systemen übereinstimmten. Die Visualisierungen der Reinforcement Learning Toolbox erleichterten es ihnen zudem, die Modellergebnisse zu verstehen.

Muinos erklärt: „Sobald wir ein gutes Verständnis dafür haben, warum der Reinforcement-Learning-Agent bessere Emissionsergebnisse liefert, können wir verstehen, welche Kontrollmechanismen wir implementieren müssen.“ „Das bietet uns einen besseren Ausgangspunkt für die Kalibrierung.“ Die Ergebnisse sprechen für sich: Nach der Simulation, die lediglich 30 Minuten dauerte, lieferte das System ein optimales Dosierungsprofil, das die NOx-Emissionsreduktion laut Nomura um 60 Prozent verbesserte.

Der Agent halbierte zudem die Kalibrierungszeit und reduzierte so die Gesamtstundenzahl des Projekts um 30 Prozent. „Es hat nur sechs Monate gedauert – mit einer so kurzen Entwicklungszeit hatten wir nicht gerechnet“, sagt Nomura. „Das hat meine Erwartungen weit übertroffen.“

Die Zeitersparnis und die Reduzierung der physischen Prüfungen führten außerdem zu einer Kostenersparnis von 41 Prozent im Vergleich zum normalen manuellen Kalibrierungsverfahren.

Das KI-gestützte SCR-Kalibrierungstool bietet den Yanmar-Ingenieuren derzeit einen besseren Ausgangspunkt für die Kalibrierung ihrer Motoren. Der nächste Schritt besteht in der Entwicklung von Prototypen für die schnelle Steuerung. Das Yanmar-Team hat kürzlich die benötigte Hardware beschafft, um seine Modellierungsergebnisse auf den Prüfstand zu stellen. Ziel ist es, diesen Prozess weiter zu automatisieren. Derzeit sucht der DRL-Agent nach optimalen Werten, die aber bislang noch manuell in die Steuergeräte übernommen werden müssen. Für zukünftige Projekte hoffen die Ingenieure, die KI so einzusetzen, dass sie automatisch initiale Kalibrierungswerte für die Steuergeräte generiert und die manuellen Anpassungen reduziert.

Matlab und Simulink spielten für dieses Projekt eine entscheidende Rolle, und das Team plant, sie und andere verwandte Toolboxes auch für zukünftige Entwicklungen zu verwenden.  (se)

Einsatz künstlicher Intelligenz in China

Autonomes Fahren: Besserer Algorithmus durch Diffusion

Robotik

Wie Fledermäuse die Entwicklung von Flugrobotern inspirieren

* Christoph Stockhammer ist Senior Application Engineer bei MathWorks.

(ID:50823227)