Fraunhofer-Institut: Fahrzeuge lernen sehen und hören

Per Kamera, Lidar und Radar sollen autonome Fahrzeuge relevante Objekte in der Umgebung optisch erfassen. Bislang sind Fahrzeuge dem Fraunhofer-Institut für Digitale Medientechnologie IDMT zufolge jedoch noch nicht in der Lage, akustische Reize in Form von  Außengeräuschen zu „hören“ und richtig zuzuordnen.

Dies wollen die Forscher des IDMT nun ändern – entwickelt werden sollen KI-basierte Technologien zur akustischen Ereigniserkennung. So entstanden beispielsweise erste Prototypen für das Erkennen von Außengeräuschen, wie Sirenen.

„Für autonome Fahrzeuge existieren externe akustische Wahrnehmungssysteme bisher nicht, trotz ihres hohen Anwendungspotenzials. Sie signalisieren beispielsweise im Bruchteil einer Sekunde, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. So weiß das autonome Fahrzeug, dass es ausweichen muss, damit eine Rettungsgasse gebildet werden kann“, so Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion am Fraunhofer IDMT in Oldenburg.

Unabdingbar sei ein akustisches Frühwarnsystem bei Szenarien, wie dem Einbiegen in Spielstraßen sowie zur Fehler- und Gefahrenerkennung, wenn etwa ein Nagel im Reifen steckt. Das System soll den Forschern zufolge zudem die Zustandsüberwachung des Fahrzeugs übernehmen oder per Spracherkennung als Notrufsäule fungieren können.

Zu den Herausforderungen bei der Entwicklung des „hörenden Fahrzeugs“ zählen nach Angaben des IDMT die optimale Signalaufnahme durch die Positionierung der Sensoren, die Signalvorverarbeitung und -verbesserung sowie die Befreiung von Störgeräuschen. Algorithmen sollen es möglich machen, sich bewegende Schallquellen dynamisch zu lokalisieren, wie beispielsweise bei einem Martinshorn eines Einsatzfahrzeugs.

Die dafür zuständigen sogenannten Ereignis-Erkenner wurden zuvor über maschinenbasierte Lern-Verfahren mit verschiedenen zuvor erhobenen Geräuschen trainiert. Zu diesem Zweck wurden akustische Bibliotheken angelegt. KI-basierte Algorithmen dienen der Audioanalyse und ermitteln Stör- sowie Zielgeräusche.

Nun wurden in Zusammenarbeit mit Industriepartnern erste Prototypen realisiert, die Marktreife soll nach Aussage des IDTM Mitte des kommenden Jahrzehnts erlangt werden. Die akustische Sensorik besteht aus eingehausten Mikrofonen, Steuergerät und Software.

Außen am Fahrzeug nehmen die Mikrofone den Luftschall auf. Sensoren leiten die Audiodaten an ein Steuergerät weiter, es erfolgt die Weiterverarbeitung zu relevanten Metadaten.

Die computerbasierten Verfahren zur Ereigniserkennung ließen sich laut IDTM in angepassten Varianten auch in anderen Branchen und Märkten einsetzen, etwa zur Qualitätssicherung in der industriellen Produktion. Hier verarbeiten intelligente akustische Sensoren batteriebetriebene Audiosignale von Maschinen und Anlagen. Automatische Spracherkenner könnten zudem berührungslose Dokumentationssysteme für den Einsatz beispielsweise in der Turbinenwartung ermöglichen.