Bildbasiertes CNN-System erkennt automatisch die Nutzung von Mobiltelefonen und den Verzehr von Lebensmitteln.
Nicht nur Müdigkeit verursacht viele Unfälle, auch das Telefonieren mit dem Smartphone oder der Verzehr von Lebensmitteln während der Fahrt stellen ein hohes Risiko dar.
Quelle: Dusan Petkovic / Shutterstock, puhhha / Shutterstock
Nach einem Bericht der Weltgesundheitsorganisation (WHO) sterben jedes Jahr etwa 1,35 Mio. Menschen bei Verkehrsunfällen und weitere 20 bis 50 Mio. werden verletzt. Eine der Hauptursachen dafür ist die Unachtsamkeit am Steuer, weswegen viele Automobilhersteller bereits Fahrassistenzsysteme zur Erkennung von Müdigkeit nutzen. Doch nicht nur Sekundenschlaf verursacht viele Unfälle, auch das Telefonieren sowie Schreiben von Textnachrichten mit dem Smartphone oder der Verzehr von Lebensmitteln während der Fahrt stellen ein hohes Risiko dar. Bisherige Assistenzsysteme können diese Tätigkeiten allerdings noch nicht identifizieren. ARRK Engineering hat daher eine Testreihe durchgeführt, um Ablenkungen durch Mobiltelefone oder Nahrungsaufnahme automatisch zu erkennen und zu kategorisieren. Dazu wurden Bilder mit Infrarotkameras aufgenommen und für das maschinelle Anlernen von unterschiedlichen Convolutional Neural Network-Systemen (CNN) verwendet. So konnte die Grundlage für einen Fahrassistenten geschaffen werden, der zuverlässig verschiedene Szenarien am Steuer erkennt und den Fahrer vor verkehrsgefährdendem Verhalten warnt.
Seit einigen Jahren kommen in der Automobilindustrie bereits Systeme zum Einsatz, die bei auftretender Müdigkeit warnen. Dafür analysieren diese Fahrassistenten beispielsweise die Blickrichtung des Fahrers und erkennen automatisch Abweichungen vom üblichen Verhalten am Steuer. »Existierende Warnsysteme können bisher nur bestimmte Gefahrensituationen richtig erfassen«, berichtet Benjamin Wagner, Senior Consultant für Fahrassistenzsysteme bei ARRK Engineering. »Denn bei einigen Tätigkeiten wie Essen, Trinken oder Telefonieren wird die Kopfhaltung kaum verändert, da der Fahrer weiter auf die Straße vor sich schaut.« Deswegen hat ARRK Engineering eine Versuchsreihe zur Identifikation von unterschiedlichen Körperhaltungen durchgeführt, um die Nutzung von Mobiltelefonen und den Verzehr von Lebensmitteln automatisch zu erkennen. Damit alle Arten von visueller, aber auch manueller und kognitiver Ablenkung korrekt erfasst werden, testete ARRK verschiedene Deep Learning Modelle und trainierte sie mit den ermittelten Daten.
Für den Versuchsaufbau wurden in einem Testwagen zwei Kameras mit aktiver Infrarotbeleuchtung jeweils links und rechts des Fahrers installiert. Beide Kameras verfügten über eine Frequenz von 30 Hz und lieferten 8-Bit-Graustufenbilder mit einer Auflösung von 1280 x 1024 Pixeln. Quelle: ARRK Engineering
Erstellung des ersten Bilddatensatzes zum Anlernen der Systeme
Für den Versuchsaufbau wurden in einem Testwagen zwei Kameras mit aktiver Infrarotbeleuchtung jeweils links und rechts des Fahrers an der A-Säule installiert. Beide Kameras verfügten über eine Frequenz von 30 Hz und lieferten 8-Bit-Graustufenbilder mit einer Auflösung von 1.280 x 1.024 Pixeln. »Die Kameras waren außerdem mit einem IR-Langpassfilter ausgestattet, um den größten Teil des Lichts aus dem sichtbaren Spektrum mit einer Wellenlänge unter 780 nm zu blockieren«, so Wagner. »Dadurch stellten wir sicher, dass das empfangene Licht hauptsächlich von den IR-Strahlern stammt und deren volle Funktionalität sowohl bei Tag als auch bei Nacht gewährleistet ist.« Darüber hinaus vermied die Blockade des sichtbaren Tageslichts auch mögliche Schatteneffekte in der Fahrerkabine, die sonst zu Fehlern bei der Gesichtserkennung führen können. Damit die Bilder auf beiden Seiten zur gleichen Zeit aufgenommen wurden, wurde ein Raspberry Pi 3 Model B+ verwendet, das ein Triggersignal an beide Kameras im Moment der Aufnahme sendet.
Mit diesem Aufbau wurden die Bilder der Körperhaltungen von
16 Probanden in einem stehenden Auto aufgenommen. Um möglichst vielfältige Daten zu erzeugen, unterschieden sich die Probanden beispielsweise in Geschlecht, Alter oder Kopfbedeckung, aber auch verschiedene Mobiltelefonmodelle, Lebensmittel und Getränke wurden genutzt. »Für die jeweiligen Ablenkungsarten erstellten wir fünf Kategorien, in die später die Körperhaltungen einsortiert werden konnten. Dabei handelte es sich um: ‚keine sichtbare Ablenkung‘, ‚Telefonieren am Smartphone‘, ‚manuelle Bedienung des Smartphones‘, ‚Essen sowie Trinken‘, aber auch das ‚Halten von Lebensmitteln oder Getränken‘«, erläutert Wagner. »Für die Versuchsreihe instruierten wir unsere Probanden, zwischen diesen Tätigkeiten bei simuliertem Fahrverhalten zu wechseln.« Nach der Aufnahme wurden die Bilder der beiden Kameras entsprechend kategorisiert und danach für das maschinelle Anlernen des Systems genutzt.
Training und Test der Bilderkennungssysteme
Zur Erkennung der Körperhaltungen wurden vier modifizierte CNN-Modelle verwendet: ResNeXt-34, ResNeXt-50, VGG-16 und VGG-19. Die beiden letztgenannten repräsentieren in der Praxis gängige Modelle wohingegen ResNeXt-34 und ResNeXt-50 eine dedizierte Struktur zur Verarbeitung von parallelen Pfaden enthalten. Für das Training der Systeme führte ARRK 50 Durchgänge mit dem Adam-Optimizer durch – einem Optimierungsalgorithmus mit adaptiver Lernrate. Dabei musste das CNN-Modell in jedem Durchgang die Körperhaltungen der Probanden in die vorher erstellten Kategorien einordnen. Mit jedem weiteren Schritt wurde diese Kategorisierung über ein Gradientenverfahren so angepasst, dass die Fehlerrate kontinuierlich sinkt. Zum Abschluss des Prozesses wurde ein dedizierter Testdatensatz für die Berechnung der Wahrheitsmatrix verwendet, um die Fehlerquote pro Fahrerhaltung für jedes CNN-Modell zu analysieren. »Die Verwendung von zwei Kameras mit jeweils separat geschultem CNN-Modell ermöglicht eine optimierte Fallunterscheidung für die linke und die rechte Gesichtshälfte«, führt Wagner aus. »Dank dieses Vorgehens konnten wir das System mit der besten Performance ermitteln, um den Gebrauch von Mobiltelefonen und den Verzehr von Lebensmitteln für einen großen Bereich von Kopfwinkeln zu erkennen.« Die Gesamtauswertung ergab, dass die CNN-Modelle ResNeXt-34 und ResNeXt-50 die höchste Testgenauigkeit von 92,88 Prozent für die linke Kamera und 90,36 Prozent für die rechte Kamera erreichten – ein mit bisherigen Lösungen zur Erkennung von Müdigkeit absolut wettbewerbsfähiges Ergebnis.
Mit diesen Informationen erweiterte ARRK abschließend seine Trainingsdatenbank und kann beispielsweise bereits auf etwa 20.000 gelabelte Augendatensätze zugreifen. Darauf aufbauend ist die Entwicklung eines automatisierten, kamerabasierten Systems zur Validierung von Fahrerbeobachtungssystemen möglich. Für eine geringere Fehlerquote des Systems planen die Experten von ARRK Engineering sogar bereits einen Schritt weiter. »Um die Genauigkeit weiter zu verbessern, werden wir in einem nächsten Projekt andere CNN-Modelle einsetzen«, resümiert Wagner. »Neben der Bewertung weiterer Klassifikationsmodelle werden wir dabei auch analysieren, ob die Integration von zugehörigen Objektpositionen aus dem Kamerabild zu zusätzlichen Verbesserungen führen kann.« In diesem Zusammenhang werden Ansätze zu berücksichtigen sein, die auf der Erkennung von sogenannten Bounding Boxes und der semantischen Segmentierung basieren. Letztere ermöglichen neben einer Klassifizierung auch verschiedene Detailstufen hinsichtlich der Lokalisierung von Objekten. Auf diese Weise kann ARRK die Genauigkeit eines Fahrassistenzsystems zur automatischen Erkennung von Ablenkungen am Steuer verbessern.
(Weitere Informationen unter: www.arrk-engineering.com)
ARRK Engineering ist Teil des internationalen ARRK Firmenverbundes und spezialisiert auf sämtliche Leistungen rund um die Produktentwicklung. Mithilfe unserer Kompetenzen in Elektronik & Software, CAE, Material, Akustik, Composite, Karosserie, Antrieb, Fahrwerk, Interieur & Exterieur, Optische Systeme, Passive Sicherheit und Thermomanagement entwickeln wir als langjähriger strategischer Entwicklungspartner für unsere Kunden ganzheitlich und eigenverantwortlich Produkte. Zusammen mit unseren ARRK Schwesterunternehmen setzen wir Produktentwicklungen von der virtuellen Entwicklung bis hin zum Prototypen und der Produktion in Kleinserien um. Die Standorte der weltweit tätigen ARRK Engineering Division liegen in Deutschland, Rumänien, UK, Japan und China. Das Headquarter der Engineering Division ist die P+Z Engineering GmbH in Deutschland; ARRK Engineering beschäftigt über 1.200 Mitarbeiter.
14 Artikel zu „Fahrassistenzsystem“
AUSGABE 5-6-2019 | NEWS | DIGITALE TRANSFORMATION | GESCHÄFTSPROZESSE | STRATEGIEN
Automobilindustrie auf dem Weg zu neuen Geschäftsmodellen und automatisierten Prozessen – Im Zentrum steht das Kundenerlebnis
Der Automobilsektor steht vor tiefgreifenden Veränderungen. Nur mit neuen Geschäftsmodellen und -prozessen kann es den Herstellern und Vertragshändlern gelingen, ihre Kunden wertschöpfend zu begleiten. Die künftigen Wachstumspotenziale der Automobilindustrie liegen im digitalen Ökosystem rund um die Mobilität.
TRENDS 2019 | TRENDS WIRTSCHAFT | NEWS | BUSINESS | KOMMUNIKATION | STRATEGIEN
Startups loben Kooperationen mit Mittelstand und Konzernen
4 von 5 Startups arbeiten mit etablierten Unternehmen zusammen.Große Mehrheit bewertet die Zusammenarbeit positiv – aber jeder Vierte beklagt Arroganz der Etablierten. Am häufigsten werden gemeinsam neue Produkte oder Dienstleistungen entwickelt. Die große Mehrheit der deutschen Startups arbeitet mit etablierten Unternehmen zusammen – und bewertet die Kooperation unter dem Strich als positiv. 4 von…
NEWS | STRATEGIEN
Vernetztes Fahren: Europa darf nicht falsch abbiegen
Bitkom kritisiert EU-Festlegung auf WLAN als Standard für Vernetzung von Autos und Infrastruktur. Bitkom-Präsident Achim Berg: Deutschland muss sich im Europäischen Rat für Technologieneutralität stark machen. Beim autonomen Fahren läuft Europa Gefahr, im Innovationswettbewerb hinter Asien und den USA zurückzufallen. Davor warnt der Digitalverband Bitkom. Hintergrund ist ein Streit darüber, wie vernetzte Fahrzeuge untereinander…
NEWS | BUSINESS | DIGITALISIERUNG | EFFIZIENZ | FAVORITEN DER REDAKTION | LÖSUNGEN | STRATEGIEN
Aufforstungsprojekt: Kooperation von ELO Digital Office mit Fairventures Worldwide gGmbH
Um ihrer gesellschaftlichen Verantwortung im Rahmen eines fairen und nachhaltigen Umgangs mit den natürlichen Ressourcen der Welt gerecht zu werden, engagiert sich die ELO Digital Office GmbH künftig als Sponsor bei der Fairventures Worldwide gGmbH. Diese pflanzt gemeinsam mit ihren lokalen Partnern im Herzen Borneos Mischwälder, um den Kleinbauernfamilien eine ökonomische Alternative zur Abholzung und…
NEWS | BUSINESS | EFFIZIENZ | FAVORITEN DER REDAKTION | INFRASTRUKTUR | LÖSUNGEN | SERVICES| STRATEGIEN | TIPPS
Bei der Beschaffung von IT-Lösungen mehr auf Nachhaltigkeit setzen
Appell: EU und IT-Branche sollen öffentliche Gelder in Höhe von 45 Milliarden Euro für nachhaltige Entwicklung einsetzen. Das Volumen der öffentlichen Aufträge in der EU wird auf rund 1,8 Billionen Euro pro Jahr geschätzt [1]; ein Teil davon sind Ausgaben für IT-Beschaffung, die bis 2021 eine Summe von 45 Milliarden Euro erreichen sollen. Dieses Investitionsvolumen,…
NEWS | DIGITALISIERUNG | DIGITALE TRANSFORMATION | STRATEGIEN | AUSGABE 1-2-2019
Bedeutung der IT-Berater bei der Digitalisierung – Hype oder Fakt, Realität oder Zukunftsszenario?
Themen rund um die Digitalisierung werden viel besprochen und diskutiert – von Wirtschaftsexperten, in der Politik und natürlich auch von IT-Spezialisten. Doch was ist die Digitalisierung heute, wo stehen wir in diesem Prozess, wo soll es laut Experten hingehen und welche Rolle spielen IT-Berater bei der Digitalisierung?
TRENDS WIRTSCHAFT | NEWS | BUSINESS | DIGITALISIERUNG | DIGITALE TRANSFORMATION | TRENDS 2017 | STRATEGIEN
Automobilbranche: Jeder Zweite macht einen Bogen um Start-ups
■ Aber: 3 von 10 Unternehmen entwickeln gemeinsam mit Start-ups neue Produkte. ■ Jeder Dritte beklagt, dass es zu wenig Gründungen im Automobil-Bereich gibt. ■ »Start-up-Report 2017« des Bitkom gibt Überblick über die deutsche Start-up-Szene. Fahrassistenzsysteme, Elektromobilität oder autonome Fahrzeuge: In kaum einer Branche prägen digitale Innovationen bereits heute so stark den Markt und…
TRENDS WIRTSCHAFT | NEWS | TRENDS INFRASTRUKTUR | BUSINESS | TRENDS MOBILE | DIGITALISIERUNG | DIGITALE TRANSFORMATION | TRENDS SERVICES | TRENDS 2017 | INFRASTRUKTUR | TRENDS 2022 | TRENDS 2025 | LÖSUNGEN | SERVICES
Digital first: Automobilindustrie braucht mehr digitalen Schub
Jedes zehnte Unternehmen sieht die Digitalisierung als Risiko. Digitale Technologien werden künftig über Verkaufserfolge entscheiden. 80 Prozent sagen, Autohersteller werden Anbieter von Mobilitätsdiensten. Die Automobilindustrie sieht die Digitalisierung zunehmend als Herausforderung. Aktuell sagen 10 Prozent der Automobilzulieferer und -hersteller, dass sie die Digitalisierung eher als Risiko für das eigene Unternehmen sehen,…
TRENDS WIRTSCHAFT | NEWS | TRENDS INFRASTRUKTUR | BUSINESS | TRENDS CLOUD COMPUTING | BUSINESS INTELLIGENCE | BUSINESS PROCESS MANAGEMENT | CLOUD COMPUTING | TRENDS MOBILE | DIGITALISIERUNG | TRENDS GESCHÄFTSPROZESSE | DIGITALE TRANSFORMATION | TRENDS SERVICES | GESCHÄFTSPROZESSE | INDUSTRIE 4.0 | TRENDS 2017 | INFRASTRUKTUR | INTERNET DER DINGE | SERVICES | STRATEGIEN
Machine Learning in der Industrie
Machine Learning in der Industrie – Wie Verfahren der künstlichen Intelligenz zum elementaren Digitalisierungsbaustein der globalen Industriekonzerne werden. Mit der zunehmenden Digitalisierung steigt auch in der Industrie der wertschöpfende Anteil der IT. Mit dem Einzug des Internet der Dinge werden immer mehr Daten produziert, die gesammelt, analysiert und nutzbar gemacht werden wollen. Industrieunternehmen werden immer…
TRENDS WIRTSCHAFT | NEWS | TRENDS INFRASTRUKTUR | DIGITALISIERUNG | TRENDS GESCHÄFTSPROZESSE | EFFIZIENZ | INDUSTRIE 4.0 | TRENDS 2017 | INTERNET DER DINGE | IT-SECURITY
Nachhaltigkeit ist Top-Thema der Automobilindustrie
Leichtbau, CO2-Reduzierung und gesteigerte Nachhaltigkeit beeinflussen verstärkt das Produkt Auto. Neue Antriebsarten und Fahrassistenzsysteme sind weitere Investitionsschwerpunkte. IT-Sicherheitsaspekte sind zentrales Element im Connected Car. Für die deutsche Automobilindustrie stehen in den kommenden zwei Jahren neben der Digitalisierung ganz klar drei Themen im Fokus: Leichtbau, CO2-Reduzierung und die Steigerung der Nachhaltigkeit. Mehr als zwei Drittel der…
TRENDS SECURITY | NEWS | TRENDS CLOUD COMPUTING | TRENDS MOBILE | DIGITALISIERUNG | IT-SECURITY | KOMMUNIKATION
Sichere Connected-Car-Systeme erst in drei Jahren
Erhebliche Diskrepanz zwischen Verbrauchersorgen und Entwicklungen bei den Herstellern. Mehr als die Hälfte der deutschen Autofahrer (57 Prozent) macht sich Sorgen um die Sicherheit von Assistenzsystemen im Auto wie die adaptive Geschwindigkeitsanpassung oder das automatische Einparken. Das ist das Ergebnis einer Studie zur Sicherheit von Anwendungen in vernetzten Automobilen, sogenannten Connected Cars, von Veracode und…