Besseres Deep Learning: Weniger Neuronen, mehr Intelligenz

Künstliche Intelligenz wird effizienter und zuverlässiger, wenn man sich enger an biologischen Vorbildern orientiert: Neue Ansätze der AI-Forschung bewähren sich im Experiment.

Künstliche Intelligenz (AI) ist längst in unserem Alltag angekommen – von der Suchmaschine bis zum selbstfahrenden Auto. Das hat mit der gewaltigen Rechenleistung zu tun, die in den letzten Jahren verfügbar geworden ist. Doch neue Ergebnisse aus der AI-Forschung zeigen nun, dass man mit einfacheren, kleineren neuronalen Netzen bestimmte Aufgaben noch besser, effizienter und zuverlässiger lösen kann als bisher.

Ein Forschungsteam der TU Wien, des IST Austria und des MIT (USA) hat eine neue Art künstlicher Intelligenz entwickelt, die sich an biologischen Vorbildern orientiert, etwa an einfachen Fadenwürmern. Das neue AI-Modell kann ein Fahrzeug steuern, mit einer verblüffend kleinen Zahl an künstlichen Neuronen. Das System hat entscheidende Vorteile gegenüber bisherigen Deep-Learning-Modellen: Es kommt mit unsauberen Eingabedaten viel besser zurecht, und aufgrund seiner Einfachheit kann man seine Funktionsweise im Detail erklären. Man muss es nicht einfach als komplexe »Black Box« betrachten, sondern es kann von Menschen verstanden werden. Dieses Deep-Learning-Modell wurde nun im Journal »Nature Machine Intelligence« publiziert.

 

Anzeige

Lernen von der Natur

Ähnlich wie lebendige Gehirne bestehen Neuronale Netze am Computer bestehen vielen einzelnen Zellen. Wenn eine Zelle aktiv ist, sendet sie ein Signal an andere Zellen. Alle Signale, die die nächste Zelle erhält, entscheiden gemeinsam darüber, ob diese Zelle ebenfalls aktiv wird. Auf welche Weise eine Zelle die Aktivität der nächsten genau beeinflusst, ist zunächst offen – diese Parameter werden in einem automatischen Lernprozess so lange angepasst, bis das neuronale Netzwerk eine bestimmte Aufgabe lösen kann.

»Schon seit Jahren dachten wir darüber nach, was man von der Natur lernen kann, um künstliche neuronale Netze zu verbessern«, sagt Prof. Radu Grosu, Leiter der Forschungsgruppe »Cyber-Physical Systems« an der TU Wien. »Der Fadenwurm C. elegans zum Beispiel kommt mit einer verblüffend kleinen Zahl von Nervenzellen aus, und trotzdem zeigt er interessante Verhaltensmuster. Das liegt an der effizienten und harmonischen Art, wie sein Nervensystem Information verarbeitet.«

Anzeige

»Die Natur zeigt uns, dass man in der künstlichen Intelligenz noch vieles verbessern kann«, sagt Prof. Daniela Rus, Direktorini des Computer Science and Artificial Intelligence Laboratory (CSAIL) am MIT. »Daher war es unser Ziel, die Komplexität massiv zu reduzieren, und die Interpretierbarkeit des neuronalen Netzes zu verbessern.«

»Inspiriert von der Natur haben wir neue mathematische Modelle für Neuronen und Synapsen entwickelt«, sagt Prof. Thomas Henzinger, Präsident von IST Austria.

»Die Verarbeitung der Signale innerhalb der einzelnen Zellen gehorcht bei uns anderen mathematischen Regeln als bei bisherigen Deep-Learning-Modellen«, sagt Ramin Hasani, Postdoc am Institut für Computer Engineering der TU Wien und am CSAIL, MIT. »Außerdem wurde nicht jede Zelle mit jeder anderen verbunden – auch das macht das Netz einfacher.«

 

Die Aufgabe: Autonomes Spurhalten

Um die neuen Ideen zu testen, wählte das Team eine besonders wichtige Testaufgabe: Das Spurhalten beim autonomen Fahren. Das neuronale Netz bekommt als Input ein Kamerabild der Straße und soll daraus automatisch entscheiden, ob man nach rechts oder nach links lenken muss.

»Für Aufgaben wie autonomes Fahren verwendet heute oft Deep-Learning-Modelle mit Millionen an Parametern«, sagt Mathias Lechner, TU Wien Alumnus und PhD-Student am IST Austria. »Unser neuer Zugang macht es allerdings möglich, die Größe des Netzwerks um zwei Größenordnungen zu reduzieren. Unsere Systeme kommen mit 75.000 trainierbaren Parametern aus.«

Alexander Amini, PhD-Student am CSAIL, MIT, erklärt, dass das neue System aus zwei Teilen besteht: Der Kamera-Input wird zunächst von einem sogenannten konvolutionalen Netzwerk verarbeitet, das die visuellen Daten nur wahrnimmt, um in den Pixeln strukturelle Bildeigenschaften zu erkennen. Das Netzwerk entscheidet, welche Teile des Kamerabilds interessant und wichtig sind und gibt dann Signale an den eigentlich entscheidenden Teil des Netzwerks weiter – an das Kontrollsystem, das dann das Fahrzeug lenkt.

Beide Teilsysteme werden zunächst gemeinsam trainiert. Viele Stunden an Verkehrsvideos von menschgesteuerten Autofahren in der Gegend von Boston wurden gesammelt und in das Netzwerk gefüttert, gemeinsam mit der Information, wie das Auto in den jeweiligen Situationen gesteuert werden soll – so lange, bis das System die richtige Verknüpfung von Bild und Lenkrichtung gelernt hat und selbstständig auch mit neuen Situationen umgehen kann.

Das Kontrollsystem des neuronalen Netzwerks (genannt »neural circuit policy«, oder NCP), das die Daten aus dem visuellen Netz in einen Steuerungsbefehl übersetzt, besteht nur aus 19 Zellen. Mathias Lechner erklärt: »Diese NCPs sind um drei Größenordnungen kleiner als es mit bisherigen State-of-the-art-Modellen möglich wäre.«

 

Kausalität und Interpretierbarkeit

Das neue Deep-Learning-Modell wurde in einem echten autonomen Fahrzeug getestet. »Unser Modell erlaubt uns, genau zu untersuchen, worauf das Netzwerk beim Fahren seine Aufmerksamkeit richtet. Es konzentriert sich auf ganz bestimmte Bereiche des Kamerabildes: Auf den Straßenrand und den Horizont. Dieses Verhalten ist höchst erwünscht, und es ist einzigartig bei Systemen, die auf künstlicher Intelligenz beruhen«, sagt Ramin Hasani. »Außerdem haben wir gesehen, dass sich die Rolle jeder einzelnen Zelle bei jeder einzelnen Entscheidung identifizieren lässt. Wir können die Funktion der Zellen verstehen und ihr Verhalten erklären. Dieses Maß an Interpretierbarkeit ist in größeren Deep-Learning-Modellen unmöglich.«

 

Robustheit

»Um zu testen, wie robust unsere NCPs im Vergleich zu bisherigen Deep-Learning-Modellen sind, haben wir die Bilder künstlich verschlechtert und analysiert, wie gut das System mit Bildrauschen zurechtkommt«, sagt Mathias Lechner. »Während das für andere Deep-Learning-Netzwerke zum unlösbaren Problem wurde, ist unser System sehr widerstandsfähig gegenüber Artefakten beim Input. Diese Eigenschaft ist eine direkte Folge des neuartigen Modells und seiner Architektur.«

»Interpretierbarkeit und Robustheit sind die zwei entscheidenden Vorteile unseres neuen Modells«, sagt Ramin Hasani. »Aber es gibt noch mehr: Durch unsere neuen Methoden können wir die Dauer des Trainings reduzieren und schaffen die Möglichkeit, künstliche Intelligenz in relativ einfachen Systemen zu implementieren. Unsere NCPs machen imitierendes Lernen in einem weiten Anwendungsbereich möglich, von automatisierter Arbeit in Lagerhallen bis hin zur Bewegungssteuerung von Robotern. Die neuen Ergebnisse eröffnen wichtige neue Perspektiven für die AI-Community: Die Grundlagen der Datenverarbeitung in biologischen Nervensystemen sind eine großartige Wissensressource um high-performance interpretierbare künstliche Intelligenz zu erzeugen – als Alternative zu den Black-Box-Machine-Learning-Systemen, die wir bisher kannten.«

 

Video: https://www.youtube.com/watch?v=8KBOf7NJh4Y
Originalpublikation: M. Lechner et al., »Neural Circuit Policies Enabling Auditable Autonomy«, Nature Machine Intelligence, 2020.
DOI: 10.1038/s42256-020-00237-3 https://www.nature.com/articles/s42256-020-00237-3
Code Repository: https://github.com/mlech26l/keras-ncp

 

273 Artikel zu „Deep Learning“

Deep Learning bei Fahrassistenzsystemen: Unfallrisiko durch Ablenkung am Steuer

Bildbasiertes CNN-System erkennt automatisch die Nutzung von Mobiltelefonen und den Verzehr von Lebensmitteln.     Nicht nur Müdigkeit verursacht viele Unfälle, auch das Telefonieren mit dem Smartphone oder der Verzehr von Lebensmitteln während der Fahrt stellen ein hohes Risiko dar. Quelle: Dusan Petkovic / Shutterstock, puhhha / Shutterstock   Nach einem Bericht der Weltgesundheitsorganisation (WHO)…

Deep Learning und Supercomputing für selbstfahrende Automobile

Die neue Drive PX 2 nutzt Deep Learning und Supercomputing, um Automobilen zu ermöglichen, ihre Umgebung wahrzunehmen und eigenständig zu navigieren. Auf der in Las Vegas stattfindenden Unterhaltungselektronikmesse CES hat Nvidia die Nvidia Drive PX 2 vorgestellt – die weltweit stärkte Engine für künstliche Intelligenz im Fahrzeug. Nvidia Drive PX 2 erlaubt Automobilherstellern, die Komplexität…

Mit Machine Learning die Logistikprozesse optimieren

  Viele Unternehmen haben das Potenzial selbstlernender Systeme, die Machine Learning benutzen, erkannt. Dieser Teilbereich der künstlichen Intelligenz basiert auf Algorithmen, die Muster und Gesetzmäßigkeiten in großen Datenmengen erkennen. Mithilfe neuronaler Netze lassen sich aus den Datenbeständen Rückschlüsse ziehen und Prognosen treffen. In vielen Branchen bereits etabliert, findet Machine Learning als Analyse- und Steuerungsinstrument nun…

Studie Machine Learning 2020: Maschinelles Lernen wird in deutschen Unternehmen Standard

Das Thema künstliche Intelligenz / Machine Learning (ML) hat sich in den deutschen Unternehmen etabliert. Während die Executive-Ebene das Potenzial dieser Technologie für das Business erkannt hat, begegnen ihr allerdings IT und Fachabteilung mit Skepsis.   Das hat die aktuelle Studie »Machine Learning 2020« von IDG Research Services ergeben. An der Umfrage haben sich 406…

IGEL Academy: Neues Learning Management System

Die Online-Lernplattform ermöglicht Kunden und Partnern von IGEL flexible Schulungen, Informationen, Tutorials sowie Zertifizierungen. IGEL, Anbieter eines Next Generation Edge Operating Systems for Cloud Workspaces, hat die IGEL Academy gestartet. Rund um die Uhr können Partner und Kunden die neue Online-Lernplattform für selbstgesteuerte Trainingsprogramme und den Erwerb von IGEL Zertifizierungen nutzen, egal wo sie sich…

Betrug mit Deep Fake: die Schattenseite der künstlichen Intelligenz

In den letzten Jahren waren Fake-News eine große Sorge. Es wird angenommen, dass diese Falschmeldungen eine wichtige Rolle bei Wahlprozessen wie den US-Präsidentschaftswahlen 2016 und dem Referendum über den Rückzug des Vereinigten Königreichs aus der EU im selben Jahr gespielt haben.   Deep Fakes sind der Einsatz künstlicher Intelligenz, um vermeintlich reale Videos und Audioaufnahmen…

Trends im Corporate Learning: Künstliche Intelligenz pusht individuelle Erfolge und Businessziele

Wie Unternehmen das lebenslange Lernen für jeden einzelnen Mitarbeiter und das eigene Unternehmen optimieren können. »Älter werde ich stets, niemals doch lerne ich aus«, das wussten schon die alten Griechen. Wie gut das mit dem Lernen allerdings klappt, steht auf einem ganz anderen Blatt. Trockene Online-Seminare mit vorgegebenen Kursstrukturen gehören bei Unternehmen immer noch zum…

Deepfakes heben Social-Engineering-Angriffe auf eine neue Gefahrenstufe

Social-Engineering-Angriffe stellen eine hohe Gefahr für die IT-Sicherheit dar, weil sie technische Abwehrmaßnahmen umgehen. Noch problematischer wird die Bedrohungslage durch KI- und ML-basierte Deepfakes, die stark im Kommen sind. Unternehmen müssen ein Bewusstsein für diese Gefahren entwickeln und Führungskräfte wie Mitarbeiter entsprechend sensibilisieren.

Modern Workplace Learning soll alle Lernformen unterstützen

Das persönliche und berufliche Lernen ist Sache jedes Einzelnen. Präsenzschulungen werden immer unwichtiger. Jane Hart ist eine der bekanntesten Persönlichkeiten für Corporate Learning und Gründerin des Centre for Learning & Performance Technologies (C4LPT). Als Mitglied des Kongresskomitees der LEARNTEC (29. bis 31. Januar 2019, Messe Karlsruhe) gestaltet sie einen englischsprachigen Vortragsteil zu Modern Workplace Learning.…

Machine Learning in der Industrie

Machine Learning in der Industrie – Wie Verfahren der künstlichen Intelligenz zum elementaren Digitalisierungsbaustein der globalen Industriekonzerne werden. Mit der zunehmenden Digitalisierung steigt auch in der Industrie der wertschöpfende Anteil der IT. Mit dem Einzug des Internet der Dinge werden immer mehr Daten produziert, die gesammelt, analysiert und nutzbar gemacht werden wollen. Industrieunternehmen werden immer…

Machine Learning in der medizinischen Forschung

Daten sind allgegenwärtig. In vielen Bereichen unseres Alltags bestimmt die Technik längst unseren Biorhythmus. Im Zuge der Selbstvermessung tragen Fitnessarmbänder und mobile Apps dazu bei immer mehr Daten von uns selbst zu erheben. Eine schier unaufhörliche Flut von historischen, aktuellen und in Echtzeit erhobenen Daten strömt auf die Medizin zu. Um all diese Daten sinnvoll…

Digitale Transformation und was danach kommt – Ein wichtiger Schritt in der Evolution

Die digitale Transformation in Deutschland steckt noch in den Kinderschuhen. Die Vernetzung von Business und IT erfordert ein neues Denken in den Unternehmen und bei den Systemhäusern. Und doch ist die Digitalisierung nur der notwendige Evolutionsschritt hin zu mehr »Intelligenz« und Automatisierung mittels Machine Learning und Deep Learning.

Künstliche Intelligenz: In drei Etappen zur autonomen IT

Künstliche Intelligenz (KI) durchdringt immer mehr Bereiche. Neben Geräten und Maschinen unterstützen die neuen Technologien inzwischen auch den IT-Betrieb: Sie ermöglichen beispielsweise Netzwerke autonom zu betreiben. Für Unternehmen, die diesen Weg beschreiten wollen, rät das IT-Systemhaus Circular Informationssysteme einen Ansatz in 3 Etappen. Chatbots beantworten Kundenfragen, intelligente Robotik steuert die Anlagenwartung und Spracherkennung vereinfacht die…

KI ist nicht die Killer-Applikation bei Threat Intelligence 

An der Nutzung von Künstlicher Intelligenz führt auch beim Thema Cyber-Security kein Weg mehr vorbei. Intelligente Algorithmen helfen, Bedrohungen besser und schneller zu erkennen. NTT erklärt, welche Vorteile KI-basierte Systeme bei Threat Intelligence bieten und wo ihre Grenzen liegen.   Cyber-Angriffe sind in den letzten Jahren immer ausgefeilter, effektiver und schneller geworden. Um sich zur…

Services für künstliche Intelligenz: Neben fünf Top-Providern überzeugten auch einige Spezialisten

Das Marktanalyse- und Beratungsunternehmen PAC hat den PAC INNOVATION RADAR »AI-related Services in Germany 2020« veröffentlicht. Im Rahmen des Evaluierungsprozesses wurden die Serviceleistungen rund um das Thema künstliche Intelligenz (KI) von knapp 30 Service-Providern analysiert. 21 von ihnen wurden in die finale Bewertung übernommen. Das Gesamtergebnis hat fünf Anbieter mit einer Wertung »Best in Class«…

Pariplay steigt mit der Partnerschaft mit Casino Davos auf dem Schweizer Markt weiter auf

Das branchenführende Casino-Portfolio von Pariplay erweitert die Präsenz auf dem Schweizer Markt durch eine Vereinbarung mit Casino Davos. 13. August 2020 hat Pariplay Ltd., der führende Aggregator und Inhaltsanbieter für innovative Produkte wie die Aggregationsplattform Fusion und das Entwicklungsprogramm Ignite Studio, seine Präsenz auf dem Schweizer iGaming-Markt durch eine vor kurzem bekannt gegebene Partnerschaft mit…

Mobile Prozesse in der Fertigungsindustrie flexibel und gleichzeitig sicher beschleunigen

Auch in der Fertigungsindustrie setzen sich mobile Prozesse mehr und mehr durch. Mit der zunehmenden Relevanz mobiler Endgeräte in der Produktionsbranche werden auch unternehmenseigene Apps immer wichtiger. Apps machen Produktionssteuerung, Lagerverwaltung und andere Abläufe mobil, damit Mitarbeiter effizienter und komfortabler arbeiten. Unternehmen wiederum erreichen ihre Geschäftsziele deutlich leichter und schneller und profitieren von einem klaren…

Wo und wie findet künstliche Intelligenz in der Casino-Industrie Anwendung?

Auch wenn viele Unternehmen dem Thema der künstlichen Intelligenz noch skeptisch gegenüberstehen, hat die KI-Technologie in der Casino-Industrie mittlerweile eine große Relevanz und unterstützt wichtige Vorgänge im Glücksspielsektor. Eine KI trainiert sich selbst durch den Verbrauch von Milliarden an Daten aus unterschiedlichsten Quellen und verbessert ihr Wissen dadurch selbst. Durch das sogenannte »Deep Learning« wird…

Abläufe verbessern und automatisieren – Wie Unternehmen mit KI ihre Geschäftsprozesse erfolgreich optimieren

Künstliche Intelligenz bietet zweifellos eine ganze Reihe von Optionen, um Geschäftsprozesse zu optimieren, von der Kundenbetreuung mittels Chat-Bots bis zur Steuerung mobiler Roboter. Doch wer KI einsetzen will, sollte nicht nur die passende technische Lösung im Blick haben. Vielmehr gilt es, auch den Menschen einzubinden, also Mitarbeiter, Kunden und Partner.

93 % der Sicherheitsexperten verfügen nicht über die notwendigen Mittel, um Sicherheitsbedrohungen zu identifizieren

Globale Studie zum steigenden Stresspegel von Sicherheitsteams aufgrund des Mangels an geeigneten Tools und Mitarbeitern sowie fehlender Unterstützung durch die Geschäftsleitung. Das auf Lösungen für Security Operations Center (SOC) spezialisierte Unternehmen LogRhythm, hat seinen Report »The State of the Security Team: Are Executives the Problem?« veröffentlicht. Als ein zentrales Ergebnis stellt dieser auf eine Umfrage…