Anzeige

KI: Lernfähiges Netzwerk aus nur einem Neuron

Neuartiges KI-System nutzt die Zeit statt räumlicher Knoten und Verknüpfungen

Gehirn-Netzwerk
Neuronale Netzwerke ahmen in ihren Knoten und anpassungsfähigen Verknüpfungen die Funktionsweise des Gehirns nach. © MF3d/ Getty images

Zeit statt Raum: Forscher haben ein neuronales Netzwerk entwickelt, das auf Basis nur eines künstlichen Neurons arbeitet – und trotzdem so rechenstark ist wie tausende verknüpfter Knoten. Möglich wird dies, weil zeitliche Verzögerungen die normalerweise räumlichen Verbindungen im neuronalen Netzwerk ersetzen. Das künstliche Neuron nimmt dadurch nacheinander die Rolle verschiedener Knoten ein – das Netzwerk existiert in der Zeit, nicht im Raum.

Ob beim Knacken von Proteincodes, dem Auslesen von Gehirnsignalen oder dem Auswerten großer Datenmengen: Lernfähige Computersysteme sind in vielen Bereichen fast schon unverzichtbar. Meist beruhen sie auf neuronalen Netzwerken, bei denen Rechenknoten in mehreren Schichten miteinander verschaltet sind. Wie bei den Neuronenverknüpfungen in unserem Gehirn wird darin jede Verbindung, die zu einer richtigen Entscheidung führt, im Laufe der Trainingszeit stärker gewichtet – das Netzwerk lernt.

Stromfressend und aufwendig

Das Problem jedoch: Werden solche neuronalen Netzwerke mittels Software in Computern nachgebildet, verbrauchen die aus tausenden künstlichen Neuronen bestehenden Systeme teilweise enorme Mengen an Energie. Allein für die Trainingsphase benötigte beispielsweise eines der aktuell besten KI-Programme zur Spracherzeugung so viel Strom, dass dies dem CO2-Ausstoß von 700.000 mit dem Auto gefahrenen Kilometern entspricht.

Ein anderer Ansatz ist die physikalische Nachbildung der neuronalen Netze durch Hardware. Dabei entspricht jedes künstliche Neuron einem Halbleiter-Bauelement oder wird mithilfe von Lasern optisch umgesetzt. Das jedoch beschränkt die mögliche Größe und Komplexität eines solchen Netzwerks: Während es in Supercomputern bereits möglich ist, Milliarden von Neuronen zu programmieren, erreichen die jüngsten Hardware-Implementierungen bisher nur eine Anzahl von einigen tausend künstlichen Nervenzellen.

Nur ein Knoten statt vieler

Eine ungewöhnliche Lösung für diese Probleme haben nun Florian Stelzer von der Technischen Universität Berlin und seine Kollegen entwickelt. Ihre Idee: Statt ein Netzwerk aus räumlich verbundenen Knoten zu verwenden, besteht ihr neuronales Netz aus nur einem einzigen per Software programmierten Neuron. Der Clou dabei: Dieser Knoten wird zeitlich versetzt angesteuert und ausgelesen und kann so innerhalb von Sekundenbruchteilen die Rollen aller virtuellen Neuronen einnehmen.

Anzeige
Fit-DNN
Schema des zeitbasierten neuronalen Netzwerks: Das Neuron (schwarzer Kreis) bekommt Feedbacks (M), die zeitlich moduliert und verzögert sind. © Stelzer et al. / Nature Communications, CC-by-sa 4.0

Auf diese Weise entsteht eine völlig neue Klasse von neuronalen Netzen, deren Neuronen nicht im Raum verteilt sind, sondern in der Zeit. Das Team hat dieses System „Folded-in-time Deep Neural Network“ (Fit-DNN) getauft. Vergleichbar ist die Funktionsweise dieses Netzwerks mit einem Gast am Tisch, der die Konversation einer ganzen Tischgesellschaft simuliert, indem er sich blitzschnell von einem Stuhl auf den anderen setzt und alle Gesprächsbeiträge einfach selber spricht.

Feedback durch Zeitmodulation

Wie aber lernt und arbeitet ein solches Zeitnetzwerk aus nur einem Neuron? Während normale Netzwerke lernen, indem richtige Verknüpfungen im Laufe der Zeit stärker gewichtet und ausgebaut werden, geschieht dies beim neuen Netzwerk durch Anpassungen der Zeitverzögerung. „Das Neuron interagiert dabei statt mit anderen Knoten mit seinen eigenen verzögerten Zuständen“, erklären die Forschenden. Spezielle Verzögerungsleitungen nehmen dafür den Zustand des Neurons auf, modulieren ihn in geeigneter Weise und senden das Signal mehr oder weniger stark verzögert zurück.

Bisher hat das Team ihr Netzwerk softwarebasiert umgesetzt, es ist aber auch als Hardwaresystem umsetzbar. „Für eine Realisierung in Hardware kämen vor allem laserbasierte Schaltungen in Frage, weil diese so schnell sind, dass die Zeitverzögerungen besonders kurz ausfallen“, erklärt Stelzer. „Dass das prinzipiell möglich ist, haben wir jetzt im Computer gezeigt.“ Im einfachsten Falle wären dafür nur eine Lichtquelle, ein paar Koppler und optische Fasern verschiedener Länge nötig.

Netzwerk-Test
Das „zeitgefaltete“ neuronale Netz kann Bilder von Kleidungsstücken rekonstruieren (unten) , die durch Überlagerung mit einem Rauschsignal unkenntlich gemacht wurden. © TU Berlin

Ersten Test bestanden

Erste Tests haben bereits ergeben, dass ein solches System selbst die verschiedenen Netzwerkebenen eines tiefen neuronalen Netzes simulieren kann, wie die Forschenden berichten. Unter anderem löste das neuartige Fit-DNN erfolgreich eine für neuronale Netze typische Aufgabe: Es konnte Bilder von Kleidungsstücken, die durch überlagertes Rauschen unkenntlich gemacht wurden, wieder rekonstruieren.

Das Ergebnis war zwar etwas schlechter als bei herkömmlichen, hochkomplexen neuronalen Netzen. Dafür arbeitete das Zeit-Netzwerk aber auch nur mit wenigen Verzögerungsschleifen – das sei noch ausbaufähig, so das Team.

Chancen für neuartige KI-Systeme

Nach Ansicht der Wissenschaftler eröffnet ihr Konzept ganz neue Möglichkeiten für lernfähige KI-Systeme. Gleichzeitig besteht auch die Möglichkeit, die Effizienz klassischer neuronaler Netzwerke zu steigern, indem man beide Methoden miteinander kombiniert: „Indem man zusätzliche räumliche Knoten in der Fit-DNN einfügt, könnte man je nach Aufgabe und Plattform die optimale Kombination aus zeitlichen und räumlichen Knoten nutzen“, schreiben Stelzer und seine Kollegen.

Mehrere internationale Arbeitsgruppen aus Physik und Computerwissenschaft haben bereits angekündigt, die neuen neuronalen Netze so schnell wie möglich auch als Hardware-Schaltung umsetzen zu wollen. (Nature Communications, 2022; doi: 10.1038/s41467-021-25427-4)

Quelle: Technische Universität Berlin

Anzeige

In den Schlagzeilen

Diaschauen zum Thema

Dossiers zum Thema

News des Tages

Space Shuttle Columbia

20 Jahre "Columbia"-Katastrophe

Akkus: Rätsel der Selbstentladung gelöst

SETI findet acht potenzielle Alien-Signale

Ägypten: 16-Meter langer Totenbuch-Papyrus entdeckt

Hilft Lächeln gegen Stress?

Bücher zum Thema

Maschinen mit Bewusstsein - Wohin führt die künstliche Intelligenz? von Bernd Vowinkel

Smarte Maschinen - Wie Künstliche Intelligenz unser Leben verändert von Ulrich Eberl

Top-Clicks der Woche