Phasenwechsel statt digitale Bits: IBM-Forschende haben eine neue Art von analogen Mikrochips entwickelt, die den enormen Stromverbrauch künstlicher Intelligenzen verringern könnte. Der Chip verarbeitet und speichert Informationen durch den Phasenwechsel eines Materials. In ersten Tests erreichte ein auf diesen Analog-Chips laufendes KI-Sprachmodell eine Energieeffizienz von 12,4 Billionen Rechenoperationen pro Watt – das ist 14-mal energiesparender als gängige KI-Systeme, wie das Team in „Nature“ berichtet.
Künstliche Intelligenzen auf Basis großer Sprachmodelle haben der KI-Technologie einen enormen Leistungssprung ermöglicht, in vielen Bereichen kommen sie der menschlichen Intelligenz schon sehr nahe – ob bei der Text- und Bild-Erstellung, der Wissenschaft und sogar kreativen Aufgaben. Allerdings haben diese generativen KI-Systeme einen großen Nachteil: Sie sind enorme Stromfresser. Eine KI wie ChatGPT zu trainieren, verbraucht knapp 1.300 Megawattstunden an Energie – und je größer die Modelle werden, desto mehr Hardware-Power benötigen sie.
Verlustreicher Datentransport
Einer der Gründe für den enormen Stromverbrauch der für KI-Systeme genutzten Prozessoren und Grafikkarten ist ihr Aufbau: Bei digitalen Mikrochips müssen bei jeder Rechenoperation Daten vom Arbeitsspeicher zum Prozessor und wieder zurückbewegt werden. Durch diesen elektronischen Transfer über den Datenbus geht ein beträchtlicher Teil der Energie und Zeit verloren. Je nach Entfernung der Bauteile kann der Energieverlust beim Drei- und Zehntausendfachen der für die eigentliche Rechenoperation nötigen Energie liegen.
Dieses Problem – auch als Von-Neumann-Flaschenhals bekannt – lässt sich bei den gängigen digitalen Systemen jedoch nicht ohne weiteres beheben, weil die Prozessoren zu groß sind, um direkt in den Arbeitsspeicher integriert zu werden.
Phasenwechsel statt digitaler Signale
Anders ist dies jedoch bei analogen Compute-in-Memory Chips: Sie verarbeiten und speichern Informationen nicht als digitale Nullen und Einsen, sondern beispielsweise in Form sich verändernder Widerstände oder anderer Eigenschaften eines Materials. Weil die Analog-Chips dafür keine tausenden Transistoren und entsprechend wenig Platz benötigen, kann ihre Recheneinheit direkt in den Arbeitsspeicher integriert werden.
Einen solchen Analog-Chip speziell für KI-Systeme hat nun ein Team um Stefano Ambrogio von IBM Research in Almaden entwickelt und getestet. Er besteht aus einem Silizium-Stückchen, in das 35 Millionen nur 14 Nanometer große Einheiten aus einem Phasenwechsel-Material integriert sind. Dieses Material verändert seinen Zustand von kristallin zu amorph und zurück je nach der Temperatur eines winzigen, elektrisch erwärmten Heizkreises.
„Diese Phasenwechselmodule kodieren analoge Leitfähigkeitszustände, indem sie den Anteil ihrer kristallinen, leitfähigen und amorphen, weniger leitfähigen Phase entsprechend den zugeführten elektrischen Pulsen anpassen“, erklären Ambrogio und sein Team. Das Material kann damit auf elektronische Eingaben reagieren und diese speichern, denn der Phasenzustand bleibt auch dann erhalten, wenn kein Strom fließt.
Zwischenzustände ermöglichen „synaptische Gewichtung“
Der Clou jedoch: Anders als digitale Chips können die Phasenwechselmodule nicht nur Nullen und Einsen verarbeiten, sondern auch Zwischenzustände annehmen. „Dies wird als synaptisches Gewicht bezeichnet und ist in der Atomanordnung jedes Phasenwechselmoduls gespeichert“, erklärt das Team. Diese synaptische Gewichtung ermöglicht es dem analogen Chip, die für KI-Systeme typischen Operationen – sogenannte multiply-accumulate Operationen – durch einfache Kombinationen von Spannung und Stromstärke zu kodieren, ohne dass auch nur ein Bit an Daten bewegt werden muss.
Damit eignen sich die analogen Chips besonders gut dazu, die Rechenoperationen durchzuführen, die für das Lernen von künstlichen neuronalen Netzen essenziell sind. Denn auch diese KI-Systeme lernen, indem sie bestimmte logische Verknüpfungen und Operationen im Laufe ihres Trainings stärker gewichten und bevorzugen. „Das Analog-im-Speicher-Rechnen kann solchen Systemen mehr Effizienz verleihen, indem es die Netzwerkebenen auf analoge Arrays überträgt und die Operationen parallel in einem einzigen integrierten Schritt ausführt“, erklären Ambrogio und seine Kollegen.
Schnell und korrekt bei der Worterkennung
Wie gut ihr Analog-Chip als Basis einer künstlichen Intelligenz funktioniert, haben die Forschenden an zwei verschiedenen KI-Modellen getestet. Im ersten Test nutzten sie einen Analog-Chip für ein gängiges kleineres Sprachmodell, Google Speech Commands. Dieses ist darauf spezialisiert, bestimmte Schlüsselbegriffe aus einer Spracheingabe herauszuhören und darauf zu reagieren – ähnlich wie die Sprachassistenten Alexa oder Siri auf ihren Namen hören und aktiv werden.
Im Test verglichen Ambrogio und sein Team die Schnelligkeit und Effizienz einer mit dem Analog-Chip laufenden Variante dieses Sprachmodells für zwölf Schlüsselwörter mit herkömmlichen, digitalen Versionen. Das Ergebnis: Die Trefferquote richtig erkannter Begriffe lag bei 86 Prozent und damit gleichauf mit den digitalen Benchmarks. Das Tempo, mit dem das Analog-Chip-Modell die akustischen Eingaben verarbeitete, lag dagegen mit 300 Nanosekunden pro Prozessschritt siebenmal höher, wie das Team berichtet.
Effizient auch bei größerem Sprachmodell
In einem zweiten Test nutzten die Forschenden fünf gekoppelte Analog-Chips mit insgesamt 140 Millionen Phasenwechsel-Modulen, um das deutlich größere Sprachmodell Librispeech zu betreiben. Dieses funktioniert ähnlich wie das kleinere Modell, kann aber ganze gesprochene Texte transkribieren. Anders als beim ersten Test kombinierte das Team ihre Analog-Chips dafür zunächst noch mit digitalen Peripherie-Bauteilen.
Auch hier funktionierte die vorwiegend analoge Rechentechnik: Das System war beim Transkribieren ähnlich korrekt wie die Vergleichsmodelle, aber deutlich energieeffizienter. „Der analoge KI-Chip kombiniert mit analogen, energiesparenden Peripherie-Schaltkreisen, kann bis zu 12,4 Billionen Operationen pro Sekunde pro Watt erreichen“, schreibt das Team. Damit sei ein solcher KI-Analog-Chip 14-mal energieeffizienter als herkömmliche digitale Systeme.
„Vielversprechender Ansatz für nachhaltigere KI“
Nach Ansicht von Ambrogio und seinen Kollegen könnten analoge Chips demnach dazu beitragen, künftige KI-Systeme energiesparender und damit klimafreundlicher zu machen. Ähnlich sieht es Hechen Wang von Intel: „Analoge KI ist eine vielversprechende und nachhaltige Lösung, die die für diese Systeme nötige Zeit und Energie minimieren kann“, schreibt der nicht an der Studie beteiligte Forscher in einem begleitenden Kommentar in „Nature“.
Allerdings steckt die Technologie noch in den Kinderschuhen. Denn um künstliche Intelligenzen komplett auf solchen analogen Systemen zu betreiben, seien noch einige Entwicklungsschritte nötig, so Wang. (Nature, 2023; doi: 10.1038/s41586-023-06337-5)
Quelle: Nature, IBM Research
