KI am Edge

GPUs waren vor einigen Jahren mit entscheidend dafür verantwortlich, dass die „Königsmethode“ des Machine Learnings, das Deep Learning, performant und wirtschaftlich ausgeführt und angewendet werden konnte. Trotzdem sind GPUs nicht optimal auf KI-Anforderungen ausgerichtet, weil sich dort immer noch nicht nutzbarer Overhead findet. Vor allem aber verbrauchen die leistungsstarken Prozessoren - die ja ursprünglich für den Spielemarkt entwickelt wurden - enorm viel Strom. 

Das belastet nicht nur die Rechenzentren mit hohem Energieverbrauch und steigenden Kosten. Die stromfressenden GPUs behindern vor allem auch die Verlagerung von KI-Anwendungen an den Edge direkt in die Geräte. Das Problem: Edge-Devices wie Kameras, IoT-Geräte wie Sensoren, Medizin-Equipment und andere autonome Geräte sind oft auf Batterien angewiesen, deren Betriebsdauer durch rechenintensive KI-Module stark limitiert würde.

Dass die KI lokal verfügbar ist, ist aus mehreren Gründen notwendig. So müssen IoT- und Edge-Devices oft sofort reagieren - was schmale oder fehlende Cloud-Bandbreiten und Latenzen verhindern. Beispiel autonomes Fahren: Würden in einer Gefahrensituation die Sensordaten erst in die Cloud übertragen, dort interpretiert und dann eine Anweisung zurückgeschickt, wäre ein Unfall wahrscheinlich längst passiert. Die Entscheidung, ob gebremst werden soll, wenn ein Kind auf die Fahrbahn rennt, lässt sich nicht in die Cloud auslagern.

Dabei dürfte künftig nicht nur das Inferencing am Edge betrieben werden. Auch KI-Trainingsdurchläufe können sich im Edge-Computing etablieren. Die neu gewonnenen Daten lassen sich so in schlanker Form an die Cloud übermitteln. Dort wird dann das zentrale Modell mit den neuen Daten von Millionen von IoT-Geräten im Einsatz aktualisiert.

Man kommt also nicht umhin, KI auch lokal einzusetzen. Es liegt deshalb nahe, spezielle KI-Chips zu entwickeln, die nur die notwendigen Funktionen beherrschen und besonders energiesparsam sind bei gleichzeitig hoher Leistungsfähigkeit. So könnte ein Großteil der Daten direkt vor Ort ressourcenschonend und in Echtzeit verarbeitet werden.

Der Bedarf an KI-optimierten Chips kommt aber auch noch aus einer anderen Ecke - von den Smartphone-Herstellern. Viele KI-gestützte Anwendungen auf Smartphones wie digitale Assistenten sind auf die Rechenzentren ihrer Anbieter angewiesen. Sie erfordern eine Internetverbindung und der notwendige Up- und Download der Daten kostet Zeit, was viele Anwendungsbereiche ausschließt. Smartphone-Hersteller gehen deshalb ebenfalls dazu über, KI-optimierte Prozessoren in ihre Geräte zu stecken. Als Erster hat Huawei mit dem Mate ein Smartphone herausgebracht, dessen Prozessor Kirin 970 mit einer Neural Processing Unit (NPU), einer speziellen Recheneinheit für KI, ausgestattet ist. Die NPU soll rechenintensive Aufgaben wie Bild- und Spracherkennung bis zu 20-mal schneller erledigen als herkömmliche CPUs. Auch Apple hat den neuesten iPhones eine KI-Einheit spendiert. Sie wird für Face ID gebraucht und erkennt nach einer kurzen Lernzeit das Gesicht des Nutzers. Andere Hersteller wie Google und Samsung setzen in ihren Smartphones ebenfalls auf KI-optimierte Chips.

Für viele Aufgaben und Assistenzfunktionen müssen die Endgeräte allerdings weiter auf die Cloud zugreifen, denn die Fähigkeiten der lokalen KI-Einheiten sind bislang eher rudimentär. Mit steigender Rechenleistung und Speicherkapazität soll in den kommenden Jahren aber immer mehr direkt auf den Geräten ausgeführt werden.