willyam - stock.adobe.com
Tiny AI ist die Zukunft der künstlichen Intelligenz
Modelle für künstliche Intelligenz (KI) müssen nicht zwangsläufig große Datenmengen verschlingen, um effektiv zu arbeiten. Tiny AI ist die Zukunft der künstlichen Intelligenz.
Künstliche Intelligenz (KI) wird der Weltwirtschaft zwischen 2020 und 2030 potenziell zusätzliche 13 Billionen US-Dollar einbringen. Doch die damit verbundenen Kosten für die Umwelt sind besorgniserregend: Die KI verfügt bereits jetzt über einen ökologischen Fußabdruck, der sogar größer ist als der der Luftfahrtindustrie.
Insbesondere das Training der KI-Modelle ist kostspielig und geht in die Millionenhöhe. Doch: Die prädiktiven Such- und Tippfunktionen auf Smartphones oder intelligenten Lautsprechern stehen in Sachen Energieaufwand für das Training der KI-Modelle in keinerlei Verhältnis. So belaufen sich beispielsweise die Kosten für das Training des GPT-3-Modells – ein neuronales Netzwerk für natürliche Sprache, das einfache Nachrichtenartikel schreiben kann – auf zwölf Millionen US-Dollar.
Um den Kosten- und Energieaufwand zu adressieren, setzen Technologieexperten auf das Konzept der sogenannten Tiny AI. Dabei werden KI-Modelle verkleinert – so reduzieren sich entsprechend auch die Kosten und der Energiebedarf. Darüber hinaus findet die KI-Inferenz und das -Training in Edge-Netzwerken statt – und nicht, wie üblich, über Cloud-Server.
Kleine KI-Modelle für kleine Endgeräte
KI-Modelle müssen nicht zwangsläufig Hunderte von Gigabyte groß sein, um effektiv zu arbeiten. Kleinere Modelle wie MobileNet (20 MB) funktionieren genauso gut, wenn Daten, Edge-Hardware und Modellarchitektur entsprechend ausgewählt werden. Darüber hinaus sind Techniken zur Modellkomprimierung – wie Wissensdestillation, Network Pruning und Quantisierung – in der Lage, die Anzahl der in ein KI-Modell einfließenden Parameter zu reduzieren, ohne die Genauigkeit des Outputs wesentlich zu beeinträchtigen.
Nach aktuellen Schätzungen sind bis zum Jahr 2025 voraussichtlich etwa 25 bis 30 Milliarden IoT-Endgeräte (Internet of Things) in Betrieb – mit der steigenden Datenmenge wachsen auch die Anforderungen an die Rechenleistung signifikant. Um dies zu adressieren, sollte ein Teil der Rechenlast auf Edge-Endgeräte verlagert werden. Insbesondere kleiner KI-Modelle können problemlos auf IoT-Edge-Endgeräte verschoben werden, die nur wenig Energie und Verarbeitungskapazität benötigen.
Katalysatoren für kleine KI-Modelle
Das KI-Ökosystem entwickelt sich schnell, insbesondere in den Bereichen föderales Lernen, dezentrales Web und batterielose IoT-Endgeräte. Diese Entwicklungen agieren als eine Art Katalysator für die Einführung von Tiny AI.
Bei dem von Google entwickelten Konzept des föderalen Lernens ist es nicht mehr nötig, dass Edge-Endgeräte alle gesammelten Daten zur Verarbeitung mit Cloud-Servern teilen. Stattdessen trainieren die vernetzten Endgeräte ihre eigenen Modelle anhand lokaler Daten und geben nur eine regelmäßige Aktualisierung an die Cloud weiter, um das zentrale Modell zu trainieren. Dies senkt insgesamt die Anforderungen an die Verarbeitung – und reduziert auch den Energieverbrauch für das Training von KI-Modellen.
„Um den Kosten- und Energieaufwand zu adressieren, setzen Technologieexperten auf das Konzept der sogenannten Tiny AI.“
Rajeshwari Ganesan, Infosys
Darüber hinaus scheint die Zukunft des Internets dezentralisiert zu sein. Blockchain-basierte Netzwerke wie Helium – die im Grunde jeden zu einem Anbieter von Netzabdeckung machen können (innerhalb des unlizenzierten Spektrums) – verändern die Art und Weise, wie das Internet bereitgestellt wird. Telekommunikationsunternehmen haben möglicherweise nicht mehr die strenge Kontrolle, die sie derzeit über das Internet haben – dies gilt besonders für IoT-Anwendungen, für die eine geringe Bandbreite und eine größere Reichweite wichtiger sind.
Zudem wird das Aufkommen batterieloser IoT-Geräte die Umwelt weiter entlasten. Diese beziehen ihre Verarbeitungsleistung aus ihrer Umgebung und nicht etwa aus abfallverursachenden Batterien.
Nachhaltige und verantwortungsvolle KI
KI ist allgegenwärtig – Unternehmen sollten ihren verantwortungsvollen und nachhaltigen Einsatz sicherstellen. Während verantwortungsbewusste KI bedeutet, dass alle Initiativen die mit dem Menschen verbundenen Grundrechte (zum Beispiel Privatsphäre und Gleichheit) einhalten müssen, zielt nachhaltige KI auf Kohlenstoffneutralität ab. Tiny AI spielt bei der Erreichung dieses Ziels eine signifikante Rolle. Da Aufsichtsbehörden auf der ganzen Welt strengere ethische und ökologische Normen anwenden, werden diejenigen, die Nachhaltigkeit als Grundprinzip einbeziehen, mit KI erfolgreich sein.
Über die Autorin:
Rajeshwari Ganesan ist AVP und Senior Director - Solution Consulting bei Infosys und verfügt über fast 27 Jahre Erfahrung in der IT-Branche als Unternehmerin, Forscherin und Produktinnovatorin. Sie hat mehrere bedeutende Beiträge auf dem Gebiet der künstlichen Intelligenz und des maschinellen Lernens geleistet, mit besonderem Schwerpunkt auf der Zuverlässigkeit von Clouds und Anwendungen in Performance Engineering.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
