KI wird immer praxistauglicher: neue Rekorde für Deep Learning

Deep Learning zeigt künstlicher Intelligenz, wie Menschen die Welt über Bilder und Geräusche verstehen. Jetzt hat IBM Research eine Software für Distributed Deep Learning (DDL) vorgestellt, die Trainingstempo, Skalierungseffizienz und Treffsicherheit von Deep Learning für große, komplexe AI-Modelle deutlich steigert.

Eine vielbeachtete Leistung: Das Team von IBM Research hat es geschafft, ein AI-Modell vollkommen synchron zu trainieren, mit sehr geringem Overhead – und in Rekordzeit. Mit 95 Prozent entspricht die Skalierung – die höchste bisher erreichte – nahezu dem Ideal. Auch bei der Bilderkennung wurden die bisherigen Rekorde gebrochen.

Die Fortschritte wurden auf den Deep-Learning-Servern PowerAI erzielt, einer stabilen und kompatiblen Umgebung für bahnbrechende Deep-Learning-Innovationen.  Die DDL-Software ist mit der Version 4.0 von PowerAI bereits als technischer Preview verfügbar.

AI-Forschung wird kosteneffizienter

 

Das Software-Preview birgt eine wichtige Chance für CIOs: Forschungsabteilungen in Unternehmen können damit ab sofort kosteneffizienter an neuen Einsatzmöglichkeiten für AI arbeiten – und die Basis für ganz neue Geschäftsmodelle legen.

Die Anwendungsmöglichkeiten künstlicher Intelligenz werden von der User Experience mobiler Apps über die Orientierung selbstfahrender Autos im Straßenverkehr bis zur medizinischen Diagnostik mit bildgebenden Verfahren reichen. Es herrscht weitgehende Einigkeit, dass AI das Gesicht ganzer Branchen verändern wird. Für CIOs, die sich nicht nur als Datenverwalter, sondern auch als Digitalstrategen verstehen, steht AI darum im Brennpunkt des Interesses.

 

Deep Learning: kürzeste Trainingszeit

Um Deep Learning für anspruchsvollere Aufgaben zu nutzen und Ergebnisse mit hoher Treffsicherheit zu erzielen, braucht es sehr große Datasets und AI-Modelle. Das Training war bisher extrem langwierig – es dauerte Tage und Wochen. Die Trainingszeit zu minimieren, war eines der Ziele des IBM Research Teams, wie IBM Fellow Hillery Hunter sagt:

Our objective is to reduce the wait-time associated with deep learning training from days or hours to minutes or seconds, and enable improved accuracy of these AI models. To achieve this, we are tackling grand-challenge scale issues in distributing deep learning across large numbers of servers and NVIDIA GPUs.

Das IBM Research Team hat sein erstes Ziel erreicht und die Trainingszeit eines großen AI-Modells signifikant verkürzt: Der neuen DDL-Software ist es gelungen, das AI-Modell ResNet-101 in nur sieben Stunden zu trainieren – die letzten Versuche von Microsoft  mit diesem Modell lagen noch bei 10 Tagen.

Im direkten Vergleich zu den aktuellen Ergebnissen von Facebook AI Research (FAIR) liegt das IBM-Team ebenfalls vorn: Bei einem Experiment mit dem Dataset ImageNet 1K und 1,3 Millionen Bildern auf dem kleineren AI-Modell ResNet-50 brauchte die DDL-Software von IBM Research nur 50 Minuten für das Training – statt der einen Stunde, die Facebook vorgelegt hatte.

Das IBM Research Team hat die Trainingszeit von AI-Modellen signifikant verkürzt

Höchste Bilderkennungsrate

Das zweite wichtige Ziel des DDL-Teams bei IBM Research (und der meisten maßgeblichen Deep-Learning-Forscher) ist, die Genauigkeit der AI-Modelle zu erhöhen, zum Beispiel die Trefferquote bei der Bilderkennung. Mit der neuen DDL-Software erreichte IBM Research eine Bilderkennungsrate von 33,8 Prozent aus den 7,5 Millionen Bildern des ImageNet-22K Datasets.

33,8 Prozent sind beeindruckender, als sie klingen. Denn erstens lag der bisherige Rekord bei 29,8 Prozent (Microsoft). Und zweitens  ging es bei der Bilderkennungsrate bisher meistens in Schritten von unter einem Prozentpunkt voran. Vier Prozentpunkte dürfen daher als Sprung nach vorn angesehen werden.

Das IBM Research Team nutzte für dieses Experiment das Caffe Deep Learning Framework sowie einen Cluster von 256 NVIDIA GPUs, verteilt auf 64 IBM Power Systeme.

Nun mag es scheinen, als sei es keine Kunst, eine hohe Leistung mit einem Cluster aus so vielen Grafikkarten zu erreichen, der auf so vielen Kraftpaketen von Servern läuft. Doch eine der Herausforderungen bei Deep Learning ist die Skalierungseffizienz: Denn der Output des Clusters steigt nicht proportional, wenn mehr GPUs zusammengeschaltet werden.

Und paradoxerweise wird das mit leistungsfähigeren GPUs nicht besser. Im Gegenteil: Je mehr Power die GPUs haben, desto schneller lernen sie. Doch die Geschwindigkeit konventioneller Software kann mit dem Kommunikationsbedarf eines Clusters leistungsstarker GPUs nicht mithalten: Der Overhead ist zu groß.

Hier liegt der dritte große Erfolg des IBM-Teams: Es ist ihm gelungen, den Kommunikationsaufwand deutlich zu reduzieren.

Skalierungseffizienz von 95 Prozent erreicht

Daher erreicht die neue DDL-Software von IBM Research mit dem Deep Learning Modell ResNet-50 und dem Dataset ImageNet-1K (1,3 Millionen Bilder) eine Skalierungseffizienz von 95 Prozent. Zum Vergleich: Das nunmehr zweitbeste Skalierungsergebnis mit diesem AI-Modell und diesem Dataset, das von Facebook AI Research, liegt bei 89 Prozent.

Preview mit PowerAI 4.0 für Caffe und TensorFlow verfügbar: IBM stellt die neue DDL-Software als technischer Preview für die Deep Learning Frameworks Caffe und TensorFlow zur Verfügung. Mit der Version 4.0 von IBM PowerAI kann jedes Unternehmen ab sofort über eine API auf die effizienteste bisher erreichte Trainingsmethode für AI-Modelle zugreifen. Und damit die künstliche Intelligenz im eigenen Unternehmen zu neuen Höchstleistungen führen.

Noch einmal Hillery Hunter:

We expect that by making this DDL feature available to the AI community, we will see many more higher accuracy runs as others leverage the power of clusters for AI model training.

von Hillery Hunter, IBM Research Fellow (basierend auf ihrem IBM Blog Beitrag)

Kommentar verfassen