Mit dem beschleunigten Fortschritt der künstlichen Intelligenz und des maschinellen Lernens steigt die Nachfrage für leistungsstarke Computerhardware. Wir freuen uns, eine neue Partnerschaft zwischen Gcore, Graphcore und UbiOps zu verkünden, welche eine neue, leistungsfähige Lösung auf diesem Gebiet bietet. Die Intelligence Processing Units (IPUs) von Graphcore, die leistungsfähige MLOps-Plattform von ObiOps und die Cloud-Lösung von Gcore bieten in Kombination eine unübertroffene Effizienz für AI- und ML-Workloads. Sehen wir uns die Sache genauer an.
Ein einzigartiges Serviceangebot für AI-Teams: On-Demand-IPUs in der Cloud
Die Partnerschaft zwischen Gcore Cloud, Graphcore und UbiOps stellt einen wichtigen Schritt zur Unterstützung von AI-Teams dar. Unsere einzigartige Servicelösung kombiniert die beste IPU-Hardware, MLOps-Plattform und Cloud-Infrastruktur.
Graphcore ist ein führendes Unternehmen zur Entwicklung von IPU-Hardware, deren Design den hohen Anforderungen von modernen AI-Aufgaben standhalten soll. Im Gegensatz zu GPUs, welche datenbasierte Parallelisierung bieten, nutzen IPUs in erster Linie die modellbasierte Parallelisierung, um Datenverarbeitungsaufgaben zu beschleunigen.
UbiOps ist eine leistungsfähige Plattform zur Durchführung maschineller Lernvorgänge (Machine Learning Operations – MLOps), welche die Bereitstellung, Orchestrierung und Verwaltung von AI-Modellen vereinfacht. Dadurch können Unternehmen AI-Modelle und -Workflows in unterschiedlichen Cloud-Computing-Umgebungen ausführen und somit ihre Markteinführungszeit mit AI-Lösungen verkürzen, DevOps- und Cloud-Engineering-Kosten senken und gleichzeitig Computing-Ressourcen mit On-Demand-Hardwareskalierung effizient nutzen.
Gemeinsam kreieren Gcore Cloud, Graphcore und UbiOps eine nahtlose Erfahrung für AI-Teams und geben ihnen die Möglichkeit, ihre IPU-Workloads mühelos auszuführen, indem diese auf der UbiOps-Plattform zur Verfügung gestellt werden. Unter Einsatz der Multi-Cloud-Technologie von UbiOps wurde die Orchestrierungsschicht mit der Gcore-Cloud-Infrastruktur über Graphcore IPUs verknüpft, sodass die IPUs für UbiOps-Benutzer auf Abruf verfügbar sind, um AI-Modelle und Traningsausgaben auszuführen.
Mit dieser Integration können Benutzer die Rechenleistung von IPUs für ihre jeweiligen Arbeitsanforderungen nutzen, was IPU-basierte skalierbare Modellinferenz-APIs und beschleunigte Modelltrainingjobs in der UbiOps-Plattform ermöglicht. Benutzer können zudem auch von Out-of-the-box-MLOps-Funktionen profitieren, die UbiOps anbietet. Dazu gehört beispielsweise die Modellversionierung, -Governance und -überwachung.
Die Vorteile von IPUs im Vergleich
Um die Vorteile der Nutzung von IPUs im Vergleich zu anderen Geräten zu verdeutlichen, möchten wir an dieser Stelle die Workloads auf drei unterschiedlichen Computing-Ressourcen vergleichen: CPU, GPU und IPU.
| Geräteart | Gerät | CPU-RAM | vCPU |
| CPU | CPU | 70 GB | 10 |
| GPU | A100 (40 GB) | 70 GB | 10 |
| IPU | POD-4 | 70 GB | 10 |
Ein faltendes neuronales Netzwerk (Convolutional Neural Network – CNN) wurde am CIFAR-10-Datensatz auf diesen drei unterschiedlichen Geräten trainiert. Dabei wurde die Trainingsgeschwindigkeit für unterschiedliche effektive Batch-Größen entsprechend verglichen. (Dabei haben wir das Produkt aus der Daten-Batch-Größe und dem Geschwindigkeitsgradienten hergenommen.)
| Typ | Effektive Batch-Größe* | Graph-Kompilierung (Sek.) | Trainingsdauer (Sek.) | Zeitaufwand pro Trainingsdurchlauf (Sek.) | Preis pro Einheit (€/Std.) |
| IPU-POD4 | 50 | ~180 | 472 | 08.1 | Ab 2,50 € |
| IPU-POD4 | 8 | ~180 | 1420 | 26.0 | Ab 2,50 € |
| GPU | 50 | 0 | 443 | 08.6 | Ab 4 € |
| GPU | 8 | 0 | 2616 | 51.7 | Ab 4 € |
| CPU | 50 | 0 | ~5 Stunden | 330 | Ab 1,30 € |
| CPU | 4 | 0 | 10+ Stunden | 10+ Minuten | Ab 1,30 € |
Die Ergebnisse zeigen auf, dass die Trainingsdauer auf einer CPU sogar bei einem relativ einfachen CNN und einem kleinen Datensatz bereits recht lang ist. Unter Einsatz einer spezialisierten Hardware ließ sich jedoch sowohl bei der IPU als auch bei der GPU eine deutliche Bescheunigung verzeichnen. Mit minimaler Optimierung konnte bei der IPU im Gegensatz zur GPU eine sogar noch kürzere Verarbeitungszeit pro Trainingsdurchlauf erreicht werden.
Obwohl die Anschaffungskosten bei einer IPU höher liegen als bei einer CPU, werden diese durch die steigende Effizienz mehr als ausgeglichen. Die Zeiteinsparung, die mit der Nutzung einer IPU einhergeht, kann zu schnelleren Ergebnissen und Innovation führen, was zu einer höheren Investitionsrendite beiträgt.
Beschleunigung der AI-Innovation
Die Zusammenarbeit zwischen Gcore Cloud, Graphcore und UbiOps erschließt das Potential der IPUs für AI- und ML-Workloads, was AI-Teams zugängliche und leistungsfähige Computing-Ressourcen bietet. Wir sind gespannt auf all die neuen Möglichkeiten, die diese Partnerschaft mit sich bringt, um Erfolge zu fördern und mehr AI-Projekte bei ihren Zielen zu unterstützen.
Wenn Sie die IPUs von Graphcore auf Gcore Cloud mit UbiOps ausprobieren möchten, kontaktieren Sie bittesales@gcore.com.
