NVIDIA hat kürzlich die Veröffentlichung der NVIDIA HGX™ H200 GPU für 2024 angekündigt – eine neue, leistungsstarke Ergänzung seiner führenden KI-Computing-Plattform. Gcore ist begeistert über die Ankündigung des H200-Grafikprozessors, da wir die A100- und H100-Grafikprozessoren zur Stärkung unserer KI GPU-Cloud-Infrastruktur verwenden und uns darauf freuen, die L40S-Grafikprozessoren im ersten Quartal 2024 zu unseren KI-GPU-Konfigurationen hinzuzufügen. Wir denken, dass dies der richtige Zeitpunkt ist, um eine vergleichende Analyse der NVIDIA-GPUs durchzuführen: die aktuelle Generation A100 und H100, die neue Generation L40S und die kommende Generation H200.
Vergleich von A100 vs. H100 vs. L40S vs. H200
Die NVIDIA A100, H100, L40S und H200 gehören zu den fortschrittlichsten und leistungsstärksten GPUs im Sortiment des Unternehmens. Sie wurden speziell für professionelle Anwendungen, Unternehmen und Rechenzentren entwickelt und verfügen über Architekturen und Technologien, die für Rechenaufgaben, KI und Datenverarbeitung optimiert sind. Schauen wir uns an, wie sie in Bezug auf die wichtigsten technischen Daten im Vergleich zueinander abschneiden.
| Spezifikation | A100 | H100 | L40S | H200 |
| Architektur | Ampere | Hopper | Ada Lovelace | Hopper |
| Erscheinungsjahr | 2020 | 2022 | 2023 | 2024 |
| FP64 | 9,7 TFLOPS | 34 TFLOPS | Keine Daten verfügbar | 34 TFLOPS |
| FP64 Tensor Core | 19,5 TFLOPS | 67 TFLOPS | Keine Daten verfügbar | 67 TFLOPS |
| FP32 | 19,5 TFLOPS | 67 TFLOPS | 91,6 TFLOPS | 67 TFLOPS |
| TF32 Tensor Core | 312 TFLOPS | 989 TFLOPS | 183 | 366* TFLOPS | 989 TFLOPS* |
| BFLOAT16 Tensor Core | 624 TFLOPS | 1.979 TFLOPS | 362,05 | 733* TFLOPS | 1.979 TFLOPS* |
| FP16 Tensor Core | 624 TFLOPS | 1.979 TFLOPS | 362,05 | 733* TFLOPS | 1.979 TFLOPS* |
| FP8 Tensor Core | Nicht anwendbar | 3.958 TFLOPS | 733 | 1.466* TFLOPS | 3.958 TFLOPS* |
| INT8 Tensor Core | 1248 TOPS | 3.958 TOPS | 733 | 1.466* TFLOPS | 3.958 TFLOPS* |
| INT4 Tensor Core | Daten nicht verfügbar | Daten nicht verfügbar | 733 | 1.466* TFLOPS | Daten nicht verfügbar |
| GPU-Speicher | 80 GB HBM2e | 80 GB | 48 GB GDDR6 mit ECC | 141 GB HBM3e |
| GPU-Speicherbandbreite | 2.039 Gbps | 3,35 Tbps | 864 Gbps | 4,8 Tbps |
| Dekodierer | Nicht anwendbar | 7 NVDEC 7 JPEG | Nicht anwendbar | 7 NVDEC 7 JPEG |
| Max. Thermal Design Power (TDP) (maximal abgegebene Wärmeleistung eines Prozessors) | 400 W | Bis zu 700 W (konfigurierbar) | 350 W | Bis zu 700 W (konfigurierbar) |
| Multi-Instance GPUs | Bis zu 7 MIGs @ 10 GB | Bis zu jeweils 7 MIGs @ 10 GB | Nein | Bis zu 7 MIGs mit je 16,5 GB |
| Formfaktor | SXM | SXM | 4,4″ (H) x 10,5″ (L), Doppelsteckplatz | SXM** |
| Interconnect | NVLink: 600 GB/s PCIe Gen4: 64 GB/s | NVLink: 900 GB/s PCIe Gen5: 128 GB/s | PCIe Gen4 x16: 64 GB/s bidirektional | NVIDIA NVLink®: 900 GB/s PCIe Gen5: 128 GB/s |
| Serveroptionen | NVIDIA HGX™ A100 Partner und NVIDIA-Certified Systems mit 4, 8 oder 16 GPUs NVIDIA DGX™ A100 mit 8 GPUs | NVIDIA HGX H100 Partner und NVIDIA-Certified Systems™ mit 4 oder 8 GPUs NVIDIA DGX H100 mit 8 GPUs | Keine Daten verfügbar | NVIDIA HGX™ H200 Partner und NVIDIA-Certified Systems™ mit 4 oder 8 GPUs |
| NVIDIA AI Enterprise | Enthalten | Add-on | Keine Daten verfügbar | Add-on |
| CUDA® Cores | 6.912 | 16.896 | 18.176 | Keine Daten verfügbar |
* mit Sparcity.
** Vorläufige Spezifikation. Änderungen sind vorbehalten.
Quelle: https://resources.nvidia.com/l/en-us-gpu
Basierend auf dem obigen Vergleich erwarten wir, dass die H200 die vorherige und aktuelle Generation der NVIDIA-GPUs für Rechenzentren in allen Anwendungsbereichen übertreffen wird. Die aktuelle Generation, die H100, ist der H200 sehr ähnlich und bietet nahezu die gleiche Leistung bei Multi-Präzisionsberechnungen. Die H200 wird Verbesserungen bieten. Die H100 bleibt jedoch eine Option erster Wahl. Der A100 ist im Vergleich zu seinen Nachfolgern der leistungsschwächste Grafikprozessor, bietet aber dennoch eine solide Leistung für bestimmte Aufgaben.
Der L40S unterscheidet sich vom A100 und vom H100 dadurch, dass er RT-Kerne der dritten Generation (142) mit einer RT-Kernleistung von 212 TFLOPS und 568 Tensor-Kerne der vierten Generation enthält. Allerdings liegen uns noch keine ausreichenden Informationen über diese Parameter für den H200 vor. Es bleibt also abzuwarten, wie sich der L40S und der H200 im Vergleich zueinander schlagen werden.
NVIDIA-GPUs im Überblick
Schauen wir uns die einzelnen GPUs nacheinander an, um mehr über ihre Funktionen, ihre Leistung und die Anwendungsbereiche zu erfahren, in denen sie glänzen.
NVIDIA A100
Der NVIDIA A100-Grafikprozessor war der erste Grafikprozessor mit der Ampere-Architektur im Jahr 2020. Vor der Veröffentlichung des H100 im Jahr 2022 war der A100 eine führende GPU-Plattform. Dank verbesserter Tensor Cores für die künstliche Intelligenz, einer höheren Anzahl von CUDA-Kernen für die parallele Verarbeitung, verbessertem Speicher und der schnellsten Speicherbandbreite aller Zeiten (2 Tbps) bietet er einen erheblichen Leistungssprung im Vergleich zu seinen Vorgängern. Er unterstützt Multi-Instance GPU (MIG), wodurch eine einzelne A100 GPU in kleinere, unabhängige GPUs partitioniert werden kann, um die Ressourcenzuweisung und Effizienz in Cloud- und Rechenzentrumsumgebungen zu maximieren.
Obwohl der A100-Grafikprozessor von neueren Modellen in seiner Leistung übertroffen wird, ist er aufgrund seiner leistungsstarken Tensor Cores und seines hohen Rechendurchsatzes nach wie vor eine gute Wahl für das Traininieren komplexer neuronaler Netze im Rahmen von Deep Learning- und KI-Lernaufgaben. Er eignet sich auch hervorragend für KI-Inferenzaufgaben wie Spracherkennung, Bildklassifizierung, Empfehlungssysteme, Datenanalyse und Big Data-Verarbeitung, wissenschaftliche Berechnungen und Simulationen sowie für Aufgaben im High-Performance-Computing (HPC)-Bereich wie Genomsequenzierung und Arzneimittelentwicklung.
NVIDIA H100
Der NVIDIA H100-Grafikprozessor kann die anspruchsvollsten KI-Workloads und umfangreiche Datenverarbeitungsaufgaben mühelos bewältigen. Der H100 enthält Tensor Cores der nächsten Generation, mit denen die KI-Trainings- und Inferenzgeschwindigkeiten drastisch erhöht werden. Er unterstützt auch Berechnungen mit doppelter Genauigkeit (FP64), einfacher Genauigkeit (FP32), halber Genauigkeit (FP16) und ganzzahligen (INT8) Aufgaben.
Der H100 bietet eine erhebliche Leistungssteigerung gegenüber dem A100, einschließlich der folgenden Vorteile:
- Sechsmal schneller – bis zu vier Petaflops für FP8
- 50 % mehr Arbeitsspeicher – verwendet HBM3-Hochbandbreitenspeicher mit bis zu 3 Tbps mit externer Konnektivität, die fast 5 Tbps erreicht
- Bis zu sechsmal schnelleres Training von Modelltransformatoren dank der neuen Transformer Engine
Während der H100 ähnliche Anwendungsfälle und Leistungsmerkmale wie der A100 abdeckt, kann der H100-Grafikprozessor massive KI-Modelle verarbeiten, einschließlich solcher, die Transformator-Architekturen und komplexere wissenschaftliche Simulationen verwenden. Der H100-Grafikprozessor ist auch eine hervorragende Wahl für Echtzeit- und reaktionsschnelle KI-Anwendungen, wie z.B. fortschrittliche KI für Konversationen und Echtzeit-Übersetzungen.
NVIDIA L40S
Der L40S ist einer der leistungsstärksten NVIDIA-Grafikprozessoren, der im vierten Quartal 2023 auf den Markt kommt (und sofort in die Infrastruktur von Gcore integriert wird). Er ist für die nächste Generation von Rechenzentrums-Workloads ausgelegt: generative KI, Large Language Model (LLM)-Inferenz und -Training, 3D-Grafik, Rendering, Video und wissenschaftliche Simulationen.
Der NVIDIA L40S bietet eine bis zu 5-mal höhere Inferenzleistung und eine bis zu 2-mal höhere Echtzeit-Raytracing (RT)-Leistung im Vergleich zu Grafikprozessoren der vorherigen Generation, wie dem A100 und H100. Der 48 GB große GDDR6-Speicher mit ECC (Error Correcting Code) spielt eine entscheidende Rolle bei der Wahrung der Datenintegrität in Hochleistungs-Computing-Umgebungen. Außerdem ist er mit über 18.000 CUDA-Kernen ausgestattet – den parallelen Prozessoren, die für die Bewältigung komplexer Rechenaufgaben unerlässlich sind.
NVIDIA H200
Die NVIDIA H200 ist das neueste Mitglied der NVIDIA-GPU-Reihe und soll im zweiten Quartal 2024 auf den Markt kommen. Sie ist die erste GPU, die 141 GB HBM3e-Speicher mit 4,8 Tbps bietet – fast doppelt so viel Kapazität wie die NVIDIA H100 Tensor Core GPU mit 1,4-mal mehr Speicherbandbreite. Letzteres ist für die Hochleistungsinformatik von Bedeutung und führt zu einer bis zu 110-mal schnelleren Zeit bis zur Ergebnisausgabe im Vergleich zu CPUs. Die Inferenzgeschwindigkeit ist doppelt so hoch wie die der H100-GPUs, wenn sie Llama2 70B-Inferenz verarbeiten.
Die H200 wird eine entscheidende Rolle bei der künstlichen Intelligenz der Dinge (AIoT) für Edge-Computing- und IoT-Anwendungen spielen. Sie können auch die höchste verfügbare GPU-Leistungdes H200 bei allen Anwendungs-Workloads erwarten, einschließlich LLP-Training und Inferenz für die größten Modelle mit mehr als 175 Milliarden Parametern, sowie bei generativen KI- und HPC-Anwendungen.
Fazit
Basierend auf den ersten Spezifikationen und vorläufigen Leistungs-Benchmarks scheint der NVIDIA HGX™ H200 ein deutlicher Fortschritt gegenüber den A100- und H100-GPUs in Bezug auf Gesamtleistung, Energieeinsparungen und TCO (Total Cost of Ownership) zu sein. Wir hoffen, dass Ihnen dieser Vergleichsleitfaden bei der Auswahl des richtigen NVIDIA Grafikprozessors für Rechenzentren hilft, der sich ideal für die Lösung Ihrer geschäftlichen Herausforderungen in den Bereichen Deep Learning und künstliche Intelligenz, HPC, Grafik oder Virtualisierung im Rechenzentrum oder an der Peripherie eignet.
Gcore bietet verschiedene KI GPU-Konfigurationen für Bare-Metal-Server und virtuelle Maschinen an, die auf A100- und H100-GPUs basieren. Darüber hinaus ermöglicht unsere Managed Kubernetes-Plattform die Verwendung von Bare-Metal-Servern und virtuellen Maschinen mit A100- und H100-GPUs als Worker Nodes. In Kürze werden wir weitere KI GPU-Konfigurationen auf der Basis der neuesten L40S-GPUs hinzufügen!
