Benchmark-Details

Einblicke in technologische Durchbrüche

Einheitliche KI-Architektur

Blackwell besteht aus 208 Milliarden Transistoren mit einem TSMC-4NP-Prozess, der den Erwartungen an die Führungsrolle von NVIDIA im Bereich beschleunigte Berechnungen entspricht, und seine Grafikprozessoren sind die leistungsstärksten Chips, die jemals entwickelt wurden. Die beiden Dies sind so groß wie möglich. Sie bieten die schnellste Kommunikationsleistung für KI-Operationen und maximieren gleichzeitig die Energieeffizienz. Sie sind über eine Chip-zu-Chip-NVHyperfuse-Schnittstelle miteinander verbunden, die 10 Terabyte pro Sekunde (TB/s) unterstützt. So wird eine transparente Einzel-GPU-Ansicht für alle Caches und Kommunikation möglich.

Generative KI-Engine

Außer der Transformer Engine-Technologie, die Training mit der Präzision von FP8 und FP16 beschleunigt, wird mit Blackwell die neue generative KI-Engine eingeführt. Die generative KI-Engine nutzt die angepasste Blackwell Tensor Core-Technologie zur Beschleunigung der Inferenz für generative KI und große Sprachmodelle (LLMs) mit neuen auf Präzision fokussierten Formaten, einschließlich Community-definierter Microscaling(MX)-Formate. Die Formate MXFP4, MXFP6, MXFP8 und MXINT8 der generativen KI-Engine bieten eine enorme Beschleunigung für moderne LLMs mit verbesserter Leistung durch geringeren Platzbedarf und mehr Durchsatz als FP8 und FP16.

Sichere KI

LLMs bergen ein enormes Potenzial für Unternehmen. Die Umsatzoptimierung, die Bereitstellung von Geschäftsinformationen und die Unterstützung bei der Erstellung generativer Inhalte sind nur einige der Vorteile. Doch die Einführung von LLMs kann für Unternehmen schwierig sein, da sie sie schulen müssen und dafür private Daten verwenden, die entweder Datenschutzbestimmungen unterliegen oder proprietäre Informationen enthalten, deren Offenlegung Risiken birgt. Blackwell umfasst NVIDIA Confidential Computing, das mit starker hardwarebasierter Sicherheit vertrauliche Daten und KI-Modelle vor unbefugtem Zugriff schützt.

Erfahren Sie mehr über Confidential Computing von NVIDIA

NVLink, NVSwitch und NVLink-Switch-Systeme

Um das volle Potenzial von Exascale-Computing und KI-Modellen mit Billionen Parametern auszuschöpfen, ist eine schnelle, nahtlose Kommunikation zwischen allen Grafikprozessoren innerhalb eines Server-Clusters erforderlich. Die fünfte Generation von NVLink ist eine Scale-up-Verbindung, die beschleunigte Leistung für KI-Modelle mit Billionen oder mehreren Billionen Parametern bietet. 

Die vierte Generation von NVIDIA NVSwitch™ ermöglicht 130 TB/s GPU-Bandbreite in einer NVLink-Domäne mit 72 GPUs (NVL72) und bietet viermal mehr Bandbreiteneffizienz mit FP8-Unterstützung von NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™. Mithilfe von NVSwitch unterstützt das NVIDIA NVLink-Switch-System Cluster mit mehr als einem einzelnen Server bei denselben beeindruckenden Verbindungsgeschwindigkeiten von 1,8 TB/s. Multi-Server-Cluster mit NVLink skalieren die GPU-Kommunikation angepasst an die zunehmende Rechenleistung, sodass NVL72 den 9-fachen GPU-Durchsatz unterstützen kann als ein einzelnes System mit acht GPUs. 

Weitere Informationen zu NVIDIA NVLink und NVSwitch

Dekomprimierungs-Engine

Bei Datenanalysen und Datenbank-Workflows wurden die Berechnungen traditionell auf CPUs durchgeführt. Beschleunigte Datenwissenschaft kann die Leistung von durchgängigen Analysen steigern, die Wertschöpfung beschleunigen und gleichzeitig die Kosten senken. Datenbanken, einschließlich Apache Spark, spielen im Bereich Datenanalyse eine entscheidende Rolle bei der Verarbeitung und Analyse großer Datenmengen.

Blackwells Dekomprimierungs-Engine und die Möglichkeit, auf riesige Mengen an Speicher der NVIDIA Grace™-CPU über eine High-Speed-Verbindung von 900 Gigabyte pro Sekunde (GB/s) bidirektionaler Bandbreite zuzugreifen, beschleunigen die gesamte Pipeline von Datenbankabfragen für höchste Leistung bei Datenanalysen und Datenwissenschaft. Dank der Unterstützung der neuesten Komprimierungsformate wie LZ4, Snappy und Deflate ist Blackwell 20-mal schneller als CPUs und 7-mal schneller als NVIDIA H100 Tensor Core-GPUs bei Abfrage-Benchmarks.

RAS-Engine für Zuverlässigkeit, Verfügbarkeit und Wartungsfreundlichkeit

Blackwell bietet intelligente Ausfallsicherheit mit einer dedizierten Engine für Zuverlässigkeit, Verfügbarkeit und Wartungsfreundlichkeit (Reliability, Availability, and Serviceability, RAS), um potenzielle Fehler frühzeitig zu identifizieren und Ausfallzeiten zu minimieren. Die KI-gestützten Funktionen für vorausschauendes Management von NVIDIA überwachen kontinuierlich den allgemeinen Zustand über Tausende von Datenpunkten von Hardware und Software, um die Ursachen für Ausfallzeiten und fehlende Effizienz vorherzusagen und zu eliminieren. Dadurch entsteht eine intelligente Ausfallsicherheit, die Zeit, Energie und Rechenkosten spart. 

Die RAS-Engine von NVIDIA bietet detaillierte Diagnoseinformationen, mit denen Problembereiche identifiziert und Wartungsarbeiten geplant werden können. Die RAS-Engine reduziert die Durchlaufzeit, indem sie die Ursachen von Problemen schnell lokalisiert, und minimiert Ausfallzeiten durch eine effektive Problembehebung.

Die Nvidia Corporation (Eigenschreibweise: NVIDIA,^[3] Aussprache: /ɪnˈvɪdiə/, von lateinisch Invidia, Neid) ist einer der größten Entwickler von Grafikprozessoren und Chipsätzen für Personal Computer, Server und Spielkonsolen. Der Hauptsitz liegt in Santa Clara, Kalifornien. Die Nvidia Corporation besitzt keine eigenen Fertigungsstätten und arbeitet somit nach dem Fabless-Prinzip.

NVIDIA（Nvidia Corporation，/ɛnˈvɪdiə/；台湾与香港译为辉达，中国大陆译为英伟达），创立于1993年1月，是美国一家以设计和销售图形处理器（GPU）为主的无厂半导体公司，总部设在加利福尼亚州的圣克拉拉，位于硅谷的中心位置。NVIDIA最出名的产品线是为个人与游戏玩家所设计的GeForce系列，为专业CGI工作站而设计的Quadro系列，以及为服务器和高效运算而设计的Tesla系列，虽然起家于PC电脑的显卡业务，英伟达也曾涉及移动芯片Tegra的设计，但智能机市场对此响应不大，不过近年却利用这些研发经验，目前朝向人工智能和机器视觉的市场发展，也是图形处理器上重要的开发工具CUDA的发明者。

1 × Grace-GPU + 2 × Blackwell-GPU = Grace Blackwell

Der offiziell als GB200 Grace Blackwell Superchip vermarktete Hybrid-Lösung basiert auf einer Grace-CPU mit insgesamt 72 ARM Neoverse V2 Prozessorkernen und zwei Blackwell-GPUs sowie bis zu 384 GiByte HBM3e und 480 GiByte LPDDR5X, was in Nvidias hauseigenem NVL72-Supercomputer in äußerst beeindruckenden technischen Spezifikationen resultiert, welche sich wie folgt lesen.

• 36 Nvidia Grace-CPUs
• 2.592 ARM Neoverse V2 Prozessorkerne
• Bis zu 17 Terabyte LPDDR5X-Arbeitsspeicher
• 72 Blackwell-GPUs mit 13,5 Terabyte HBM3e-Speicher
• FP4-Rechenleistung: Bis zu 1.440 PetaFLOPS
• FP8-Rechenleistung: Bis zu 720 PetaFLOPS
• NVLink: Bis zu 130 TB/s an Bandbreite

Da der Nvidia B200 ("Blackwell") aus insgesamt zwei Dies besteht, stehen jedem GB200-Superchip ("Grace Blackwell") somit vier GPU-Dies zur Verfügung, dem neuen Supercomputer NVL72 somit respektive insgesamt 144 Blackwell-Dies.