Unum, Gcore und Intel arbeiten zusammen, um die effizienteste Datenverarbeitungsinfrastruktur zur Edge zu bringen
Im Jahr 2023 ist Software-Skalierung oft gleichbedeutend mit der Cloud, bei der eine große Mehrheit von Standardservern über eine relativ schlechte Struktur verbunden ist.
Dieser Irrglaube in Bezug auf die Skalierung von Software führt zu verschiedenen Problemen in der Performance.
- Die meisten Unternehmen speichern ihre Daten an einem zentralen Ort, was in einigen Regionen zu Zugriffslatenzen von bis zu 300 ms führt.
- In diesem Rechenzentrum sind die Daten oft auf Tausende von Servern mit virtualisiertem Speicher verteilt, der nur ~50.000 Operationen/Sekunde/Knoten bewältigen kann.
Jedes Mal, wenn Sie Ihre Unternehmensdaten aktualisieren, müsste das Signal um die halbe Welt reisen und würde am Ende unzählige winzige virtuelle Maschinen synchronisieren, die auf schwacher und veralteter Hardware laufen.
Die meisten Cloud-Kunden sind gezwungen, Produkte zu kaufen, die mit unendlicher horizontaler Skalierbarkeit beworben werden, was zu zusätzlichen Kosten und Latenzzeiten führt. In Wahrheit können moderne SSDs 1,5 Millionen Operationen/Sekunde erreichen, und die Skalierung ist oft gar nicht nötig, wenn die Software ausreichend optimiert ist.
Infolgedessen wurde eine Partnerschaft zwischen Unum, Gcore und Intel gegründet, mit dem gemeinsamen Ziel, Edge-Storage-Systeme zu entwickeln, die mindestens 10 Millionen Operationen pro Sekunde erreichen sollen. Ermöglicht wird dies durch den Einsatz der neuesten Hardware von Intel, die Nutzung der Infrastruktur von Gcore und die Integration der Unum-Transaktionsdatenbanktechnologie. So wollen wir Unternehmen und Telekommunikationsfirmen einen unvergleichlichen Zugang zur außergewöhnlich schnellen Edge-Technologie ermöglichen.
Optimierung der Knoten
Die meisten modernen IOs sind auf Schichten teurer Abstraktionen aufgebaut. Benutzer von Postgres und anderen konventionellen Datenbanken müssen bei der Übermittlung von Daten an und von Speichergeräten mit mehreren Schichten von Umleitungen, Mutexen, Kopien und anderen Engpässen rechnen.
In den letzten 5 Jahren wurden mehrere leichtere Alternativen entwickelt, die auf die Entwicklung von UStore, der multimodalen Transaktionsdatenbank von Unum, abgestimmt sind. Die wichtigsten davon sind io_uring und SPDK. Damit kann UStore teure Systemaufrufe vermeiden und die Betriebssystem- und Dateisystemschicht teilweise oder ganz umgehen. Um das zu erreichen, müssen alle Komponenten eines DBMS ersetzt werden. Am wichtigsten ist die zugrunde liegende persistente Datenstruktur, der Key-Value Store (KVS).
Die meisten modernen DBMS wie CockroachDB, Yugabyte und Neo4J basieren auf dem Open-Source-KVS von Facebook namens RocksDB. Unum verwendet eine eigene Technologie namens UDisk. Beide implementieren Log Structured Merge (LSM) Trees, die schreiboptimierte Alternative zu herkömmlichen persistenten B-Trees. LSMs vermeiden kleine zufällige Schreibvorgänge, indem sie sämtliche Updates im Speicher und im Write-Ahead-Log zusammenfassen und in Stapeln übermitteln. So schnell das Verfahren auch ist, es erzeugt redundante Kopien von Daten, die im Laufe der Zeit verdichtet werden müssen. Es ist das Datenbank-Pendant zur Garbage Collection. Mit UDisk können wir die Hardware-Beschleunigung für solche Operationen nutzen, indem wir sowohl SIMD-Assembly für x86 AVX2 und AVX-512 als auch Arm Neon und SVE einsetzen. UDisk ist auch das erste Transaktionssystem, das diese „Verdichtungen“ auf einen Grafikprozessor auslagert, wenn das System über eine nicht ausgelastete Nvidia-Karte verfügt.
UDisk hat bisher auf jeder uns bekannten CPU und NVME-SSD bei On-Prem-, Cloud- und Edge-Installationen besser abgeschnitten als RocksDB, was es ideal für ein effizientes DBMS-Produkt mit niedriger Latenz macht, nämlich UStore. UStore ergänzt die Geschwindigkeiten von UDisk mit einer Funktionalität, die mit Redis, Neo4J und MongoDB konkurriert, und zwar gleichzeitig. Es unterstützt JSON, BSON, MessagePack und andere Dokumentensammlungen mit flexiblem Schema, Graphensammlungen, binäre Sammlungen, Apache-Arrow-Interoperabilität und ein ganzes Ökosystem von Tools und Bindungen für C++, Python, Java, GoLang.
UStore wurde für das Zeitalter der KI mit Blick auf Batch-Workloads entwickelt. Es kann auf einzigartige Weise mit PyTorch und anderen Pipelines für maschinelles Lernen verbunden werden, indem es Zufallsstichproben direkt aus Ihrem Haupt-OLTP-DBMS durchführt und so die Datenexploration erheblich vereinfacht. Außerdem unterstützt es nativ die Vektorsuche und bringt eine ganze Familie gebündelter Transformer-Modelle mit, die für kostengünstige und effiziente Inferenz auf Edge optimiert sind. Damit bildet es die erste vollständige Datenbank+KI-Produktpalette für Kunden weltweit!
Optimierung der Hardware
Wirtschaftliche Rezessionen zwingen Unternehmen immer dazu, effizienter zu werden, Kosten zu senken und veraltete, überteuerte Unternehmenssoftware zu ersetzen. Dieses Verfahren unterscheidet sich jedoch für Startups und multinationale Milliarden-Dollar-Konzerne. Ein einziges Telekommunikationsunternehmen kann über 1 Milliarde Dollar pro Jahr für Strom ausgeben, selbst bei der heutigen minimalen 5G-Einführung. Bei solchen Größen ist die Zusammenarbeit mit Hardware-Partnern entscheidend, um die Einsparungen unserer Kunden und sogar die globalen CO2-Emissionen zu maximieren.
Wir freuen uns sehr über die Zusammenarbeit mit Intel bei der Sapphire Rapids CPU-Plattform und den Optane SSDs. Mit Sapphire Rapids erhalten wir nicht nur Zugriff auf DDR5 und PCIE Gen 5, sondern auch auf eine breitere AVX-512-Funktionalität und AMX-Befehle für schnellere Matrix-Multiplikationen. Mit Optane erhalten wir ein Speichermedium, das so schnell ist, dass wir die Anzahl der Server und ihre interne RAM-Kapazität halbieren können, während wir nach wie vor einen viel höheren Durchsatz als heute am Edge-Standort erzielen!
Optimierung der Bereitstellung
In der Welt der Datenbanken können nur wenige den immensen Durchsatz, den modernste Hardware bietet, voll ausschöpfen. Unum UStore hebt sich jedoch von den anderen ab.
Auch wenn es darum geht, High-End-Geräte an die Edge zu bringen, haben die meisten Cloud-Anbieter das Nachsehen. Doch Gcore ist anders. Gcore verfügt über den leistungsstarken SPR-Server, der auf Quanta-Hardware aufgebaut ist: Intel Xeon Platinum 8480+. Mit dieser außergewöhnlichen Hardware revolutionieren Unum UStore und Gcore die Möglichkeiten am Netzwerkrand.
Warum hat sich Unum für Gcore entschieden?
Bei der Auswahl eines Partners für das Projekt fiel die Wahl aufgrund der beeindruckenden Erfolgsbilanz und des Fachwissens über verschiedene technologische Lösungen eindeutig auf Gcore. Als renommierter Weltmarktführer in den Bereichen Public Cloud und Edge Computing, Content Delivery, Hosting und Security hat sich Gcore als vertrauenswürdiger Name in der Branche etabliert.
Einer der Schlüsselfaktoren, die Gcore auszeichnen, ist die außergewöhnliche Netzwerkkapazität und Konnektivität. Mit dem Aufkommen der 5G-Technologie hat Gcore eine Vorreiterrolle eingenommen und bietet nahtlose 5G-Konnektivität zur Cloud-Infrastruktur. Dies gewährleistet, dass unser Projekt von den neuesten Fortschritten in der Netzwerktechnologie profitiert und eine effiziente und blitzschnelle Datenübertragung ermöglicht. Darüber hinaus bietet der fortschrittliche DDoS-Schutz von Gcore eine zusätzliche Sicherheitsebene für unser Projekt.
Abgesehen von den technischen Möglichkeiten haben wir festgestellt, dass Gcore und Unum eine gemeinsame Vision und einen gemeinsamen Ansatz haben. Unsere Partnerschaft basiert auf einer gemeinsamen Denkweise und Chemie, die eine nahtlose und produktive Zusammenarbeit ermöglicht. Das Engagement von Gcore für Innovation und Exzellenz stimmt perfekt mit den Zielen von Unum überein, sodass wir nahtlos zusammenarbeiten können, um unsere Ziele zu erreichen.
Vor allem die globale Präsenz und die umfangreiche Netzwerkinfrastruktur von Gcore spielen bei unserer Entscheidung eine entscheidende Rolle. Mit über 140 Präsenzpunkten in zuverlässigen Tier IV- und Tier III-Rechenzentren weltweit verwaltet Gcore seine eigene IT-Infrastruktur auf sechs Kontinenten. Dies gewährleistet einen zuverlässigen und soliden Service und stärkt unser Vertrauen in ihre Fähigkeit, die Anforderungen unseres Projekts zu erfüllen.
Wir sind stets bestrebt, mit den besten Hardwareanbietern der Welt zusammenzuarbeiten, um den leistungsfähigsten verwalteten Datenbankservice in 140 Ländern anzubieten! Für Sie als Endkunden bedeutet das:
- Unter 30 ms Latenzzeit für den Zugriff auf Ihren nächstgelegenen Standort.
- Über 10 M zufällige Lesevorgänge pro Knotenpunkt.
Neugierig? Abonnieren Sie die Newsletter von Unum und Gcore, um zu erfahren, wann diese Knotenpunkte Ihr Land erreichen! Klicken Sie zum Abonnieren auf die Anmelde-Schaltfläche am Ende der Seite.
