Edge-Effizienz mit Unum!

Edge-Effizienz mit Unum!

Unum, Gcore und Intel arbeiten zusammen, um die effizienteste Datenverarbeitungsinfrastruktur zur Edge zu bringen

Im Jahr 2023 ist Software-Skalierung oft gleichbedeutend mit der Cloud, bei der eine gro├če Mehrheit von Standardservern ├╝ber eine relativ schlechte Struktur verbunden ist.

Dieser Irrglaube in Bezug auf die Skalierung von Software f├╝hrt zu verschiedenen Problemen in der Performance.

  1. Die meisten Unternehmen speichern ihre Daten an einem zentralen Ort, was in einigen Regionen zu Zugriffslatenzen von bis zu 300 ms f├╝hrt.
  2. In diesem Rechenzentrum sind die Daten oft auf Tausende von Servern mit virtualisiertem Speicher verteilt, der nur ~50.000 Operationen/Sekunde/Knoten bew├Ąltigen kann.

Jedes Mal, wenn Sie Ihre Unternehmensdaten aktualisieren, m├╝sste das Signal um die halbe Welt reisen und w├╝rde am Ende unz├Ąhlige winzige virtuelle Maschinen synchronisieren, die auf schwacher und veralteter Hardware laufen.

Die meisten Cloud-Kunden sind gezwungen, Produkte zu kaufen, die mit unendlicher horizontaler Skalierbarkeit beworben werden, was zu zus├Ątzlichen Kosten und Latenzzeiten f├╝hrt. In Wahrheit k├Ânnen moderne SSDs 1,5 Millionen Operationen/Sekunde erreichen, und die Skalierung ist oft gar nicht n├Âtig, wenn die Software ausreichend optimiert ist.

Infolgedessen wurde eine Partnerschaft zwischen Unum, Gcore und Intel gegr├╝ndet, mit dem gemeinsamen Ziel, Edge-Storage-Systeme zu entwickeln, die mindestens 10 Millionen Operationen pro Sekunde erreichen sollen. Erm├Âglicht wird dies durch den Einsatz der neuesten Hardware von Intel, die Nutzung der Infrastruktur von Gcore und die Integration der Unum-Transaktionsdatenbanktechnologie. So wollen wir Unternehmen und Telekommunikationsfirmen einen unvergleichlichen Zugang zur au├čergew├Âhnlich schnellen Edge-Technologie erm├Âglichen.

Optimierung der Knoten

Die meisten modernen IOs sind auf Schichten teurer Abstraktionen aufgebaut. Benutzer von Postgres und anderen konventionellen Datenbanken m├╝ssen bei der ├ťbermittlung von Daten an und von Speicherger├Ąten mit mehreren Schichten von Umleitungen, Mutexen, Kopien und anderen Engp├Ąssen rechnen.

In den letzten 5 Jahren wurden mehrere leichtere Alternativen entwickelt, die auf die Entwicklung von UStore, der multimodalen Transaktionsdatenbank von Unum, abgestimmt sind. Die wichtigsten davon sind io_uring und SPDK. Damit kann UStore teure Systemaufrufe vermeiden und die Betriebssystem- und Dateisystemschicht teilweise oder ganz umgehen. Um das zu erreichen, m├╝ssen alle Komponenten eines DBMS ersetzt werden. Am wichtigsten ist die zugrunde liegende persistente Datenstruktur, der Key-Value Store (KVS).

Die meisten modernen DBMS wie CockroachDB, Yugabyte und Neo4J basieren auf dem Open-Source-KVS von Facebook namens RocksDB. Unum verwendet eine eigene Technologie namens UDisk. Beide implementieren Log Structured Merge (LSM) Trees, die schreiboptimierte Alternative zu herk├Âmmlichen persistenten B-Trees. LSMs vermeiden kleine zuf├Ąllige Schreibvorg├Ąnge, indem sie s├Ąmtliche Updates im Speicher und im Write-Ahead-Log zusammenfassen und in Stapeln ├╝bermitteln. So schnell das Verfahren auch ist, es erzeugt redundante Kopien von Daten, die im Laufe der Zeit verdichtet werden m├╝ssen. Es ist das Datenbank-Pendant zur Garbage Collection. Mit UDisk k├Ânnen wir die Hardware-Beschleunigung f├╝r solche Operationen nutzen, indem wir sowohl SIMD-Assembly f├╝r x86 AVX2 und AVX-512 als auch Arm Neon und SVE einsetzen. UDisk ist auch das erste Transaktionssystem, das diese „Verdichtungen“ auf einen Grafikprozessor auslagert, wenn das System ├╝ber eine nicht ausgelastete Nvidia-Karte verf├╝gt.

UDisk hat bisher auf jeder uns bekannten CPU und NVME-SSD bei On-Prem-, Cloud- und Edge-Installationen besser abgeschnitten als RocksDB, was es ideal f├╝r ein effizientes DBMS-Produkt mit niedriger Latenz macht, n├Ąmlich UStore. UStore erg├Ąnzt die Geschwindigkeiten von UDisk mit einer Funktionalit├Ąt, die mit Redis, Neo4J und MongoDB konkurriert, und zwar gleichzeitig. Es unterst├╝tzt JSON, BSON, MessagePack und andere Dokumentensammlungen mit flexiblem Schema, Graphensammlungen, bin├Ąre Sammlungen, Apache-Arrow-Interoperabilit├Ąt und ein ganzes ├ľkosystem von Tools und Bindungen f├╝r C++, Python, Java, GoLang.

UStore wurde f├╝r das Zeitalter der KI mit Blick auf Batch-Workloads entwickelt. Es kann auf einzigartige Weise mit PyTorch und anderen Pipelines f├╝r maschinelles Lernen verbunden werden, indem es Zufallsstichproben direkt aus Ihrem Haupt-OLTP-DBMS durchf├╝hrt und so die Datenexploration erheblich vereinfacht. Au├čerdem unterst├╝tzt es nativ die Vektorsuche und bringt eine ganze Familie geb├╝ndelter Transformer-Modelle mit, die f├╝r kosteng├╝nstige und effiziente Inferenz auf Edge optimiert sind. Damit bildet es die erste vollst├Ąndige Datenbank+KI-Produktpalette f├╝r Kunden weltweit!

Optimierung der Hardware

Wirtschaftliche Rezessionen zwingen Unternehmen immer dazu, effizienter zu werden, Kosten zu senken und veraltete, ├╝berteuerte Unternehmenssoftware zu ersetzen. Dieses Verfahren unterscheidet sich jedoch f├╝r Startups und multinationale Milliarden-Dollar-Konzerne. Ein einziges Telekommunikationsunternehmen kann ├╝ber 1 Milliarde Dollar pro Jahr f├╝r Strom ausgeben, selbst bei der heutigen minimalen 5G-Einf├╝hrung. Bei solchen Gr├Â├čen ist die Zusammenarbeit mit Hardware-Partnern entscheidend, um die Einsparungen unserer Kunden und sogar die globalen CO2-Emissionen zu maximieren.

Wir freuen uns sehr ├╝ber die Zusammenarbeit mit Intel bei der Sapphire Rapids CPU-Plattform und den Optane SSDs. Mit Sapphire Rapids erhalten wir nicht nur Zugriff auf DDR5 und PCIE Gen 5, sondern auch auf eine breitere AVX-512-Funktionalit├Ąt und AMX-Befehle f├╝r schnellere Matrix-Multiplikationen. Mit Optane erhalten wir ein Speichermedium, das so schnell ist, dass wir die Anzahl der Server und ihre interne RAM-Kapazit├Ąt halbieren k├Ânnen, w├Ąhrend wir nach wie vor einen viel h├Âheren Durchsatz als heute am Edge-Standort erzielen!

Optimierung der Bereitstellung

In der Welt der Datenbanken k├Ânnen nur wenige den immensen Durchsatz, den modernste Hardware bietet, voll aussch├Âpfen. Unum UStore hebt sich jedoch von den anderen ab.

Auch wenn es darum geht, High-End-Ger├Ąte an die Edge zu bringen, haben die meisten Cloud-Anbieter das Nachsehen. Doch Gcore ist anders. Gcore verf├╝gt ├╝ber den leistungsstarken SPR-Server, der auf Quanta-Hardware aufgebaut ist: Intel Xeon Platinum 8480+. Mit dieser au├čergew├Âhnlichen Hardware revolutionieren Unum UStore und Gcore die M├Âglichkeiten am Netzwerkrand.

Warum hat sich Unum f├╝r Gcore entschieden?

Bei der Auswahl eines Partners f├╝r das Projekt fiel die Wahl aufgrund der beeindruckenden Erfolgsbilanz und des Fachwissens ├╝ber verschiedene technologische L├Âsungen eindeutig auf Gcore. Als renommierter Weltmarktf├╝hrer in den Bereichen Public Cloud und Edge Computing, Content Delivery, Hosting und Security hat sich Gcore als vertrauensw├╝rdiger Name in der Branche etabliert.

Einer der Schl├╝sselfaktoren, die Gcore auszeichnen, ist die au├čergew├Âhnliche Netzwerkkapazit├Ąt und Konnektivit├Ąt. Mit dem Aufkommen der 5G-Technologie hat Gcore eine Vorreiterrolle eingenommen und bietet nahtlose 5G-Konnektivit├Ąt zur Cloud-Infrastruktur. Dies gew├Ąhrleistet, dass unser Projekt von den neuesten Fortschritten in der Netzwerktechnologie profitiert und eine effiziente und blitzschnelle Daten├╝bertragung erm├Âglicht. Dar├╝ber hinaus bietet der fortschrittliche DDoS-Schutz von Gcore eine zus├Ątzliche Sicherheitsebene f├╝r unser Projekt.

Abgesehen von den technischen M├Âglichkeiten haben wir festgestellt, dass Gcore und Unum eine gemeinsame Vision und einen gemeinsamen Ansatz haben. Unsere Partnerschaft basiert auf einer gemeinsamen Denkweise und Chemie, die eine nahtlose und produktive Zusammenarbeit erm├Âglicht. Das Engagement von Gcore f├╝r Innovation und Exzellenz stimmt perfekt mit den Zielen von Unum ├╝berein, sodass wir nahtlos zusammenarbeiten k├Ânnen, um unsere Ziele zu erreichen.

Vor allem die globale Pr├Ąsenz und die umfangreiche Netzwerkinfrastruktur von Gcore spielen bei unserer Entscheidung eine entscheidende Rolle. Mit ├╝ber 140 Pr├Ąsenzpunkten in zuverl├Ąssigen Tier IV- und Tier III-Rechenzentren weltweit verwaltet Gcore seine eigene IT-Infrastruktur auf sechs Kontinenten. Dies gew├Ąhrleistet einen zuverl├Ąssigen und soliden Service und st├Ąrkt unser Vertrauen in ihre F├Ąhigkeit, die Anforderungen unseres Projekts zu erf├╝llen.

Wir sind stets bestrebt, mit den besten Hardwareanbietern der Welt zusammenzuarbeiten, um den leistungsf├Ąhigsten verwalteten Datenbankservice in 140 L├Ąndern anzubieten! F├╝r Sie als Endkunden bedeutet das:

  • Unter 30 ms Latenzzeit f├╝r den Zugriff auf Ihren n├Ąchstgelegenen Standort.
  • ├ťber 10 M zuf├Ąllige Lesevorg├Ąnge pro Knotenpunkt.

Neugierig? Abonnieren Sie die Newsletter von Unum und Gcore, um zu erfahren, wann diese Knotenpunkte Ihr Land erreichen! Klicken Sie zum Abonnieren auf die Anmelde-Schaltfl├Ąche am Ende der Seite.

Subscribe to our newsletter

Stay informed about the latest updates, news, and insights.