Wir freuen uns, Gcore Inference at the Edge vorzustellen. Diese neue Lösung reduziert die Latenzzeit Ihrer ML-Modellausgabe und verbessert die Leistung von KI-gestützten Anwendungen. Es basiert auf Gcores globalem Netzwerk von über 180 Edge Points of Presence (PoPs), die von NVIDIA L40S GPUs angetrieben werden. Inference at the Edge kommt insbesondere latenzempfindlichen Echtzeitanwendungen zugute, darunter generative KI und Objekterkennung. Inference at the Edge befindet sich derzeit in der Beta-Phase und kann kostenlos genutzt werden. Lesen Sie weiter, um mehr über die Funktionen der Lösung, Anwendungsfälle und die ersten Schritte zu erfahren.
Was ist Gcore Inference at the Edge?
Gcore Inference at the Edge ermöglicht es Ihnen, ML-Modelle an Edge-Punkten einzusetzen. Anycast-Endpunkte leiten Endbenutzeranfragen an das nächstgelegene laufende Modell weiter, um eine geringe Latenzzeit zu erreichen, was zu einem nahtlosen Benutzererlebnis führt.
Die zugrundeliegende Infrastruktur muss nicht verwaltet, skaliert und überwacht werden; die Einrichtung erfolgt vollständig automatisiert auf unserer Seite. Sie erhalten also einen einzigen Endpunkt zur Integration in Ihre Anwendung.
Inference at the Edge stützt sich auf drei Komponenten:
- Unser Netzwerk mit niedriger Latenz von über 180 Edge-PoPs in über 90 Ländern mit Smart Routing und einer durchschnittlichen Netzwerklatenz von 30 ms
- NVIDIA L40S GPUs auf Gcore Edge PoPs eingesetzt
- den Modellkatalog von Gcore, der beliebte, quelloffene ML-Grundmodelle wie Mistral 7B, Stable-Diffusion XL und LLaMA Pro 8B enthält
Wie funktioniert Gcore Inference at the Edge?
Wir bieten Ihnen einen einzigen Endpunkt für Ihre Anwendungen. Wenn Endbenutzer auf diesen Endpunkt zugreifen, werden ihre Anfragen an die ihnen am nächsten gelegenen Edge-PoPs weitergeleitet.
Hier ist ein Beispiel dafür, wie der Dienst für Endnutzer funktioniert:
Eine Benutzeranfrage und ein Modellergebnis können auf zwei Arten behandelt werden:
- Standardabfrage-Ergebnisroute: Wenn ein Benutzer eine Anfrage sendet, bestimmt ein Edge-Knoten die Route zur nächsten verfügbaren Inferenzregion mit der geringsten Latenz.
- Alternative Abfrage-Ergebnisroute: Wenn die nächstgelegene Region nicht verfügbar ist, leitet der Edge-Knoten die Anfrage des Nutzers dann an die nächste Region weiter, die räumlich am nahsten zum Benutzer ist.
Warum sollte man sich für Gcore Inference at the Edge entscheiden?
Inference at the Edge bietet viele Vorteile für Entwickler von KI-Anwendungen, die die KI-Inferenz optimieren und die Benutzerfreundlichkeit verbessern möchten.
- Hohe Performance: Der Dienst beschleunigt die Durchlaufzeit einer Abfrage und einer Modellantwort durch das Netz auf durchschnittlich 30 ms.
- Skalierbarkeit: Skalieren Sie Ihr ML-Modell automatisch nach oben und unten, entweder in einer bestimmten Region oder in allen ausgewählten Regionen.
- Kosteneffizient: Sie zahlen nur für die Ressourcen, die Ihr ML-Modell nutzt. Legen Sie Grenzen für die automatische Skalierung fest, um zu kontrollieren, wie viele Ressourcen Ihre Modelle bei Spitzenlasten verwenden.
- Schnelle Markteinführung: Indem Sie das Infrastrukturmanagement an das Gcore-Team delegieren, sparen Ihre Entwickler wertvolle Zeit und können sich auf ihre Kernaufgaben konzentrieren.
- Einfach zu bedienen: Inference at the Edge bietet einen intuitiven Entwickler-Workflow für eine schnelle und rationelle Entwicklung und Bereitstellung.
- Unternehmenstauglich: Der Service bietet Ihnen Sicherheit mit integriertem DDoS-Schutz für Endpunkte und lokaler Datenverarbeitung, um den Schutz und die Souveränität Ihrer Daten zu gewährleisten.
Anwendungsfälle für Inference at the Edge
Inference at the Edge kann branchenübergreifend eingesetzt werden. Hier sind nur einige Beispiele für mögliche Anwendungsfälle:
| Technologie | Gaming | Einzelhandel | Medien und Entertainment |
| Generative KI-Anwendungen Chatbots und virtuelle Assistenten KI-Tools für Softwareentwickler Datenerweiterung | Generierung von KI-Inhalten und Karten Echtzeit-KI-Bot-Anpassung und Konversation Echtzeit-Analyse von Media-Playern | Intelligente Lebensmittelgeschäfte mit Self-Checkout und Merchandising Erstellung von Inhalten, Vorhersagen und Empfehlungen Virtuelle Anprobe | Inhaltsanalyse Automatisierte Transkription Echtzeit-Übersetzung |
Erste Schritte
Gcore Inference at the Edge befindet sich noch in der Betaphase und ist auf Anfrage erhältlich. Wenn Sie es ausprobieren möchten, nehmen Sie Kontakt über unser Kontaktformular auf oder, wenn Sie bereits Gcore-Kunde sind, wenden Sie sich an Ihren Kundenbetreuer.
Sobald Sie Zugang haben, können Sie unsere Produktdokumentation einsehen:
- Erstellen Sie ein KI-Modell
- Hinzufügen und Konfigurieren einer Registry
- API-Schlüssel erstellen und verwalten
- Verwalten Sie Deplyments im Gcore-Kundenportal
Fazit
Gcore Inference at the Edge ist eine leistungsstarke und effiziente Lösung für die Bereitstellung Ihrer ML-Modelle und die Verbesserung des Benutzererlebnisses. Sie bietet niedrige Latenzzeiten und einen hohen Durchsatz für Ihre ML-Modelle, integrierten DDoS-Schutz, gängige Basismodelle und andere Funktionen, die für produktionsreife KI-Inferenz am Netzwerkrand unerlässlich sind.
Wenn Sie eine persönliche Beratung oder Hilfe zum Produkt wünschen, setzen Sie sich bitte mit uns in Verbindung.
