Wie wir mit einem großen OpenStack-Distributor die Entwicklung beschleunigt und die Infrastrukturkosten reduziert haben

Mirantis OpenStack ersetzt Virtualisierung für Agile IT, senkt die Kosten und hostet Millionen von Spielern in 20

Herausforderung

• Verkürzung der Markteinführungszeit für Spieleentwicklungskunden.
• Erfüllen Sie die schwankende Spielernachfrage in allen Titeln und Regionen.
• Niedrigere IT-Infrastruktur CapEx & OpEx.

Lösung

• Mirantis OpenStack Cloud & IaaS.
• Benutzerdefinierte Fuel-Plugins für bestehende Middleware.
• Murano für die Bereitstellung von VMs.

Vorteile

• VM-Bereitstellung von 1-3 Tagen bis weniger als 1 Stunde.
• Deutlich höhere Serverauslastung und weniger CapEx.
• Verbesserte Effizienz von Entwicklern und IT-Administratoren.

Das unternehmen

Der Online-Multiplayer-Gaming-Markt ist ein großes Geschäftsfeld! Analysten schätzten den weltweiten Umsatz 2015 auf 65 Milliarden US-Dollar und prognostizieren ein jährliches Wachstum von 12 Prozent aus verschiedenen Regionen und Bevölkerungsgruppen bis 2019. Im Vergleich dazu haben Kinos im Jahr 2015 weltweit nur 38 Milliarden Dollar Umsatz erzielt.

Viele der größten Online-Multiplayer-Spiele, wie z.B. Wargamings World of Tanks, laufen auf einer von Gcore entwickelten Infrastruktur. Gcore hat diese IT-Infrastruktur für Spiele entwickelt, um die anspruchsvollsten Spielererwartungen auf der ganzen Welt zu erfüllen. Die 11 Standorte in Russland und der Gemeinschaft Unabhängiger Staaten mit jeweils 40 Gbit/s Bandbreite versorgen 100 Millionen Spieler pro Woche und sichern branchenführende Latenz-, Verfügbarkeits- und Kostenkennzahlen. Dies gestattet Wargaming und anderen wichtigen Kunden, sich komplett auf Spieleentwicklung zu konzentrieren, anstatt Infrastruktur-Probleme zu bearbeiten.

Mit 4000 Mitarbeitern und 150 Millionen Nutzern ist Wargaming mit preisgekrönten Titeln und innovativer Technologie marktführend. Free-to-Play-Spiele und kontinuierliche Funktionsverbesserungen haben das Wachstum seit 2011 vorangetrieben.

Jede Minute des Tages verbinden sich Millionen von Spielern aus verschiedenen Ländern mit Wargaming-Titeln auf der Infrastruktur der Gcore, um sich mit anderen im Kampf zu messen — um zu interagieren, Spaß zu haben und zu gewinnen. Diese enge Zusammenarbeit fördert die Leidenschaft und das Streben der beiden Unternehmen nach Spitzenleistungen.

Herausforderungen

Wie jedes Hosting-Unternehmen, das vor einem enormen Wachstum steht, musste auch Gcore seine IT-Prozesse und -Infrastruktur neu bewerten. Der sich rasant entwickelnde Spielemarkt erforderte von den Kunden eine kontinuierliche Verbesserung der Spiele und eine schnelle Einführung neuer Funktionen, und Gcore musste sicherstellen, dass sie in der Lage waren, dies zu tun.

Der branchenführende Kunde Wargaming war in den letzten fünf Jahren marktführend gewesen, indem erfolgreiche Titel wie World of Warships hinzugefügt und der Zugang von World of Tanks zu Konsolen und mobilen Geräten erweitert wurde. Um diese Innovation aufrechtzuerhalten, waren jedoch eine verbesserte Infrastruktur und ein verstärktes Engagement für Agile IT erforderlich.

Das Hauptziel von Gcore war es, Wargaming diese Funktion zur Verfügung zu stellen, aber es war schwierig, die Leistung und Skalierbarkeit der Infrastruktur kostengünstig aufrechtzuerhalten. Das Spiele-Hosting umfasste Tausende von Server in 20 Rechenzentren und hatte sogar einen Weltrekord von 1.140.000 gleichzeitigen Nutzern aufgestellt. Da die Ausgaben für die Plattform jedoch stiegen, brauchten die Gcore eine verbesserte Ressourcenauslastung und Kostenmargen.

Erschwerend kam hinzu, dass die Spieleentwickler einen Self-Service-Zugang zu Ressourcen benötigten, um die Release-Zyklen zu verkürzen. Die Bereitstellung von VM- und Bare-Metal-Servern erforderte jedoch oft das Öffnen mehrerer Tickets durch Release-Manager, was viele Tage in Anspruch nahm und von Administratoren gelöst wurden musste. Diese Aktivität war komplex, arbeitsintensiv und von menschlichem Versagen geprägt. Um Wargaming erfolgreich zu machen, musste Gcore dazu beitragen, den Prozess der kontinuierlichen Integration und Bereitstellung hochwertiger Spiele zu vereinfachen.

Um die IT-Kapital- und Betriebskosten zu senken, mussten die Gcore die Kosten für Virtualisierungssysteme senken und die Auslastung der Infrastruktur verbessern. Die Servervirtualisierungsraten lagen unter 50 Prozent, und die meisten Workloads liefen auf Bare Metal. Die erfolgreichen Spiele und Free-to-Play-Trends der Kunden trieben das massive Wachstum der Online-Spieler voran. Gcore konnte sich die Gebühren für Virtualisierungssoftware, die Kapazitätsauslastung und die Belastung der Administratoren einfach nicht leisten.

Um die Kosten zu optimieren und die schwankende Nachfrage der Spieler über Titel, Regionen und Zeitintervalle hinweg zu decken, ohne die Leistung oder Skalierbarkeit zu beeinträchtigen, mussten Gcore die Flexibilität der Plattform erhöhen. Einige Spiele beginnen langsam und explodieren später mit der Nachfrage, während andere stark und unerwartet sogar ausfallen. Dies bedeutete die Vereinfachung und Standardisierung komplexer Server-, Speicher- und Netzwerkdesigns, um Ressourcen einfacher zu überwachen und zu skalieren.

Kunden wie Wargaming förderten die DevOps-Kultur und waren mit Open-Source-Software durch den Einsatz von CentOS Linux, Puppet und Fabric vertraut. Aber nur wenige hatten die Private Cloud angenommen. Da die OpenStack-Plattform jedoch von großen Finanz- und Unterhaltungsunternehmen mit hoher Last und Streaming-Diensten angenommen wurde, war Gcore bereit, Cloud-Architekturen für die Bedürfnisse von Wargaming zu evaluieren.

Gcore und die Spieleentwicklungs- und IT-Betriebsteams von Wargaming könnten mit großer Sicherheit von OpenStacks Flexibilität, Kosten und Time-to-Market profitieren. Aber sie konnten sich keinen Einfluss auf die Leistung oder den Umfang leisten.

Lösung

Mitte 2015 haben die Gcore in Zusammenarbeit mit Wargaming eine Evaluierung von Cloud-Plattformen durchgeführt. Ein Wechsel zu einer privaten Cloud-Infrastruktur-as-a-Service (IaaS) würde eine große Veränderung gegenüber bestehenden Virtualisierungssystemen und Bare-Metal-Infrastrukturen bedeuten. So gingen die Ingenieure der Unternehmen sorgfältig auf die Idee ein.

Wargaming-Entwicklungsteams werden in zwei Gruppen unterteilt: diejenigen, die sich auf Gaming-Engines konzentrieren und solche, die sich auf Nicht-Gaming-Workloads wie E-Commerce, Account-Management und Diskussionsforen konzentrieren. Darüber hinaus sind alle Arbeitsabläufe in vier Phasen unterteilt – Entwicklung, Belastungstest, Beta-Test und Produktion, wobei die letzten beiden Phasen kundenorientiert sind. Dieses matrixförmige Framework würde einen schrittweisen Cloud Übergang ermöglichen.

Mit Hilfe von DevOps-Methoden hatten die Wargaming-Entwickler bereits Anwendungen, die für bestimmte Projekte zusammenlaufen, in OpenVZ-Containern gruppiert, die mit YAML-basierten Dateien bereitgestellt wurden. Der Übergang von Gcore zu OpenStack erforderte daher eine kundenspezifische Integration in dieses bestehende Framework.

Gcore und Wargaming wandten sich zunächst an Mirantis, da Mirantis der führende Kontributor in der OpenStack-Community ist. Nach dem Treffen mit dem Team waren die Spiele-Partner jedoch schnell von Mirantis‘ hoher Erfahrung und Professionalität im Bereich Custom Design und Entwicklung beeindruckt.

Die Teams schätzten auch die lokale und globale Präsenz von Mirantis.

Der erste Übergang zur Cloud begann umsichtig mit zwei internen, gegenüberliegenden Arbeitsablaufphasen. Die Konvertierung war ebenfalls auf ein einzelnes Spiel beschränkt und nur für Nicht-Gaming-Workloads. Dies ermöglichte es Gcore, Wargaming und Mirantis, mit einem geringeren Risiko fortzufahren.

Gcore beauftragte Mirantis mit der Durchführung eines dreitägigen Workshops und der Erstellung eines Architectural Design Assessment Dokuments, das die Anforderungen an ein Minimum Viable Product (MVP) der Private Cloud festlegte. Gcore und Wargaming wählten Mirantis auch, um benutzerdefinierte Fuel Plug-in-Integrationen mit Active Directory für die Authentifizierung, NFS für die VM-Datenspeicherung und Puppet Master für eine CMDB-Lösung zu erstellen.

Mirantis schrieb auch ein Plug-in, um mehrere IP-Adressen und damit mehrere Container pro VM zu ermöglichen. Dadurch konnte Gcore und Wargaming von modernster Containertechnologie profitieren.

Danach bauten Gcore, Wargaming und Mirantis die ersten beiden Clouds auf Basis der Mirantis OpenStack-Referenzarchitektur und der vier benutzerdefinierten Fuel-Plugins. Die Installation umfasst die wichtigsten OpenStack-Dienste wie Cinder, Glance, Keystone, Neutron und Nova. Darüber hinaus wird Murano für die Bereitstellung von virtuellen Maschinen genutzt.

Nach einigen angeforderten Anpassungen stellten die Teams innerhalb von nur 10 Tagen zwei weitere Clouds für den Kunden bereit, die sich mit den Arbeitsabläufen Beta-Test und Produktion auseinandersetzten.

Als Nächstes führte Mirantis umfangreiche Schulungen zu OpenStack und Fuel durch, die Gcore und Wargaming dabei halfen, starke Kenntnisse im Bereich OpenStack-Plattformmanagement zu erwerben. Infolgedessen waren die beiden Unternehmen bereit, die ersten Workloads auf die neue Infrastruktur umzustellen.

Ergebnisse

Anfang 2016 haben die Gcore zwei Nicht-Gaming-Workloads für Wargaming auf zwei OpenStack-basierte IaaS-Clouds umgestellt. Die beiden Unternehmen sind nun dabei, dasselbe für die Workloads der Gaming-Engine zu tun. Darüber hinaus erhielten alle Wargaming-Projekte in jüngster Zeit Zugang zu Development Workstream Clouds.

Die Entwicklereffizienz und Kreativität der Unternehmen ist ebenfalls gestiegen, da die Ingenieure nicht nur weniger Zeit mit dem Einreichen von Tickets und dem Warten auf Ressourcen verbringen, sondern auch von neuen Test- und Bereitstellungstools profitieren. Jetzt können mehr Zeit und Mühe auf Innovationen und die Anpassung an neue Marktbedürfnisse angewandt werden.

Darüber hinaus werden keine teuren Lizenzen für Virtualisierungssysteme mehr benötigt, da neue Cloud-Server KVM und Ubuntu nutzen. Und innerhalb der IaaS OpenStack-Implementierung ist die Serverauslastung deutlich höher und die Investitionen sind wie erwartet gesunken.

Die Betriebskosten sind ebenfalls gesunken, da die arbeitsintensive Infrastrukturverwaltung durch automatisierte Prozesse ersetzt wurde, viele davon durch die Wiederholbarkeit der Bereitstellung durch benutzerdefinierte Fuel-Plugins.

Das nächste Ziel von Gcore und Wargaming ist die Massenmigration aller Spiele und Arbeitsabläufe in die OpenStack-Cloud. Dies bedeutet einen enormen Übergangsprozess von Virtualisierungssystemen und Bare-Metal-Servern zu einer hochskalierbaren und verfügbaren Mirantis OpenStack-Lösung, die die hohe Last preisgekrönter Spiele bewältigen kann.

Zusätzlich zur Massenmigration planen Gcore und Wargaming, die folgenden OpenStack-basierten Dienste hinzuzufügen: Billing und Chargebacks, Datenbank, DNS, Hadoop, Load Balancing und Platform-as-a-Service. Gcore plant auch, OpenStack-Lösungen zu seiner breiteren Palette an Managed Services wie Hosting, CDN, Peer Networking und DDoS-Schutz hinzuzufügen.

Abschließend waren Gcore und Wargaming sehr zufrieden mit den bisherigen Mirantis-Diensten und haben vor Kurzem den OpenStack-Marktführer mit der Bereitstellung von 24×7 Enterprise Support beauftragt.