ROI-Vergleich: Cloud vs On-Premises Load Testing Tools

ROI-Leistung

Unternehmen leben und sterben heute durch Benutzererfahrung. Aufgrund der zunehmenden Komplexität ihrer Services und des Drucks, schnell bereitzustellen, nehmen sich einige Unternehmen keine Zeit, um sicherzustellen, dass ihre Anwendungen akzeptable Reaktionszeiten unter tatsächlichen und zukünftigen Wachstumslastmustern liefern.

Einige IT-Führungskräfte haben jedoch aus früheren Fehlern und dem integrierten Performance Engineering erfolgreich in ihrer DevOps-Kette gelernt. Sie beginnen früh in der Entwurfs- und Entwicklungsphase mit Leistungsanalysen, automatisieren diese Aufgaben, überprüfen die Ergebnisse und eliminieren Hotspots in der Bauphase. In diesem Artikel wird veranschaulicht, wie Sie die Rendite der Performance-Investitionen einer lokalen und bedarfsgerechten Cloud-basierten Auslastungstestplattformberechnen können.

 

Kosten für Leistungstests

Responsive Anwendungen, die robust sind und akzeptable Reaktionszeiten in Lastspitzensituationen liefern, sind nicht kostenlos. Die Dinge wären einfach, wenn es eine Performance-Funktion gäbe, die Sie einfach kaufen, integrieren und plötzlich alle Ihre Hotspots eliminieren könnten. Die Realität ist jedoch, dass es keine dauerhafte Heilung für schlechte Leistung gibt. Unternehmen müssen Ingenieure einstellen, Tools kaufen und Leistungstestplattformen für ihre Infrastruktur einrichten, um Leistungsprobleme kontinuierlich zu beheben.

Professionelle Unternehmen verlassen sich auf kommerzielle Lasttest-Suiten. Sie zahlen eine anfängliche Lizenzgebühr und jährliche Wartungsgebühren, um den erforderlichen Support und Produkt-Updates zu erhalten. Die Lasteinspritzung erfordert leistungsstarke und exklusive Lademittelmaschinen, was zu zusätzlichen jährlichen Kosten führt. In den letzten Jahren sind SaaS-basierte Lasttestplattformen auf dem Markt erschienen. Unternehmen erkannten, dass diese SaaS-Produkte billiger und einfacher für Auslastungstests sind, da es keine anfänglichen Gebühren gibt und sie nur für die tatsächliche Nutzung dieser On-Demand-Plattformen berechnet werden.

Es gibt jedoch einen Kostentreiber im Leistungstestbereich, der häufig ignoriert wird. Ingenieure identifizieren lang laufende Anforderungen, Absturz-Anwendungen, Speicherverluste und andere Fehler. Die Analyse, die Implementierung von Korrekturen und die Bereitstellung des verbesserten Codes führen zu zusätzlicher Arbeit für Ihr Engineering-Team. Die Forschung hat bewiesen, dass die späteren Probleme erkannt werden, desto teurer sind sie zu beheben. Ein Inderdefekt führt zu einem um 1.000 Prozent höheren Sanierungsaufwand als in der Entwicklung.

 

Einsparungen bei Leistungstests

Reputationsgewinne, mehr Vertrauen in die IT und mehr verfügbare Zeit für andere Aufgaben sind Vorteile von Auslastungs- und Leistungstests, aber es ist schwierig, ihre tatsächlichen finanziellen Auswirkungen zu berechnen. Daher werden wir diese Faktoren bei der Berechnung der Rendite der Performance-Investitionen nicht berücksichtigen.

Weitere Vorteile sind Umsatz- und Ergebnissteigerungen aufgrund von Leistungsproblemen, die im Voraus erkannt werden können. Amazon zum Beispiel hat gezeigt, dass eine 100-ms-Geschwindigkeitsverbesserung ihren Umsatz um 1 Prozent steigerte. Wenn Benutzer langsam ladenwebseiten erleben, geben sie oft auf und geben ihr Geld auf der Website eines Mitbewerbers aus. Last- und Leistungstests helfen Unternehmen dabei, solche Verlangsamungen frühzeitig im Lebenszyklus zu beheben und ihre Online-Umsatzströme zu schützen. Diese Korrekturen in Vorproduktionsphasen sind einfacher zu implementieren und führen zu zusätzlichen Einsparungen für die Organisation.

 

Berechnung der ROI-Leistung

Haben Sie schon einmal die tatsächlichen Kosten und Einsparungen Ihrer Last- und Leistungstestdienste berechnet?
So kann dies aussehen, wenn Sie eine lokale und SaaS-basierte Auslastungstestlösung vergleichen.

Beachten Sie die folgenden Kennzahlen in diesem Beispiel:

  • 1.000 gleichzeitige Benutzerauslastungstest-Toollizenz
  • 120 Testausführungen pro Jahr
  • 800 HTTP-basierte und 200 echte browserbasierte Benutzer in jedem Testlauf
  • 58 Lastspritzmaschinen
  • 6.000 USD jährliche Kosten für jeden Lastinjektionsserver
  • 120 Leistungsmängel pro Jahr
  • 20 % weniger Produktionsmängel durch Belastungstests
  • 2 Performance-Ingenieure verdienen 60.000 US-Dollar pro Jahr

Nicht berücksichtigt in dieser Berechnung sind:

  • Umsatzsteigerungen durch weniger Verzichtssätze
  • Bemühungen zur Behebung festgestellter Leistungsmängel
  • Zusätzliche Vergütungsleistungen und angefallene Kosten der beiden Leistungsingenieure

ROI von on-Premises Load- und Performance-Testplattformen

Unternehmen stellen lokale Auslastungstest-Suites auf dedizierten Servern bereit, die in ihren Rechenzentren gehostet werden. Es gibt einige Open-Source-Lösungen mit eingeschränkten Benutzersimulationsfunktionen auf dem Markt, aber professionelle Unternehmen verlassen sich in der Regel auf kommerzielle Plattformen. Der Anbieter dieser Lasttest-Suite berechnet eine anfängliche Lizenzgebühr von 300.000 USD und eine jährliche Wartungsgebühr von 60.000 USD.

Zwei Ingenieure sind für Die Belastungs- und Leistungsprüfung in diesem Unternehmen verantwortlich und identifizieren 120 Leistungsfehler pro Jahr. Das Unternehmen setzt 58 spezielle Lastspritzmaschinen ein, die zusätzliche Kosten von 6.000 US-Dollar pro Maschine verursachen. Auf der Sparseite gibt es 20 Prozent weniger Mängel in der Produktion. Weitere Aspekte, wie die Auswirkungen auf den Umsatz oder weniger Nacharbeitstätigkeiten, werden in diesem Szenario aus Gründen der Einfachheit nicht berücksichtigt.

Die folgende Grafik zeigt, wie sich Ausgaben, Erträge und der entsprechende ROI über einen Zeitraum von fünf Jahren entwickelt.

ROI Performance

Diese Berechnung zeigt, dass eine Organisation, die auf eine lokale Last- und Leistungstestplattform angewiesen ist, nach fünf Jahren eine negative -58% Rendite auf ihre Investitionen in Last- und Leistungstests realisiert.

 

ROI von SaaS On-Demand Cloud-basierten Load- und Performance Testing-Plattformen

SaaS-basierte Last- und Leistungstest-Suites sind vollständig Cloud-basiert. Der Anbieter hostet die Load Agent-Maschinen und kümmert sich um den Betrieb und die Wartung sowohl der Auslastungstestsoftware als auch der zugrunde liegenden Infrastruktur. Organisationen zahlen nur für die permanente Speicherung ihrer Testergebnisse und die tatsächliche Nutzung virtueller Benutzerminuten. Aufgrund des geringeren Wartungsaufwands für eine SaaS-basierte Lösung kann die Anzahl der Mitarbeiter im Auslastungs- und Leistungstestteam der Organisation auf vier reduziert werden.

Auf der Sparseite gibt es 20 Prozent weniger Mängel in der Produktion. Weitere Aspekte, wie die Auswirkungen auf die Einnahmen, werden in diesem Beispiel aus Gründen der Einfachheit nicht berücksichtigt. Die folgende Tabelle zeigt die Kosten, Einsparungen und den ROI einer On-Demand-Cloud-basierten Last- und Leistungstestplattform über einen Zeitraum von fünf Jahren.

ROI Performance1

Diese Berechnung zeigt, dass Unternehmen, die auf SaaS-basierte Auslastungs- und Leistungstestplattformen angewiesen sind, eine Rendite von 12 Prozent auf Investitionen in Leistungstests erzielen.

 

Vergleich von SaaS On-Demand VS On-Premise-Plattformen

Was sind die ROI-beeinflussenden Faktoren und an welchem Punkt ist eine lokale Lasttest-Suite billiger als eine SaaS-basierte Plattform?

SaaS-basierte Auslastungstestanbieter berechnen eine Gebühr pro virtueller Benutzerminute. Die Anzahl der Testausführungen hat einen starken Einfluss auf den ROI von SaaS-Lösungen. Lokal bereitgestellte lokale Last- und Leistungstestsammlungen verfügen nicht über diesen Kostentreiber, da sie unabhängig von der Anzahl der ausgeführten Tests über eine statische Lizenzgebühr verfügen.

Bei 120 Testausführungen pro Jahr liefern SaaS-Lösungen einen ROI von 12 Prozent, während lokale Plattformen mit einem ROI von -58 Prozent ins Hintertreffen geraten. Wenn dieses Unternehmen beschließt, jährlich 600 Auslastungstests durchzuführen, erreichen SaaS-basierte Auslastungs- und Leistungstestplattformen einen gleichwertigen ROI wie lokale Lösungen. Wenn Sie mehr als 600 Auslastungstestausführungen ausführen, werden lokale Plattformen einen höheren ROI erzielen als vollständige SaaS-basierte Plattformen.

Die folgende Grafik zeigt die Entwicklung des ROI auf Performance-Investitionen nach einem Zeitraum von fünf Jahren für Unternehmen, die zwischen 120 und 600 Auslastungstests pro Jahr durchführen.

ROI Performance2

Schlussfolgerung

Investitionen in SaaS-basierte Last- und Leistungstest-Suites übertreffen in den meisten Szenarien lokale Plattformen.

Der ROI der SaaS-basierten Lasttestplattformen ist bereits im ersten Jahr positiv, während lokale Lösungen während des fünfjährigen Testzeitraums einen negativen ROI liefern. Ein Hauptgrund für einen besseren ROI von SaaS-basierten Lösungen ist, dass es keine Lizenzkosten, keine Wartungsarbeiten und keine internen Infrastrukturen gibt.

Entscheidend ist die Anzahl der Testausführungen (oder die durchschnittliche Testdauer), da sie der primäre Kostentreiber für SaaS-basierte Last- und Leistungstestlösungen sind. Wenn die Organisation beschließt, 5x mehr (oder längere) Auslastungstests durchzuführen, würde der ROI sowohl der lokalen als auch der bedarfsgerechten Lasttestsammlungen das gleiche Niveau erreichen. On-Demand Cloud-basierte Auslastungstestplattformen sind die wirtschaftlichere Option, wenn ein Unternehmen weniger als 600 Auslastungstests pro Jahr durchführt.