Comparaison roi : outils de test de charge cloud vs sur place

ROI Performance

Les entreprises d’aujourd’hui vivent et meurent par l’expérience utilisateur. En raison de la complexité croissante de leurs services et de la pression pour un déploiement rapide, certaines entreprises ne prennent pas le temps de s’assurer que leurs applications offrent des temps de réponse acceptables dans le cadre de modèles de charge de croissance réels et futurs.

Cependant, certains responsables informatiques ont appris des erreurs précédentes et ont intégré avec succès l’ingénierie de la performance dans leur chaîne DevOps. Ils commencent tôt au cours des étapes de conception et de développement avec l’analyse des performances, automatisent ces tâches, examinent les résultats et éliminent les points chauds de la phase de construction. Cet article montre comment vous pouvez calculer le rendement des investissements de performance d’une plate-forme de test de charge sur site et à la demande basée sur lecloud.

Coûts des tests de performance

Les applications réactives, qui sont robustes et offrent des temps de réponse acceptables dans des situations de pointe de charge, ne sont pas gratuites. Les choses seraient faciles s’il y avait une fonctionnalité de performance que vous pourriez simplement acheter, intégrer, et tout à coup éliminer tous vos hotspots. Cependant, la réalité est qu’il n’y a pas de remède permanent pour les mauvaises performances. Les organisations doivent embaucher des ingénieurs, acheter des outils et mettre en place des plates-formes de test de performances sur leur infrastructure afin de résoudre en permanence les problèmes de performance.

Les entreprises professionnelles comptent sur des suites d’essai de charge commerciale. Ils paient des frais de licence initiaux et des frais d’entretien annuels pour obtenir le soutien requis et les mises à jour des produits. L’injection de charge nécessite des machines d’agent de charge puissantes et exclusives, ce qui entraîne des coûts annuels supplémentaires. Ces dernières années, des plates-formes d’essai de charge basées sur SaaS sont apparues sur le marché. Les entreprises ont réalisé que ces produits SaaS sont moins chers et plus faciles pour les tests de charge car il n’y a pas de frais initiaux et ils ne sont facturés que pour l’utilisation réelle de ces plates-formes à la demande.

Cependant, il y a un pilote de coût dans l’espace de test de performance qui est souvent ignoré. Les ingénieurs identifieront les demandes de longue durée, les applications qui plantent, les fuites de mémoire et autres défauts. L’analyse, la mise en œuvre des correctifs et le déploiement du code amélioré entraîneront un travail supplémentaire pour votre équipe d’ingénierie. La recherche a prouvé que les problèmes ultérieurs sont détectés, plus ils sont coûteux à résoudre. Un défaut qui se produit dans la production conduit à un facteur de 1000 pour cent plus d’efforts pour remédier que dans les stades de développement.

Économies de tests de performance

Les gains de réputation, la confiance accrue dans l’INFORMATION et le temps disponible pour d’autres tâches sont des avantages des tests de charge et de performance, mais il est difficile de calculer leur véritable impact financier. Par conséquent, nous ne tenirons pas compte de ces facteurs lorsque nous calculerons le rendement des placements en rendement.

Les avantages supplémentaires incluent l’augmentation des revenus et des bénéfices en raison de problèmes de performance qui peuvent être détectés à l’avance. Amazon, par exemple, a démontré qu’une amélioration de la vitesse de 100 ms augmentait ses ventes de 1%. Lorsque les utilisateurs font l’expérience de chargement lent des pages Web, ils abandonnent souvent et dépensent leur argent sur le site Web d’un concurrent. Les tests de charge et de performance aident les entreprises à corriger ces ralentissements au début du cycle de vie, protégeant ainsi leurs flux de revenus en ligne. Ces correctifs sur les étapes de pré-production sont plus faciles à mettre en œuvre et entraînent des économies supplémentaires pour l’organisation.

Calcul de la performance du retour sur investissement

Avez-vous déjà calculé les coûts réels et les économies de vos services de test de charge et de performance ?
Voici à quoi cela peut ressembler lorsque vous comparez une solution de test de charge sur site et SaaS.

Prenez note des chiffres clés suivants dans cet exemple :

• 1 000 licences simultanées d’outils de test de charge utilisateur
• 120 exécutions par an
• 800 utilisateurs basés sur HTTP et 200 utilisateurs basés sur le navigateur réel à chaque essai
• 58 machines d’injection de charge
• Coûts annuels de 6 000 $ pour chaque serveur d’injection de charge
• 120 défauts de performance par an
• 20% moins de défauts sur la production en raison des essais de charge
• 2 ingénieurs de performance gagnant 60 000 $ par année

Les personnes qui ne sont pas prises en compte dans ce calcul sont les suivante :

• Augmentation des ventes due à la baisse des taux d’abandon
• Efforts pour corriger les défauts de performance identifiés
• Avantages de rémunération supplémentaires et coûts engagés par les deux ingénieurs de performance

Retour sur investissement des plateformes de charge et de test de performance sur place

Les entreprises déploient sur place des suites de test de charge sur des serveurs dédiés hébergés dans leurs centres de données. Il existe des solutions open-source avec des fonctionnalités de simulation utilisateur limitées sur le marché, mais les entreprises professionnelles comptent généralement sur des plateformes commerciales. Le fournisseur de cette suite d’essai de charge facture des frais de licence initiaux de 300 000 $ et des frais d’entretien annuels de 60 000 $.

Deux ingénieurs sont responsables des tests de charge et de performance dans cette entreprise, et ils identifient 120 défauts de performance par an. L’entreprise utilise 58 machines d’injection de charge dédiées, ce qui entraîne des dépenses supplémentaires de 6 000 $ par année par machine. Du côté des économies, il y a 20 p. 100 moins de défauts sur la production. D’autres aspects, tels que l’impact sur les revenus ou moins les activités de retravailler, ne seront pas pris en compte dans ce scénario par souci de simplicité.

Le tableau ci-dessous montre comment les dépenses, les bénéfices et le retour sur investissement correspondant progressent sur une période de cinq ans.

Ce calcul montre qu’une organisation qui s’appuie sur une plate-forme de charge et de test de performance sur place réalise un rendement négatif de -58 % sur ses investissements dans les tests de charge et de performance au bout de cinq ans.

Retour sur investissement des plateformes de test de charge et de performance basées sur le cloud SaaS

Les suites de tests de charge et de performances basées sur SaaS sont entièrement basées sur le cloud. Le fournisseur héberge les machines d’agent de charge et s’occupe de l’exploitation et de la maintenance du logiciel de test de charge et de l’infrastructure sous-jacente. Les organisations ne paient que pour le stockage permanent de leurs résultats de test et l’utilisation réelle de minutes d’utilisateurs virtuels. En raison de moins d’efforts de maintenance pour une solution basée sur SaaS, le nombre de têtes dans l’équipe de test de charge et de performance de l’organisation peut être réduit à quatre.

Du côté des économies, il y a 20 p. 100 moins de défauts sur la production. D’autres aspects, tels que l’impact sur les recettes, ne seront pas pris en compte dans cet exemple par souci de simplicité. Le tableau ci-dessous souligne les coûts, les économies et le retour sur investissement d’une plate-forme de test de charge et de performance basée sur le cloud à la demande sur une période de cinq ans.

Ce calcul montre que les organisations qui s’appuient sur des plates-formes de test de charge et de performance basées sur SaaS réalisent un rendement de 12 % sur les investissements dans les tests de performance.

Comparaison des plateformes sur place vs sur place de SaaS

Quels sont les facteurs d’impact sur le retour sur investissement et à quel moment une suite d’essai de charge sur place est-elle moins chère qu’une plate-forme basée sur SaaS ?

Les fournisseurs de tests de charge basés sur SaaS facturent des frais par minute d’utilisateur virtuelle. Le nombre d’exécutions de tests a un impact important sur le retour sur investissement des solutions SaaS. Les suites d’essais de charge et de performance déployées localement sur place n’ont pas ce chauffeur de coûts parce qu’elles ont des droits de permis statiques indépendamment du nombre de tests qu’elles exécutent.

Avec 120 exécutions de tests par an, les solutions SaaS offrent un retour sur investissement de 12 %, tandis que les plates-formes sur place sont à la traîne avec un retour sur investissement de -58 %. Si cette société décide d’exécuter 600 tests de charge par an, les plates-formes de test de charge et de performance basées sur SaaS atteindront un retour sur investissement équivalent à celui des solutions sur place. Au-delà de 600 exécutions de tests de charge, les plates-formes sur place généreront un retour sur investissement plus élevé que les plates-formes saas complètes.

Le tableau ci-dessous montre l’évolution du retour sur investissement dans le rendement après une période de cinq ans pour les entreprises qui exécutent entre 120 et 600 tests de charge par an.

conclusion

Investir dans des suites de tests de charge et de performance basées sur SaaS surpasse les plates-formes sur place dans la plupart des scénarios.

Le retour sur investissement des plates-formes d’essai de charge basées sur SaaS est déjà positif la première année, tandis que les solutions sur place offrent un retour sur investissement négatif pendant la période d’essai de cinq ans. L’une des principales raisons d’un meilleur retour sur investissement des solutions basées sur SaaS est qu’il n’y a pas de coûts de licence, pas d’efforts de maintenance et pas d’infrastructures internes impliquées.

Le facteur décisif est le nombre d’exécutions de tests (ou la durée moyenne du test), car elles sont le principal moteur de coût pour les solutions de test de charge et de performance basées sur SaaS. Si l’organisation décide d’exécuter 5 fois plus (ou plus) de tests de charge, le retour sur investissement des suites d’essai de charge sur place et à la demande atteindrait le même niveau. Les plates-formes de test de charge basées sur le cloud à la demande sont l’option la plus économique si une entreprise exécute moins de 600 tests de charge par an.