Comparación de ROI: Herramientas de prueba de carga en la nube frente a locales

ROI Performance

Las empresas de hoy viven y mueren por la experiencia del usuario. Debido a la creciente complejidad de sus servicios y la presión para implementar rápidamente, algunas empresas no se toman el tiempo para garantizar que sus aplicaciones ofrezcan tiempos de respuesta aceptables bajo patrones de carga de crecimiento reales y futuros.

Sin embargo, algunos líderes de TI han aprendido de errores anteriores e integrado la ingeniería de rendimiento con éxito en su cadena de DevOps. Comienzan temprano durante las etapas de diseño y desarrollo con análisis de rendimiento, automatizan esas tareas, revisan los resultados y eliminan puntos críticos en la fase de construcción. En este artículo se muestra cómo calcular el retorno de las inversiones de rendimiento de una plataforma de pruebasde carga local y bajo demanda basada en la nube.

Costos de las pruebas de rendimiento

Las aplicaciones responsivas, que son robustas y ofrecen tiempos de respuesta aceptables en situaciones de pico de carga, no son gratuitas. Las cosas serían fáciles si hubiera una función de rendimiento que simplemente pudiera comprar, integrar y eliminar de repente todos sus puntos de acceso. Sin embargo, la realidad es que no existe una cura permanente para el mal rendimiento. Las organizaciones deben contratar ingenieros, comprar herramientas y configurar plataformas de pruebas de rendimiento en su infraestructura para abordar continuamente los problemas de rendimiento .

Las empresas profesionales confían en conjuntos de pruebas de carga comercial. Pagan una tarifa de licencia inicial y cargos de mantenimiento anuales para obtener el soporte necesario y actualizaciones de productos. La inyección de carga requiere máquinas de agentes de carga potentes y exclusivas, lo que conlleva costes anuales adicionales. En los últimos años han aparecido en el mercado plataformas de pruebas de carga basadas en SaaS. Las empresas se dieron cuenta de que estos productos SaaS son más baratos y fáciles para las pruebas de carga porque no hay tarifas iniciales y solo se les cobra por el uso real de estas plataformas bajo demanda.

Sin embargo, hay un controlador de costo en el espacio de pruebas de rendimiento que a menudo se omite. Los ingenieros identificarán solicitudes de larga ejecución, aplicaciones que se bloquean, pérdidas de memoria y otros defectos. El análisis, la implementación de correcciones y la implementación del código mejorado causarán trabajo adicional para su equipo de ingeniería. La investigación ha demostrado que los problemas posteriores se detectan, más caros son para arreglar. Un defecto que se produce en la producción conduce a un factor de 1.000 por ciento más esfuerzos para remediar que en las etapas de desarrollo.

Ahorro de pruebas de rendimiento

Las ganancias reputacionales, el aumento de la confianza en TI y más tiempo disponible para otras tareas son beneficios de las pruebas de carga y rendimiento, pero es difícil calcular su verdadero impacto financiero. Como tal, no consideraremos estos factores cuando calculemos el retorno de las inversiones en rendimiento.

Los beneficios adicionales incluyen aumentos en los ingresos y las ganancias debido a problemas de rendimiento que se pueden detectar con anticipación. Amazon, por ejemplo, ha demostrado que una mejora de velocidad de 100 ms aumentó sus ventas en un 1 por ciento. Cuando los usuarios experimentan una carga lenta de páginas web, a menudo abandonan y gastan su dinero en el sitio web de un competidor. Las pruebas de carga y rendimiento ayudan a las empresas a corregir estas ralentizaciones al principio del ciclo de vida, protegiendo sus flujos de ingresos en línea. Esas correcciones en las etapas de preproducción son más fáciles de implementar y resultan en ahorros adicionales para la organización.

Cálculo del rendimiento del ROI

¿Alguna vez ha calculado los costos reales y los ahorros de sus servicios de pruebas de carga y rendimiento?
Así es como puede verse esto al comparar una solución de prueba de carga local y basada en SaaS.

Tome nota de los siguientes ratios en este ejemplo:

• 1.000 licencias simultáneas de la herramienta de pruebas de carga de usuarios
• 120 ejecuciones de pruebas al año
• 800 usuarios basados en HTTP y 200 usuarios reales basados en navegadores en cada ejecución de prueba
• 58 máquinas de inyección de carga
• $6,000 costos anuales por cada servidor de inyección de carga
• 120 defectos de rendimiento al año
• 20% menos defectos en la producción debido a las pruebas de carga
• 2 ingenieros de rendimiento que ganan $60,000 al año

No se tienen en cuenta en este cálculo:

• Aumento de las ventas debido a las menores tasas de abandono
• Esfuerzos para corregir defectos de rendimiento identificados
• Beneficios adicionales de compensación y costos incurridos de los dos ingenieros de rendimiento

ROI de las plataformas de pruebas de carga y rendimiento locales

Las empresas implementan conjuntos de pruebas de carga locales en servidores dedicados hospedados en sus centros de datos. Hay algunas soluciones de código abierto con características limitadas de simulación de usuario en el mercado, pero las empresas profesionales normalmente dependen de plataformas comerciales. El proveedor de esta suite de pruebas de carga cobra una tarifa de licencia inicial de $300,000 y una tarifa de mantenimiento anual de $60,000.

Dos ingenieros son responsables de las pruebas de carga y rendimiento en esta empresa, e identifican 120 defectos de rendimiento por año. La compañía está utilizando 58 máquinas de inyección de carga dedicadas que resultan en gastos adicionales de $6,000 anuales por máquina. Por el lado del ahorro, hay un 20 por ciento menos de defectos en la producción. Otros aspectos, como el impacto en los ingresos o menos actividades de reelaboración, no se tendrán en cuenta en este escenario en aras de la simplicidad.

El siguiente gráfico muestra cómo progresan los gastos, los ingresos y el ROI correspondiente durante un período de cinco años.

Este cálculo muestra que una organización que se basa en una plataforma de pruebas de rendimiento y carga local obtiene un rendimiento negativo del -58% de sus inversiones en pruebas de carga y rendimiento después de cinco años.

ROI de las plataformas de pruebas de carga y rendimiento basadas en la nube SaaS On-Demand

Los conjuntos de pruebas de rendimiento y carga basados en SaaS están totalmente basados en la nube. El proveedor hospeda las máquinas del agente de carga y se encarga de la operación y el mantenimiento tanto del software de prueba de carga como de la infraestructura subyacente. Las organizaciones solo pagan por el almacenamiento permanente de los resultados de las pruebas y el uso real de los minutos de usuario virtual. Debido a los menos esfuerzos de mantenimiento para una solución basada en SaaS, el número de cabezales en el equipo de pruebas de carga y rendimiento de la organización se puede reducir a cuatro.

Por el lado del ahorro hay un 20 por ciento menos de defectos en la producción. Otros aspectos, como el impacto en los ingresos, no se tendrán en cuenta en este ejemplo en aras de la simplicidad. El siguiente gráfico destaca los costos, los ahorros y el retorno de la inversión de una plataforma de pruebas de carga y rendimiento basada en la nube bajo demanda durante un período de cinco años.

Este cálculo muestra que las organizaciones que dependen de plataformas de pruebas de rendimiento y carga basadas en SaaS obtienen un retorno del 12 por ciento de las inversiones en pruebas de rendimiento.

Comparación de plataformas SaaS On-Demand VS On-Premises

¿Cuáles son los factores que afectan al ROI y en qué momento es un conjunto de pruebas de carga local más barato que una plataforma basada en SaaS?

Los proveedores de pruebas de carga basados en SaaS cobran una tarifa por minuto de usuario virtual. El número de ejecuciones de pruebas afecta en gran medida al ROI de las soluciones SaaS. Los conjuntos de pruebas de rendimiento y carga locales implementados localmente no tienen este controlador de costos porque tienen una tarifa de licencia estática independiente de cuántas pruebas ejecuten.

Con 120 ejecuciones de prueba al año, las soluciones SaaS ofrecen un retorno de la inversión del 12 por ciento, mientras que las plataformas locales se retrasan con un retorno de la inversión del -58 por ciento. Si esta empresa decide ejecutar 600 pruebas de carga al año, las plataformas de pruebas de carga y rendimiento basadas en SaaS alcanzarán un retorno de la inversión equivalente al de las soluciones locales. Al aumentar más allá de 600 ejecuciones de pruebas de carga, las plataformas locales producirán un mayor retorno de la inversión que las plataformas completas basadas en SaaS.

El siguiente gráfico muestra el desarrollo del ROI en inversiones de rendimiento después de un período de cinco años para las empresas que ejecutan entre 120 y 600 pruebas de carga al año.

Conclusión

Invertir en conjuntos de pruebas de carga y rendimiento basados en SaaS supera a las plataformas locales en la mayoría de los escenarios.

El ROI de las plataformas de pruebas de carga basadas en SaaS ya es positivo en el primer año, mientras que las soluciones locales ofrecen un retorno de la inversión negativo durante el período de prueba de cinco años. Una de las principales razones para un mejor retorno de la inversión de las soluciones basadas en SaaS es que no hay costos de licencias, no hay esfuerzos de mantenimiento ni infraestructuras internas involucradas.

El factor decisivo es el número de ejecuciones de prueba (o la duración media de la prueba), ya que son el principal controlador de costos para las soluciones de pruebas de rendimiento y carga basadas en SaaS. Si la organización decide ejecutar 5 veces más (o más) pruebas de carga, el ROI de los conjuntos de pruebas de carga locales y bajo demanda alcanzaría el mismo nivel. Las plataformas de pruebas de carga basadas en la nube bajo demanda son la opción más económica si una empresa ejecuta menos de 600 pruebas de carga al año.