Comparação ROI: Ferramentas de teste de carga em nuvem vs on-premises

Desempenho do ROI

As empresas hoje vivem e morrem pela experiência do usuário. Devido à crescente complexidade de seus serviços e à pressão para implantar rapidamente, algumas empresas não levam tempo para garantir que seus aplicativos ofereçam tempos de resposta aceitáveis sob padrões de carga de crescimento reais e futuros.

No entanto, alguns líderes de TI aprenderam com erros anteriores e integraram a engenharia de desempenho com sucesso em sua cadeia de DevOps. Eles começam cedo durante as etapas de projeto e desenvolvimento com análise de desempenho, automatizam essas tarefas, revisam os resultados e eliminam hotspots na fase de construção. Este artigo demonstra como você pode calcular o retorno sobre os investimentos de desempenho de uma plataforma de testes de cargaon-premises e on-demand baseada em nuvem .

Custos de Teste de Desempenho

Os aplicativos responsivos, que são robustos e oferecem tempos de resposta aceitáveis em situações de pico de carga, não são gratuitos. As coisas seriam fáceis se houvesse um recurso de desempenho que você pudesse simplesmente comprar, integrar e, de repente, eliminar todos os seus hotspots. No entanto, a realidade é que não há cura permanente para o desempenho ruim. As organizações devem contratar engenheiros, comprar ferramentas e configurar plataformas de teste de desempenho em sua infraestrutura para resolver continuamente os problemas de desempenho .

As empresas profissionais dependem de suítes de teste de carga comercial. Eles pagam uma taxa de licença inicial e taxas de manutenção anual para obter o suporte necessário e atualizações do produto. A injeção de carga requer máquinas de agente de carga poderosas e exclusivas, o que leva a custos anuais adicionais. Nos últimos anos, plataformas de teste de carga baseadas em SaaS apareceram no mercado. As empresas perceberam que esses produtos SaaS são mais baratos e fáceis para testes de carga porque não há taxas iniciais e eles são cobrados apenas pelo uso real dessas plataformas sob demanda.

No entanto, há um driver de custo no espaço de teste de desempenho que muitas vezes é ignorado. Os engenheiros identificarão solicitações de longa duração, aplicativos que falham, vazamentos de memória e outros defeitos. A análise, a implementação de correções e a implantação do código aprimorado causarão trabalho adicional para sua equipe de engenharia. Pesquisas comprovaram que os problemas posteriores são detectados, mais caros eles são para corrigir. Um defeito que ocorre na produção leva a um fator 1.000% maior de esforços para remediar do que em estágios de desenvolvimento.

Economia de Teste de Desempenho

Ganhos de reputação, maior confiança em TI e mais tempo disponível para outras tarefas são benefícios de testes de carga e desempenho, mas é difícil calcular seu verdadeiro impacto financeiro. Como tal, não consideraremos esses fatores quando calcularmos o retorno sobre os investimentos em desempenho.

Os benefícios adicionais incluem aumentos na receita e nos ganhos devido a problemas de desempenho que podem ser detectados com antecedência. A Amazon, por exemplo, demonstrou que uma melhoria de velocidade de 100ms aumentou suas vendas em 1%. Quando os usuários experimentam carregamento lento de páginas da Web, eles geralmente abandonam e gastam seu dinheiro no site de um concorrente. Testes de carga e desempenho ajudam as empresas a corrigir tais desacelerações no início do ciclo de vida, protegendo seus fluxos de receita on-line. Essas correções nos estágios de pré-produção são mais fáceis de implementar e resultam em economia adicional para a organização.

Cálculo do desempenho do ROI

Você já calculou os custos reais e as economias de seus serviços de teste de carga e desempenho?
Veja como isso pode parecer ao comparar uma solução de teste de carga local e baseada em SaaS.

Observe as seguintes figuras-chave neste exemplo:

• 1.000 licença simultânea de ferramenta de teste de carga do usuário
• 120 execuções de teste por ano
• 800 usuários baseados em HTTP e 200 reais baseados em navegador em cada teste executado
• 58 máquinas de injeção de carga
• Custos anuais de US$ 6.000 para cada servidor de injeção de carga
• 120 defeitos de desempenho por ano
• 20% menos defeitos na produção devido a testes de carga
• 2 engenheiros de desempenho que ganham $60.000 anualmente

Não considerados neste cálculo são:

• Aumento das vendas devido a taxas de abandono menores
• Esforços para corrigir defeitos de desempenho identificados
• Benefícios adicionais de compensação e custos incorridos dos dois engenheiros de desempenho

ROI de plataformas de teste de carga e desempenho no local

As empresas implantam suítes de teste de carga no local em servidores dedicados hospedados em seus data centers. Existem algumas soluções de código aberto com recursos limitados de simulação de usuários no mercado, mas as empresas profissionais normalmente dependem de plataformas comerciais. O fornecedor desta suíte de teste de carga cobra uma taxa inicial de licença de US $ 300.000 e uma taxa de manutenção anual de US $ 60.000.

Dois engenheiros são responsáveis pelos testes de carga e desempenho nesta empresa, e identificam 120 defeitos de desempenho por ano. A empresa está usando 58 máquinas de injeção de carga dedicadas que resultam em despesas adicionais de US $ 6.000 anualmente por máquina. Do lado da poupança, há 20% menos defeitos na produção. Outros aspectos, como o impacto sobre a receita ou menos atividades de retrabalho, não serão considerados nesse cenário por uma questão de simplicidade.

O gráfico abaixo mostra como os gastos, os ganhos e o ROI correspondente progride em um período de cinco anos.

Este cálculo mostra que uma organização que depende de uma plataforma de teste de desempenho e carga no local realiza um retorno negativo de -58% em seus investimentos em testes de carga e desempenho após cinco anos.

ROI de plataformas de teste de carga e desempenho baseadas em nuvem saas on-demand

Os conjuntos de testes de carga e desempenho baseados em SaaS são totalmente baseados em nuvem. O provedor hospeda as máquinas de agente de carga e cuida da operação e manutenção tanto do software de teste de carga quanto da infraestrutura subjacente. As organizações pagam apenas pelo armazenamento permanente de seus resultados de teste e pelo uso real de minutos virtuais do usuário. Devido a menos esforços de manutenção para uma solução baseada em SaaS, a contagem de cabeças na equipe de testes de carga e desempenho da organização pode ser reduzida para quatro.

Do lado da poupança, há 20% menos defeitos na produção. Outros aspectos, como o impacto sobre a receita, não serão considerados neste exemplo por uma questão de simplicidade. O gráfico abaixo destaca os custos, a economia e o ROI de uma plataforma de testes de carga e desempenho baseada em nuvem sob demanda durante um período de cinco anos.

Este cálculo mostra que as organizações que dependem de plataformas de teste de carga e desempenho baseadas no SaaS percebem um retorno de 12% sobre os investimentos em testes de desempenho.

Comparação das plataformas SaaS on-Demand VS On-Premises

Quais são os fatores impactantes do ROI e em que ponto uma suíte de teste de carga no local é mais barata do que uma plataforma baseada em SaaS?

Os provedores de teste de carga baseados em SaaS cobram uma taxa por minuto de usuário virtual. O número de execuções de teste impacta fortemente o ROI das soluções SaaS. As suítes de teste de carga e desempenho implantadas localmente não têm esse driver de custo porque têm uma taxa de licença estática independente de quantos testes executam.

Com 120 execuções de testes por ano, as soluções SaaS fornecem um ROI de 12%, enquanto as plataformas no local ficam para trás com um ROI de -58%. Se esta empresa decidir executar 600 testes de carga anualmente, as plataformas de teste de carga e desempenho baseadas em SaaS alcançarão um ROI equivalente ao das soluções no local. O aumento de mais de 600 execuções de teste de carga verá plataformas no local produzindo ROI mais alto do que plataformas completas baseadas em SaaS.

O gráfico abaixo mostra o desenvolvimento do ROI em investimentos de desempenho após um período de cinco anos para empresas que executam entre 120 e 600 testes de carga anualmente.

conclusão

Investir em suítes de teste de carga e desempenho baseadas em SaaS supera plataformas no local na maioria dos cenários.

O ROI das plataformas de teste de carga baseadas em SaaS já é positivo no primeiro ano, enquanto as soluções no local fornecem um ROI negativo durante o período de teste de cinco anos. Uma das principais razões para um melhor ROI de soluções baseadas em SaaS é que não há custos de licenciamento, nem esforços de manutenção e nem infraestruturas internas envolvidas.

O fator decisivo é o número de execuções de teste (ou a duração média do teste), pois são o driver de custo primário para soluções de teste de carga e desempenho baseadas em SaaS. Se a organização decidir executar testes de carga 5x mais (ou mais) , o ROI das suítes de teste de carga on-premises e sob demanda atingiria o mesmo nível. Plataformas de teste de carga baseadas em nuvem sob demanda são a opção mais econômica se uma empresa executar menos de 600 testes de carga por ano.