ROI 比较:云与本地负载测试工具

ROI Performance

今天的企业生存和死亡取决于 用户体验。 由于 服务 的复杂性日益增加以及快速部署的压力,一些公司未能花时间确保其应用程序在实际和未来增长负载模式下提供可接受的响应时间。

但是,一些IT领导者已经从以前的错误中 吸取了教训 ,并在其 DevOps链中成功地集成了性能工程。 他们在设计和开发阶段早期开始执行性能分析,自动执行这些任务,查看结果,并消除施工阶段的热点。 本文演示如何计算本地和按需基于云的负载测试平台的性能 投资回报

性能测试成本

响应式应用程序非常可靠,在负载峰值情况下可提供可接受的响应时间,但它们并不是免费的。 如果有一个性能功能,您可以简单地购买、集成并突然消除所有热点,那么事情就很容易了。 然而,现实情况是,没有永久的治疗方法来治疗不良的表现。 组织必须雇用工程师、购买工具并在其基础架构上设置性能测试平台,以便不断解决 性能 问题。

专业企业依靠商业负载测试套件。 他们支付初始许可费和年度维护费,以获得所需的支持和产品更新。 负载喷射需要强大且独一无二的负载代理机器,从而导致额外的年度成本。 近年来,基于 SaaS 的负载测试平台已出现在市场上。 企业意识到这些SaaS产品更便宜,更容易进行负载测试,因为没有初始费用,并且只对这些 按需平台的实际使用收费。

但是,性能测试空间中通常忽略一个成本驱动因素。 工程师将识别长时间运行的请求、 崩溃的应用程序、内存泄漏和其他缺陷。 分析、实施修复和 部署 改进的代码将为您的工程团队带来额外的工作。 研究已经证明,发现问题越晚,修复成本越高。 生产中出现的缺陷导致补救工作比开发阶段高 1,000%。

性能测试的节省

声誉收益、对 IT 的信任度提高以及用于其他任务的更多可用时间是负载和性能测试的好处,但很难计算其真正的财务影响。 因此,在计算绩效投资回报时,我们不会考虑这些因素。

其他好处包括 由于可以提前检测到的性能问题而导致的收入和收益增加。 例如,亚马逊已经证明,速度 提高 100毫秒,他们的销售额增加了1%。 当用户遇到加载缓慢的网页时,他们通常会放弃并把钱花在竞争对手的网站上。 负载和性能测试可帮助公司在生命周期的早期解决此类减速问题,从而保护其在线收入流。 预生产阶段的这些修复更易于实施,并为 组织带来额外的节省

投资回报率绩效计算

您是否计算过负载和性能测试服务的实际成本和节省成本?
下面是 比较 本地和基于 SaaS 的负载测试解决方案时的外观。

请注意本示例中的以下关键数字:

  • 1,000 个并发用户负载测试工具许可证
  • 每年执行 120 次测试
  • 每次测试运行中有 800 个基于 HTTP 和 200 个真正的基于浏览器的用户
  • 58 负载喷射机
  • 每个负载注入服务器每年 6,000 美元的成本
  • 每年 120 个性能缺陷
  • 由于负载测试,生产缺陷减少 20%
  • 2 名绩效工程师年收入 60,000 美元

在此计算中未考虑的有:

  • 由于放弃率降低而增加的销售额
  • 努力修复已识别的性能缺陷
  • 两名性能工程师的额外薪酬福利和产生成本

本地负载和性能测试平台的 ROI

公司在数据中心托管的专用服务器上部署本地负载测试套件。 市场上有一些开源解决方案具有有限的用户模拟功能,但专业企业通常依赖于商业平台。 此负载测试套件的供应商收取 300,000 美元的初始许可费和 60,000 美元的年度维护费。

两名工程师负责该公司的负载和性能测试,他们每年识别 120 个性能缺陷。 该公司使用 58 台专用负载喷射机,每台机器每年可额外支付 6,000 美元的费用。 在节约方面,生产缺陷减少了 20%。 为了简单起见,本方案中将不考虑其他方面,例如对收入的影响或返工活动较少。

下图显示了支出、收入和相应的 ROI 在五年内如何发展。

ROI Performance

此计算表明,依赖于本地负载和性能测试平台的组织在五年后实现了负 -58% 的负载和性能测试投资回报率。

SaaS 按需基于云的负载和性能测试平台的 ROI

基于 SaaS 的负载和性能测试套件完全基于云的。 提供程序托管负载代理计算机,并负责负载测试软件和底层基础结构的操作和维护。 组织只需为测试结果的永久存储和虚拟用户分钟的实际使用情况付费。 由于基于 SaaS 的解决方案的维护工作较少,组织负载和性能测试团队中的人员数量可以减少到 4 个。

在节约方面,生产缺陷减少了 20%。 为了简单起见,本示例中将不考虑其他方面,例如对收入的影响。 下图强调了基于云的按需负载和性能测试平台在五年内的成本、节省和 ROI。

ROI Performance1

此计算表明,依赖基于 SaaS 的负载和性能测试平台的组织实现了 12% 的性能测试投资回报。

SaaS 按需 VS 本地平台的比较

影响 ROI 的因素是什么?在什么时间上,本地负载测试套件比基于 SaaS 的平台便宜?

基于 SaaS 的负载测试提供商按虚拟用户分钟收取费用。 测试执行的数量对 SaaS 解决方案的 ROI 影响很大。 本地部署的本地负载和性能测试套件没有此成本驱动因素,因为它们具有静态许可证费用,与它们执行的测试数量无关。

SaaS 解决方案每年执行 120 次测试,交付的 ROI 为 12%,而本地平台的 ROI 为 -58%。 如果该公司决定每年执行 600 次负载测试,基于 SaaS 的负载和性能测试平台将实现与本地解决方案相当的 ROI。 超过 600 次负载测试执行将看到本地平台产生比基于 SaaS 的完整平台更高的 ROI。

下图显示了每年执行 120 到 600 次负载测试的公司在五年后在绩效投资方面的投资回报率发展。

ROI Performance2

结论

在大多数情况下,投资于基于 SaaS 的负载和性能测试套件优于本地平台。

基于 SaaS 的负载 测试平台的 ROI 在第一年就已经为正值,而本地解决方案在五年测试期间可提供负 ROI。 提高基于 SaaS 的解决方案的 ROI 的一个主要原因是没有许可成本、没有维护工作以及内部基础结构。

决定性因素是测试执行的数量(或平均测试持续时间),因为它们是基于 SaaS 的负载和性能测试解决方案的主要成本驱动因素。 如果组织决定执行 5 倍(或更长时间)负载测试,则本地和按需负载测试套件的 ROI 将达到相同的水平。 如果公司每年执行少于 600 次负载测试,则按需基于云的负载测试平台是更经济的选择。