ROI 比較: クラウドとオンプレミスのロード テスト ツール
ROI パフォーマンス
今日のビジネスは、 ユーザーエクスペリエンスによって生き、死にます。 サービスの複雑さが増し、迅速に展開するというプレッシャーにより、一部の企業は、実際のおよび将来の成長負荷パターンの下でアプリケーションが許容できる応答時間を確実に提供できるようにするための時間を確保できません。
ただし、一部のITリーダーは、以前の過ちから 学び 、 DevOpsチェーンでパフォーマンスエンジニアリングをうまく統合しています。 設計段階と開発段階で、パフォーマンス分析を早い段階から開始し、それらのタスクを自動化し、結果を確認し、建設段階でホットスポットを排除します。 この記事では、オンプレミスおよびオンデマンドのクラウドベース のロード テスト プラットフォームのパフォーマンス投資に対する収益を計算する方法を示します。
パフォーマンス テストのコスト
負荷スパイクの状況下で、堅牢で許容可能な応答時間を提供する応答性の高いアプリケーションは、無料ではありません。 単に購入、統合、そして突然すべてのホットスポットを排除できるパフォーマンス機能があれば、物事は簡単です。 しかし、現実には、悪いパフォーマンスのための永久的な治療法はありません。 組織は、パフォーマンスの問題に継続的に対処するために、エンジニアを雇い、ツールを購入し、 インフラストラクチャにパフォーマンステスト プラットフォームをセットアップする必要があります。
プロフェッショナルなビジネスは、商用の負荷テスト スイートに依存しています。 彼らは、必要なサポートと製品の更新を得るために、最初のライセンス料と年間メンテナンス料金を支払います。 負荷注入は強力で排他的な負荷エージェント機械を必要とし、追加の年間コストにつながります。 近年、SaaSベースのロードテストプラットフォームが市場に登場しています。 企業は、これらのSaaS製品は、初期費用がなく、 これらのオンデマンドプラットフォームの実際の使用に対してのみ課金されるため、負荷テストが安価で簡単であることに気づきました。
ただし、パフォーマンス テストの領域には、多くの場合無視されるコスト ドライバーが 1 つあります。 エンジニアは、実行時間の長い要求、 クラッシュするアプリケーション、メモリリーク、およびその他の欠陥を特定します。 改善されたコードの分析、修正の実装、および デプロイ により、エンジニアリング チームに追加の作業が発生します。 研究は、後の問題が検出されることを証明しています, 彼らは修正するより高価です. 生産で発生する欠陥は、開発段階よりも1,000%高い改善努力につながります。
パフォーマンス テストの節約
評判の向上、IT への信頼の向上、および他のタスクの利用時間の増加は、負荷とパフォーマンス テストの利点ですが、実際の財務上の影響を計算することは困難です。 したがって、業績投資に対するリターンを計算する際には、これらの要因は考慮しません。
その他の利点には、 事前に検出できるパフォーマンスの問題による収益と利益の増加が含まれます。 たとえば、Amazonは、100ミリ秒の速度 向上 により売上が1%増加したことを実証しました。 ユーザーが Web ページの読み込みが遅いとき、彼らはしばしば放棄し、競合他社のウェブサイトにお金を使います。 負荷とパフォーマンスのテストは、企業がライフサイクルの早い段階でこのような減速を修正し、オンライン収益源を保護するのに役立ちます。 実稼働前段階でのこれらの修正は、実装が容易であり 、組織にとって追加の節約につながります。
ROI パフォーマンスの計算
負荷およびパフォーマンス テスト サービスの実際のコストと節約を計算したことがありますか。
オンプレミスと SaaS ベースのロード テスト ソリューション を比較する と、これがどのように見えるかを次に示します。
この例では、以下のキー数値に注意してください。
- 同時ユーザーロードテストツールライセンス1,000
- 年間 120 回のテスト実行
- 各テスト実行で800 HTTPベースと200の実際のブラウザベースのユーザー
- 58負荷注入機
- 負荷注入サーバーごとに年間 6,000 ドルのコスト
- 年間120件の業績上の欠陥
- 負荷テストによる実稼働不良の20%削減
- 年間60,000ドルを稼ぐ2人のパフォーマンスエンジニア
この計算では考慮されません。
- 放棄率の低下による売上の増加
- 特定されたパフォーマンスの欠陥を修正する取り組み
- 2人のパフォーマンスエンジニアの報酬の追加のメリットと発生したコスト
オンプレミスのロードおよびパフォーマンス テスト プラットフォームの ROI
企業は、データセンターでホストされている専用サーバーにオンプレミスのロード テスト スイートを展開します。 市場には限られたユーザーシミュレーション機能を備えたオープンソースソリューションがいくつかありますが、プロフェッショナルビジネスは通常、商用プラットフォームに依存しています。 この負荷テスト スイートのベンダーは、最初のライセンス料 $300,000、年間 60,000 ドルの保守費を請求します。
この会社の負荷および性能テストには2人のエンジニアが責任を負い、年間120件の業績上の欠陥を特定します。 同社は58台の専用負荷インジェクションマシンを使用しており、その結果、機械あたり年間6,000ドルの追加費用が発生します。 貯蓄面では、生産上の欠陥が20%少なくなっています。 収益への影響やリワーク活動の減少など、より多くの側面は、このシナリオでは、簡潔にするために考慮されません。
下の図は、5 年間の支出、収益、および対応する ROI の進行状況を示しています。
この計算は、オンプレミスの負荷とパフォーマンス テスト プラットフォームに依存する組織が、5 年後に負荷とパフォーマンス テストの投資に対してマイナス 58% のリターンを実現することを示しています。
SaaS オンデマンド クラウドベースのロードおよびパフォーマンス テスト プラットフォームの ROI
SaaS ベースのロードおよびパフォーマンス テスト スイートは、完全にクラウドベースです。 プロバイダーは、ロード エージェント マシンをホストし、負荷テスト ソフトウェアと基盤となるインフラストラクチャの両方の運用と保守を処理します。 組織は、テスト結果の永続的なストレージと仮想ユーザーの実際の使用時間の支払いのみを行います。 SaaS ベースのソリューションの保守作業が少ないため、組織の負荷とパフォーマンス テスト チームのヘッド 数を 4 に減らすことができます。
貯蓄面では、生産上の欠陥が20%少なくなっています。 この例では、収益への影響など、より単純な観点からは考慮されません。 下の図は、5 年間のオンデマンド クラウド ベースの負荷およびパフォーマンス テスト プラットフォームのコスト、節約、および ROI を強調しています。
この計算は、SaaS ベースの負荷およびパフォーマンス テスト プラットフォームに依存する組織が、パフォーマンス テスト投資に対して 12% のリターンを実現することを示しています。
SaaS オンデマンド VS オンプレミス プラットフォームの比較
ROI に影響を与える要因と、オンプレミスのロード テスト スイートは、SaaS ベースのプラットフォームよりも安価な点は何ですか。
SaaS ベースのロード テスト プロバイダーは、仮想ユーザーの 1 分あたりの料金を請求します。 テスト実行の数は、SaaS ソリューションの ROI に大きな影響を与えます。 ローカルに展開されたオンプレミスのロード および パフォーマンス テスト スイートには、実行するテストの数に関係なく静的なライセンス料金が発生するため、このコスト ドライバーはありません。
SaaS ソリューションは、年間 120 回のテスト実行で 12% の ROI を提供し、オンプレミスのプラットフォームは -58% の ROI で後れを取ります。 この会社が年間 600 のロード テストを実行することを決定した場合、SaaS ベースの負荷およびパフォーマンス テスト プラットフォームは、オンプレミス ソリューションと同等の ROI に達します。 600 を超えるロード テストの実行を増やすと、オンプレミスのプラットフォームが完全な SaaS ベースのプラットフォームよりも高い ROI を生み出すことがわかります。
下の図は、年間 120 ~ 600 の負荷テストを実行する企業の 5 年後のパフォーマンス投資に関する ROI の開発を示しています。
結論
SaaS ベースの負荷およびパフォーマンス テスト スイートへの投資は、ほとんどのシナリオでオンプレミス プラットフォームを上回ります。
SaaSベースの ロードテストプラットフォーム のROIは、最初の年にすでにプラスですが、オンプレミスソリューションは5年間のテスト期間中にマイナスのROIを提供します。 SaaSベースのソリューションのROIを改善する主な理由の1つは、ライセンスコスト、メンテナンス作業、内部インフラストラクチャが不要なためです。
決定的な要因は、テスト実行の数 (または平均テスト期間) であり、SaaS ベースのロードおよびパフォーマンス テスト ソリューションの主要なコスト ドライバーです。 組織が 5 倍以上 (またはそれ以上) のロード テストを実行することを決定した場合、オンプレミスとオンデマンドの両方の負荷テスト スイートの ROI は同じレベルに達します。 企業が年間 600 未満のロード テストを実行する場合、オンデマンド クラウド ベースのロード テスト プラットフォームは、より経済的なオプションです。