すべてのソフトウェア アプリケーションは、機能テストと非機能テストを通過して、ビジネス要件とパフォーマンス標準を満たしていることを確認する必要があります。 機能テストは、機能の大部分を対象とし、ブラックボックステスト、単体テスト、統合テスト、システムテスト、回帰テスト、スモークテストなどのテストタイプを含みます。 非機能テスト(パフォーマンス テスト)は、速度、安定性、 スケーラビリティ、信頼性、負荷容量、および負荷の下でのアプリケーションのパフォーマンスに焦点を当てています。
パフォーマンス テストは、ベースライン テストとベンチマーク テストの 2 種類に分かれています。 これらのパフォーマンス テストは、組織のすべてのアプリケーションがすべての品質基準と SLA (サービス レベル アグリーメント) を 満たしていることを確認するために行われます。 この記事では、その重要性、メリット、および重要な指標について説明します。
ベースライン テストとは
ベースライン テストは、パフォーマンス テストを受けたときにソフトウェア アプリケーションのパフォーマンス メトリックを記録するプロセスです。 ソフトウェア、ハードウェア、ネットワーク、およびコードの変更など、同じアプリケーションが更新されると、パフォーマンス テストが再度実行され、新しいパフォーマンス メトリックの結果が以前のパフォーマンス メトリックの結果と比較されます。 すべてのテストのパフォーマンスメトリックは、将来の参照のために十分に文書化されています。 ベースライン テストの全体的な目標は、ソフトウェア アプリケーションの品質を一貫して維持することです。
ベースラインテストの重要性とメリット
ベースライン テストは、アプリケーションのパフォーマンスが新しい変更によって時間の経過と共に低下していないことを確認するために行われます。 これにより、すべてのテスト シナリオでユーザー エクスペリエンスが不備になり、改善の範囲が発見されます。 ベースライン テストを実行すると得られる利点を次に示します。
- ソフトウェア アプリケーションのパフォーマンスを維持するためのベースラインを設定します。
- さまざまなパフォーマンス メトリックのボトルネックを特定する。
- 品質性能の測定を高速化。
- テスターの効率を高めるために容易に自動化することができる。
- 構成エラーの検出に役立ちます。
ベンチマークテストとは何ですか?
ベンチマーク テストでは、さまざまな業界標準に基づいて組織内で合意されているパフォーマンス メトリックとパフォーマンス テストの結果を比較します。 組織に属するすべてのソフトウェア アプリケーションの品質基準を判断するのに役立ちます。 ベンチマーク テストは、ソフトウェア、ハードウェア、およびネットワークのパフォーマンスを対象としています。 ベンチマーク テストの目的は、アプリケーションの現在および将来のすべてのリリースをテストして、高品質の標準を維持することです。
ベンチマークテストの重要性とメリット
SLAと同様に品質基準を実装するためには、ベンチマークテストが不可欠です。 ソフトウェア アプリケーションのユーザー エクスペリエンスとビジネス標準を実質的に確立することは、反復可能で定量化できます。 ベンチマーク テストの利点を次に示します。
- 競合他社とのソフトウェア アプリケーションのパフォーマンス分析に役立ちます。
- ユーザー エクスペリエンスと可用性を維持します。
- すべてのコンプライアンスと SLA が満たされていることを確認します。
- これは、サードパーティベンダーの評価を評価するのに役立ちます。
- 測定可能な結果を得て、ベスト プラクティスに従っていることを確認します。
ベースラインとベンチマークのテストの違い
ベースラインテストとベンチマークテストは非常に同じように見えますが、次に、両者の違いを明確にする点をいくつか示します。
- ベースライン テスト のメトリックは、アプリケーションがパフォーマンス テストを受けた後に記録されます。 ベンチマーク テスト のメトリックは、多くの場合、パフォーマンスを評価するために事前に確立されています。
- ベースラインテスト は、個々のソフトウェアアプリケーションに固有です。 ベンチマーク テスト は、多くの場合、組織に属するすべてのソフトウェア アプリケーションに適用できます。
- ベースライン テスト は、アプリケーションとユーザー エクスペリエンスの観点から行います。 ベンチマーク テスト は、ビジネスと SLA の観点から行われます。
ベンチマークテストのフェーズ
多くのチームがテストのためにアジャイル プロセスに従っていますが、ベンチマーク テストでは少し異なるプロセスに従うことをお勧めします。 ベンチマーク テストの標準テスト フェーズを次に示します。
計画フェーズ
このフェーズでは、ベースラインおよびベンチマーク・テストの標準と要件を特定し、定義します。 パフォーマンスとユーザー エクスペリエンスに関するテストが最も重要なコンポーネントを特定する。 パフォーマンスと結果を測定するための一連のメトリックが用意されています。
分析フェーズ
このフェーズには、目標と目的、エラー識別プロセス、および解決方法の設定が含まれます。
統合フェーズ
このフェーズには、業務プロセスの承認と内部の利害関係者との機能要件と非機能要件の間の合意が含まれます。
アクションフェーズ
このフェーズには、テスト シナリオの開発、パフォーマンス テストの実行、パフォーマンスの測定、および結果の計算が含まれます。
パフォーマンスメトリックとコンポーネント
パフォーマンス テストでは、さまざまなコンポーネントとメトリックの測定が強調されています。 以下のリストは、パフォーマンス テスト担当者がテストの完了時または完了後に測定および確認するいくつかのメトリックから構成されます。
読み込み時間- 応答時間
- 待ち時間
- ピーク応答時間
- エラー率
- 同時ユーザー数
- 1 秒あたりの要求数
- トランザクションが成功/失敗しました
- Web サーバーのスループット
- CPU 使用率
- メモリ使用率
- ディスク I/O
読み込み時間
ベースラインおよびベンチマーク・テストのコンポーネント
ベースラインとベンチマークのテストを成功させるには、正しく指定する必要がある主なコンポーネントが 3 つあります。
- 要求の種類と頻度を決定するためのワークロードの仕様。
- 測定するメトリックを決定するためのメトリック仕様。
- 指定されたメトリックの正しい値を取得する方法を決定するための測定仕様。
パフォーマンス テストの実行中に考慮すべきその他の事項は、次のとおりです。
- テストプロセス、メトリック、ベンチマークに対する一貫性と制御を維持します。
- システムアーキテクチャとテスト基準を十分に理解する。
- 正確な結果を得るには、実際のブラウザとデバイスを使用して負荷を生成します。
- 複数の地理的位置からユーザーをシミュレートして、より現実的なシナリオを作成します。
- リアルタイムで負荷を調整することで、ベースラインとベンチマークを微調整します。
LoadViewを使用したベースラインおよびベンチマークテスト
LoadView は、クラウドベースのパフォーマンス テスト ツールで、ポイントを使用してほぼすべてのテスト シナリオを作成し 、[EveryStep Web Recorder スクリプティング ツール] をクリックできます。 LoadViewプラットフォームは、実際のブラウザベースのテストを提供し、人気のあるデスクトップ/モバイルデバイスをシミュレートし、最も現実的なパフォーマンステスト環境をシミュレートするために多数の 地理的位置 をシミュレートします。
ベースライン/ベンチマークテストでは、LoadViewでパフォーマンステストを短時間で設定し、ロードカーブ機能を利用して、要件に応じてWebサイト/アプリケーションの負荷を調整できます。 ロードカーブは、ベースラインおよびベンチマークのメトリックを微調整するのに非常に便利です。 LoadView はテストを実行し、結果を比較するために必要なすべてのメトリックを含む詳細レポートを生成します。 LoadViewパフォーマンスレポートには、インサイトが含まれ、わかりやすい結果が得られます。 これらの パフォーマンス レポート は、将来の比較のために保存でき、ベースラインを繰り返し比較するために定義できます。
結論: ベースラインおよびベンチマークテスト
パフォーマンステストは、ロード条件下でウェブサイト/アプリケーションが期待どおりに動作することを確認するために、新しいリリースの前に早い段階で開始し、実行する必要があります。 ベースラインテストとベンチマークテストを使用して、ウェブサイト/アプリケーションが一貫して優れたエクスペリエンスを提供することを確認します。 LoadView は、テストを簡単にセットアップし、ベースラインテストとベンチマークテストを実行するための優れたツールです。 複数の荷重曲線とレポート機能を活用して、さまざまなメトリックと実行可能なインサイトを測定できます。
今すぐ LoadView を使用する。 無料トライアルに登録するか、当社のパフォーマンスエンジニアの1人とデモをスケジュールしてください。 ロード テスト ソリューションのすべての側面、機能、利点を喜んで説明し、ベンチマークとベースラインのパフォーマンス テストの実行を開始するために必要なものがすべて揃っていることを確認します。
Web サイトやアプリケーションを徹底的にテストして調整し、計画している同時ユーザー数を処理できるようにしたら、最後のステップは、ライブ実稼働環境で意図したとおりに Web サイトと Web アプリケーションが継続的に実行されるようにすることです。 あなたとあなたのチームは、アプリケーションの計画、開発、およびテストに多くの時間と労力を費やしているため、これは重要です。 自動監視を実装することにより、パフォーマンスと応答時間が常に事前定義されたしきい値内に収まるようにします。 警告を設定し、ダウンタイムやエラーが発生したときにすぐに通知を受け取り、ユーザーエクスペリエンスの低下による影響を受けるユーザーが増えるリスクを軽減します。