LoadView

LoadView vs. LoadRunner – パートII: テストシナリオの設定とレポートの詳細分析

| ケーススタディ, 技術のヒント

以前の記事「Web Load Testing: LoadRunner vs. LoadView – Real-World Scenario」では、PhoneNumberMonitoring.comでの典型的なユーザージャーニー—サイトの起動、ログイン、タブのナビゲート、ログアウト—をLoadRunnerとLoadViewの両方を使ってシミュレートする方法を示しました。その比較は、スクリプト作成の労力、設定の複雑さ、使いやすさの違いを強調していました。

その演習を踏まえ、本記事ではLoadViewとLoadRunnerの詳細な比較を行い、特にテストシナリオの準備と報告機能に焦点を当てます。複数の仮想ユーザーを用いた実際のユーザーフローの実行時に各ツールがどのように動作し、以下の点をどれだけうまく処理できるかを検証します：

  • 実行の可視性と正確性
  • リアルタイムおよびテスト後のレポーティング
  • 動的コンテンツとフロントエンドの挙動
  • セッションレベルの診断とデバッグ

概要

本比較は、主要なパフォーマンステストツールであるLoadViewとLoadRunnerのテストセットアップ体験とレポーティング機能のみに焦点を当てています。

評価は、動的なウェブアプリケーション上での実際のユーザーフロー—起動、ログイン、操作、ログアウト—を基にしています。比較の重点は以下の通りです：

  • 負荷シナリオ設定の容易さ
  • テスト実行時の可視性
  • テストレポートの深さと明瞭さ
  • ビデオ再生、スクリーンショット取得、エラー分類、ウォーターフォール解析などのデバッグ機能

モダンなアプリケーションがSPAs（シングルページアプリケーション）やJavaScript主体のフロントエンドをますます採用する中で、真のブラウザ挙動をシミュレートし、リアルタイムの視覚的診断を提供できるツールはこれまで以上に重要です。

  1. テストシナリオの準備

LoadView

実ブラウザベースのシナリオデザイナー
LoadViewは、ChromeまたはEdge内で実際のブラウザ操作（クリック、スクロール、待機、AJAXトリガー）を記録します。各ステップは視覚的なフローチャートでマッピングされ、ユーザー体験と完全に整合します。

ビジュアル負荷設定ウィザード
簡単に設定可能：

  • ユーザー負荷タイプ：ロードステップカーブ、動的調整カーブ、目標ベースカーブ
  • 負荷パターン：ステップワイズ、指数関数的、スパイク、ロード、耐久/ソーク、フェイルオーバーなど
  • シナリオ設定：テスト期間、ランプアップ、減少、ホールド
  • リージョン：40以上のグローバルクラウドロケーション

    • s（例：シンガポール、カリフォルニア、ロンドン）

  • ブラウザ：真のレンダリングコンテキストにはChromeまたはEdge

環境不要のセットアップ
Load Generators（LG）、仮想マシン、ファイアウォールルール、ネットワーク設定をインストールまたは管理する必要はありません。すべてのインフラはLoadViewのクラウドで自動的にプロビジョニングされます。

ステップレベルの条件
各ステップの合否基準を設定できます。例：

  • テキスト検証
  • 要素の可視性
  • JavaScriptトリガー
  • HTTPステータスコードなど

ワンクリックプレビュー
フルテストを実行する前に、単一ユーザーのプレビューを実行してテストの全フローを検証します。これにはUIレンダリング、検証、および応答メトリクスが含まれます。

追加の注意事項：

  • トランザクション名、遅延、測定時間、Lighthouse、ネットワークスロットリングなどを提供可能
  • 分岐ロジック、条件付き待機、ループ処理が標準で利用可能

 LoadRunner

コントローラーを使ったシナリオ設計
LoadRunner Controllerを使用してシナリオを作成し、以下を割り当てます：

  • ユーザーグループ
  • ランプアップスケジュール
  • 思考時間とペーシング設定
  • 実行時間

手動でのLoad Generatorセットアップ
テスターはLGを機械やクラウドホストに手動でデプロイおよび設定する必要があります。LGとコントローラー間の接続にはファイアウォール/NAT設定、ポート許可、インフラ権限が必要です。

地理的テストは複雑
複数地域からの負荷をシミュレートするには、ユーザーは各対象地域にサーバーを手動でプロビジョニングし、アクセスを設定し、テストの同期を行う必要があります。

基本的な検証ロジック
ステップの検証はプロトコルレベルの応答（例：HTTP 200）に基づきます。ビジュアルな検証はTrueClientスクリプトでのみ可能で、これには多くのリソースとメンテナンスが必要です。

実行プレビュー
UIレンダリングを伴うテストフローのプレビューはTrueClientのみで利用可能です。その他のプロトコルではドライランにテストパスの視覚確認は含まれません。

追加の注意事項：

  • スクリプト作成とプロトコルの専門知識が必要
  • プロトコルの選択（Web HTTP/HTML、SAP、Citrixなど）はスクリプト設計に影響
  1. リアルタイム実行の可視性

LoadView

リアルタイムでアクセス可能な豊富なクラウドホストレポート： ライブパフォーマンスメトリcs はテスト実行中に継続的に表示されます。

パフォーマンスKPIの継続的なリアルタイム更新: 平均応答時間、90パーセンタイル、最小、最大、障害率などの指標がリアルタイムで更新されます。

迅速な根本原因分析のためのエラー分類: エラーは検証、クライアント、サーバー、およびサードパーティカテゴリに分類されます。

クラウドベースのPDFおよび共有可能なダッシュボードリンク: ライブダッシュボードを簡単に配布したり、概要をエクスポートしてチームと共有できます。

応答時間、エラー分布、仮想ユーザー活動に関するインタラクティブチャート: スパイク、傾向、または障害を迅速に特定できます。テストの進行状況をリアルタイムで監視する包括的なサマリービュー。

上半分は平均応答時間の突然のスパイクを示しており、これは成功したセッションの減少と失敗したセッションの増加（下のグラフ、赤い矢印参照）と相関しています。これは、LoadViewがパフォーマンス低下をユーザーセッションの動作と視覚的に相関させる能力の理想的な例です。

時間窓全体にわたる累積セッショントラッキング: 実行期間中のテストの一貫性と安定性を評価するのに役立ちます。

仮想ユーザーのランプアップ曲線: セッションパフォーマンスと整合した負荷増加の視覚的表現。

このグラフは、仮想ユーザーが時間をかけてどのようにスケールアップされたかを示しています。緑の線は実際のユーザー数を示し、オレンジの線（期待されるユーザー数）にほぼ一致しており、安定したランプアップおよびランプダウン動作を証明しています。紫の線は仮想ユーザーの最大設定限界を示しています。

各ジオゾーンからのサーバーステータス統計: 地域特有の問題またはレイテンシを診断します。

セッションごとのナビゲーションによる個々のユーザーの行動表示: 任意の仮想ユーザーの経路と関連する応答データを掘り下げて確認できます。

特定のセッションIDを掘り下げる: 個々のテスト経路を検査し、ユーザーごとの詳細なネットワーク層の洞察を見ることができ、エラーの原因を迅速に特定して早期解決を実現します。

これは複数のクラウドエージェント（AWS、Azureリージョンから）がテスト負荷を共有した様子を示しています。CPUとメモリはほぼ均衡を保っており、LoadViewの弾力的なテスト配分アーキテクチャを検証しています。

LoadViewにおける過去のテスト実行比較

複数のテスト実行結果を比較
リアルタイムおよび静的レポートも価値がありますが、LoadViewは標準で過去の傾向追跡も提供しています。各テスト実行は自動的にアーカイブされ、以前の実行と比較できます。

ビフォー/アフターのパフォーマンスビュー
これにより、アプリケーションコード、インフラ、またはサードパーティサービスに行われた変更を、複雑な統合や設定なしに直接過去のパフォーマンスベースラインと最新の結果で比較して評価できます。

設定不要

InfluxDB、Grafana、HP ALMなどの外部ツールとの統合を通常必要とするLoadRunnerとは異なり、LoadViewは追加のセットアップやインフラなしでウェブベースのシンプルなインターフェースを通じてビルトインの過去データ可視化を提供します。

例： 開発チームは、2週間前のデータベース最適化前のテストと最新の実行を比較し、応答時間やエラー率の改善を即座に確認できます。

追加の利点：

  • QAチームは機能的および視覚的にフローの検証が可能
  • ログ解析やバックエンドのみのビューを避けることでデバッグ作業を軽減

LoadRunner

コントローラーグラフ（ライセンス版のみ）
ライセンスを持つ場合、LoadRunnerコントローラーは以下のランタイム指標を提供します：

  • 実行中のVUser数
  • TPS（毎秒トランザクション数）
  • エラー率などの指標数種

これらのグラフは無料版では利用できず、実行中の可視性が大幅に制限されます。

フロントエンドのフィードバックなし
TrueClientを使用しない限り、スクリーンショット、視覚的検証、DOMレベルのデータは利用できません。TrueClient使用時でも、高負荷下ではこれらのインサイトの分析が困難です。

地域別の詳細分析なし
LoadRunnerは標準で地域別のパフォーマンスセグメンテーションを提供していません。カスタムスクリプトやタグ付けが必要です。

セッションレベルの監視なし
LoadRunnerはセッションごとの洞察を提供せず、どのステップが失敗したか、ブラウザで何が表示されたか、セッションが実行パスをどのように進んだかの追跡が困難です。

追加の制約：

  • スクリーンショットの自動キャプチャなし
  • リアルタイムのセッションデータなし
  • 原因解析は実行後のAnalysisツールレポートまで遅延
  1. まとめ比較表
機能 LoadView LoadRunner
シナリオビルダー ビジュアル、ブラウザベース スクリプトおよびプロトコルベース（コントローラー）
ジオロード設定 組み込み、クラウド管理 手動LGデプロイが必要
セッションレベルの可視化 リプレイとスクリーンショット付きで完全 なし
ウォーターフォールチャート はい、ブラウザレベル 利用不可
ビデオ再生 はい いいえ
フロントエンドメトリクス（FCP、LCP、TTI、CLS） はい いいえ
エラー分類 タイプ別に自動グループ化 手動ログ解析
レポート共有 クラウドダッシュボード、PDF、Excel、共有リンク ローカルHTMLまたはPDFのみ
履歴結果比較 組み込み ALM/外部セットアップが必要
ステークホルダー向けレポーティング はい、ビジネス向け 技術者向けのみ
環境セットアップ クラウドホスト、インフラ不要 ロードジェネレーターのセットアップが必要
最適な使用ケース Webアプリ、UX、モダンフロントエンド バックエンドAPI、プロトコルレベルのテスト

 

LoadRunnerの最適な使用ケース（プロトコルレベルのテスト）

LoadRunnerは、強力なエンタープライズグレードのパフォーマンステストツールで、バックエンドが重くプロトコルベースのテストに最適です。トランスポート層でのトラフィックをシミュレートし、ブラウザレンダリングが不要なアプリケーションに理想的です。

使用ケース LoadRunnerが適している理由 例
1. APIロードテスト HTTP、Webサービス、RESTなどの様々なプロトコルをサポート。正確なパラメータ化と相関を可能にする。 高トランザクションを処理する銀行や保険のAPIのロードテスト
2. SAP、Oracle、Citrixのテスト SAP GUI、Oracle Forms、Citrixなどの複雑なエンタープライズシステムのプロトコルレベルサポートを提供。 SAP HRシステムのワークフローのパフォーマンステスト
3. バックエンドシステムのロードテスト メッセージングキュー、データベース、レガシーメインフレームのストレステストに効果的。 COBOLベースの財務報告バックエンドのロードテスト
4. CI/CDパイプラインの統合 Jenkins、Azure DevOpsとの統合、and ALMによる自動回帰テストおよびパフォーマンステスト。 コードマージ後に毎晩パフォーマンステストを実行
5. 複雑なプロトコルテスト FTP、SMTP、WebSocket、Telnetのやり取りをプロトコルの正確さでシミュレート。 内部FTPサーバでのファイルアップロード性能の負荷テスト
6. C言語によるカスタムスクリプティング 完全なC言語スクリプティングにより、細かなテスト設計、ロジック、データ処理が可能。 コード化されたスクリプトを用いた複数段階の保険請求プロセスのシミュレーション

 

LoadView（リアルブラウザベーステスト）の最適なユースケース

(Chrome、Edge)を使って実際のユーザー行動をシミュレートし、モダンなウェブアプリケーションやユーザー体験と視覚的検証を重視するチームに最適です。

ユースケース LoadViewが最適な理由 例
1. ブラウザベースの負荷テスト JavaScript、クッキー、DOM更新、ページレンダリングを伴うリアルなユーザージャーニーを実行。 旅行予約ポータルの負荷テスト
2. SPAテスト（React、Angular、Vue） JavaScriptフレームワークからの非同期動作（AJAX、fetch、WebSocket）を自動で処理。 Angularのカスタマーダッシュボードのテスト
3. EC UX検証 読み込み時間、FCP、LCP、TTIといったコンバージョン率に影響する実際の指標を測定。 ブラックフライデー前のカートからチェックアウトまでの負荷テスト
4. 地理分散テスト 40以上のロケーションからテストをサポートし、異なる地域からのユーザーアクセスを模擬。 米国、ヨーロッパ、インドからのサイト速度テスト
5. スクリプト不要の負荷テスト ユーザーのようにフロー（クリック、スクロール、フィルター、ナビゲーション）を記録。技術的なスクリプト不要。 プロダクトマネージャーやQAチームが開発者の助けなしにユーザーフローをテスト
6. ステークホルダー向けレポート セッション再生、視覚チャート、PDFエクスポートを含み、ビジネス・非技術者ユーザーに適する。 VP、プロダクトオーナー、クライアントと結果を共有
7. 動的コンテンツの検証 すべてのUI変更、遅延レンダリング、モーダルウィンドウ、AJAXベースのフィルターをキャプチャ。 フィルターとレイジーロードを備えたホテルリスティングサイトのテスト

 

記事のまとめ

LoadViewは動的なウェブアプリケーションに最適化された、モダンなブラウザベースのテスト体験を提供します。これにより：

  • テスト実行中のリアルタイムでライブメトリクスとパフォーマンスグラフにアクセス可能
  • ビデオ再生、スクリーンショット、完全なインタラクション再生による深いセッションレベルの洞察
  • 簡単なrリポートの共有はクラウドダッシュボード、PDF、およびExcelエクスポートを通じて行われます
  • 組み込みのブラウザメトリクス（FCP、LCP、TTI）、地理的内訳、自動エラー分類によるデバッグの簡素化

LoadRunnerは、プロトコルベースのエンタープライズシステムには堅牢ですが、以下を提供します：

  • 限定的なUIの可視性と組み込みのフロントエンドメトリクスなし
  • リアルタイムダッシュボードやセッションリプレイなしの実行後レポート
  • 報告機能はしばしばサードパーティの統合（例：ALM、InfluxDB、Grafana）に依存
  • ブラウザシミュレーションにはTrueClientスクリプトが必要で、テストの複雑さとシステム負荷が増加