Сравнение рентабельности инвестиций: инструменты тестирования загрузки облачных технологий и инструментов для тестирования нагрузки на on-Premises

Производительность рентабельности инвестиций

Предприятия сегодня живут и умирают на опыте пользователей. Из-за растущей сложности своих услуг и давления на быстрое развертывание некоторые компании не могут не времени для обеспечения того, чтобы их приложения доставлял приемлемое время отклика при реальных и будущих моделях нагрузки роста.

Тем не менее, некоторые ИТ-лидеры извлекли уроки из предыдущих ошибок и успешно интегрировали разработку производительности в своей цепочке DevOps. Они начинаются на ранних стадиях проектирования и разработки с анализа производительности, автоматизируют эти задачи, рассматривают результаты и устраняют горячие точки на этапе строительства. В этой статье посяг в этом случае можно рассчитать отдачу от инвестиций в производительность на территории и облачной платформы тестирования нагрузки по требованию.

 

Затраты на тестирование производительности

Ответственные приложения, которые являются надежными и обеспечивают приемлемое время отклика в ситуациях скачка нагрузки, не являются бесплатными. Все было бы легко, если бы была функция производительности, которую можно было бы просто купить, интегрировать и внезапно устранить все ваши точки доступа. Тем не менее, реальность такова, что нет постоянного лечения плохой производительности. Организации должны нанимать инженеров, покупать инструменты и устанавливать платформы тестирования производительности в своей инфраструктуре, чтобы постоянно решать проблемы производительности.

Профессиональные компании полагаются на наборы для тестирования коммерческой нагрузки. Они платят первоначальный лицензионный сбор и годовой сбор за техническое обслуживание, чтобы получить необходимую поддержку и обновления продукта. Загрузка требует мощных и эксклюзивных нагрузочных машин, что приводит к дополнительным ежегодным затратам. В последние годы на рынке появились платформы для тестирования нагрузки на базе SaaS. Предприятия поняли, что эти продукты SaaS дешевле и проще для тестирования нагрузки, потому что нет первоначальных сборов, и они взимаются только за фактическое использование этих платформ по требованию.

Тем не менее, в пространстве для тестирования производительности есть один драйвер затрат, который часто игнорируется. Инженеры будут выявлять длительные запросы, приложения, которые сбой, утечки памяти, и другие дефекты. Анализ, реализация исправлений и развертывание улучшенного кода вызовет дополнительную работу для вашей инженерной группы. Исследования доказали, что чем позже обнаруживаются проблемы, тем дороже их исправить. Дефект, который происходит в производстве приводит к фактору 1000 процентов больше усилий по исправлению, чем на стадиях развития.

 

Экономия тестирования производительности

Репутационные выгоды, повышенное доверие к ИТ и более доступное время для других задач являются преимуществами нагрузочных и производительности тестов, но трудно рассчитать их истинное финансовое воздействие. Таким образом, мы не будем учитывать эти факторы при расчете отдачи от инвестиций в производительность.

Дополнительные преимущества включают увеличение доходов и доходов из-за проблем с производительностью, которые могут быть обнаружены заранее. Amazon, например, показал, что повышение скорости на 100 мс увеличило их продажи на 1 процент. Когда пользователи испытывают медленную загрузку веб-страниц, они часто отказываются и тратят свои деньги на веб-сайте конкурента. Тесты нагрузки и производительности помогают компаниям фиксировать такие замедления на ранних стадиях жизненного цикла, защищая свои потоки доходов в Интернете. Эти исправления на предпроизводимых этапах легче реализовать и приводят к дополнительной экономии для организации.

 

Расчет производительности рентабельности инвестиций

Вы когда-нибудь рассчитывали реальные затраты и экономию ваших услуг по тестированию нагрузки и производительности?
Вот как это может выглядеть при сравнении решения для тестирования нагрузки на базе saaS.

Принять к сведению следующие ключевые цифры в этом примере:

  • 1000 одновременных пользователей загрузки тестирования инструмент лицензии
  • 120 тестовых казней в год
  • 800 пользователей на основе HTTP и 200 реальных пользователей на основе браузера в каждом тестовом запуске
  • 58 машин для впрыска груза
  • $6000 ежегодных затрат на каждый сервер впрыска нагрузки
  • 120 дефектов производительности в год
  • На 20% меньше дефектов на производстве из-за тестирования нагрузки
  • 2 инженеров производительности зарабатывать $ 60000 в год

Не рассматриваются в этом расчете являются:

  • Рост продаж из-за меньшего отказа от ставок
  • Усилия по устранению выявленных дефектов производительности
  • Дополнительные компенсационные льготы и понесенные расходы двух инженеров по производительности

Рентабельность инвестиций в платформы по загрузке и тестированию производительности on-Premises

Компании развертывают наборы тестирования нагрузки на помещениях на выделенных серверах, размещенных в их центрах обработки данных. Есть некоторые решения с открытым исходным кодом с ограниченными функциями моделирования пользователей на рынке, но профессиональный бизнес, как правило, полагаются на коммерческие платформы. Поставщик этого набора тестирования нагрузки взимает первоначальный лицензионный сбор $ размере $ 300000 и ежегодную плату за техническое обслуживание в размере $ 60000.

Два инженера отвечают за тестирование нагрузки и производительности в этой компании, и они определяют 120 дефектов производительности в год. Компания использует 58 специализированных машин для впрыска нагрузки, что приводит к дополнительным расходам в размере 6000 долларов США в год на одну машину. Что же означает экономию, то дефектов в производстве на 20 процентов меньше. Дальнейшие аспекты, такие, как влияние на доходы или менее переработанную деятельность, не будут рассматриваться в этом сценарии ради простоты.

На диаграмме ниже показано, как расходы, доходы и соответствующая рентабельность инвестиций прогрессирует в течение пяти лет.

Производительность рентабельности инвестиций

Этот расчет показывает, что организация, которая полагается на платформу загрузки и тестирования производительности на территории, по производительность возвращает отрицательную -58% отдачу от своих инвестиций в тестирование нагрузки и производительности через пять лет.

 

Рентабельность инвестиций платформ saaS по требованию на основе облачной нагрузки и тестирования производительности

Наборы загрузки и тестирования производительности на базе SaaS полностью облачные. Поставщик размещает машины-грузчики и заботится о эксплуатации и обслуживании как программного обеспечения для тестирования нагрузки, так и базовой инфраструктуры. Организации платят только за постоянное хранение результатов тестов и фактическое использование виртуальных пользовательских минут. Из-за меньших усилий по техническому обслуживанию решения на основе SaaS количество голов в команде по тестированию нагрузки и производительности организации может быть сокращено до четырех.

С 20 процентов экономии дефектов на производстве на 20 процентов меньше. Дальнейшие аспекты, такие, как воздействие на доходы, не будут рассматриваться в этом примере ради простоты. На приведенной ниже диаграмме подчеркивается стоимость, экономия и рентабельность инвестиций облачной платформы по загрузке и тестированию производительности по требованию в течение пяти лет.

Производительность ROI1

Этот расчет показывает, что организации, которые полагаются на платформы тестирования нагрузки и производительности на основе SaaS, реализуют 12-процентную отдачу от инвестиций в тестирование производительности.

 

Сравнение платформ SaaS On-Demand VS On-Premises

Каковы факторы, влияющие на рентабельность инвестиций, и в какой момент набор тестирования нагрузки на помещениях дешевле, чем платформа на основе SaaS?

SaaS-провайдеры тестирования нагрузки взимают плату за виртуальную минуту пользователя. Количество тестовых выполнений сильно влияет на рентабельность инвестиций в решения SaaS. Локально развернутые наборы загрузки и тестирования производительности на местах не имеют этого драйвера затрат, поскольку они имеют статический лицензионный сбор, не зависит от того, сколько тестов они выполняют.

При 120 тестовых выполнений в год, SaaS решения обеспечивают рентабельность инвестиций 12 процентов, в то время как на-предпосылок платформы отстают с -58 процентов рентабельности инвестиций. Если эта компания решит выполнять 600 нагрузочных тестов в год, платформы загрузки и тестирования производительности на основе SaaS достигнут эквивалентной рентабельности инвестиций в решения на местах. Увеличение более 600 тестовых выполнений нагрузки приведет к увеличению рентабельности инвестиций на платформах на базе SaaS.

На приведенной ниже диаграмме показана разработка рентабельности инвестиций в производительность после пяти лет для компаний, которые ежегодно проводят от 120 до 600 нагрузочных тестов.

Производительность ROI2

заключение

Инвестиции в наборы загрузки и тестирования производительности на основе SaaS превосходят платформы на территории в большинстве сценариев.

Рентабельность инвестиций платформ для тестирования нагрузки на основе SaaS уже положительна в первый год, в то время как решения на территории обеспечивают отрицательную рентабельность инвестиций в течение пятилетнего испытательного периода. Одной из основных причин более окупаемости решений на основе SaaS является отсутствие затрат на лицензирование, никаких усилий по техническому обслуживанию и внутренней инфраструктуры.

Решающим фактором является количество тестовых выполнений (или средняя продолжительность теста), поскольку они являются основным драйвером затрат для решений для тестирования нагрузки и производительности на основе SaaS. Если организация решит выполнить в 5 раз больше (или больше) нагрузочных тестов, рентабельность инвестиций как на местах, так и по требованию наборы тестирования нагрузки достигнет того же уровня. Платформы для тестирования облачной нагрузки по требованию являются более экономичным вариантом, если компания выполняет менее 600 нагрузочных тестов в год.