Сравнение рентабельности инвестиций: инструменты тестирования загрузки облачных технологий и инструментов для тестирования нагрузки на on-Premises

Производительность рентабельности инвестиций

Сегодня бизнес живет и умирает благодаря пользовательскому опыту. Из-за растущей сложности своих услуг и необходимости быстрого развертывания некоторые компании не уделяют времени обеспечению приемлемого времени отклика своих приложений при фактических и будущих моделях нагрузки.

Тем не менее, некоторые ИТ-руководители извлекли уроки из предыдущих ошибок и успешно интегрировали проектирование производительности в своей цепочке DevOps. Они начинаются на ранних стадиях проектирования и разработки с анализа производительности, автоматизируют эти задачи, рассматривают результаты и устраняют горячие точки на этапе строительства. В этой статье посяг в этом случае можно рассчитать отдачу от инвестиций в производительность на территории и облачной платформы тестирования нагрузки по требованию.

Затраты на тестирование производительности

Ответственные приложения, которые являются надежными и обеспечивают приемлемое время отклика в ситуациях скачка нагрузки, не являются бесплатными. Все было бы легко, если бы была функция производительности, которую можно было бы просто купить, интегрировать и внезапно устранить все ваши точки доступа. Тем не менее, реальность такова, что нет постоянного лечения плохой производительности. Организации должны нанимать инженеров, покупать инструменты и настраивать платформы тестирования производительности в своей инфраструктуре, чтобы постоянно решать проблемы с производительностью.

Профессиональные компании полагаются на наборы для тестирования коммерческой нагрузки. Они платят первоначальный лицензионный сбор и годовой сбор за техническое обслуживание, чтобы получить необходимую поддержку и обновления продукта. Загрузка требует мощных и эксклюзивных нагрузочных машин, что приводит к дополнительным ежегодным затратам. В последние годы на рынке появились платформы для тестирования нагрузки на базе SaaS. Компании поняли, что эти продукты SaaS дешевле и проще для нагрузочного тестирования, потому что нет первоначальных сборов, и они взимаются только за фактическое использование этих платформ по запросу.

Тем не менее, в пространстве для тестирования производительности есть один драйвер затрат, который часто игнорируется. Инженеры будут выявлять длительные запросы, приложения, которые дают сбой, утечки памяти и другие дефекты. Анализ, внедрение исправлений и развертывание улучшенного кода потребует дополнительной работы для вашей команды инженеров. Исследования доказали, что чем позже обнаруживаются проблемы, тем дороже их исправить. Дефект, который происходит в производстве приводит к фактору 1000 процентов больше усилий по исправлению, чем на стадиях развития.

Экономия тестирования производительности

Репутационные выгоды, повышенное доверие к ИТ и более доступное время для других задач являются преимуществами нагрузочных и производительности тестов, но трудно рассчитать их истинное финансовое воздействие. Таким образом, мы не будем учитывать эти факторы при расчете отдачи от инвестиций в производительность.

Дополнительные преимущества включают увеличение выручки и прибыли из-за проблем с производительностью , которые могут быть обнаружены заранее. Amazon, например, продемонстрировал, что улучшение скорости на 100 мс увеличило их продажи на 1 процент. Когда пользователи испытывают медленную загрузку веб-страниц, они часто отказываются и тратят свои деньги на веб-сайте конкурента. Тесты нагрузки и производительности помогают компаниям фиксировать такие замедления на ранних стадиях жизненного цикла, защищая свои потоки доходов в Интернете. Эти исправления на этапах подготовки к производству легче внедрить и привести к дополнительной экономии для организации.

Расчет производительности рентабельности инвестиций

Вы когда-нибудь рассчитывали реальные затраты и экономию ваших услуг по тестированию нагрузки и производительности?
Вот как это может выглядеть при сравнении локального решения и решения для нагрузочного тестирования на основе SaaS.

Принять к сведению следующие ключевые цифры в этом примере:

• 1000 одновременных пользователей загрузки тестирования инструмент лицензии
• 120 тестовых казней в год
• 800 пользователей на основе HTTP и 200 реальных пользователей на основе браузера в каждом тестовом запуске
• 58 машин для впрыска груза
• $6000 ежегодных затрат на каждый сервер впрыска нагрузки
• 120 дефектов производительности в год
• На 20% меньше дефектов на производстве из-за тестирования нагрузки
• 2 инженеров производительности зарабатывать $ 60000 в год

Не рассматриваются в этом расчете являются:

• Рост продаж из-за меньшего отказа от ставок
• Усилия по устранению выявленных дефектов производительности
• Дополнительные компенсационные льготы и понесенные расходы двух инженеров по производительности

Рентабельность инвестиций в платформы по загрузке и тестированию производительности on-Premises

Компании развертывают наборы тестирования нагрузки на помещениях на выделенных серверах, размещенных в их центрах обработки данных. Есть некоторые решения с открытым исходным кодом с ограниченными функциями моделирования пользователей на рынке, но профессиональный бизнес, как правило, полагаются на коммерческие платформы. Поставщик этого набора тестирования нагрузки взимает первоначальный лицензионный сбор $ размере $ 300000 и ежегодную плату за техническое обслуживание в размере $ 60000.

Два инженера отвечают за тестирование нагрузки и производительности в этой компании, и они определяют 120 дефектов производительности в год. Компания использует 58 специализированных машин для впрыска нагрузки, что приводит к дополнительным расходам в размере 6000 долларов США в год на одну машину. Что же означает экономию, то дефектов в производстве на 20 процентов меньше. Дальнейшие аспекты, такие, как влияние на доходы или менее переработанную деятельность, не будут рассматриваться в этом сценарии ради простоты.

На диаграмме ниже показано, как расходы, доходы и соответствующая рентабельность инвестиций прогрессирует в течение пяти лет.

Этот расчет показывает, что организация, которая полагается на платформу загрузки и тестирования производительности на территории, по производительность возвращает отрицательную -58% отдачу от своих инвестиций в тестирование нагрузки и производительности через пять лет.

Рентабельность инвестиций платформ saaS по требованию на основе облачной нагрузки и тестирования производительности

Наборы загрузки и тестирования производительности на базе SaaS полностью облачные. Поставщик размещает машины-грузчики и заботится о эксплуатации и обслуживании как программного обеспечения для тестирования нагрузки, так и базовой инфраструктуры. Организации платят только за постоянное хранение результатов тестов и фактическое использование виртуальных пользовательских минут. Из-за меньших усилий по техническому обслуживанию решения на основе SaaS количество голов в команде по тестированию нагрузки и производительности организации может быть сокращено до четырех.

С 20 процентов экономии дефектов на производстве на 20 процентов меньше. Дальнейшие аспекты, такие, как воздействие на доходы, не будут рассматриваться в этом примере ради простоты. На приведенной ниже диаграмме подчеркивается стоимость, экономия и рентабельность инвестиций облачной платформы по загрузке и тестированию производительности по требованию в течение пяти лет.

Этот расчет показывает, что организации, которые полагаются на платформы тестирования нагрузки и производительности на основе SaaS, реализуют 12-процентную отдачу от инвестиций в тестирование производительности.

Сравнение платформ SaaS On-Demand VS On-Premises

Каковы факторы, влияющие на рентабельность инвестиций, и в какой момент набор тестирования нагрузки на помещениях дешевле, чем платформа на основе SaaS?

SaaS-провайдеры тестирования нагрузки взимают плату за виртуальную минуту пользователя. Количество тестовых выполнений сильно влияет на рентабельность инвестиций в решения SaaS. Локально развернутые наборы загрузки и тестирования производительности на местах не имеют этого драйвера затрат, поскольку они имеют статический лицензионный сбор, не зависит от того, сколько тестов они выполняют.

При 120 тестовых выполнений в год, SaaS решения обеспечивают рентабельность инвестиций 12 процентов, в то время как на-предпосылок платформы отстают с -58 процентов рентабельности инвестиций. Если эта компания решит выполнять 600 нагрузочных тестов в год, платформы загрузки и тестирования производительности на основе SaaS достигнут эквивалентной рентабельности инвестиций в решения на местах. Увеличение более 600 тестовых выполнений нагрузки приведет к увеличению рентабельности инвестиций на платформах на базе SaaS.

На приведенной ниже диаграмме показана разработка рентабельности инвестиций в производительность после пяти лет для компаний, которые ежегодно проводят от 120 до 600 нагрузочных тестов.

заключение

Инвестиции в наборы загрузки и тестирования производительности на основе SaaS превосходят платформы на территории в большинстве сценариев.

Рентабельность инвестиций платформ для тестирования нагрузки на основе SaaS уже положительна в первый год, в то время как решения на территории обеспечивают отрицательную рентабельность инвестиций в течение пятилетнего испытательного периода. Одной из основных причин более окупаемости решений на основе SaaS является отсутствие затрат на лицензирование, никаких усилий по техническому обслуживанию и внутренней инфраструктуры.

Решающим фактором является количество тестовых выполнений (или средняя продолжительность теста), поскольку они являются основным драйвером затрат для решений для тестирования нагрузки и производительности на основе SaaS. Если организация решит выполнить в 5 раз больше (или больше) нагрузочных тестов, рентабельность инвестиций как на местах, так и по требованию наборы тестирования нагрузки достигнет того же уровня. Платформы для тестирования облачной нагрузки по требованию являются более экономичным вариантом, если компания выполняет менее 600 нагрузочных тестов в год.