O que a SEC Reg SCI espera da sua capacidade e teste de estresse

De acordo com a Reg SCI, evidências de capacidade e testes de estresse fazem parte da revisão anual SCI.

Para equipes de conformidade e sistemas em bolsas dos EUA, agências de compensação e outras infraestruturas de mercado cobertas pela Regulation SCI.

A Regulation Systems Compliance and Integrity (Reg SCI) da SEC rege a tecnologia central da infraestrutura do mercado dos EUA desde sua data de conformidade em 3 de novembro de 2015. Ela exige que as entidades que operam a infraestrutura do mercado mantenham seus sistemas capazes, resilientes e disponíveis, e que comprovem isso. Testes de capacidade e estresse estão no centro dessa obrigação.

A Regra 1001(a) é a âncora. Ela requer políticas e procedimentos escritos razoavelmente projetados para assegurar que os sistemas SCI tenham capacidade adequada, integridade, resiliência, disponibilidade e segurança. A Regra 1001(a)(2) então especifica o que essas políticas devem cobrir, incluindo planejamento de capacidade atual e futura e testes periódicos de estresse de capacidade para confirmar que os sistemas podem processar transações de forma precisa, oportuna e eficiente.

A maior parte da cobertura online de Reg SCI é escrita por escritórios de advocacia e lê como um resumo de conformidade. Este artigo aborda o lado da engenharia que um resumo ignora: qual evidência de capacidade e testes de estresse uma revisão SCI espera, e como produzi-la com uma ferramenta feita para o trabalho. LoadView é uma plataforma baseada em nuvem para testes de carga e estresse, e as seções abaixo mapeiam cada item que um revisor SCI busca para a capacidade do LoadView que o gera.

O Que Este Guia Cobre

1. Para Quem a Regulation SCI se Aplica
2. Onde Testes de Capacidade e Estresse se Encaixam na Reg SCI
3. A Evidência Que Uma Revisão SCI Espera
4. Como LoadView Suporta Testes de Capacidade e Estresse do Reg SCI
5. Por Que Testes Subdimensionados Ou Apenas De Protocolo Não Satisfazem Um Revisor
6. Como Produzir Evidências de Testes Prontas Para Reg SCI
7. Com Que Frequência Executar Testes de Capacidade e Estresse
8. O Que Reg SCI Exige Que Você Relate
9. Por Quanto Tempo Manter Os Registros
10. Conclusão
11. Perguntas Frequentes

Para Quem a Regulation SCI se Aplica

A Reg SCI não se aplica a todos os participantes do mercado. Aplica-se a “entidades SCI”, um conjunto definido que opera sistemas dos quais o mercado como um todo depende:

• Organizações autorreguladoras, incluindo bolsas nacionais de valores, agências de compensação registradas, FINRA e MSRB.
• Sistemas alternativos de negociação (ATS) SCI, ou seja, ATS maiores que ultrapassam os limites de volume em ações NMS ou não NMS.
• Processadores de planos e certas agências de compensação isentas.

As obrigações escalam conforme a centralidade do sistema. A Regra 1000 divide os sistemas em “sistemas SCI” e o subconjunto mais restrito de “sistemas SCI críticos”, com os requisitos mais rigorosos para os sistemas cuja falha causaria maior perturbação ao mercado. Em 2023, a SEC propôs emendas para ampliar o conjunto de entidades cobertas, então uma empresa perto do limite atual deve acompanhar essa proposta em vez de assumir que fica fora do escopo.

Onde Testes de Capacidade e Estresse se Encaixam na Reg SCI

Três partes da regra impulsionam o trabalho de testes, reforçando-se mutuamente:

• Regra 1001(a): capacidade e resiliência. As políticas devem garantir que os sistemas SCI tenham capacidade adequada, incluindo planejamento de capacidade atual e futuro e testes periódicos de estresse de capacidade. Esta é a base direta para testes de carga e estresse.
• Regra 1003(b): a revisão anual SCI. Cada entidade SCI realiza uma revisão de sua conformidade com a Reg SCI pelo menos uma vez por ano civil, conduzida por pessoal objetivo e qualificado, abrangendo testes de penetração dos sistemas e avaliação de controles. Sua evidência de testes de capacidade faz parte do que essa revisão examina.
• Regra 1004: testes de continuidade de negócios e recuperação de desastres. Entidades SCI testam seus planos BC/DR, incluindo participação de membros ou participantes designados, pelo menos uma vez a cada 12 meses.

Para um motor de correspondência de bolsa, um sistema de compensação ou um feed de dados de mercado, “capacidade adequada” não é um número estático. As taxas de mensagens sobem em dias voláteis, os volumes de opções disparam perto dos vencimentos, e um único evento de notícia pode levar o tráfego de ordens bem além de uma sessão normal. A Reg SCI espera que a entidade SCI planeje essa margem e baseie seu planejamento de capacidade em limites medidos, não em descobrir o teto durante uma alta ao vivo.

A Evidência Que Uma Revisão SCI Espera

Uma revisão SCI trabalha com artefatos. Ao examinar capacidade e resiliência, espere que procure registros como estes:

A primeira linha é onde os programas perdem mais terreno. Sem SLAs de desempenho documentados, um teste de estresse não tem uma linha de aprovação/reprovação, e um revisor vê um gráfico sem padrão por trás. Escreva as metas primeiro: taxa de mensagens máxima por sistema, tetos de latência nessa taxa e o limite de taxa de erro que conta como falha.

As linhas dois e três tratam de tempo e severidade. Testes de estresse antes de uma mudança importante mostram que a capacidade é verificada antes de o mercado depender dela, e ultrapassar picos projetados transforma o ponto de ruptura em um número que você registra em vez de uma surpresa numa abertura volátil. As linhas quatro a sete são o registro contínuo: relatórios datados, planejamento de capacidade atual e futuro, o histórico de correção e reteste quando um revisor pergunta “o que você fez a respeito”, e uma cadência que acompanha o crescimento dos volumes.

Como LoadView Suporta Testes de Capacidade e Estresse do Reg SCI

Cada linha dessa lista corresponde a algo que o LoadView faz diretamente. A tabela emparelha o artefato solicitado pelo revisor com a capacidade do LoadView que o gera.

Os sistemas SCI abrangem dois níveis, e o LoadView cobre ambos. Para gateways de entrada de ordens, feeds de dados de mercado e interfaces de compensação, testes de carga API impulsionam os endpoints de serviço em taxa. Para os sistemas web que uma entidade SCI e seus participantes operam (portais de membros, dashboards de emissor e participante, sites de status e relatórios), testes de carga em navegador real medem o que um usuário realmente experimenta. E testes de carga de alta concorrência são o que coloca taxas de mensagens em escala de bolsa em qualquer nível.

Por Que Testes Subdimensionados Ou Apenas De Protocolo Não Satisfazem Um Revisor

Dois atalhos de teste enfraquecem a evidência que uma revisão SCI está projetada para inspecionar.

O primeiro é testar abaixo dos picos realistas. Um teste de capacidade que atinge próximo à média de uma sessão diz pouco sobre uma abertura volátil ou um pico em dia de vencimento. A Reg SCI exige capacidade que abranja o volume atual e futuro, portanto o teste precisa alcançar o pico projetado e além, que é onde testes de concorrência de transações em taxa produzem evidência confiável para o revisor.

O segundo é medir apenas a origem. Para os sistemas de frente web em escopo, um teste somente de protocolo que envia requisições HTTP brutas relata throughput, não o que um membro vê. Ele ignora o JavaScript, o redirecionamento de autenticação e a tela renderizada. Testes em navegador real executam o fluxo em instâncias reais de Chromium, então os tempos de resposta no relatório são os que um participante real veria sob carga—o número que importa quando a questão é se as pessoas conseguem continuar trabalhando durante um pico.

Uma ferramenta que reporta “um milhão de mensagens por segundo” informa ao revisor sobre throughput bruto. Sozinha, não mostra se o motor de correspondência manteve seu teto de latência ou se o portal do membro permaneceu utilizável. A evidência deve medir o que a regra exige.

Testes a nível de protocolo medem o endpoint; testes em navegador real medem o fluxo para o membro sob carga.

Como Produzir Evidências de Testes Prontas Para Reg SCI

Você não precisa de uma nova categoria de ferramenta para satisfazer a obrigação de capacidade. Precisa de testes que mapeiem para a lista de evidências e um registro que possa ser entregue a um revisor. Aqui está a sequência no LoadView:

1. Escreva requisitos de capacidade e desempenho por sistema. Defina taxa máxima de mensagens, tetos de latência e um limite de taxa de erro para cada sistema SCI, obtenha aprovação e insira como limites de aprovação/reprovação para que os resultados se autoavaliem.
2. Construa o teste para corresponder à interface real. Impulsione endpoints de ordens e dados de mercado com testes de carga de aplicações web e testes API, e faça script nos portais voltados ao membro com o gravador EveryStep para que a camada web seja testada da forma como um participante a usa.
3. Teste até o pico projetado, depois além. Configure tipos de curvas de carga para manter no pico projetado para o teste de capacidade, depois uma curva escalonada além dele para o teste de estresse, cobrindo tanto “podemos lidar com o dia” quanto “onde quebramos”.
4. Injete carga das regiões que você atende. Execute de múltiplas zonas de injeção de carga geo-distribuídas nos EUA para que a latência seja medida onde os membros realmente se conectam.
5. Guarde o relatório. Exporte os relatórios de teste de desempenho com percentis, throughput, taxas de erro, perfil de carga e carimbo de data/hora, e arquive-os para a revisão SCI. Use os mesmos relatórios para identificar gargalos de desempenho quando uma execução não atingir o critério.
6. Refaça testes em uma agenda, após mudanças e para BC/DR. Repita testes de estresse de capacidade após grandes mudanças nos sistemas e conforme as taxas de mensagens crescem, e integre-os ao seu pipeline CI/CD. Combine o trabalho de carga com testes de recuperação de desastres para que o exercício da Regra 1004 seja realizado contra um sistema que você já testou contra carga.

Como o LoadView é totalmente hospedado na nuvem, não há infraestrutura de geração de carga para configurar ou defender perante um revisor, e os artefatos coincidem com o que uma revisão SCI examina, na ordem em que o faz.

Com Que Frequência Executar Testes de Capacidade e Estresse

A Reg SCI fixa algumas cadências e deixa outras para julgamento baseado em risco. Os itens anuais são definidos pela regra; o ritmo dos testes de capacidade é você quem define dentro do padrão “periódico” usado pela regra.

A palavra da regra para testes de capacidade é “periódico”, não um intervalo fixo, assim a resposta que um revisor aceita é aquela suportada pela sua própria avaliação de risco e que seus registros mostram que você seguiu. Na prática, muitas entidades realizam testes de estresse de capacidade pelo menos anualmente para coincidir com a revisão SCI, com mais frequência para sistemas com taxas de mensagens voláteis ou em rápido crescimento, e sempre antes de uma mudança material ou um evento de pico conhecido, como um rebalanceamento de índice ou uma grande IPO. Um revisor se interessa menos por um intervalo específico e mais por saber se a cadência corresponde ao risco e se você a manteve.

O Que Reg SCI Exige Que Você Relate

A evidência de teste não fica guardada numa gaveta. Várias obrigações da Reg SCI a transformam em algo a registrar na SEC ou compartilhar com os membros.

Eventos SCI no Formulário SCI

Uma interrupção causada por capacidade é uma “interrupção dos sistemas”, um dos três tipos de evento SCI junto com questões de conformidade de sistemas e intrusões nos sistemas. Sob a Regra 1002, assim que o pessoal responsável pela SCI tem base razoável para concluir que um evento SCI ocorreu, a sequência é definida: notificação rápida à SEC, notificação escrita no Formulário SCI dentro de 24 horas, atualizações até o evento ser resolvido e um relatório final após a resolução e o fechamento da investigação. Eventos sem impacto ou de impacto mínimo são reportados trimestralmente, dentro de 30 dias do final do trimestre, e a Regra 1002(c) também exige compartilhamento rápido de informações sobre eventos maiores com membros ou participantes afetados.

Testes de capacidade atuam em ambos os lados disso. Reduzem as chances de uma interrupção reportável, e quando ela ocorre, seu histórico de testes faz parte do registro da causa raiz do relatório final.

Mudanças Materiais Trimestrais nos Sistemas

Dentro de 30 dias após cada trimestre, uma entidade SCI arquiva um relatório descrevendo mudanças materiais de sistemas concluídas, em andamento e planejadas (Regra 1003(a)). O teste de capacidade que você faz em cada mudança é a evidência de que foi verificada antes de ser liberada.

O Relatório Anual da Revisão SCI

A revisão SCI vai para a alta administração primeiro, e a entidade então envia o relatório à SEC, com qualquer resposta da gestão, dentro de 60 dias após essa submissão (Regra 1003(b)). Seus relatórios de testes de capacidade e estresse estão entre os artefatos nos quais a revisão se baseia.

Por Quanto Tempo Manter Os Registros

Um relatório de teste só é útil como evidência se ainda existir quando um revisor o requerer. A Regra 1005 define o piso de retenção.

Entidades SCI fazem, mantêm e preservam os registros que mostram sua conformidade com a Reg SCI. Para SROs SCI, a Regra 1005 vincula isso à regra existente de manutenção de registros das SROs (Regra 17a-1); para entidades SCI que não são SROs, estabelece o requisito diretamente. De qualquer forma, o padrão é preservar os registros por pelo menos cinco anos, com os primeiros dois anos em local de fácil acesso.

Para trabalho de capacidade, isso significa guardar mais do que apenas o resultado de aprovação ou reprovação:

• Relatórios de desempenho datados, com tempos de resposta, throughput, taxas de erro e o perfil de carga que os produziu.
• Requisitos de capacidade e desempenho contra os quais cada teste foi avaliado.
• Documentos de planejamento de capacidade e pressupostos de crescimento por trás deles.
• Histórico de remediação quando um teste encontrou um gargalo: o que mudou e o resultado do reteste.
• Arquivos relacionados do Formulário SCI e dos próprios relatórios de revisão SCI.

Manter configurações e resultados de testes em um só lugar, exportáveis sob demanda, é o que transforma uma regra de retenção de cinco anos de uma correria em uma consulta rápida. O LoadView armazena resultados de testes concluídos e exporta o relatório de cada execução, então o artefato que você arquiva é o mesmo que pode recuperar dois, três ou cinco anos depois.

Veja como o LoadView produz a evidência de testes de capacidade e estresse que uma revisão SCI requer. Agende uma demonstração do LoadView para dimensionar um teste para suas taxas máximas de mensagens e exportar os relatórios que seus revisores solicitarão.

Conclusão

A Reg SCI não lhe entrega uma lista de verificação de testes, mas a Regra 1001(a)(2) coloca o planejamento de capacidade e testes periódicos de estresse de capacidade por escrito, e a revisão anual SCI inspeciona o resultado. Os sistemas que importam são os que o mercado depende, e o padrão é se eles processam transações com exatidão e dentro do prazo sob volume real.

Defina metas de capacidade e latência, teste até o pico projetado e além nos níveis de API e web, registre relatórios datados e refaça testes conforme as taxas de mensagens crescem. O LoadView gera cada um desses artefatos a partir de testes que você desejaria executar de qualquer forma, então uma revisão SCI do seu trabalho de capacidade torna-se uma questão de entregar registros que você já mantém.

Perguntas Frequentes