Lo que SEC Reg SCI Espera de Su Prueba de Capacidad y Estrés

Bajo Reg SCI, la evidencia de la capacidad y las pruebas de estrés son parte de la revisión anual SCI.

Para equipos de cumplimiento y sistemas en intercambios de EE. UU., agencias de compensación y otras infraestructuras de mercado cubiertas por Regulation SCI.

La Regulation Systems Compliance and Integrity (Reg SCI) de la SEC ha regido la tecnología central de la infraestructura del mercado de EE. UU. desde su fecha de cumplimiento el 3 de noviembre de 2015. Requiere que las entidades que operan la infraestructura del mercado mantengan sus sistemas capaces, resilientes y disponibles, y que lo demuestren. Las pruebas de capacidad y estrés están en el centro de esta obligación.

La Regla 1001(a) es el ancla. Requiere políticas y procedimientos escritos razonablemente diseñados para asegurar que los sistemas SCI tengan capacidad, integridad, resiliencia, disponibilidad y seguridad adecuadas. La Regla 1001(a)(2) luego enumera lo que deben cubrir estas políticas, incluyendo la planificación actual y futura de capacidad y pruebas periódicas de estrés de capacidad para confirmar que los sistemas puedan procesar transacciones de manera precisa, oportuna y eficiente.

La mayoría de la cobertura en línea sobre Reg SCI está escrita por firmas legales y parece un resumen de cumplimiento. Este artículo cubre el lado de ingeniería que un resumen omite: qué evidencia de capacidad y pruebas de estrés espera una revisión SCI y cómo producirla con una herramienta construida para el trabajo. LoadView es una plataforma basada en la nube para pruebas de carga y estrés, y las secciones siguientes mapean cada elemento que un revisor SCI busca con la capacidad de LoadView que lo genera.

Lo que Cubre Esta Guía

1. A Quién Aplica Regulation SCI
2. Dónde Encajan las Pruebas de Capacidad y Estrés en Reg SCI
3. La Evidencia que Espera una Revisión SCI
4. Cómo LoadView Apoya las Pruebas de Capacidad y Estrés de Reg SCI
5. Por Qué las Pruebas Demasiado Pequeñas o Solo de Protocolo No Satisfacen a un Revisor
6. Cómo Producir Evidencia de Pruebas Listas para Reg SCI
7. Con Qué Frecuencia Ejecutar Pruebas de Capacidad y Estrés
8. Qué Requiere Reportar Reg SCI
9. Por Cuánto Tiempo Conservar los Registros
10. La Conclusión
11. Preguntas Frecuentes

A Quién Aplica Regulation SCI

Reg SCI no se aplica a todos los participantes del mercado. Aplica a “entidades SCI”, un conjunto definido que opera sistemas de los que el mercado en su conjunto depende:

• Organizaciones autorregulatorias, incluyendo intercambios nacionales de valores, agencias de compensación registradas, FINRA y MSRB.
• Sistemas alternativos de comercio SCI, es decir, ATS más grandes que superan los umbrales de volumen en acciones NMS o no NMS.
• Procesadores de planes y ciertas agencias de compensación exentas.

Las obligaciones escalan según cuán central sea un sistema. La Regla 1000 divide los sistemas en “sistemas SCI”, y el subconjunto más estricto de “sistemas críticos SCI”, con los requisitos más exigentes para los sistemas cuyo fallo más interrumpiría el mercado. En 2023 la SEC propuso enmiendas para ampliar el conjunto de entidades cubiertas, por lo que una firma cerca del límite actual debería seguir esa propuesta en lugar de asumir que queda fuera del alcance.

Dónde Encajan las Pruebas de Capacidad y Estrés en Reg SCI

Tres partes de la regla impulsan el trabajo de pruebas y se refuerzan mutuamente:

• Regla 1001(a): capacidad y resiliencia. Las políticas deben asegurar que los sistemas SCI tengan capacidad adecuada, e incluir la planificación actual y futura de capacidad más pruebas periódicas de estrés de capacidad. Este es el hogar directo de las pruebas de carga y estrés.
• Regla 1003(b): la revisión anual SCI. Cada entidad SCI realiza una revisión de su cumplimiento de Reg SCI al menos una vez por año calendario, llevada a cabo por personal objetivo y calificado, cubriendo pruebas de penetración de sistemas y una evaluación de controles. Su evidencia de prueba de capacidad es parte de lo que examina esa revisión.
• Regla 1004: pruebas de continuidad del negocio y recuperación ante desastres. Las entidades SCI prueban sus planes BC/DR, incluyendo la participación de miembros o participantes designados, al menos una vez cada 12 meses.

Para un motor de coincidencias de intercambio, un sistema de compensación o una fuente de datos de mercado, la “capacidad adecuada” no es un número estático. Las tasas de mensajes suben en días volátiles, los volúmenes de opciones aumentan en expiraciones y un solo evento de noticias puede impulsar el tráfico de órdenes mucho más allá de una sesión normal. Reg SCI espera que la entidad SCI planifique ese margen y base su plan de capacidad en límites medidos, no que descubra el límite durante un aumento en vivo.

La Evidencia que Espera una Revisión SCI

Una revisión SCI trabaja con artefactos. Cuando examina capacidad y resiliencia, espere que busque registros como estos:

La primera fila es donde los programas pierden más terreno. Sin SLA de rendimiento documentados, una prueba de estrés no tiene línea de aprobado/reprobado, y un revisor ve un gráfico sin estándar detrás. Escriba los objetivos primero: tasa máxima de mensajes por sistema, techos de latencia a esa tasa y límite de tasa de error que cuenta como falla.

Las filas dos y tres tratan sobre el tiempo y la severidad. Las pruebas de estrés antes de un cambio mayor muestran que la capacidad se verifica antes de que el mercado dependa de ella, y superar los picos proyectados convierte el punto de ruptura en un número registrado en lugar de una sorpresa en una apertura volátil. Las filas cuatro a siete son el registro continuo: informes fechados, planificación actual y futura, el recorrido de corrección y nueva prueba cuando un revisor pregunta “¿qué hicieron al respecto?”, y una cadencia que sigue el ritmo conforme los volúmenes aumentan.

Cómo LoadView Apoya las Pruebas de Capacidad y Estrés de Reg SCI

Cada fila de esa lista se relaciona con algo que LoadView hace directamente. La tabla empareja el artefacto solicitado por un revisor con la capacidad de LoadView que lo produce.

Los sistemas SCI abarcan dos niveles, y LoadView cubre ambos. Para gateways de entrada de órdenes, fuentes de datos de mercado e interfaces de compensación, las pruebas de carga API manejan los endpoints de servicio a tasa. Para los sistemas orientados al usuario con los que una entidad SCI y sus participantes interactúan (portales de miembros, paneles de emisores y participantes, sitios de estado y reporte), las pruebas de carga con navegador real miden la experiencia real del usuario. Y las pruebas de carga de alta concurrencia aplican tasas de mensajes a escala de intercambio en cualquiera de los niveles.

Por Qué las Pruebas Demasiado Pequeñas o Solo de Protocolo No Satisfacen a un Revisor

Dos atajos en las pruebas debilitan la evidencia que una revisión SCI está diseñada para inspeccionar.

El primero es probar por debajo de los picos realistas. Una prueba de capacidad que solo llega a un nivel cercano a la sesión promedio dice poco sobre una apertura volátil o un pico en el día de expiración. Reg SCI solicita capacidad que cubra volúmenes actuales y futuros, así que la prueba debe alcanzar y superar el pico proyectado, que es donde las pruebas de concurrencia de transacciones a tasa generan evidencia confiable para el revisor.

El segundo es medir solo el origen. Para los sistemas orientados al usuario en el alcance, una prueba solo de protocolo que envía solicitudes HTTP en bruto reporta rendimiento, no lo que un miembro ve. Omite el JavaScript, la redirección de autenticación y la pantalla renderizada. Las pruebas con navegador real ejecutan el flujo en instancias reales de Chromium, así que los tiempos de respuesta en el informe son los que un participante real experimentaría bajo carga—el número que importa cuando la pregunta es si las personas pueden seguir trabajando durante un aumento.

Una herramienta que reporta “un millón de mensajes por segundo” informa a un revisor sobre el rendimiento en bruto. No muestra, por sí sola, que el motor de coincidencias se mantuvo dentro de su techo de latencia o que el portal de miembros siguió siendo usable. La evidencia debe medir lo que la regla importa.

Las pruebas a nivel de protocolo miden el endpoint; las pruebas con navegador real miden el flujo de trabajo para el usuario bajo carga.

Cómo Producir Evidencia de Pruebas Listas para Reg SCI

No necesitas una nueva categoría de herramienta para cumplir con la obligación de capacidad. Necesitas pruebas que se alineen con la lista de evidencia y un registro que puedas entregar a un revisor. Aquí está la secuencia en LoadView:

1. Redacta los requerimientos de capacidad y rendimiento por sistema. Establece tasa máxima de mensajes, techos de latencia y límite de tasa de error para cada sistema SCI, consíguelos aprobados e ingrésalos como umbrales de aprobado/reprobado para que los resultados se califiquen automáticamente.
2. Construye la prueba para coincidir con la interfaz real. Controla los endpoints de órdenes y datos de mercado con pruebas de carga para aplicaciones web y pruebas API, y script los portales orientados a miembros con el grabador EveryStep para ejercitar el nivel web como un participante lo usa.
3. Prueba hasta el pico proyectado y más allá. Configura tipos de curvas de carga para mantener el pico proyectado en la prueba de capacidad, luego una curva escalonada más allá de él para la prueba de estrés, cubriendo tanto “si podemos manejar el día” como “dónde rompemos”.
4. Inyecta carga desde las regiones que sirves. Ejecuta desde múltiples zonas de inyección de carga geo-distribuida en EE. UU. para medir latencia donde los miembros realmente se conectan.
5. Conserva el informe. Exporta los informes de pruebas de rendimiento con percentiles, rendimiento, tasas de error, perfil de carga y marca temporal, y archívalos para la revisión SCI. Usa los mismos informes para identificar cuellos de botella de rendimiento cuando una ejecución no alcance la meta.
6. Repite pruebas según cronograma, tras cambios y para BC/DR. Repite pruebas de estrés de capacidad tras cambios importantes en sistemas y conforme crecen las tasas de mensajes, y agrégalas a tu pipeline CI/CD. Combina las pruebas de carga con pruebas de recuperación ante desastres para que el ejercicio de la Regla 1004 se realice sobre un sistema ya probado con carga.

Como LoadView es completamente alojado en la nube, no hay infraestructura de generación de carga que mantener ni que defender ante un revisor, y los artefactos se alinean con lo que una revisión SCI examina, en el orden en que lo examina.

Con Qué Frecuencia Ejecutar Pruebas de Capacidad y Estrés

Reg SCI fija algunos ritmos y deja otros a juicio basado en riesgo. Los ítems anuales están establecidos por regla; el ritmo de las pruebas de capacidad depende de ti dentro del estándar “periódico” que usa la regla.

La palabra de la regla para las pruebas de capacidad es “periódico”, no un intervalo fijo, así que la respuesta que un revisor acepta es una que tu propia evaluación de riesgos respalde y tus registros muestren que seguiste. En la práctica, muchas entidades ejecutan pruebas de estrés de capacidad al menos anualmente para sincronizar con la revisión SCI, más frecuentemente para sistemas con tasas de mensajes crecientes o volátiles, y siempre antes de un cambio material o un evento pico conocido, como un rebalanceo de índice o una gran OPI. A un revisor le interesa menos un intervalo específico que si la cadencia coincide con el riesgo y si la mantuviste.

Qué Requiere Reportar Reg SCI

La evidencia de pruebas no se queda en un cajón. Varias obligaciones de Reg SCI la convierten en algo que debes archivar con la SEC o compartir con los miembros.

Eventos SCI en el Formulario SCI

Una interrupción impulsada por capacidad es una “interrupción de sistemas”, uno de los tres tipos de eventos SCI junto con problemas de cumplimiento y accesos no autorizados. Bajo la Regla 1002, una vez que el personal SCI responsable tiene una base razonable para concluir que ocurrió un evento SCI, la secuencia está establecida: notificación inmediata a la SEC, notificación escrita en Formulario SCI dentro de 24 horas, actualizaciones hasta que se resuelva el evento, y un informe final tras la resolución y cierre de la investigación. Los eventos sin impacto o con impacto mínimo se reportan trimestralmente, dentro de los 30 días calendario tras el fin de trimestre, y la Regla 1002(c) también requiere compartir inmediatamente información sobre eventos mayores con miembros o participantes afectados.

Las pruebas de capacidad trabajan en ambas direcciones. Reducen la probabilidad de una interrupción reportable, y cuando ocurre una, el historial de tus pruebas es parte del registro de causa raíz en que se basa el informe final.

Cambios Materiales en Sistemas Trimestrales

Dentro de los 30 días calendario posteriores a cada trimestre, una entidad SCI presenta un informe que describe cambios materiales completados, en curso y planificados (Regla 1003(a)). La prueba de capacidad que realizas alrededor de cada cambio es la evidencia de que fue verificado antes de implementarse.

El Informe Anual de Revisión SCI

La revisión SCI va primero a la alta dirección, y la entidad luego presenta el informe a la SEC, con cualquier respuesta de la dirección, dentro de los 60 días calendario de esa presentación (Regla 1003(b)). Tus informes de prueba de capacidad y estrés están entre los artefactos en los que se basa la revisión.

Por Cuánto Tiempo Conservar los Registros

Un informe de prueba solo sirve como evidencia si aún existe cuando el revisor lo solicita. La Regla 1005 establece el piso de retención.

Las entidades SCI crean, mantienen y preservan los registros que demuestran su cumplimiento de Reg SCI. Para las SRO SCI, la Regla 1005 la vincula a la regla de conservación de registros SRO existente (Regla 17a-1); para las entidades SCI que no son SRO, establece el requisito directamente. En cualquier caso, el estándar es preservar los registros por al menos cinco años, con los primeros dos años en un lugar de fácil acceso.

Para el trabajo de capacidad, eso significa conservar más que el resultado simple de aprobado o reprobado:

• Los informes de rendimiento fechados, con tiempos de respuesta, rendimiento, tasas de error y el perfil de carga que los generó.
• Los requerimientos de capacidad y rendimiento contra los cuales se calificó cada prueba.
• Documentos de planificación de capacidad y los supuestos de crecimiento que los respaldan.
• El recorrido de remediación cuando una prueba encontró un cuello de botella: qué cambió y el resultado de la re-prueba.
• Los archivos relacionados con Formulario SCI y los mismos informes de revisión SCI.

Mantener configuraciones y resultados de pruebas en un solo lugar, exportables a demanda, es lo que convierte una regla de retención de cinco años de una carrera contrarreloj en una consulta sencilla. LoadView almacena resultados de pruebas completadas y exporta el informe de cada ejecución, así que el artefacto que archivas es el mismo que puedes recuperar dos, tres o cinco años después.

Ve cómo LoadView produce la evidencia de pruebas de capacidad y estrés que pide una revisión SCI. Agenda una demo de LoadView para dimensionar una prueba para tus tasas máximas de mensajes y exportar los informes que tus revisores solicitarán.

La Conclusión

Reg SCI no te entrega una lista de verificación para pruebas, pero la Regla 1001(a)(2) pone la planificación de capacidad y las pruebas periódicas de estrés de capacidad por escrito, y la revisión SCI anual inspecciona el resultado. Los sistemas que importan son los que el mercado necesita, y el estándar es si procesan transacciones de manera precisa y a tiempo bajo volumen real.

Establece objetivos de capacidad y latencia, prueba hasta el pico proyectado y más allá en ambos niveles, API y web, registra informes fechados y reprueba conforme crecen las tasas de mensajes. LoadView genera cada uno de esos artefactos de pruebas que querrías correr de todas formas, por lo que una revisión SCI de tu trabajo de capacidad se convierte en solo entregar los registros que ya mantienes.

Preguntas Frecuentes