Qué sucedió
El 23 de junio de 2026, alrededor de la 1:15 p. m. UTC, los sistemas de monitoreo interno detectaron una interrupción del servicio en la plataforma de Degreed en EE. UU. Durante el incidente, algunos usuarios no pudieron iniciar sesión y es posible que hayan notado un rendimiento reducido de la aplicación.
La investigación determinó que la plataforma no pudo escalar de forma automática durante un período de mayor demanda debido a una restricción inesperada de cuota de Azure App Service. El entorno de producción se escalaba con normalidad hasta ese momento y Degreed no había realizado cambios en la infraestructura ni en la aplicación que pudieran afectar el comportamiento de escalado.
Dado que la plataforma no pudo escalar como se esperaba, los servidores de aplicaciones web se sobrecargaron. Esto generó un mayor uso de conexiones a la base de datos, un mayor uso de CPU y un rendimiento reducido de la aplicación, incluidas fallas de inicio de sesión.
Resolución
Para restaurar el servicio, tomamos las siguientes medidas:
- Se actualizó el plan de Azure App Service a un SKU diferente.
- Se confirmó que el escalado manual y automático funcionaban correctamente.
- Se realizó el mantenimiento de la base de datos para reducir la carga durante el incidente.
Estas acciones estabilizaron el entorno y restauraron por completo el inicio de sesión para todos los usuarios a las 5:10 p. m. UTC.
Como precaución adicional, también liberamos cuota de Azure App Service al cerrar varios App Services que no son de producción. Esto reservó capacidad adicional para el entorno de producción mientras se completan las acciones correctivas a largo plazo.
Próximos pasos
Tenemos un caso de soporte activo con Microsoft, y Microsoft investiga de su lado los motivos de esta restricción inesperada de cuota de Azure App Service. Esto debería ayudar a evitar problemas similares en el futuro. Paralelamente, Degreed continúa con su migración planificada de Azure App Services a Azure Kubernetes Service (AKS). Esta migración proporcionará un mayor control sobre el escalamiento y la administración de la infraestructura, lo que mejorará aún más la resiliencia de la plataforma.