Visão geral:
Pedimos desculpas pelas interrupções relacionadas ao webhook de conclusões que seus usuários enfrentaram. Veja abaixo um resumo do que aconteceu, a causa e o que estamos fazendo para resolver e evitar problemas semelhantes no futuro.
O que aconteceu:
-
Problema identificado (fevereiro de 2025): os webhooks foram desativados temporariamente para carregar registros com eficiência por meio da API de aprendizagem necessária do CSOD. Os webhooks foram reiniciados após o carregamento bem‑sucedido. No entanto, foi detectado que o CSOD retém um backlog de 72 horas de tráfego de webhook. Quando a conexão foi restaurada, o CSOD tentou reenviar todos os eventos de webhook dos três dias anteriores, resultando em um influxo de dados e atrasos no processamento de novas conclusões em tempo real.
Correções implementadas (fevereiro de 2025): em colaboração com o CSOD, as seguintes medidas foram tomadas:
-
Otimização do limite do webhook do lado da Degreed para acelerar o processamento.
-
Ajuste do período de retenção do webhook em colaboração com o CSOD para evitar reenvios em lote no futuro de eventos de webhook desatualizados.
-
Webhooks suspensos temporariamente durante os ajustes no sistema para garantir uma transição tranquila para o processamento em tempo real.
Impacto nos usuários: como resultado do backlog, os usuários enfrentaram atrasos nos dados de conclusão refletidos no sistema. Embora nenhum dado tenha sido perdido, houve atraso nas atualizações de conclusão em tempo real.
-
Causa:
A Degreed e o CSOD identificaram que os dados do webhook do CSOD incluíam um buffer de retenção de 72 horas, o que resultou em um influxo inesperado de registros de conclusão antigos quando a conexão do webhook foi restabelecida. Isso gerou um atraso significativo no processamento em tempo real, pois o sistema funcionava com o backlog.
Esforços de mitigação:
-
Clientes com dependências de webhook em tempo real foram priorizados para garantir o mínimo de impacto.
-
Aumento do limite para processar o backlog com mais eficiência daqui para frente.
-
As configurações de retenção de webhook foram modificadas para evitar problemas semelhantes em futuras implementações em larga escala.
Próximas etapas:
-
Melhoria da comunicação: no futuro, notificaremos os clientes de forma proativa sobre eventuais alterações que possam afetar o processamento de webhooks, inclusive práticas recomendadas para implementações em larga escala.
-
Otimização do sistema: as equipes de engenharia da Degreed estão trabalhando ativamente em melhorias para otimizar o tratamento do tráfego de webhook para clientes de alto volume.
-
Suporte e alinhamento de clientes: nossa equipe está trabalhando em estreita colaboração com a equipe do CSOD e com os clientes afetados para refinar o uso de webhook e garantir que os dados fluam com eficiência e sem atrasos desnecessários.
Sentimos muito por eventuais confusões e inconvenientes causados por esse problema e agradecemos sua paciência enquanto trabalhamos para encontrar uma solução. Em caso de dúvidas, entre em contato.