Planos de contingência quando o sistema entra em colapso
Todo mundo já viu acontecer. O banco de dados para, a fila de jobs trava, e aí começa o pânico generalizado nas reuniões às 16h50 de sexta-feira. O problema não é a crise em si, que é rotineira. O problema é a falta de uma resposta padronizada que não dependa de uma reunião de emergência com cinco pessoas.
O que fazer quando surge o cenário que ninguém esperou
A primeira coisa a entender é que que ideia eles têm para resolver o problema varia drasticamente dependendo da camada em que o gargalo aparece. Se for rede, nenhuma otimização de código vai salvar você. Se for I/O de disco, ajustar query SQL é perder tempo. A maioria dos técnicos joga força bruta na direção errada porque não faz o diagnóstico inicial com frieza. No meu caso, tive um servidor de aplicação que começava a responder lentamente a partir das 14h, todo dia, no mesmo horário. O comportamento era consistente o suficiente para parecer suspeito. Investigando, percebi que era um job de manutenção que rodava em paralelo com o tráfego real, disputando os mesmos recursos de disco. A solução não foi aumentar hardware, foi simplesmente realocar o job para as 3h da manhã. Custo zero. Problema resolvido. O interessante é que ninguém tinha notado a sobreposição porque os alertas de CPU estavam configurados para disparar acima de 90%, e o job nunca chegava lá. Ele apenas ocupava iops quando a demanda estava alta.
👉 Clique no botão abaixo para saber mais sobre o assunto!
O que as equipes sérias fazem nesses momentos é ter um playbook escrito, não decorrido. Algo tão simples quanto:
- Passo 1: Identificar a camada afetada. Rede, storage, application layer, ou dados.
- Passo 2: Isolar o sintoma em um dashboard único, não espalhado em cinco ferramentas diferentes.
- Passo 3: Aplicar o workaround documentado antes de tentar diagnóstico profundo.
- Passo 4: Só então entrar em modo investigação se o workaround não resolver.
Isso reduz o tempo médio de resposta de algo em torno de 45 minutos para cerca de 8 minutos na maioria dos cenários. A diferença não está na habilidade técnica do indivíduo, está no fato de que você não gasta meia hora decidindo por onde começar. Outro ponto que os manuais ignoram: fallback manual. Quando a automação falha, ter um processo manual documentado faz toda a diferença. Lembro de uma situação em que um orquestrador de containers reiniciou 47 instâncias em sequência, cada uma com 30 segundos de delay, gerando um pico de demanda que derrubou o banco de dados principal. A solução automática era reiniciar tudo de novo, o que só piorava. O workaround foi desligar o autoscaling, aguardar o resfriamento dos resources, e subir as instâncias uma a uma com um script bash simples. Levou 12 minutos. O automático levaria 40 e ainda poderia não funcionar.
Se você precisa de um recurso para monitorar isso na prática, o Prometheus é gratuito e rodando em menos de 10 minutos com o stack padrão. Ele não resolve seu problema sozinho, mas dá visibilidade suficiente para você aplicar o playbook acima. HáLimitações reais que merecem ser mencionadas: playbook não funciona se sua equipe não treina com ele. Documentação sem simulação é apenas texto. Faça exercícios mensais de rollback e failover, mesmo que pareça perda de tempo. O resultado é que quando o incidente real acontecer, você vai executar o procedimento de forma quase automática, sem entrar em modo de pânico e sem chamar reunião de emergência.
