Contem E Não Contem

O guia prático que ninguém te conta sobre seleção e exclusão de dados

Trabalho com processamento de dados há mais de dez anos. No começo, achava que o difícil era coletar informações. Foi só começar a lidar com datasets reais que percebi o problema: saber o que contem e não contem é muito mais complexo do que parece. A maior parte dos erros em análise não vem da má interpretação — vem de incluir algo que não deveria estar lá, ou excluir um registro que fazia diferença.

Contem e não contem na prática

O conceito é simples quando explicado, mas a execução exige disciplina. Você tem um conjunto de dados e precisa separar o que entra da amostra do que sai. Registros duplicados, valores nulos, entradas com campos incompletos — tudo isso complica. Eu já perdi duas semanas refazendo um relatório porque alguém tinha adicionado automaticamente linhas com data vazia. O sistema tratava como válido, mas na hora da consolidação os totais não fechavam. A solução foi criar uma regra rígida: qualquer campo obrigatório em branco é excluído antes mesmo de rodar a query. O que eu vejo muita gente fazer errado é confiar em regras genéricas. Dizer "tudo que tem valor numérico conta" funciona em 80% dos casos, mas os 20% restantes são onde estão os bugs. Tem registro com número negativo que é legítimo, tem outro com zero que também é válido, e tem ainda aquele outlier de verdade que é um erro de digitação mas não pode ser descartado só porque parece fora do padrão.

Método de validação em três camadas

Depois de testar várias abordagens, cheguei num processo que funciona consistentemente. A primeira camada é a limpeza básica — remover duplicatas óbvias, padronizar formatos de data, converter textos para caixa alta ou minúscula conforme o caso. Isso resolve metade dos problemas sem esforço. A segunda camada é a regra de negócio. Aqui você define com base no que o dado representa, não no formato. Um CPF com traço ou sem traço é a mesma pessoa, então ambos contam. Mas um CNPJ com apenas seis dígitos digitados errado não deve ser aceito, mesmo que o sistema permita o cadastro. Eu costumo usar expressões regulares específicas para cada tipo de identificador, e isso economiza horas de depuração posterior.

A terceira camada é a revisão humana amostral. Nenhum algoritmo captura tudo. Eu pego cinco por cento dos registros excluídos e reviso manualmente. Se achar um padrão de erro sistemático, volto na segunda camada e ajusto a regra. Esse ciclo reverso é o que diferencia quem só roda script de quem realmente entende o dado.

Vantagens e limitações reais

O método funciona bem para datasets entre mil e cem mil registros. Acima disso, a terceira camada fica inviável sem automação avançada. Abaixo de mil, às vezes é mais rápido revisar tudo manualmente do que montar o pipeline. Não tenho vergonha de admitir isso — já gastei tempo criando filtros sofisticados para listas de dez itens que eu poderia ter checado em dois minutos. O principal gargalo é a definição das regras de negócio. Elas mudam conforme o projeto, e você passa muito tempo justificando por que determinado critério faz sentido. Colegas de outras áreas podem questionar porque a regra parece arbitrária, mas ela não é — é o resultado de observar erros reais que aconteceram antes. Se você não tem histórico de problemas, o melhor é conversar com quem nasceu na operação e mapear onde as falhas acontecem no dia a dia.

Alternativas quando o método tradicional falha

Tem cenários onde a triagem manual não escala. Quando você lida com fluxos contínuos de dados, como transações de cartão ou cliques em site, não dá para revisar amostras depois. Nesses casos, a abordagem muda completamente. Você precisa de regras deterministicas que rodem em tempo real, com fallback para detecção de anomalias. Uma alternativa interessante é o uso de aprendizado de máquina não supervisionado para identificar padrões incomuns. O algoritmo não decide o que conta ou não — ele sinaliza o que parece diferente da maioria. Aí você, como humano, analisa os casos sinalizados e decide se são ruído ou informação válida. É mais trabalho no início, mas o retorno compensa depois de calibrado.

Outra opção, menos glamourosa mas eficaz, é a validação cruzada com fontes externas. Se você tem o mesmo registro em dois sistemas diferentes e eles concordam, a chance de erro é menor. Discordam — aí entra a investigação. Eu já usei essa técnica para confirmar endereços de clientes e reduzir em trinta por cento as taxas de devolução de produtos.

O erro mais comum que eu vejo acontecer

Pessoas aplicam a mesma regra de filtragem em datasets diferentes como se fossem idênticos. Dados cadastrais têm exigências distintas de dados transacionais. Um campo que é irrelevante em uma lista pode ser crítico em outra. O jeito é documentar as regras para cada tipo de dado que você manipula, e revisar periodicamente quando o negócio muda. Se você está começando agora, não tente automatizar tudo de uma vez. Comece com uma regra simples, valide manualmente uma amostra pequena, e só depois amplie. O caminho inverso — automatizar primeiro e validar depois — quase sempre dá trabalho extra. Eu levei três meses para perder esse vício, e ainda vejo colegas cometendo o mesmo erro.