Quais São As Semelhanças

Entendendo a análise de semelhanças na prática

Muita gente chega perguntando quais são as semelhanças entre dois conjuntos de dados, sistemas ou modelos e espera uma resposta mágica. A realidade é mais simples e mais chata do que isso. Semelhança é uma medida matemática, nada mais. Você escolhe uma métrica, aplica nos seus vetores ou estruturas, e pronto. O problema é que a escolha da métrica muda completamente o resultado, e a maioria das pessoas não considera isso. Já vi gente usar distância euclidiana para comparar textos e ficar chocado quando os resultados não faziam sentido. Cosine similarity resolve isso, mas só se os dados estiverem normalizados. Senão, você está comparando magnitude, não direção. É um erro clássico que custa horas de debug.

quais são as semelhanças: métricas que realmente funcionam

Vamos ao que importa. As métricas de similaridade mais usadas no dia a dia são: Cosine Similarity – Mede o ângulo entre dois vetores. Ideal para textos, embeddings e dados de alta dimensão. Retorna valor entre -1 e 1. Funciona bem com TF-IDF e modelos de linguagem. O custo computacional é baixo, mas você precisa normalizar os vetores primeiro ou o resultado fica distorcido pela magnitude.

Jaccard Similarity – Útil para conjuntos discretos. Divide o tamanho da interseção pelo tamanho da união. Boa para comparar tags, categorias, ou qualquer coisa que seja representação setorial. Não funciona bem com dados contínuos sem discretização prévia. Distância Euclidiana – A clássica. Funciona bem em espaços de baixa dimensionalidade com dados normalizados. Em alta dimensão, o problema da maldição da dimensionalidade faz com que todas as distâncias converjam para o mesmo valor, o que torna a métrica inútil. Evite para embeddings de modelos como BERT.

Correlação de Pearson – Mede relação linear entre variáveis. Boa para séries temporais e dados numéricos contínuos. Sensível a outliers. Um único ponto extremo pode destruir a correlação inteira. DTW (Dynamic Time Warping) – Para séries temporais com variações de velocidade ou tempo. Mais pesado computacionalmente, O(n*m) no pior caso. Vale a pena quando os alignments fixos falham, como em sinais de sensores ou áudio.

Como aplicar na prática

Se você tem dois arrays numéricos e quer similaridade de cosseno, em Python com numpy é uma linha: from sklearn.metrics.pairwise import cosine_similarity

cosine_similarity([vetor_a], [vetor_b]) Para Jaccard com sets, é ainda mais direto:

len(set_a & set_b) / len(set_a | set_b) O problema é que na maioria dos casos reais os dados não vêm prontos. Você precisa limpar, normalizar, decidir como representar as coisas. Aqui entra a maior parte do trabalho e também a maior fonte de erro.

No meu caso, estava trabalhando com similaridade entre perfis de usuários baseada em comportamento de navegação. Usei cosine similarity em vetores TF-IDF construídos a partir de URLs visitadas. Os resultados pareciam bons à primeira vista, mas ao fazer validação manual percebi que dois usuários com históricos completamente diferentes tinham similaridade de 0,89. O problema era que ambos tinham visitado páginas do Google e da Wikipedia, que aparecem em quase todo histórico. Páginas de alto tráfego dominavam o TF-IDF e mascaram as diferenças reais. A solução foi aplicar idf mais agressivo e adicionar um filtro que removía termos com frequência document acima de 95%. Isso cortou a similaridade daqueles paresProblemáticos de 0,89 para algo na faixa de 0,23, que fazia muito mais sentido. Gastei dois dias só descobrindo isso.

Pegadinhas que ninguém conta

Normalização é obrigatória antes de qualquer métrica que dependa de magnitude. Sem isso, você está comparando coisa errada. Scikit-learn tem StandardScaler e Normalizer. Use um deles sempre, sem exceção. Dimensionalidade importa muito. Se você tem mais de 1000 features, considere PCA ou truncar para as top k variáveis. Similaridade em espaços ultra-dimensionais perde significado estatístico. Já vi pipelines inteiros quebrarem por não reduzirem dimensionalidade antes de calcular distâncias.

Outro ponto: similaridade não é equivalência. Dois vetores podem ser altamente similares em uma métrica e completamente diferentes sob outra. Sempre valide com pelo menos duas métricas diferentes quando o resultado for crítico. Se seus dados são esparsos demais, cosine similarity tende a superestimar similaridades. Nesse caso, considere Jaccard ou até mesmo métricas baseadas em vizinhos mais próximos com threshold em vez de score contínuo.

Não existe métrica universal. A escolha certa depende do tipo de dado, da dimensionalidade, da densidade e do que você considera similar na prática. Teste, valide manualmente um subconjunto, e ajuste a métrica e os pré-processamentos até os resultados baterem com seu julgamento humano.

Quando não usar similaridade tradicional

Se você lida com dados estruturais como grafos ou árvores, métricas de vetor não se aplicam. Aí você precisa de edit distance, tree edit distance, ou métricas específicas para grafos como graph kernel. Tentar forçar dados estruturais em embeddings vetoriais e depois aplicar cosine similarity funciona às vezes, mas geralmente performa pior do que uma métrica nativa. Dados categóricos puros também não se saem bem com as métricas padrão. One-hot encoding aumenta a dimensionalidade sem adicionar informação relevante para similaridade. Neste caso, use Hamming distance ou associe a dados ordinais com métricas apropriadas.

O mais importante é entender o que você quer dizer com "semelhante" antes de escolher qualquer fórmula. A métrica é só a tradução matemática dessa intenção. Se a intenção não está clara, nenhuma métrica vai te salvar.