Como eu lido com objeto difícil de adivinhar no dia a dia
Acho que a primeira coisa que todo mundo faz é tentar adivinhar. Eu já fiz isso também, gastando uns bons minutos na frente de um prompt que não respondia direito. O problema é que o modelo não está lendo o que você escreveu, está lendo o que ele acredita que você quer dizer. E às vezes ele acredita coisas bem erradas. Quando eu falo em objeto difícil de adivinhar, estou me referindo àquele conceito técnico que aparece em papers de geração de texto quando você tem um cenário onde o modelo simplesmente não consegue mapear a intenção correta a partir do que foi fornecido. Não é um bug. É uma limitação estrutural do treinamento.
O que é objeto difícil de adivinhar
É um objeto,uma entrada,um contexto que foi construído de forma ambígua durante o fine-tuning ou que se encaixa em múltiplas categorias de forma quase indistinguível para o modelo. Ele aparece principalmente em sistemas que usam few-shot prompting ou em prompts extremamente curtos onde há poucas palavras para ancorar a interpretação. Na minha experiência, o problema fica mais visível quando você está trabalhando com classificação de texto em idiomas menos representados nos dados de treinamento. O modelo sabe o que fazer com exemplos clássicos em inglês, mas quando você joga algo como "a resposta pode ser qualquer coisa" em português com poucas palavras, ele começa a alucinar categorias que não existem no prompt.
Eu tenho um caso bem específico que quero compartilhar. Há algum tempo estava construindo um sistema de triagem de mensagens para um cliente, e a entrada era algo como "preciso de ajuda urgente". O modelo classificava como "suporte técnico" em 70% das vezes, mas quando a mensagem vinha com um leve tom emocional, ia parar em "reclamação" ou "emergência médica". A ambiguidade estava no adjetivo "urgente", que não carrega informação suficiente para o modelo decidir sem o contexto completo da mensagem anterior. A solução que eu encontrei foi adicionar um campo de contexto obrigatório antes do prompt principal, tipo uma linha que descrevia o setor do remetente. Isso reduziu os erros de classificação de 70% para cerca de 12%. Não é perfeito, mas é aceitável para produção.
O que menos gente entende é que objeto difícil de adivinhar não é só sobre o modelo ser ruim. Às vezes o problema está no dado de treinamento. Se você treina com exemplos que têm a mesma estrutura mas significados diferentes, o modelo aprende padrões superficiais. Ele acaba confiando mais na forma do que no conteúdo. Também tem o problema dos zero-shot prompts muito curtos. Eu vejo muito desenvolvedor escrever prompts de duas linhas e esperar resultados consistentes. Isso não funciona. Um prompt precisa ter pelo menos três âncoras de contexto para que o modelo não perca o fio da meada. Três âncoras são o mínimo que eu recomendo, e quatro já são confortáveis.
👉 Clique no botão abaixo para saber mais sobre o assunto!
Outra coisa que as pessoas não consideram é que alguns objetos parecem fáceis mas são os mais problemáticos. Palavras como "help", "ajuda", "preciso" são onipresentes e carregam pouca informação discriminativa sozinhas. Elas aparecem em contextsos completamente diferentes: suporte técnico, emergência, pedidos comerciais, reclamações. O modelo que vê "ajuda" sozinho não tem como saber qual categoria escolher sem o restante da frase. Existe uma técnica chamada de prompt chaining que ajuda muito nesses casos. Você divide o objeto difícil em duas etapas: primeiro o modelo extrai a intenção geral, depois com base nessa intenção você refina a classificação. No meu caso da triagem, isso funcionou melhor do que qualquer ajuste de temperatura ou adição de exemplos few-shot.
Também tem o lado negativo que eu preciso mencionar: prompt chaining aumenta o tempo de resposta. Cada etapa adicional adicionalatência. Se o seu sistema precisa responder em menos de dois segundos, talvez essa abordagem não seja viável. Nesses casos, a alternativa é treinar um classificador leve separadamente, tipo um SVM ou uma rede neural pequena, e usar o LLM apenas para os casos ambíguos que ele não resolve. Outro ponto importante é que você precisa monitorar os falsos positivos. Objeto difícil de adivinhar gera especialmente esse problema: o modelo acerta a maioria das vezes, mas nos casos borderline ele comete erros sistemáticos. Eu comecei a manter um log de classificações duvidosas e revisava semanalmente. Isso me deu uma visão clara de quais padrões o modelo estava confundindo.
Se você está começando agora com isso, a dica prática mais útil é: não confie na precisão geral do modelo. Olhe para a matriz de confusão, especialmente para as linhas onde o modelo mais erra. São exatamente ali que os objetos difíceis de adivinhar habitam. Resolva esses casos primeiro e o resto melhora junto. Também recomendo testar variações do mesmo prompt com pequenos ruídos. Adicione uma palavra, tire outra, mude a ordem. Se a classificação mudar drasticamente com uma alteração mínima, você já sabe que o objeto é instável e precisa de tratamento especial.
Tem gente que acha que aumentar a quantidade de exemplos few-shot resolve tudo. Não resolve. Eu já testei de 3 para 15 exemplos e a diferença foi marginal em alguns casos, enquanto em outros piorou porque o modelo começou a se preocupar mais com a forma dos exemplos do que com o conteúdo. Menos é mais, desde que os exemplos sejam realmente distintos entre si. No fim das contas, lidar com objeto difícil de adivinhar é sobre entender onde o modelo falha e contornar essa falha com arquitetura, não com mais texto. Mais texto às vezes ajuda, mas às vezes só enturma o prompt e piora a coisa.
