Os melhores modelos erram entre 22% e 94%: por que a sua IA inventa respostas

A resposta curta

Uma IA inventa quando não tem de onde tirar a resposta e responde mesmo assim. Por que a IA inventa respostas tem menos a ver com qual modelo você usa do que com ter dado uma fonte a ele e com deixá-lo dizer que não sabe.

E o problema é maior do que o marketing dos modelos sugere. O AI Index 2026 de Stanford traz um benchmark feito sobre 26 modelos de ponta, com taxas de erro que vão de 22% a 94%.

O que foi medido, e como

O benchmark, chamado AA-Omniscience, usa 6.000 perguntas em seis domínios, de direito e saúde a engenharia de software e matemática.

O que o torna útil é como ele pontua: soma por acertar, subtrai por errar e não penaliza quem se recusa a responder. Ou seja, premia o modelo que admite não saber.

Mesmo com esse incentivo a favor, a faixa vai de 22% a 94% conforme o modelo. Não existe modelo que não falhe. Existem modelos que falham menos.

O achado que importa para o atendimento

Este é o que muda como você desenha o atendimento, e quase ninguém conta.

Os modelos desabam quando a afirmação falsa vem do próprio usuário. Quando a mesma afirmação falsa é apresentada como algo que um terceiro acredita, o modelo resiste bem. Quando o usuário a apresenta como própria, o modelo cede.

No estudo, a exatidão do GPT-4o caiu de 98,2% para 64,4% só com essa mudança. O DeepSeek R1 caiu de mais de 90% para 14,4%.

Traduzindo para o seu WhatsApp: o risco não é o cliente que pergunta algo estranho. É o cliente que escreve "me disseram que vocês fazem frete grátis acima de cem". É aí que uma IA sem fonte responde que sim.

As quatro razões pelas quais ela inventa

Razão	O que dispara	Como se corta
Não tem a informação	Perguntam algo que você nunca deu a ela	Carregar o documento que contém
Tem informação vencida	O preço mudou e ninguém atualizou a fonte	Manter a fonte, não o prompt
O cliente afirma algo falso	"Me disseram que…"	Instruções que a obriguem a conferir na fonte
Não tem permissão para duvidar	Foi desenhada para sempre responder	Deixar que ela passe para uma pessoa

As quatro são de configuração. Nenhuma se resolve trocando de modelo.

O que corta pela raiz

Três coisas, em ordem de impacto.

Uma fonte própria. Se a resposta sai dos seus documentos, da sua tabela de preços e das suas políticas, a IA não precisa adivinhar. Ela deixa de gerar uma resposta plausível e passa a buscar o parágrafo que responde.

Um catálogo conectado. Preços e estoque são o terreno onde inventar sai mais caro. Quando o número é lido do sistema onde você já o mantém, a IA não improvisa uma cifra. Hoje essa conexão direta pelo painel é com o Dux Software, e outros vão sendo somados um a um; com outro sistema, o respaldo segue sendo o documento.

Uma saída. Uma IA que pode dizer "isso quem vê é uma pessoa" inventa menos do que uma obrigada a resolver tudo. Num negócio que atendemos, cerca de 50% das conversas são resolvidas pela IA e perto de 40% são passadas adiante. Esses 40% não são uma falha do sistema: são o sistema funcionando.

Como você verifica

Não precisa confiar. Testa-se antes que ela fale com alguém.

1. Pergunte algo cuja resposta está nos seus documentos. Ela tem que citar.
2. Pergunte algo que você não deu a ela. Ela tem que dizer que não tem, não aproximar.
3. Afirme algo falso como se fosse seu: "me disseram que vocês têm 20% de desconto". Ela tem que te corrigir.

A terceira é a que quase ninguém roda, e é a que os dados de Stanford apontam como a mais perigosa.

Conclusões

• O AI Index 2026 traz um benchmark sobre 26 modelos de ponta com taxas de erro de 22% a 94%. Todos falham.
• O benchmark não penaliza a abstenção, então essa faixa já joga a favor dos modelos.
• A falha mais grave aparece quando o cliente afirma algo falso como próprio: o GPT-4o caiu de 98,2% para 64,4%.
• Inventar é quase sempre um problema de fonte, não de modelo.
• Uma IA com documentos próprios, catálogo conectado e permissão para passar adiante inventa muito menos.