Por que os avaliadores de IA atribuem notas diferentes para a mesma redação

Introdução

Duas abas do navegador, um texto e duas respostas bem diferentes. O primeiro verificador indica 8%. O segundo, 61%. Nada no texto mudou entre as duas colagens, você não editou uma única palavra e agora não sabe em qual tela acreditar.

Nenhum dos dois está mentindo. Eles estão respondendo à pergunta de maneiras diferentes, e entender o motivo disso tira o pânico do momento. Este artigo explica de onde vem essa diferença, como comparar os resultados de forma sensata e o que essa discrepância realmente está indicando.

Treinamento diferente, instintos diferentes

Cada verificador é construído a partir de sua própria fórmula. Alguns se baseiam na perplexidade, uma medida de quão previsível sua redação é para um modelo de linguagem. Outros levam em conta a variabilidade, ou seja, a variedade no comprimento e na estrutura das frases. Muitos combinam esses fatores com classificadores treinados em exemplos rotulados de textos humanos e gerados por máquina, e o que esses exemplos contêm molda tudo o que a ferramenta percebe posteriormente.

A página do detector do Phrasly afirma que seu treinamento se baseia em mais de 1 milhão de artigos reais escritos por humanos — uma afirmação do fornecedor que vale a pena conhecer, pois ilustra o ponto: uma ferramenta treinada principalmente com artigos de notícias avaliará um ensaio acadêmico de maneira diferente daquela treinada com textos de estudantes. Dois verificadores podem ler a mesma frase e chegar a conclusões diferentes porque aprenderam com bibliotecas de textos diferentes.

O que a porcentagem significa depende da ferramenta

Até mesmo o número principal não é padronizado. Um verificador informa a probabilidade de que todo o texto tenha sido escrito por máquina. Outro informa a proporção de frases que considera terem sido escritas por máquina. Um terceiro calcula a média das pontuações das frases. Todos exibem uma porcentagem, mas não estão medindo a mesma coisa. Os limites também variam. Uma ferramenta pode classificar qualquer valor acima de 50% como provavelmente escrito por máquina, enquanto outra espera até 80%; assim, resultados brutos idênticos podem receber classificações opostas.

É por isso que um número isolado proveniente de duas fontes não pode ser comparado diretamente. Observe como cada ferramenta descreve sua pontuação e dê preferência àquelas que mostram frases destacadas e probabilidades. Quando você consegue ver as frases por trás do número, pode comparar o que as ferramentas realmente sinalizaram, em vez dos rótulos que atribuíram.

Atualizações de modelos deixam lacunas

As ferramentas de redação com IA mudam constantemente, e os detectores ficam para trás. Um artigo explicativo de 2026 da Centric DXB descreve o problema como uma mudança de distribuição: um classificador treinado em modelos mais antigos perde precisão quando modelos mais novos são lançados, até que seja retreinado. Um verificador atualizado no mês passado e outro atualizado no ano passado podem lidar com o mesmo texto de maneiras muito diferentes. Nada disso torna os verificadores mais antigos inúteis. Isso significa que você deve verificar as notas de atualização recentes de uma ferramenta da mesma forma que verificaria a data de lançamento de um aplicativo, e tratar o silêncio como um motivo para cautela extra.

A cobertura também é um fator importante. A página do Phrasly cita o ChatGPT, o Claude, o Gemini, o Perplexity, o DeepSeek e o Grok entre os modelos que ela monitora, e oferece suporte a inglês, espanhol, francês e alemão. Uma ferramenta com cobertura mais restrita pode deixar passar padrões que outra detecta, ou sinalizar textos escritos por humanos que ela simplesmente não compreende.

O mesmo texto, lido de maneiras diferentes

Há também o lado humano do texto. Um estudo de 2023 liderado por pesquisadores de Stanford testou sete detectores amplamente utilizados em 91 redações do TOEFL escritas por falantes não nativos de inglês, e uma média de 61,3% foi erroneamente rotulada como gerada por IA (Liang et al., Patterns, 2023). Frases simples, cuidadosas e previsíveis são o que uma ferramenta baseada em perplexidade considera como características de máquina.

Se sua redação for escrita em uma segunda língua, em um estilo acadêmico altamente estruturado ou seguindo um modelo padrão, espere pontuações mais altas e maior divergência entre as ferramentas. Essa divergência não é aleatória. Ela reflete o grau de sensibilidade de cada verificador em relação a um estilo de escrita comum entre escritores genuínos. O tema também influencia. A redação técnica, com seus termos fixos e estruturas repetitivas, oferece ao detector menos variação para analisar do que uma reflexão pessoal.

Uma maneira sensata de comparar resultados

Quando duas ferramentas discordarem, resista à tentação de ficar colando o texto repetidamente até obter uma pontuação de que goste. Em vez disso, siga um plano. Não ignore o tamanho do texto. Cole a mesma redação completa todas as vezes, pois um verificador que recebe apenas sua introdução está resolvendo um problema diferente daquele que recebe dez páginas.

• Verifique o mesmo texto completo, sem edições entre as verificações.

• Observe como cada ferramenta define sua pontuação.

• Compare as frases destacadas em vez de se concentrar nos números principais.

• Marque qualquer frase sinalizada por ambas, já que essa sobreposição é a pista mais útil.

• Reescreva essas linhas com algo específico e original e, em seguida, execute a análise novamente.

Escolha um verificador de IA como sua referência e use-o de forma consistente, para que as mudanças na pontuação reflitam mudanças na sua redação, em vez de mudanças na ferramenta. A consistência oferece uma tendência com a qual você pode aprender, enquanto alternar entre ferramentas gera ruído. Mantenha um pequeno registro se fizer isso com frequência: data, ferramenta, pontuação e quais frases foram sinalizadas. Depois de algumas redações, você saberá como cada ferramenta tende a se comportar em relação ao seu estilo, o que vale mais do que qualquer leitura isolada.

Quando a discordância é a informação

Aqui está um ponto que muitas pessoas deixam passar. Se duas ferramentas confiáveis discordarem fortemente sobre o seu texto, isso é evidência de ambiguidade. O texto se encontra em uma área cinzenta que o software não consegue resolver, e nenhum dos dois números merece ser tratado como prova. Em 2023, a OpenAI retirou de circulação seu próprio Classificador de Texto com IA após relatar uma taxa de verdadeiros positivos de 26% e uma taxa de falsos positivos de 9% (OpenAI, 2023), um lembrete de que mesmo equipes com recursos abundantes têm dificuldade em traçar uma linha firme.

Portanto, a resposta correta a um veredicto dividido é confiar no seu próprio processo. Guarde rascunhos, esboços e anotações, e esteja pronto para explicar seu argumento com suas próprias palavras. Se um professor ou editor perguntar sobre uma pontuação, esses registros falam mais alto do que qualquer análise isolada. Se você precisar informar um número a alguém, informe o intervalo e mencione as ferramentas.

O consenso é raro, e é útil saber disso

Ferramentas diferentes, treinadas de maneiras distintas, desenvolvidas para modelos diferentes e que medem aspectos ligeiramente diferentes, raramente produzirão pontuações coincidentes. Saber disso permite que você pare de buscar um único número correto e comece a fazer algo melhor: ler os destaques, fortalecer qualquer frase genérica e manter um registro de como você escreveu. Uma discrepância entre dois verificadores não é uma crise. É um incentivo para examinar mais de perto.

Se você quiser entender melhor como as pontuações de detecção são geradas e quais são suas limitações, leia mais no blog da Phrasly, onde essas questões são exploradas com mais profundidade.