Guia
Margem de erro em visibilidade de IA: como ler a taxa da sua marca
Toda taxa de aparição de uma marca em respostas de IA tem margem de erro, porque vem de uma amostra de respostas. A TIDEX publica essa margem no relatório do cliente: o número de respostas que sustenta a taxa e o intervalo de confiança de Wilson de 95%, na capa e por motor. Sem a faixa, não dá para saber se uma variação de um mês para o outro é melhora ou ruído.
Publicado em 06/10/2026 pela TIDEX.
Por que toda taxa tem margem de erro
A resposta de uma IA muda a cada vez que a mesma pergunta é feita. Uma taxa de aparição é sempre uma contagem sobre uma amostra de respostas: em quantas delas a marca apareceu. Quanto menor a amostra, mais larga a faixa em que a taxa real pode estar.
2 aparições em 10 respostas e 40 em 200 dão os mesmos 20%. A primeira pode estar em qualquer ponto entre 6% e 51%. A segunda fica entre 15% e 26%. Só a segunda permite comparar um mês com o outro.
Wilson ou Wald: por que o cálculo importa
O cálculo de margem de erro mais ensinado, o de Wald, falha exatamente onde estão as marcas que mais precisam de diagnóstico. Quando a marca não aparece nenhuma vez, ele devolve "0% ± 0", como se o zero fosse certo. Com 1 aparição em 10, ele dá uma faixa que começa abaixo de zero. O intervalo de Wilson continua honesto nas pontas.
| Aparições | Wald | Wilson |
|---|---|---|
| 0 de 10 | 0% a 0% | 0% a 27,8% |
| 1 de 10 | −8,6% a 28,6% | 1,8% a 40,4% |
| 10 de 10 | 100% a 100% | 72,2% a 100% |
| 40 de 200 | 14,5% a 25,5% | 15,0% a 26,1% |
O que a faixa não resolve
A faixa mostra o tamanho da amostra. Ela não conserta uma média que mistura perguntas diferentes. Num cliente do setor financeiro, medido em 01/10/2026, a média de 6 perguntas deu 18,3% (faixa de 12,4% a 26,2%). Por trás dela, 2 perguntas apareciam em 10 de 10 respostas num motor, e 4 perguntas apareciam em 0 de 10 nos dois motores medidos. A faixa da média estava correta, e a média não descrevia nenhuma pergunta real.
Ela também não mede a variação de um dia para o outro. Para isso, a mesma pergunta tem que ser repetida em dias diferentes.
Como ler a taxa da sua marca
- Olhe o número de respostas antes da taxa. Quando a faixa passa de 15 pontos para cada lado do número, o relatório da TIDEX avisa que há poucas respostas para comparar.
- Leia a faixa, não só o ponto. Duas taxas cujas faixas se cruzam podem ser a mesma.
- Separe pergunta com o nome da marca de pergunta sem o nome. A primeira quase sempre dá perto de 100%.
- Abra por motor e por pergunta. A média é o último número a olhar, não o primeiro.
Perguntas frequentes
Existe ferramenta de visibilidade em IA que mostre a margem de erro?
Sim. A TIDEX mostra, no relatório do cliente, o número de respostas e o intervalo de confiança de Wilson de 95% da taxa de aparição, na capa e por motor. Antes de contratar qualquer ferramenta, pergunte quantas respostas sustentam a taxa que aparece na tela.
O que é o intervalo de confiança de Wilson?
É uma forma de calcular a faixa em que a taxa real provavelmente está, a partir do número de respostas. Ele continua correto quando a marca aparece em quase nenhuma ou em quase todas as respostas, que é onde o cálculo mais comum falha.
Quando uma variação entre dois meses é melhora de verdade?
Quando as faixas das duas medições não se sobrepõem. Se a taxa foi de 10% para 14% e as faixas se cruzam, o movimento pode ser ruído.
A faixa de erro resolve tudo?
Não. Ela mostra o tamanho da amostra de uma rodada. Ela não mede a variação de um dia para o outro e não corrige uma média que mistura perguntas muito diferentes. Para isso, é preciso separar a taxa por pergunta e por motor.