Verifique a visibilidade da sua empresa na IA
Grátis, sem cartão de crédito.
A IA recomenda sua empresa, mas acrescenta que uma função está disponível em todos os planos. O link leva a uma página real. Ao abri-la, porém, você descobre que a função existe apenas em um pacote específico. A marca recebeu uma menção e uma citação, mas o cliente recebeu uma promessa incorreta.
Esse caso exige avaliar uma afirmação concreta, não apenas contar fontes. O artigo trata da concordância entre respostas e materiais citados. Não é um guia geral de visibilidade nem um estudo da frequência de erros dos modelos. Os exemplos são hipotéticos. A documentação foi verificada em 5 de outubro de 2026.
Separe a exatidão do fato da correção da citação
Faça duas perguntas: “A informação é verdadeira nas condições avaliadas?” e “O material indicado realmente a sustenta?”. Uma afirmação pode ser verdadeira com uma referência inadequada. Uma fonte também pode sustentar informação antiga que já não descreve a oferta atual.
Em Enabling Large Language Models to Generate Text with Citations, os pesquisadores distinguem exatidão da resposta e qualidade das citações. Usamos essa distinção sem extrapolar os resultados experimentais de 2023 para produtos atuais.
Registre também a função do link. Uma referência junto à frase, uma lista geral de fontes e um conteúdo “relacionado” podem ter significados diferentes. A documentação do Gemini Apps explica que o aplicativo pode mostrar fontes ou conteúdo relacionado e que nem toda resposta inclui esses links. Não atribua automaticamente a lista inteira a cada frase.
Escolha afirmações importantes para o cliente
Comece por informações que podem orientar decisões: escopo das funções, condições do plano, compatibilidade, disponibilidade no mercado ou requisitos de implementação. Uma avaliação geral como “ferramenta prática” pede critérios diferentes de um fato verificável sobre uma integração.
Divida frases com várias promessas em afirmações separadas. “O produto oferece integração e garante resposta do suporte em 24 horas” contém dois pontos para verificar. Caso contrário, uma parte correta pode esconder outra incorreta.
Defina o escopo: perguntas, produtos de IA, modos, idiomas, mercado e período. Preserve pergunta original, resposta completa e data. Pedir fontes depois altera a conversa; guarde o resultado como etapa posterior, não como fontes da resposta original. Identifique resultados da API como tais, sem equipará-los ao aplicativo do usuário.
Crie uma ficha de afirmação e evidência
A unidade de avaliação é uma afirmação com as fontes atribuídas. Se vários links sustentam conjuntamente a frase, avalie seu conteúdo combinado e preserve todos os URLs. Mais referências não multiplicam o número de afirmações verificadas.
- Contexto: pergunta, produto de IA, modo, idioma, mercado e data da resposta.
- Afirmação: trecho exato e condições às quais se aplica.
- Atribuição: URLs indicados e como se relacionam à frase.
- Evidência: trecho curto da fonte, localização na página e data de consulta.
- Estado atual: material oficial sobre condições vigentes e seu responsável.
- Avaliação: sustentação das fontes, exatidão no contexto e justificativa.
- Próximos passos: prioridade, responsável, correção e método de revisão.
Leia o conteúdo, não apenas o título ou resumo do buscador. Verifique nome do produto, versão, mercado, plano e ressalvas. Se não conseguir relacionar uma lista geral à frase com clareza, registre atribuição incerta em vez de inventar evidências.
Avalie fontes com regras explícitas
Estas categorias são uma proposta para sua auditoria. Não são métricas Semly nem uma escala oficial dos fornecedores de IA. Avalie a afirmação inteira e suas condições relevantes.
| Avaliação da citação | Quando usar | O que registrar |
|---|---|---|
| Sustentada | Os materiais atribuídos sustentam toda a afirmação no contexto avaliado. | Trechos que confirmam fato e condições. |
| Parcialmente sustentada | Sustentam parte, mas não todo o escopo ou uma condição importante. | O que está confirmado e o que falta. |
| Contradita | A fonte citada apresenta informação incompatível com a afirmação. | Divergência exata, versão e data. |
| Não sustentada pela fonte | Os materiais são legíveis, mas não oferecem evidência para a afirmação. | Ausência de fundamento; não a equipare automaticamente à falsidade. |
| Sem fonte indicada | A resposta não fornece material atribuível à afirmação. | Ausência de citação; avaliar o fato separadamente. |
| Não verificável | Falta de acesso, atribuição incerta ou versão necessária ausente impedem a conclusão. | Motivo e evidência que falta. |
Peça que uma segunda pessoa revise casos controversos. Se alterarem as regras de classificação, registre a nova versão e reavalie os materiais comparados. Assim, a simples mudança de etiquetas não criará uma mudança de resultado.
Analise um exemplo com condições da oferta
Imagine um programa fictício cuja documentação atual limita uma integração ao plano Pro. A política de suporte indica primeira resposta normalmente em até 48 horas úteis e ausência de SLA garantido. A página geral não descreve exportação de arquivos. É um exercício, não uma descrição da Semly ou de outra empresa real.
| Afirmação da IA | Conteúdo da fonte atribuída | Achado |
|---|---|---|
| A integração funciona em todos os planos. | A integração está disponível apenas no plano Pro. | Contradita; “todos os planos” altera o escopo da oferta. |
| O suporte garante resposta em 24 horas. | Normalmente em até 48 horas úteis; sem SLA garantido. | Contradita; altera o prazo e acrescenta uma garantia. |
| O produto permite exportar CSV. | A descrição geral não menciona exportações. | Não sustentada por esta fonte; verificar a documentação da função separadamente. |
Não classifique a última afirmação como falsa apenas porque a página citada não a aborda. Outro material pode confirmar a exportação. Nesse caso, o fato será verdadeiro, mas a citação continuará inadequada.
O conteúdo atual da página não demonstra o que ela continha quando a resposta foi gerada. Sem uma versão preservada, avalie a concordância com o material atual e indique a limitação histórica.
Corrija a causa e preserve as decisões
Se sua documentação estiver errada ou ambígua, corrija-a onde o responsável pelo produto a mantém. Coloque a condição junto à promessa em vez de esconder a exceção em uma FAQ distante. Para várias descrições da mesma oferta, estabeleça uma fonte comum de fatos atuais; a divisão de funções entre blog e base de conhecimento ajuda.
Se o problema estiver em material externo, prepare uma retificação concreta com evidências para seu autor. Se a fonte estiver correta, mas a resposta distorcer as condições, preserve o exemplo e considere comunicar o problema pelo canal disponível do produto. Não presuma que um aviso ou edição mudará respostas imediatamente.
Priorize conforme a consequência para o cliente. Prometer uma integração inexistente exige uma reação diferente de um adjetivo impreciso. Atribua responsável e data de revisão à correção. Guarde a nova resposta ao lado da anterior sem sobrescrever o histórico.
Relate a qualidade das citações separadamente da visibilidade
Na Semly, você pode examinar respostas salvas e suas fontes. São entradas para a avaliação. Presença da marca, sentimento positivo ou posição não demonstram que cada frase concorda com a documentação. Verifique evidências e condições separadamente.
Se precisar de uma métrica própria, defina-a como: afirmações citadas totalmente sustentadas / afirmações citadas avaliadas. Inclua as quatro primeiras categorias da tabela no denominador. Relate separadamente afirmações sem fonte, casos não verificáveis e motivos de exclusão. Se o denominador for zero, indique ausência de resultado, não 0%.
Mostre contagens e escopo das perguntas junto ao percentual. A métrica descreve o conjunto avaliado, não a “veracidade da IA” em geral. Não combine modos ou mercados sem explicação. Repetições não garantem observações independentes.
Auditoria de qualidade e teste do efeito de uma correção são tarefas diferentes. O plano de comparação está no teste antes e depois de atualizar um artigo; uma única resposta melhor não demonstra causalidade.
Preserve conteúdo útil e siga as políticas SEO
O resultado pode ser esclarecer uma condição em vez de publicar mais páginas semelhantes. As políticas de spam do Google descrevem o abuso de conteúdo em escala criado principalmente para manipular posições sem valor para o usuário.
Mantenha informações claras e atuais e dados estruturados coerentes com o texto visível. A documentação dos recursos de IA da Pesquisa Google informa que AI Overviews e AI Mode não exigem um tipo especial de Schema.org nem arquivos separados para IA. As recomendações se aplicam a esses recursos do Google, não a todos os modelos.
- Preservei pergunta, resposta completa, produto de IA, modo e data.
- Dividi frases com várias promessas verificáveis.
- Atribuí fontes a afirmações específicas ou marquei incerteza.
- Li condições, versão do produto e escopo das fontes.
- Avaliei separadamente a exatidão do fato e a sustentação da citação.
- Registrei data de consulta e limitações da avaliação histórica.
- Defini responsável pela correção e método de revisão.
- Separei citações ausentes, fontes inacessíveis e erros confirmados no relatório.
FAQ: auditoria da correção das citações de IA
Um link à página oficial confirma toda a resposta?
Não. Verifique o trecho específico e a fonte atribuída. O material oficial pode sustentar apenas uma parte ou condições diferentes do produto.
A falta de fonte significa que a IA deu informação falsa?
Não. Significa que a resposta não oferece evidência explícita. Você pode verificar o fato separadamente na documentação apropriada.
É possível avaliar uma resposta antiga com a página atual?
Você pode compará-la ao estado atual, mas isso não demonstra o conteúdo passado da fonte. Registre as duas datas e a versão histórica ausente.
A Semly decide automaticamente se cada citação está correta?
Neste processo, a Semly fornece respostas salvas e fontes para análise. Determinar se o material sustenta um fato específico e suas condições é uma tarefa separada do auditor.
Corrigir a documentação garante respostas corretas da IA?
Não. Facilita o acesso a informações claras, mas não garante seleção de fontes nem interpretação correta. Repita a revisão e preserve respostas comparáveis.
Compartilhar:
