Pesquisadores do Instituto Skoltech, na Rússia, em parceria com o Centro de Inteligência Artificial Prática do Sberbank — braço de inteligência artificial do maior banco russo, o Sberbank — criaram uma nova técnica capaz de identificar respostas potencialmente inventadas por sistemas de inteligência artificial baseados em grandes modelos de linguagem. A inovação, denominada TOHA (sigla para detector de alucinações baseado em topologia), propõe uma abordagem que avalia se uma resposta gerada por uma IA está fundamentada nas informações fornecidas ou se foi criada de forma inventada, sem respaldo nos dados originais.
A técnica foi apresentada em um artigo publicado nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional, um dos eventos mais relevantes na área de processamento de linguagem natural. Além disso, a tecnologia já foi incorporada ao SIRIN, uma biblioteca de código aberto desenvolvida pelos pesquisadores do Sberbank, que disponibiliza a ferramenta para uso público.
As alucinações, na terminologia da área, referem-se a respostas incorretas ou completamente inventadas por sistemas de IA, que parecem confiantes e convincentes, mas não possuem respaldo em fontes ou dados concretos. Essa questão representa um dos principais obstáculos para a confiabilidade da tecnologia, especialmente em aplicações críticas. Mesmo nos sistemas que utilizam a chamada geração aumentada por recuperação (RAG, na sigla em inglês), em que a IA consulta documentos e bases de dados antes de elaborar uma resposta, há o risco de respostas incorretas ou não verificadas serem apresentadas ao usuário.
A abordagem proposta pelos pesquisadores busca resolver esse problema através do funcionamento interno do próprio modelo de IA. Para isso, eles analisaram as matrizes de atenção — mecanismos que a IA usa para estabelecer relações entre diferentes partes do texto — e transformaram esses dados em gráficos. Com base nesses gráficos, calcularam uma métrica denominada MTop-Div, que mede as diferenças entre a estrutura do material de referência e a resposta gerada pela IA. Segundo o estudo, respostas com níveis elevados de divergência na métrica tendem a não ter respaldo no material fornecido, indicando maior probabilidade de serem inventadas.
Na prática, essa técnica permite que a própria IA avalie a confiabilidade de suas respostas, eliminando a necessidade de usar outros modelos de detecção de alucinações. Os testes realizados pelos autores envolveram tarefas de perguntas e respostas, bem como de resumo de textos, demonstrando que o método apresentou desempenho igual ou superior ao de abordagens já existentes em diferentes benchmarks de avaliação.
Uma das principais vantagens do método é o menor requisito de treinamento. Enquanto outras técnicas de detecção dependem de grandes volumes de exemplos ou da geração de múltiplas versões de uma mesma resposta para posterior comparação, o TOHA requer um conjunto menor de exemplos iniciais. Essas informações podem, então, ser aplicadas na avaliação de respostas futuras, o que reduz o uso de recursos computacionais. Os pesquisadores compararam o método ao SelfCheckGPT, uma técnica que exige a geração de várias respostas para análise, demandando maior capacidade de processamento. Segundo eles, o TOHA conseguiu alcançar resultados similares sem a necessidade de repetição de respostas, tornando-se uma alternativa mais eficiente.
A equipe acredita que a tecnologia tem potencial para ser aplicada em setores onde erros de sistemas de IA podem gerar riscos financeiros ou de reputação, como nos segmentos bancário, jurídico e de seguros. Dessa forma, a inovação representa um avanço importante na busca por sistemas de inteligência artificial mais confiáveis e transparentes, especialmente em contextos que demandam alta precisão na geração de informações.
