Em estudo publicado nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional, pesquisadores da Skoltech em parceria com o Centro de Inteligência Artificial Prática do Sberbank desenvolveram o método TOHA, que utiliza topologia e análise de matrizes de atenção para identificar alucinações em respostas geradas por grandes modelos de linguagem, medindo a divergência entre o material original e a saída do modelo por meio da métrica MTop-Div, disponibilizando a tecnologia no SIRIN, biblioteca de código aberto do Sberbank.
Contexto Científico e Desenvolvimento da Técnica
O s pesquisadores validaram o TOHA em tarefas de perguntas-respostas e resumo de textos, demonstrando desempenho equivalente ou superior ao de métodos existentes como o SelfCheckGPT, com menor demanda computacional ao não exigir múltiplas gerações de respostas ou grandes volumes de exemplos para treinamento.
A abordagem se destaca por operar diretamente sobre os mecanismos internos do modelo, transformando as matrizes de atenção em gráficos e calculando a MTop-Div, indicador que reflete discrepâncias estruturais entre o conteúdo fornecido e a resposta produzida, sendo aplicável em setores críticos como bancário, jurídico e de seguros para mitigar riscos de erros não fundamentados.
O método TOHA alcança desempenho comparável ao SelfCheckGPT sem exigir múltiplas gerações de respostas ou recursos computacionais excessivos.
Impactos Setoriais e Perspectivas Futuras
A disponibilização da tecnologia no SIRIN abre caminho para sua adoção em instituições financeiras, escritórios jurídicos e seguradoras, onde erros de IA podem acarretar prejuízos significativos em termos financeiros ou reputacionais, conforme destacado pelos autores do estudo.
Com base na validade empírica demonstrada nos benchmarks, a expectativa é que o TOHA se torne padrão complementar na validação de respostas geradas por modelos de linguagem em ambientes corporativos que dependem da geração aumentada por recuperação (RAG), reforçando a confiabilidade dos sistemas de IA.
<.
