Responsabilidade pela IA: quem arca com falhas de LLMs em decisões críticas

AILTON ALVES DE SOUSA, morador de Heliópolis, viveu quatro prisões em sete meses após ser erroneamente identificado como foragido por um sistema de reconhecimento facial Smart Sampa, que utiliza inteligência artificial para monitorar a região metropolitana de São Paulo, evidenciando falhas críticas na governança e na precisão de ferramentas automatizadas que impactam diretamente a vida de cidadãos comuns.

Um levantamento da Agência Lupa revela que 81,2% dos casos de desinformação envolvendo inteligência artificial identificados em checagens ocorreram entre 2024 e março de 2026, evidenciando um cenário preocupante de distorções algorítmicas em meios oficiais e institucionais.

Segundo apuração jornalística, o sistema Smart Sampa, implementado pela Prefeitura de São Paulo com parceria técnico-operacional do consórcio tecnológico envolvendo empresas especializadas em vigilância urbana, não possui mecanismos eficazes de revisão humana ou correção automática imediata, o que agrava a incidência de falsos positivos e gera consequências graves para indivíduos como Ailton Alves de Sousa, cuja trajetória entre delegacias reflete a ausência de protocolos robustos de validação pós-alerta.

A atuação da Justiça deve priorizar a análise técnica das condições operacionais do sistema Smart Sampa, incluindo auditoria dos algoritmos utilizados e verificação da validade dos dados cadastrais vinculados ao banco de imagens acionadas pelo reconhecimento facial, sob a ótica do princípio da razoabilidade e da proteção constitucional do devido processo legal.

Rodrigo Cruz, vice-presidente de estratégia de crescimento e inovação da Keyrus no Brasil, reforça que o problema não reside na tecnologia em si, mas na ausência de uma arquitetura coordenada que assegure governança, transparência e supervisão humana efetiva na operação dos sistemas de IA.