Groundedness-Aware Retrieval in Government Document Chatbots: Systematic Literature Review and Semantic Alignment Score (SAS) Formulation

Resumo

A aplicação de modelos de linguagem em serviços públicos incentiva agências governamentais a adotarem chatbots baseados em Retrieval Augmented Generation como interfaces para conhecimento regulatório e documentos oficiais. Contudo, a dedicação da RAG aos documentos oficiais não garante a ausência de alucinações como produtos de saída. O RAG também não reduz a confiança pública e a confiança jurídica. Este artigo apresenta uma revisão sistemática da literatura sobre chatbots RAG no setor governamental a partir de uma perspectiva regulatória, ao mesmo tempo que formula o conceito básico da Pontuação de Alinhamento Semântico como uma medida quantitativa de fundamentação. A recuperação de artigos foi limitada aos anos 2021-2025 nas plataformas SpringerLink, Scopus e Taylor & Francis, resultando em 7.947 artigos processados ​​com filtros PRISMA para obter 100 artigos de qualidade de periódicos Q1 e Q2. Com base em oito questões de pesquisa existentes, mapeamos publicações, características de documentos, arquitetura RAG, estratégias de recuperação, definições de fundamentação, abordagens de medição de confiança do usuário e métricas de avaliação. Os resultados desta revisão demonstram muito especificamente a fundamentação dividida. Isto se deve à literatura que se refere a recuperadores e reclassificadores, enquanto a definição e formulação de fundamentação e métricas para medição, conforme discutido em documentos governamentais, são muito raras. Com base na incerteza metodológica e na literatura existente, propomos uma estrutura de Pontuação de Alinhamento Semântico que visa integrar esses três elementos para alcançar confiabilidade robusta em chatbots regulatórios.