Chamada CNPq/Decit/SECTICS/MS - Nº 30/2024 - Prevenção e Enfrentamento à Desinformação Científica em Saúde

RS

PORTO ALEGRE

2024

Identificação de Desinformação com LLMs

LUCAS SILVEIRA KUPSSINSKU

http://lattes.cnpq.br/7949995756060059

Não Informado

Este projeto propõe o desenvolvimento de um método para identificação automática de desinformação baseado em um LLM ajustado para o domínio da saúde no idioma português. Para realizar essa tarefa, desenvolveremos um novo módulo para geração de embeddings de sentença combinado com a técnica de Retrieval Augmented Generation (RAG). Essa integração permitirá que o modelo, além de gerar respostas, utilize fontes externas confiáveis, como documentos governamentais, para embasar suas análises, reduzindo a ocorrência de alucinações. O sistema será disponibilizado por meio de uma API, permitindo a análise de informações externas. Os resultados esperados incluem a criação de um novo módulo para fine-tuning de sentence embeddings que permitirá a adaptação de modelos de embeddings modificando apenas uma fração dos parâmetros do modelo, um LLM adaptado ao domínio da saúde em português, um sistema de RAG funcional para redução de desinformação, e uma API robusta integrada ao modelo. Além de avanços no estado da arte em inteligência artificial, o projeto pretende gerar impacto direto na saúde pública brasileira, fortalecendo o SUS e promovendo maior adesão a políticas públicas baseadas em ciência.

Este projeto busca criar uma modelo de inteligência artificial capaz de identificar informações falsas sobre saúde em português. Para isso, serão usados modelos de linguagem de grande escala para responder perguntas, consultar fontes confiáveis ¿ como documentos do governo ¿ antes de dar uma resposta. Isso ajuda a evitar erros comuns desse tipo de tecnologia. A ferramenta será acessível por meio de uma API, permitindo que outras plataformas verifiquem informações automaticamente. O objetivo é contribuir para o combate à desinformação em saúde, ajudando a fortalecer o SUS e a promover políticas públicas baseadas em evidências científicas.

Comunicação e Informação em Saúde

Não informado

Não informado

Não informado

R$ 801.380,00

Fomento Nacional

Não informado

Não informado

Não informado

Não informado

O Sistema Único de Saúde (SUS) é uma das maiores e mais avançadas rede de saúde pública do mundo, atendendo milhões de brasileiros diariamente. A crescente disseminação de informações incorretas ou enganosas sobre saúde, especialmente em tempos de crises sanitárias, representa um desafio significativo para o SUS. A utilização de um LLM refinado para trabalhar com a avaliação de textos e mensagens em tempo real, como o proposto por este projeto, pode desempenhar um papel inovador e crucial na mitigação desse problema. Possibilitando a integração do LLM a outras ferramentas que poderíam ser usadas para checagem de desinformação em redes sociais e portais de notícias. Tornaria-se possível, então, atuar no monitoramento e na análise de grandes volumes de dados de redes sociais e de outras fontes de informação pública, permitindo que o SUS responda prontamente a surtos de desinformação que possam prejudicar campanhas de vacinação, tratamentos, ou outras iniciativas de saúde pública. Além disso, a implementação dessa tecnologia no SUS tem o potencial de fortalecer a confiança da população nas informações divulgadas, promovendo maior adesão a campanhas de saúde e reduzindo o impacto de mitos e informações falsas que podem comprometer a eficácia de políticas públicas. A adoção de uma ferramenta automatizada e precisa como a da presente proposta não só aumentará a eficiência do combate à desinformação, mas também permitirá que os profissionais de saúde e gestores públicos concentrem seus esforços em ações estratégicas e direcionadas, baseadas em dados confiáveis. Essa abordagem também pode ser expandida para outras áreas além da saúde, oferecendo uma solução versátil que pode ser adaptada a diferentes contextos e necessidades do SUS, amplificando seu impacto em todo o sistema de saúde pública brasileiro.

Objetivos Gerais: 1. Construir um LLM refinado para o âmbito da saúde no idioma português. 2. Construir um sistema de RAG que permita ao modelo analisar uma mensagem, texto ou notícia com embasamento nas informações confiáveis do governo. 3. Disponibilizar o sistema em uma API que funcione em tempo real para avaliar textos. Objetivos Específicos: 1. Construir um LLM refinado para o âmbito da saúde no idioma português. a. Construir conjunto de dados textuais suficiente para realizar o ajuste fino e o processo de instrução do modelo proposto. b. Realizar o ajuste fino de um LLM para o contexto científico em saúde. c. Instruir o modelo a fazer julgamentos e análises sobre textos e notícias relacionados à temática de saúde, podendo apontar quais aspectos são baseados em fatos ou não d. Disponibilizar o modelo construído para a comunidade científica. 2. Construir um sistema de RAG que permita ao modelo analisar uma mensagem, texto ou notícia com embasamento nas informações confiáveis do governo. a. Definir bases e portais de onde os dados serão coletados b. Vetorizar os documentos coletados c. Construir o sistema RAG d. Validar o funcionamento do sistema, utilizando de ferramentas avaliação 3. Disponibilizar o sistema completo para uso da comunidade por meio de uma API. a. Desenvolver a API b. Instanciar a API e o modelo em alguma infraestrutura na nuvem para permitir consultas em tempo real e disponibilização do modelo. c. Estabelecer fluxo de atualização contínua para o sistema, de forma que sempre que houver uma atualização nas informações do governo, o modelo seja atualizado conforme d. Avaliar o impacto do sistema baseado em avaliações dos usuários e utilização do serviço

1. Coleta e Preparação de Dados Fontes de Dados: Serão coletados dados de repositórios públicos de artigos científicos de diferentes idiomas, relatórios técnicos e documentos governamentais relacionados à saúde. A seleção das fontes será feita com base em critérios de confiabilidade e relevância, priorizando informações atualizadas e de acesso público. Pré-processamento dos Dados: Os dados serão processados para garantir a qualidade. Incluindo a remoção de duplicatas, remoção de trechos não interessantes para o ajuste do LLM como sumários ou números de páginas para artigos e livros. O principal objetivo de processar os dados é deixá-los prontos para o modelo de linguagem. 2. Desenvolvimento e Ajuste Fino do Modelo Ajuste Fino: O ajuste fino, ou fine-tuning, é uma etapa crucial no desenvolvimento de modelos de linguagem especializados [21]. Esse processo envolve a adaptação de um modelo pré-treinado, que já possui conhecimento geral em uma ampla gama de textos, para um novo domínio específico, como o da saúde. Ao realizar o ajuste fino, transformamos um modelo generalista em um especialista, capacitando-o a entender e gerar texto de forma precisa e relevante para o contexto de saúde, compreendendo terminologias e conceitos exclusivos da área. A primeira etapa envolve a seleção de um modelo pré-treinado adequado. Neste projeto, utilizaremos os principais modelos de linguagem de código aberto disponíveis, como os das famílias LLaMA [7], Mistral [8], e Gemma [20]. Esses modelos serão avaliados continuamente, e atualizaremos a escolha conforme novos modelos de linguagem alcancem o estado da arte em tarefas de geração e compreensão de linguagem natural. Essa abordagem garante que o projeto se mantenha na vanguarda da tecnologia, utilizando os melhores recursos disponíveis para alcançar os objetivos propostos. O treinamento especializado permitirá que o LLM não apenas reconheça e interprete a terminologia médica, mas também compreenda o contexto em que esses termos são utilizados, proporcionando respostas mais precisas e contextualizadas ao interagir com conteúdos relacionados à saúde. Instrução: Outra modalidade de ajuste que podemos fazer em LLMs é a instrução ou instruction tuning [18]. Ao contrário do treinamento supervisionado tradicional, onde o modelo aprende a partir de exemplos diretos, o instruction tuning envolve a instrução explícita de um LLM sobre como executar uma determinada tarefa, definindo o formato de saída esperado. No contexto do nosso projeto, essa técnica será crucial para orientar o modelo na análise e interpretação de textos relacionados à saúde, garantindo que as respostas sejam formatadas de acordo com as necessidades específicas da aplicação.

Não Informado

Não Informado

Não Informado

Não Informado

Não Informado

Não Informado

Não Informado