Aprimorando a Justiça em Grandes Modelos de Linguagem para Aplicações Clínicas de Inteligência Artificial por Meio de Ajuste Fino e Prompting

Resumo

Grandes modelos de linguagem específicos para a saúde enfrentam desafios éticos e técnicos, pois, assim como outros grandes modelos de linguagem, refletem os vieses inerentes aos seus dados de treinamento. O protocolo apresentado aqui verifica a supressão de quatro tipos de viés (gênero, raça, profissão, religião) usando variantes prompt em três modelos de código aberto.

Resumo

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais aplicados a domínios sensíveis, como a assistência médica, que apresentam múltiplos desafios técnicos e éticos. As questões mais imediatas incluem vieses incorporados nesses modelos, que são treinados com grandes conjuntos de dados que podem refletir preconceitos sociais. Tais vieses podem gerar resultados injustos, não generalizáveis ou até prejudiciais, tornando-os clinicamente inaplicáveis no mundo real e não conformes às restrições éticas e regulatórias. Examinamos o quão bem funciona a supressão de viés quando modelos finamente ajustados são orientados em quatro categorias críticas (gênero, raça, profissão e religião). Curamos manualmente um conjunto de dados de inferência diversificado e criamos doze variantes de prompt — seis das quais são debiase — para testar os resultados de três LLMs open-source: Llama2-7B, Mistral-7B e Dolly-7B. A justiça e interpretabilidade dos resultados são avaliadas usando uma métrica de pontuação de viés, onde pontuações mais baixas indicam melhor justiça e interpretabilidade. Também observamos que prompts debiase reduzem o viés, e o ajuste fino do modelo tem desempenho ainda melhor. Os resultados enfatizam a importância crítica de uma ação oportuna, robustez do modelo e escrutínio ético contínuo para a implementação confiável e justa de LLMs em ambientes do mundo real, como imagens médicas e a manutenção de Prontuários Eletrônicos de Saúde (EHR).

Introdução

Grandes Modelos de Linguagem têm uma enorme repercusão como ferramentas para apoiar tarefas diversas, incluindo tomada de decisão ^1,2, geração^{de texto 3},^{tradução de texto 4}, análise de sentimento^{do cliente 5}, resposta^{a perguntas 6} e geração de relatórios^{clínicos 7}. Vários casos ocorreram recentemente em que aplicativos usaram LLMs para gerar conteúdo que prejudica indivíduos ou grupos socialmente^{desfavorecidos 8,9,10}

Protocolo

Todos os experimentos são realizados na plataforma Google Colab (A100 com 40 GB de RAM). Para realizar experimentos, chaves API (cartões modelo) de Llama2-7B, Mistral-7B e Dolly-7B foram coletadas do Hugging Face.

O protocolo é dividido em três partes. Primeiro, construa um conjunto de dados que sirva como base para avaliar o viés social em LLMs. Depois, projetar doze variantes distintas de prompts, alinhadas com o trabalho realizado por Kamruzzaman e Kim³⁸ para investigar a presença de viés social nas inferências geradas pelos LLMs. Depois, ajuste os LLMs em um conjunto de dados de ....

Resultados

Usando a pontuação de viés definida na Equação 1, respondemos sistematicamente às nossas perguntas de pesquisa e avaliamos vieses sociais em LLMs em quatro dimensões sociais. As reduções estatisticamente significativas das pontuações de viés observadas fornecem validação empírica do protocolo proposto para redução de viés em LLMs para tarefas de alto risco. Para avaliar a eficácia do NeutralSet, ou seja, do conjunto de dados de inferência curado, consultamos os três LLMs padrão tanto no .......

Discussão

Neste trabalho, apresentamos um protocolo escalável para reduzir vieses sociais em LLMs que utiliza Llama2-7B¹³, Mistral-7B¹⁴ e Dolly-7B¹⁵. Essa abordagem combina engenharia de prompts HP2, modificações de prompts de debiasing e ajuste fino direcionado para desenvolver um protocolo para a redução contínua do viés nos resultados gerados por LLMs nas quatro principais dimensões sociais de gênero, raça, profissão e reli.......

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Google Colab	Google	https://colab.research.google.com/	usado para realizar os experimentos
Mendeley Desktop	Mendeley	https://www.mendeley.com/	Usado para gerenciar citações e referências.