É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de método
Este protocolo descreve o desenvolvimento e avaliação de um chatbot de geração aumentada baseada em diretrizes de recuperação, que recupera e resume conteúdos de diretrizes clínicas de prática oncênica baseadas na web para gerar respostas baseadas em referências às dúvidas dos usuários.
A ampla disponibilidade de informações médicas na Internet melhorou o acesso ao conhecimento relacionado à saúde para os pacientes; No entanto, também aumentou a exposição a informações médicas imprecisas. O cuidado oncológico envolve informações complexas, dificultando para os pacientes identificarem fontes precisas e baseadas em evidências. Grandes modelos de linguagem possibilitam interação com linguagem natural, mas frequentemente geram alucinações, limitando sua aplicação na entrega de informações médicas. A geração aumentada por recuperação (RAG) tem o potencial de mitigar esses riscos ao fundamentar as respostas em fontes de referência externas. Este estudo descreve o desenvolvimento e avaliação de um chatbot RAG baseado em diretrizes que utiliza diretrizes de prática clínica de câncer disponíveis publicamente e baseadas na web. O sistema extrai URLs das páginas de sumário de uma diretriz, processa o texto das páginas usando análise morfológica e similaridade cosseno com base na frequência de termos–frequência inversa do documento, e constrói informações de referência a partir de páginas altamente relevantes. Um grande modelo de linguagem usa essas referências para gerar respostas restritas a conteúdo de diretrizes. O Guia do JLCS para Pacientes e Famílias com Câncer de Pulmão foi usado como referência diretriz. Os conjuntos de questões incluíam tanto tipos de câncer dentro do escopo cobertos pela diretriz quanto tipos de câncer fora do escopo para avaliar o controle da resposta. Informações médicas foram extraídas com sucesso das páginas de sumário, com 98% dos URLs extraídos contendo conteúdo médico referencial. Para perguntas dentro do escopo, o chatbot gerou respostas resumindo o conteúdo das diretrizes, e nenhuma alucinação foi identificada durante a revisão manual sob as condições de teste definidas. Para perguntas fora do escopo, o chatbot consistentemente se recusou a responder e indicou que as informações disponíveis eram insuficientes. A estrutura web da diretriz facilitou a extração eficiente e a organização do conteúdo de referência no nível da URL. Esse protocolo fornece orientações práticas para construir sistemas de inteligência artificial que fornecem informações médicas utilizando diretrizes de prática clínica baseadas na web.
O uso generalizado da internet e das redes sociais facilitou o acesso dos pacientes às informaçõesmédicas 1,2. As informações sobre o cuidado do câncer são frequentemente complexas e extensas, tornando particularmente difícil para os pacientes identificarem fontes precisas, relevantes e baseadas em evidênciascientíficas 3. Embora os recursos online possam ajudar na compreensão do paciente, eles também contêm uma quantidade substancial de informações médicasincorretas 3, o que pode afetar negativamente as decisões dos pacientes so....
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Este estudo não envolve sujeitos humanos que necessitam de proteção contra riscos envolvidos na pesquisa. Portanto, não exige revisão por um conselho institucional de revisão, de acordo com as diretrizes éticas japonesas para pesquisa médica envolvendo sujeitoshumanos 19. Este estudo é relatado de acordo com as diretrizes TRIPOD-LLM (Relatório Transparente de um Modelo Multivariável para Prognóstico ou Diagnóstico Individual)(TRIPOD) 20.
Consulte a Figura 1 para uma visão geral esquemática do protocolo de chatbot RAG baseado em di....
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Recuperação de Conteúdo Médico por Páginas de Índice
A arquitetura de raspagem web coletava URLs da página de índice da diretriz. Do Lung Guidebook, 106 URLs foram extraídas da página de sumário, das quais 104 (98%) continham informações médicas (Tabela Suplementar 1). A eficácia das respostas do chatbot com base nas páginas de conteúdo das diretrizes é resumida na Tabela 1. O chatbot gerou respostas para toda.......
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Neste estudo, examinamos a utilidade de um chatbot RAG baseado em diretrizes que utilizava uma diretriz de prática clínica baseada na web — o Guia JLCS para Pacientes e Famílias com Câncer de Pulmão — como fonte de informação de referência. O chatbot gerava respostas baseadas no conteúdo da diretriz, explorando a estrutura web da diretriz e recuperando páginas com base em sua semelhança com as consultas dos usuários. Essa abordagem demonstrou que a recuperação baseada em similaridade, co.......
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Os autores declaram não haver interesses concorrentes.
Os autores agradecem a Kenichi Inoue, MD, PhD (Shonan Memorial Hospital Breast Center), por seu extenso suporte técnico no desenvolvimento do chatbot de geração aumentada baseada em orientações. Os autores também agradecem a Chikako Yamaki, PhD, e a todos os membros da equipe de pesquisa do Instituto de Controle do Câncer, Centro Nacional de Câncer do Japão (Tóquio, Japão), por fornecer conselhos valiosos sobre o tema abordado neste artigo. Além disso, os autores agradecem à Editage pela edição em inglês. Esse trabalho foi apoiado por uma Bolsa de Pesquisa em Ciências da Saúde e do Trabalho (R6–Controle do Câncer–23EA1026).
....Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| Beautiful Soup 4 (versão 4.12.3) | Beautiful Soup Project | N/A | Biblioteca Python usada para extração de URL e análise de HTML |
| ChatGPT versão 4o | OpenAI | N/A | Usado para geração de palavras-chave |
| GPT-3.5-turbo | OpenAI | N/A | Usado para geração de resposta |
| Guia JLCS para Pacientes e Familiares com Câncer de Pulmão | Sociedade Japonesa de Câncer de Pulmão | N/A | Diretriz de prática clínica baseada na web usada como informação de referência |
| MeCab (versão 0.996) | Projeto MeCab | N/A | Analisador morfológico japonês |
| OpenAI API | OpenAI | N/A | Usado para geração de resposta baseada em IA |
| Python (versão 3.12) | Fundação de Software Python | N/A | Ambiente de programação |
| Requests (versão 2.32.3) | Projeto Requests | N/A | Biblioteca Python usada para recuperação de páginas da web |
| scikit-learn (versão 1.6.1) | Desenvolvedores scikit-learn | N/A | Usado para vetorização TF–IDF e cálculo de similaridade cosine. |
| urllib.parse | Fundação de Software Python | N/A | Biblioteca Python usada para normalização e junção de URL |
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.