Aqui, apresentamos um protocolo reprodutível para desenvolver e avaliar modelos explicáveis de inteligência artificial para análises em saúde. O fluxo de trabalho integra pré-processamento de dados, modelagem preditiva, explicabilidade baseada em SHAP, LIME- e Grad-CAM, avaliação quantitativa e validação centrada no ser humano para apoiar a tomada de decisão clínica transparente e confiável.
É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de investigação
Um Protocolo Reproduzível para Desenvolver e Avaliar Frameworks de Inteligência Artificial Explicáveis em Análise de Saúde
Neste artigo
Resumo
Resumo
A Inteligência Artificial Explicável (XAI) é cada vez mais reconhecida como uma ferramenta indispensável para construir sistemas de IA confiáveis na saúde, onde a transparência e a capacidade de explicar decisões são componentes essenciais da tomada de decisão clínica. Esta publicação apresenta uma abordagem experimental reprodutível para desenvolver e avaliar sistemas de IA explicáveis para análises em saúde. O pipeline desenvolvido integra as etapas de pré-processamento de dados, modelagem preditiva, geração de interpretação e avaliação em um fluxo de trabalho contínuo que pode ser aplicado tanto a dados clínicos estruturados quanto a conjuntos de dados de imagem médica. Modelos de aprendizado de máquina em conjunto demonstraram forte desempenho preditivo em conjuntos de dados tabulares estruturados, enquanto modelos de aprendizado profundo são eficazes para aprender padrões complexos em dados de imagem médica. Técnicas como SHAP, LIME e Grad-CAM são explicações globais e locais que facilitam a interpretação de modelos. Muito útil. A avaliação quantitativa do framework abrange muitos tipos diferentes de métricas, como precisão, exatidão, recordação, pontuação F1, ROC-AUC, métricas de explicação, fidelidade e estabilidade. Os resultados indicam que, quando as condições experimentais são controladas, a estrutura demonstrou melhor desempenho preditivo e qualidade de explicação sob as condições experimentais avaliadas. Como um documento guiado por protocolo, este trabalho apoia a reprodutibilidade e escalabilidade, a implementação persistente por outros seres vivos. Esse modelo de IA transparente e compreensível é a base sobre a qual o suporte à tomada de decisão clínica e os sistemas de análise em saúde ganham confiança e uso em larga escala.
Introdução
A inteligência artificial (IA) tornou-se um componente importante da saúde moderna ao apoiar o diagnóstico de doenças, prognóstico, estratificação de riscos, análise de imagens médicas e tomada de decisãoclínica. Avanços em aprendizado de máquina e deep learning permitiram que sistemas de saúde processassem grandes volumes de dados estruturados e não estruturados, frequentemente alcançando desempenho preditivo comparável ou superior às abordagens estatísticasconvencionais 2. Apesar desses avanços, muitos modelos de IA operam como sistemas complexos de caixa-preta, dificultando para clínicos e atores da saúde entenderem como as previsõessão geradas 3. Essa falta de transparência pode limitar a confiança, a adoção e a responsabilidade em ambientes de saúde de alto risco 4,5.
A inteligência artificial explicável (XAI) surgiu como uma abordagem promissora para melhorar a transparência e a interpretabilidade dos modelos de aprendizadode máquina 6. Técnicas de explicação amplamente utilizadas, incluindo SHAP (explicações aditivas de Shapley), LIME (explicações locais interpretáveis ao modelo) e mapeamento de ativação de classes ponderado por gradiente (Grad-CAM), fornecem insights sobre o comportamento do modelo por meio de atribuição de características e mecanismos de explicaçãovisual 7,8,9. Esses métodos têm sido cada vez mais aplicados a aplicações de saúde para apoiar interpretação clínica, auditoria de modelos e suporte à decisão10,11. No entanto, a explicabilidade por si só não garante confiabilidade, reprodutibilidade ou utilidade clínica. Estudos recentes destacaram desafios relacionados à instabilidade da explicação, sensibilidade a perturbações, validação limitada pelos clínicos e inconsistências entre os resultados das explicações e o raciocínio verdadeiro do modelo 12,13,14,15.
Além dos desafios de explicabilidade, a reprodutibilidade continua sendo uma preocupação significativa na pesquisa em aprendizado de máquina em saúde 16,17,18. Muitos estudos publicados fornecem informações limitadas sobre procedimentos de pré-processamento, ambientes de software, configurações de hiperparâmetros, estratégias de validação e fluxos de trabalho de implementação, tornando a replicação independente difícil 19,20,21. Além disso, estudos de IA em saúde frequentemente focam no desempenho preditivo, ao mesmo tempo em que fornecem orientações limitadas sobre avaliação de qualidade de explicação, avaliação centrada no clínico e considerações práticasde implementação 22. Essas limitações podem dificultar a tradução de sistemas de IA explicáveis de ambientes de pesquisa para ambientes reais de saúde 23,24,25,26,27.
Os fluxos de trabalho atuais de XAI em saúde frequentemente avaliam técnicas de explicação individual ou modelos preditivos isoladamente e raramente fornecem protocolos padronizados que integrem preparação de dados, modelagem preditiva, avaliação de explicabilidade, avaliação centrada no ser humano e recursos de reprodutibilidade 28,29,30,31. Consequentemente, pesquisadores e profissionais podem enfrentar dificuldades ao reproduzir fluxos de trabalho, comparar métodos explicativos ou avaliar a utilidade prática de sistemas de IA explicáveis em diferentes conjuntos de dados e domínios de aplicação em saúde. Portanto, é necessário um protocolo abrangente e reproduzível para facilitar a implementação, avaliação e relatórios consistentes dos fluxos de trabalho explicáveis de IAem saúde 32,33,34,35.
Aqui, apresentamos um protocolo reprodutível para desenvolver, avaliar e interpretar sistemas de inteligência artificial explicáveis em análises de saúde em áreas. O protocolo integra pré-processamento de dados, modelagem preditiva, avaliação de explicabilidade usando SHAP, LIME e Grad-CAM, avaliação centrada no clínico, procedimentos de validação e recursos de reprodutibilidade dentro de um fluxo de trabalho unificado. O objetivo é fornecer uma estrutura padronizada que apoie o desenvolvimento transparente de modelos, avaliação da qualidade da explicação e implementação reprodutível em diversos conjuntos de dados de saúde36, 37, 38, 39. A contribuição metodológica deste trabalho está na integração de análises preditivas, avaliação de explicabilidade, validação por clínicos e práticas de reprodutibilidade em um único protocolo adequado para pesquisa, educação e estudos orientados à implantação em IAem saúde 40,41,42,43.
A principal contribuição deste trabalho não é o desenvolvimento de um novo algoritmo de explicabilidade.
Em vez disso, oferece um protocolo padronizado, reproduzível e validado experimentalmente que integra modelagem preditiva, avaliação de explicabilidade, visualização, avaliação e interpretação centrada no ser humano em um fluxo de trabalho unificado, adequado para análise de dados em saúde e disseminação de protocolos baseados em JoVE. O objetivo principal deste trabalho não é introduzir um algoritmo preditivo inovador, mas fornecer um protocolo padronizado, reproduzível e validado experimentalmente para implementar fluxos de trabalho de inteligência artificial explicáveis em análises de saúde. O protocolo integra pré-processamento de dados, modelagem preditiva, avaliação de explicabilidade, avaliação centrada no clínico e recursos de reprodutibilidade em um arcabouço unificado adequado para adoção, replicação e disseminação educacional.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Protocolo
Todos os conjuntos de dados utilizados neste estudo foram obtidos de repositórios públicos e totalmente anonimizados, incluindo o Repositório de Aprendizado de Máquina UCI, o banco de dados PhysioNet MIMIC-III e os conjuntos de dados de raio-X do tórax do NIH. Nenhuma informação identificável do paciente foi acessada. O estudo cumpriu as diretrizes institucionais de ética em pesquisa para análise secundária de dados públicos e desidentificados. Não foi necessária aprovação formal do Conselho de Revisão Institucional porque nenhum participante humano foi recrutado diretamente e nenhuma informação de saúde protegida foi utilizada.
1. Visão geral dos Marcos Experimentais
- Desenvolver um pipeline de inteligência artificial (XAI) reproduzível e explicável para análises transparentes em saúde. Organize o fluxo de trabalho em Camada de Dados, Camada de Pré-processamento, Camada de Modelagem, Camada de Explicabilidade, Camada de Avaliação e Camada de Visualização.
- Integre esses módulos em um fluxo de trabalho unificado capaz de processar dados clínicos estruturados, prontuários eletrônicos e conjuntos de dados de imagens médicas.
- Garanta que cada módulo contribua para a reprodutibilidade, interpretabilidade, escalabilidade e execução experimental padronizada.
- Projete a arquitetura modular para suportar fluxo contínuo de dados e garantir que cada etapa do pipeline contribua para a reprodutibilidade, interpretabilidade e escalabilidade ao longo do fluxo de trabalho experimental.
2. Ambiente Computacional e Configuração do Sistema
- Instale as dependências de software necessárias antes de executar o fluxo de trabalho, abrindo um terminal de linha de comando e executando o seguinte comando:
pip install numpy pandas scikit-learn tensorflow shap lime opencv-python matplotlib seaborn - Verifique a instalação bem-sucedida de todos os pacotes de software e confirme a compatibilidade com as versões listadas na Tabela de Materiais antes de prosseguir com o pré-processamento de dados e o desenvolvimento do modelo.
- Use Python 3.11 como o principal ambiente de programação. Instale e configure o NumPy 1.26 e o Pandas 2.1 para tarefas de manipulação de dados e engenharia de recursos. Instale o Scikit-learn 1.5 para desenvolvimento e avaliação de modelos de aprendizado de máquina.
- Instale o TensorFlow 2.15 para treinamento e inferência de modelos de aprendizado profundo. Instale o SHAP 0.46 e o LIME 0.2.0 para análise de explicabilidade. Instale o OpenCV 4.10 para tarefas de processamento de imagem. Instale o Matplotlib 3.9 e o Seaborn 0.13 para visualização de dados e relatórios de resultados. Consulte a Tabela de Materiais para as especificações completas de software e detalhes de implementação necessários para reprodutibilidade.
- Configure o ambiente computacional usando uma estação de trabalho equipada com processador multi-core, aceleração de unidades de processamento gráfico (GPU) e recursos de memória suficientes para acomodar grandes conjuntos de dados de saúde e cargas de trabalho de aprendizado profundo.
- Estabeleça sementes aleatórias fixas para particionamento de dados, inicialização do modelo e procedimentos de treinamento para garantir reprodutibilidade em execuções experimentais. Permitir mecanismos de registro para registrar operações de pré-processamento de dados, configurações de modelos, configurações de hiperparâmetros, procedimentos de treinamento e resultados de avaliação ao longo do fluxo de trabalho.
- Configure as arquiteturas dos modelos, parâmetros de otimização, taxas de aprendizado, tamanhos de lote, configurações de treinamento e valores de hiperparâmetros de acordo com as especificações resumidas na Tabela 1. Siga essas configurações durante os experimentos de replicação para garantir consistência com os resultados relatados.
- Saída Esperada - Um ambiente computacional totalmente configurado e reproduzível com todos os pacotes de software necessários, recursos de hardware, mecanismos de registro e configurações de modelo disponíveis para pré-processamento de dados subsequentes, desenvolvimento de modelos, análise de explicabilidade e procedimentos de avaliação.
| Componente | Parâmetro | Valor | Descrição |
| Floresta Aleatória | n_estimators | 100 | Número de árvores |
| Floresta Aleatória | max_depth | Nenhum | Profundidade da árvore |
| XGBoost | learning_rate | 0.01 | Taxa de aprendizado |
| XGBoost | n_estimators | 100 | Munição de reforço |
| CNN | Épocas | 25 | Épocas de treinamento |
| CNN | batch_size | 32 | Tamanho do lote |
| CNN | otimizador | Adam | Algoritmo de otimização |
| MLP | hidden_layers | 2 | Número de camadas ocultas |
| MLP | Ativação | ReLU | Função de ativação |
| Geral | train_split | 70% | Razão de dados de treinamento |
| Geral | validation_split | 15% | Razão de validação |
| Geral | test_split | 15% | Razão de testes |
Tabela 1: Detalhes da Implementação e Configuração dos Hiperparâmetros.
Esta tabela resume o ambiente computacional, bibliotecas de software, configurações de modelos de aprendizado de máquina e deep learning, configurações de otimização, taxas de aprendizado, tamanhos de lote, parâmetros de treinamento e valores de hiperparâmetros usados durante toda a avaliação experimental do framework de IA explicável proposto.
3. Preparação e Pré-processamento de Conjuntos de Dados
- Selecionar conjuntos de dados de saúde públicos disponíveis para garantir transparência e reprodutibilidade do fluxo de trabalho experimental.;
- Use quatro cenários representativos de saúde para validar o quadro proposto: (i) diagnóstico de câncer de mama usando o Wisconsin Breast Cancer Dataset, (ii) predição de risco de diabetes usando o Pima Indians Diabetes Dataset, (iii) previsão de resultados clínicos usando registros eletrônicos de saúde MIMIC-III, e (iv) classificação de doenças torácicas usando o NIH Chest X-ray Dataset. Escolha esses conjuntos de dados para avaliar a estrutura em registros clínicos estruturados, prontuários eletrônicos longitudinais e modalidades de imagem médica comumente usadas em sistemas de suporte à decisão em saúde.
- Importe cada conjunto de dados para o ambiente Python e separe os registros em características de entrada e variáveis de alvo. Organizar dados clínicos estruturados para tarefas de predição de doenças, prontuários eletrônicos de saúde para análise longitudinal de desfechos e conjuntos de dados de imagens médicas para tarefas de classificação diagnóstica. Verifique a integridade de cada conjunto de dados antes de prosseguir com as operações de pré-processamento.
- Identifique e corriga valores ausentes usando técnicas de imputação apropriadas. Padronize características numéricas por meio de procedimentos de escalonamento e normalização de características para garantir comparabilidade entre variáveis.
- Codificar variáveis categóricas usando métodos de codificação adequados baseados nas características do conjunto de dados. Realize a seleção de características usando análise de correlação e medidas de importância de características baseadas em modelos para identificar as variáveis mais relevantes e reduzir a dimensionalidade dos dados.
- Redimensione todas as imagens médicas para 224, 224 pixels antes do treinamento do modelo. Normalize os valores de intensidade dos pixels de acordo com os requisitos da arquitetura de deep learning selecionada. Aplicar técnicas de aumento de dados, incluindo rotação de imagens e inversão horizontal, para melhorar a generalização dos modelos e reduzir o sobreajuste. Verifique a qualidade da imagem e garanta a consistência das dimensões da imagem em todo o conjunto de dados.
- Avalie a integridade dos dados avaliando a completude, consistência e alinhamento dos rótulos de características. Verifique se todos os registros estão corretamente atribuídos às suas respectivas classes-alvo. Revise as características do conjunto de dados, incluindo tamanho da amostra, contagem de características e modalidade dos dados, conforme resumido na Tabela 2.
- Implementar procedimentos específicos de validação para cada conjunto de dados para garantir rigor metodológico e reprodutibilidade. Registre o tamanho da amostra, distribuição de classes, estratégia de divisão train-validation-test, medidas de prevenção de vazamento, procedimentos de otimização de hiperparâmetros, design de validação cruzada e protocolo de teste externo para cada conjunto de dados. Resuma esses procedimentos de validação na Tabela 3.
- Realize verificações de controle de qualidade de pré-processamento avaliando o tratamento de valores faltantes, remoção de outliers, escalonamento de características, codificação categórica, preservação de distribuição de classes e procedimentos de particionamento de conjuntos de dados. Verifique se as operações de pré-processamento são aplicadas de forma consistente em todos os conjuntos de dados.
- Confirme a ausência de vazamento substancial de dados durante o particionamento do conjunto de dados. Revise os resultados da validação do pré-processamento apresentados na Figura 1 para garantir que conjuntos de dados padronizados tenham sido gerados para análises subsequentes de aprendizado de máquina e explicabilidade.
- Saída Esperada – Gerar conjuntos de dados limpos e padronizados com valores ausentes devidamente endereçados, variáveis categóricas codificadas, recursos numéricos normalizados e registros particionados em subconjuntos de treinamento, validação e teste. Certifique-se de que as características do conjunto de dados, distribuições de classes e procedimentos de validação correspondam aos relatados nas Tabelas 2 e Tablas 3, e confirme a validação bem-sucedida do pré-processamento, conforme ilustrado na Figura 1.
| Conjunto de dados | Tipo | Samples | Características | Alvo |
| Câncer de Mama | Tabular | 569 | 30 | Benigno/Maligno |
| Diabetes | Tabular | 768 | 8 | Desfecho do Diabetes |
| MIMIC-III | EHR | ~60.000 | Variáveis clínicas | Mortalidade |
| Raio-X de tórax | Imagem | ~112.000 | Imagens | Etiquetas de Doenças |
Tabela 2: Características do Conjunto de Dados e Casos de Uso em Saúde.
Esta tabela fornece um resumo dos conjuntos de dados de dados de saúde usados no estudo, incluindo tipo de conjunto, número de amostras, contagem de características, variáveis-alvo, domínio de aplicação em saúde e casos de uso clínicos associados. Os conjuntos de dados abrangem prontuários clínicos estruturados, registros eletrônicos de saúde e dados de imagem médica para demonstrar a aplicabilidade do framework em diversos cenários de análise de saúde.
| Conjunto de dados | Tamanho da Amostra | Distribuição de classes | Estratégia Dividida | Prevenção de Vazamentos | Busca por Hiperparâmetros | Validação cruzada | Teste Externo |
| Câncer de Mama (UCI, Wisconsin) | 569 | 357 Benigno / 212 Maligno | 70/15/15 | Pré-processamento exclusivo de trens | Busca em Grade | CV estratificado de 5 vezes | Conjunto Independente de Resistência |
| Diabetes dos índios Pima | 768 | 500 Não Diabéticos / 268 Diabéticos | 70/15/15 | Pré-processamento exclusivo de trens | Busca em Grade | CV estratificado de 5 vezes | Conjunto Independente de Resistência |
| MIMIC-III EHR | 5274 | Coortes estratificadas por resultado | 70/15/15 Nível de paciente | Separação em nível de paciente | Busca Aleatória | CV em nível de paciente 5 vezes | Conjunto Independente de Resistência |
| Raio-X de Tórax do NIH | 112120 | Pneumonia/Estratificado normal | 70/15/15 | Separação em nível de imagem | Busca Aleatória | CV estratificado de 5 vezes | Conjunto Independente de Resistência |
Tabela 3: Validação em Nível de Conjunto de Dados e Desenho Experimental.
Esta tabela resume a metodologia de validação empregada para cada conjunto de dados, incluindo tamanho da amostra, distribuição de classes, estratégia de divisão train-validation-test, procedimentos de prevenção de vazamentos, métodos de otimização de hiperparâmetros, design de validação cruzada e protocolos externos de teste. Essas medidas foram implementadas para garantir rigor metodológico, reprodutibilidade e avaliação imparcial do modelo.
Figura 1: Validação do Pipeline de Pré-processamento de Dados.
Resultados de validação para operações de pré-processamento chave realizadas antes do desenvolvimento do modelo. (A) Análise de valor perdido em recursos representativos de saúde. (B) Distribuição de uma variável numérica antes e depois do tratamento de outliers. (C) Validação de escalonamento de características usando padronização. (D) Validação de codificação categórica. (E) Distribuição de classes após o pré-processamento. (F) Validação da partição de dados de treino-validação-teste. Esses resultados confirmam o pré-processamento e a preparação bem-sucedidos dos conjuntos de dados para modelagem preditiva e análise de explicabilidade. Por favor, clique aqui para ver uma versão ampliada desta figura.
4. Arquitetura do Sistema do Framework de IA Explicável
- Organize o framework usando uma arquitetura em camadas para facilitar o processamento modular, melhorar a transparência do fluxo de trabalho e apoiar a implementação reproduzível. Configure a Camada de Dados para receber e gerenciar conjuntos de dados brutos de saúde. Roteie todos os conjuntos de dados recebidos pela Camada de Dados antes de iniciar operações de pré-processamento.
- Realizar procedimentos de limpeza, transformação, normalização, engenharia de características e codificação de dados dentro da Camada de Pré-processamento. Certifique-se de que todas as operações de pré-processamento sejam concluídas antes do desenvolvimento do modelo.
- Desenvolver modelos preditivos dentro da Camada de Modelagem usando algoritmos de aprendizado de máquina e deep learning. Modelos de Train Gradient Boosting, Random Forest, Multilayer Perceptron (MLP) e Convolutional Neural Network (CNN) usando conjuntos de dados pré-processados e configurações otimizadas de hiperparâmetros.
- Aplique técnicas de explicabilidade dentro da Camada de Explicabilidade para interpretar as previsões do modelo. Gerar explicações de atribuição de características usando SHAP e LIME para conjuntos de dados estruturados. Gerar mapas de calor Grad-CAM para modelos baseados em imagem para visualizar regiões que contribuem para as previsões do modelo.
- Avalie o desempenho preditivo e explicável dentro da Camada de Avaliação. Calcule precisão, exatidão, recordação, escore F1, ROC-AUC, fidelidade, estabilidade e métricas de avaliação centradas no clínico. Registre todos os resultados das avaliações para análises e relatórios subsequentes.
- Gerar resultados visuais clinicamente interpretáveis dentro da Camada de Visualização. Crie gráficos de comparação de desempenho, visualizações de importância de características, gráficos resumo SHAP, explicações LIME, mapas de calor Grad-CAM e painéis de relatórios orientados para clínicos. Armazene todos os resultados visuais para inclusão no relatório experimental final.
- Revise a arquitetura completa do framework ilustrada na Figura 2 antes de prosseguir com a execução do fluxo de trabalho.
- Saída Esperada - Gerar modelos totalmente treinados de aprendizado de máquina e deep learning, incluindo arquiteturas Gradient Boosting, Random Forest, CNN e MLP. Armazene configurações de modelos, hiperparâmetros otimizados, logs de treinamento, arquivos de checkpoint, saídas de explicabilidade e artefatos de visualização para avaliação e análise de interpretabilidade subsequentes.
Figura 2: Arquitetura do Sistema do Framework de IA Explicável para Análise de Serviços de Saúde. Por favor, clique aqui para ver uma versão maior desta figura.
5. Execução do Fluxo de Trabalho
- Adquirir conjuntos de dados de saúde de repositórios públicos e armazenar esses conjuntos em formatos estruturados adequados para aprendizado de máquina e análise de deep learning. Revise o fluxo de trabalho completo ilustrado na Figura 3 antes de iniciar o procedimento experimental.
- Realizar a limpeza e pré-processamento dos dados de acordo com os procedimentos descritos na Seção 3. Normalize variáveis numéricas usando métodos de escalonamento apropriados. Codificar variáveis categóricas usando técnicas de codificação adequadas. Identifique e impute valores ausentes usando estratégias de imputação específicas de cada conjunto de dados. Verifique a qualidade dos dados, o alinhamento dos rótulos de características e a completude do conjunto de dados antes de prosseguir com o desenvolvimento do modelo.
- Particione cada conjunto de dados em subconjuntos de treinamento, validação e teste para suportar a avaliação imparcial do modelo. Preservar as distribuições de classes durante o particionamento de conjuntos de dados e implementar medidas de prevenção de vazamentos quando aplicável. Reserve o subconjunto de testes exclusivamente para avaliação final do modelo.
- Treine modelos de aprendizado de máquina em conjuntos de dados estruturados usando algoritmos baseados em conjunto, incluindo Gradient Boosting e Random Forest. Treine modelos de aprendizado profundo em conjuntos de dados de imagem usando arquiteturas de Redes Neurais Convolucionais (CNN) capazes de aprender características espaciais de imagem. Atualize os parâmetros do modelo iterativamente durante o treinamento e monitore o desempenho da validação após cada época de treinamento. Aplique parada precoce quando o desempenho da validação se deteriorar ou não melhorar de acordo com os critérios pré-definidos de parada.
- Otimize os hiperparâmetros do modelo usando estratégias de busca sistemática, incluindo busca em grade e busca randomizada. Ajuste a taxa de aprendizado, número de estimadores, profundidade da árvore, tamanho do lote, número de épocas e outros parâmetros específicos do modelo de acordo com o desempenho da validação. Selecione o modelo final com base no desempenho preditivo e na capacidade de generalização entre conjuntos de dados de validação.
- Aplique métodos de explicabilidade após concluir o treinamento de modelo. Gerar explicações globais usando técnicas de atribuição de características para identificar variáveis que contribuem mais fortemente para as previsões do modelo. Gerar explicações locais para analisar casos individuais de previsão e avaliar o comportamento do modelo em nível amostral. Crie mapas de calor Grad-CAM para modelos de classificação de imagens para destacar regiões da imagem que contribuem para o resultado previsto. Armazene todos os resultados explicativos para análises e relatórios subsequentes.
- Avalie o desempenho preditivo usando precisão, precisão, recall, F1-score e área de características operacionais do receptor sob a curva (ROC-AUC). Avalie a qualidade da explicação usando métricas de fidelidade e estabilidade para avaliar a confiabilidade e consistência da explicação. Compare o desempenho dos modelos entre conjuntos de dados e métodos de explicabilidade para avaliar a robustez e a generalização do framework.
- Gerar resultados de visualização e relatórios analíticos para comunicar resultados de forma clinicamente interpretável. Crie gráficos de comparação de desempenho, gráficos de importância de características, visualizações resumidas do SHAP, resultados de explicação LIME, mapas de calor Grad-CAM e outras visualizações clinicamente relevantes. Revise todos os resultados visuais para garantir clareza e consistência antes de relatar.
- Documente todas as operações de pré-processamento, configurações de modelos, configurações de hiperparâmetros, procedimentos de explicabilidade, estratégias de validação e resultados de avaliação. Mantenha registros experimentais detalhados para facilitar a reprodutibilidade e a replicação independente do fluxo de trabalho. Verifique a consistência dos resultados ao longo de repetidas execuções experimentais e arquive todos os artefatos do fluxo de trabalho para referência futura.
- Saída Esperada - Gerar um modelo preditivo totalmente treinado com hiperparâmetros otimizados, pesos salvos do modelo, logs de treinamento, métricas de desempenho e resultados explicáveis, incluindo explicações SHAP, explicações LIME e heatmaps Grad-CAM. Armazene todos os artefatos do modelo, relatórios de avaliação e resultados de visualização para análise subsequente e avaliação de reprodutibilidade.
Figura 3: Fluxo de Trabalho Completo a Ponta do Pipeline de IA Explicável. Por favor, clique aqui para ver uma versão maior desta figura.
6. Avaliação do Modelo e Avaliação de Explicabilidade
- Avalie o desempenho do modelo preditivo usando métricas padrão de classificação, incluindo precisão, precisão, recordação, pontuação F1 e área característica operacional do receptor sob a curva (ROC-AUC). Calcule a precisão para medir a correção geral da classificação.
- Calcule a precisão para avaliar a proporção de previsões positivas corretamente identificadas. Calcule a recordação para avaliar a capacidade do modelo de identificar casos positivos. Calcule a pontuação F1 para equilibrar precisão e recordação. Calcule o ROC-AUC para avaliar desempenho discriminativo em diferentes limiares de classificação.
- Aplique essas métricas de avaliação de forma consistente em todos os conjuntos de dados e arquiteturas de modelos para facilitar a comparação objetiva de desempenho. Registre todos os valores das métricas e armazene os resultados da avaliação para análise estatística e relatórios subsequentes.
- Avalie o desempenho da explicabilidade usando métricas de fidelidade e estabilidade. Calcule a fidelidade para determinar até que ponto as explicações geradas refletem com precisão as previsões do modelo e o comportamento de tomada de decisão.
- Calcule a estabilidade comparando explicações geradas a partir de amostras de entrada semelhantes e quantificando a consistência das saídas das explicações. Verifique se os valores de fidelidade e estabilidade atendem aos critérios de qualidade pré-definidos antes de interpretar as explicações do modelo.
- Compare o desempenho da explicabilidade entre saídas SHAP, LIME e Grad-CAM.
- Resultado Esperado - Gerar resultados quantitativos de avaliação, incluindo precisão, exatidão, recordação, pontuação F1, ROC-AUC, métricas de fidelidade e estabilidade. Produzir resultados explicáveis e visualizações adequados para relatórios científicos, avaliação de reprodutibilidade e interpretação clínica.
7. Avaliação Centrada no Ser Humano
- Recrute 12 profissionais de saúde, compostos por 6 médicos, 3 radiologistas e 3 analistas de dados clínicos. Selecione participantes com experiência prévia em tomada de decisão clínica, interpretação de imagens médicas, análises em saúde ou revisão de prontuários eletrônicos. Obtenha consentimento informado de todos os participantes antes de iniciar o procedimento de avaliação.
- Selecione aleatoriamente 100 casos dos conjuntos de dados de teste após a conclusão do treinamento do modelo e da análise de explicabilidade. Gerar duas condições de avaliação para cada caso:
- Saída apenas para previsão e
- previsão acompanhada de informações explicáveis. Randomize a ordem de apresentação dos casos e as condições de avaliação para minimizar o viés de apresentação e os efeitos de aprendizagem.
- Prepare formulários padronizados de avaliação contendo resultados de previsão, resultados explicativos e questionários de avaliação. Apresentar casos individualmente aos participantes usando uma interface de avaliação baseada em computador.
- Instrua os participantes a revisarem cada caso de forma independente, sem discutir as respostas com outros avaliadores. Permitir que os participantes completem todas as avaliações sob condições experimentais idênticas.
- Administrar um questionário em escala Likert de cinco pontos, adaptado de estudos publicados e explicáveis de avaliação de inteligência artificial. Instrua os participantes a avaliarem confiança, interpretabilidade e usabilidade para cada caso analisado. Registre as respostas do questionário eletronicamente e verifique a conclusão de todos os itens da pesquisa antes de prosseguir para a análise estatística.
- Meça indicadores objetivos de utilidade clínica durante o processo de avaliação. Registre o acordo de decisão comparando as decisões dos participantes com os rótulos de referência correspondentes ou resultados de verdade. Calcule o acordo de decisão como a porcentagem de decisões dos participantes que correspondem ao resultado de referência.
- Registre o tempo de revisão de cada caso medindo o intervalo entre a apresentação do caso e a submissão da resposta final. Calcule o tempo médio de revisão separadamente para condições apenas de previsão e previsão com explicação.
- Calcule as médias de confiança, interpretabilidade e usabilidade entre todos os participantes e casos de avaliação. Compare as pontuações obtidas sob condições apenas de previsão e previsão com explicação.
- Realize testes t pareados após a conclusão de todas as avaliações dos participantes para determinar se diferenças em confiança, interpretabilidade, usabilidade, acordo de decisão e tempo de revisão são estatisticamente significativas. Use um limiar de significância de p 0,05 para todas as comparações estatísticas.
- Calcule o Fleiss Kappa após coletar respostas de todos os participantes para avaliar a concordância entre avaliadores. Use as avaliações agregadas dos participantes para determinar a consistência das avaliações entre os revisores. Interprete os valores Fleiss Kappa de acordo com as diretrizes estabelecidas do acordo e registre as estatísticas resultantes do acordo.
- Resuma a demografia dos participantes, metodologia de avaliação, desenho do questionário, procedimentos de análise estatística, medidas de desempenho objetivo e resultados de concordância entre avaliadores na Tabela 4.
- Revise os resultados do modelo sob ambas as condições de avaliação e compare as respostas dos participantes entre as condições. Verifique se as explicações melhoram a confiança, a interpretabilidade e a usabilidade sem afetar negativamente a qualidade da decisão.
- Confirme a consistência das avaliações dos participantes usando a estatística calculada de Fleiss Kappa. Registre todos os resultados da avaliação para relatórios subsequentes e avaliações de reprodutibilidade.
- Resultado Esperado – Gerar escores de confiança dos clínicos, avaliações de interpretabilidade, avaliações de usabilidade, medidas de decisão e acordo, estatísticas de tempo de revisão, resultados de testes t pareados e estatísticas de concordância entre avaliadores. Produzir evidências quantitativas que descrevam a utilidade clínica, interpretabilidade e confiabilidade do arcabouço explicável de inteligência artificial.
| Parâmetro | Valor |
| Especialistas | 12 |
| Médicos | 6 |
| Radiologistas | 3 |
| Analistas de Dados Clínicos | 3 |
| Casos Revisados | 100 |
| Projeto de Avaliação | Randomizado (Apenas Previsão vs Previsão+Explicação) |
| Instrumento de Levantamento | Escala de Likert de 5 pontos |
| Avaliação de Confiança | Interpretabilidade, Confiança, Usabilidade |
| Teste Estatístico | Teste t pareado (p 0,05) |
| Confiabilidade entre avaliadores | Fleiss Kappa |
| Medidas Objetivas | Acordo de Decisão, Tempo de Revisão |
Tabela 4: Protocolo de Avaliação Centrada no Ser Humano e Desenho de Avaliação do Clínico.
Esta tabela apresenta o arcabouço de avaliação do clínico usado para avaliar a interpretabilidade, confiabilidade e usabilidade do sistema de IA explicável. Informações sobre demografia dos participantes, metodologia de revisão de casos, desenho de pesquisas, procedimentos de análise estatística, avaliação de confiabilidade entre avaliadores e medidas de avaliação objetiva são resumidas.
8. Validação e Avaliação de Reprodutibilidade
- Realizar estudos de validação e ablação para avaliar a robustez e confiabilidade do framework proposto. Identifique características com altas pontuações de importância usando os métodos de explicabilidade selecionados. Remover características importantes incrementalmente e reeducar os modelos preditivos após cada etapa de remoção de características.
- Avalie o desempenho do modelo após cada experimento de ablação usando precisão, precisão, recordação, escore F1 e métricas ROC-AUC. Compare os valores de desempenho resultantes com o desempenho do modelo de referência para determinar a contribuição de características individuais para os resultados preditivos.
- Avalie a estabilidade da explicação gerando explicações para amostras de entrada semelhantes usando SHAP, LIME e Grad-CAM. Compare os resultados das explicações em avaliações repetidas e quantifique a consistência usando as métricas de estabilidade predefinidas. Verifique se as explicações permanecem estáveis sob pequenas variações de entrada e repetidas execuções experimentais.
- Registre todos os procedimentos experimentais durante todo o fluxo de trabalho. Documentos operações de pré-processamento de dados, procedimentos de particionamento de conjuntos de dados, arquiteturas de modelos, configurações de hiperparâmetros, configurações de treinamento, métodos de explicabilidade, estratégias de validação e métricas de avaliação. Armazene todos os parâmetros de configuração e resultados experimentais em um formato estruturado para facilitar a reprodutibilidade e a verificação independente.
- Revise todos os registros experimentais para garantir completude e consistência. Verifique se o fluxo de trabalho pode ser replicado usando os procedimentos documentados, arquivos de configuração e especificações de software. Manter uma estrutura de fluxo de trabalho modular para facilitar a adaptação do protocolo para estudos futuros e apoiar a conversão em um protocolo experimental baseado em vídeo, consistente com os requisitos metodológicos do JoVE.
9. Recursos de Reprodutibilidade
- Execute todos os experimentos usando sementes aleatórias fixas para garantir resultados reproduzíveis em repetidas sequências. Mantenha código-fonte, scripts de pré-processamento, arquivos de configuração, especificações do ambiente, parâmetros do modelo e scripts de visualização dentro de um repositório acessível publicamente.
- Forneça instruções detalhadas para aquisição de conjuntos de dados, pré-processamento, execução de experimentos, treinamento de modelos, geração de explicabilidade, procedimentos de validação e regeneração de todas as tabelas e figuras reportadas. Arquive todos os componentes do fluxo de trabalho necessários para replicação independente, incluindo especificações de software, fluxos de pré-processamento, arquivos de configuração, instruções de acesso ao conjunto de dados, checkpoints de modelos e ativos de visualização.
- Resuma os recursos de software, fluxos de trabalho de pré-processamento, arquivos de configuração, instruções de acesso ao conjunto de dados e ativos de reprodutibilidade usados em todo o framework na Tabela 5.
- Saída Esperada - Gerar um pacote experimental completo e reproduzível contendo scripts de pré-processamento, arquivos de configuração, modelos treinados, checkpoints de modelo, resultados explicativos, relatórios de validação, artefatos de visualização, especificações de software e documentação necessária para replicação e verificação independentes do framework proposto.
| Recurso | Descrição |
| Código-fonte | Scripts de implementação em Python para pré-processamento de dados, treinamento de modelos, explicabilidade e avaliação |
| Arquivo de Ambiente | requirements.txt contendo dependências e versões de pacotes |
| Arquivos de configuração | Configurações da arquitetura do modelo, hiperparâmetros e configurações experimentais |
| Sementes aleatórias fixas | Semente = 42 usados para experimentos reprodutíveis |
| Instruções de Acesso ao Conjunto de Dados | Links e procedimentos para aquisição de conjuntos de dados de saúde pública |
| Scripts de pré-processamento | Scripts para limpeza de dados, normalização, codificação e seleção de recursos |
| Scripts de Geração de Figuras | Escritas para regenerar todas as figuras manuscritas |
| Scripts de Geração de Tabelas | Scripts para reproduzir tabelas e métricas reportadas |
| Exemplos de Entradas | Conjuntos de dados de exemplo e arquivos de entrada |
| Exemplos de Saídas | Resultados de previsão, explicações e relatórios de avaliação |
Tabela 5: Recursos de Reprodutibilidade e Ativos Experimentais.
Esta tabela resume os recursos fornecidos para suportar a reprodutibilidade experimental, incluindo código-fonte, scripts de pré-processamento, arquivos de configuração, especificações de ambiente, instruções de acesso ao conjunto de dados, configurações aleatórias de semente fixas, scripts de geração de figuras e arquivos de entrada/saída de exemplo necessários para reproduzir os resultados reportados.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Resultados
Avaliamos minuciosamente o componente explicativo de IA de todo o nosso pipeline, avaliando o quão bem ele previu em diferentes tipos de dados de saúde, incluindo tanto dados clínicos estruturados quanto imagens médicas. Os resultados indicaram desempenho preditivo consistente entre os conjuntos de dados avaliados. Entre os modelos testados, o modelo de gradiente de aumento alcançou a maior precisão com 97,4%, seguido pelo modelo de floresta aleatória com 94,2%. Métodos de aprendizado pr...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Discussão
Este estudo desenvolveu e avaliou um fluxo de trabalho de inteligência artificial explicável reprodutível (XAI) para análises em saúde, que integra modelagem preditiva, avaliação de explicabilidade, avaliação centrada no clínico e recursos de reprodutibilidade dentro de um único protocolo. Os resultados demonstraram que modelos de aprendizado de máquina baseados em conjunto, especialmente Gradient Boosting e Random Forest, alcançaram o maior desempenho preditivo nos conjuntos de dados es...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Divulgações
Os autores declaram que não possuem interesses financeiros ou conflitos de interesse concorrentes relacionados a esta obra. A pesquisa foi conduzida de forma independente, sem quaisquer relações comerciais ou financeiras que pudessem ser interpretadas como um potencial conflito de interesses.
Divulgação do Uso de Inteligência Artificial
Ferramentas de inteligência artificial foram usadas para refinamento da linguagem, correção gramatical e assistência editorial durante a preparação de manuscritos. Todo o conteúdo científico, desenho experimental, análise de dados, interpretação e verificação final do manuscrito foram realizados pelos autores. Os autores revisaram e validaram todos os resultados assistidos por IA para garantir precisão, integridade e conformidade com as diretrizes dos periódicos.
Agradecimentos
Os autores gostariam de agradecer às suas respectivas instituições por fornecerem a infraestrutura necessária e o apoio à pesquisa para realizar este estudo. Os autores também reconhecem o uso de conjuntos de dados públicos e ferramentas de código aberto que facilitaram o desenvolvimento e a avaliação do framework proposto para IA explicável. Agradecimentos especiais são enviados aos especialistas do setor que forneceram insights valiosos durante a fase de avaliação centrada no ser humano.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Materiais
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| GPU Workstation | Dependente do fabricante | NA | Treinamento de modelos de aprendizado de máquina profundo |
| Jupyter Notebook | Project Jupyter | Versão estável mais recente | Execução interativa de experimentos |
| LIME | LIME | Versão 0.2.0 | Explicações interpretáveis locais |
| Matplotlib | Matplotlib Project | Versão 3.9 | Visualização de dados |
| MIMIC-III Database | PhysioNet | Versão 1.4 | Análise de registro eletrônico de saúde |
| NIH Chest X-ray Dataset | NIH Clinical Center | Conjunto de dados público | Classificação de doenças torácicas |
| NumPy | Desenvolvedores do NumPy | Versão 1.26 | Computação numérica e operações de matriz |
| OpenCV | OpenCV Foundation | Versão 4.10 | Pré-processamento de imagens |
| Pandas | Pandas Development Team | Versão 2.1 | Manipulação e pré-processamento de dados |
| Pima Indians Diabetes Dataset | UCI Machine Learning Repository | Conjunto de dados público | Predição de risco de diabetes |
| Python 3.11 | Python Software Foundation | Versão 3.11 | Ambiente de programação primário |
| Scikit-learn | scikit-learn | Versão 1.5 | Algoritmos e avaliação de aprendizado de máquina |
| Seaborn | Seaborn | Versão 0.13 | Visualização estatística |
| SHAP | SHAP | Versão 0.46 | Atribuição de características e explicabilidade |
| TensorFlow | TensorFlow | Versão 2.15 | Desenvolvimento de modelos de aprendizado de máquina profundo |
| Windows / Ubuntu Linux | Microsoft / Canonical | NA | Sistema operacional |
| Wisconsin Breast Cancer Dataset | UCI Machine Learning Repository | Conjunto de dados público | Diagnóstico de câncer de mama |
Referências
- Lundberg SM, et al. From local explanations to global understanding with explainable AI for trees. Nat Mach Intell. 2020;2(1):56-67.
- Ribeiro MT, Singh S, Guestrin C. Why should I trust you. Explaining the predictions of any classifier. Presented at: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; 2016. p. 1135-44. doi:10.1145/2939672.2939778.
- Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 2020;128(2):336-59.
- Tjoa E, Guan C. A survey on explainable artificial intelligence: Toward medical XAI. IEEE Trans Neural Netw Learn Syst. 2021;32(11):4793-813.
- Samek W, et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Springer; Cham; 2019.
- Arrieta AB, et al. Explainable artificial intelligence: Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
- Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. Wiley Interdiscip Rev Data Min Knowl Discov. 2020;10(5):e1312.
- Topol E. Deep medicine: How artificial intelligence can make healthcare human again. Nat Med. 2020;25:44-56.
- Esteva A, et al. A guide to deep learning in healthcare. Nat Med. 2019;25(1):24-9.
- Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nat Med. 2022;28:31-38.
- Doshi-Velez F, Kim B. Towards a rigorous science of interpretable machine learning. arXiv. 2021. doi:10.48550/arXiv.1702.08608.
- Molnar C. Interpretable Machine Learning. Lulu Press; 2022.
- Rudin C. Stop explaining black box machine learning models for high-stakes decisions and use interpretable models instead. Nat Mach Intell. 2019;1(5):206-15.
- Zhang Q, Zhu S. Visual interpretability for deep learning: A survey. Front Inf Technol Electron Eng. 2020;21:27-39.
- Holzinger A, Biemann C, Pattichis CS, Kell DB. What do we need to build explainable AI systems for the medical domain. arXiv. 2020. Available at: https://arxiv.org/abs/1712.09923.
- McDermott MB, et al. Reproducibility in machine learning for health. Nat Med. 2021;27:1016-23.
- Kelly CJ, et al. Key challenges for delivering clinical impact with AI. BMC Med. 2019;17:195.
- Ahmad MA, Teredesai A, Eckert C. Interpretable machine learning in healthcare. Proc ACM Conf Health Inference Learn. 2021;4:1-7.
- Ghassemi M, Oakden-Rayner L, Beam AL. The false hope of current approaches to explainable AI in healthcare. Lancet Digit Health. 2021;3(11):e745-50.
- Carvalho DV, Pereira EM, Cardoso JS. Machine learning interpretability: A survey on methods and metrics. Inf Fusion. 2020;58:82-115.
- Chen RJ, et al. Synthetic data in healthcare: A narrative review. Nat Biomed Eng. 2021;5:493-97.
- Zhou B, et al. Learning deep features for discriminative localization. Presented at: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2016. p. 2921-29.
- Vellido A. The importance of interpretability and visualization in machine learning for applications in medicine and health care. Expert Syst Appl. 2020;146:113222.
- Lipton ZC. The mythos of model interpretability. Commun ACM. 2018;61(10):36-43.
- Guidotti R, et al. A survey of methods for explaining black box models. ACM Comput Surv. 2018;51(5):93.
- Suresh H, Guttag J. A framework for understanding unintended consequences of machine learning. Commun ACM. 2021;64(12):42-50.
- Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-40.
- Rajkomar A, Dean J, Kohane I. Machine learning in medicine. N Engl J Med. 2019;380(14):1347-58.
- Lundberg SM, Lee SI. A unified approach to interpreting model predictions. Presented at: Advances in Neural Information Processing Systems. 2017;30:4765-74.
- Agarwal R, et al. Neural additive models: Interpretable machine learning with neural nets. Presented at: Advances in Neural Information Processing Systems. 2021;34:4699-711.
- Singh C, Murdoch WJ, Yu B. Hierarchical interpretations for neural network predictions. Proc Natl Acad Sci U S A. 2020;117(32):19950-57.
- Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(5):176-85.
- Wang F, Preininger A. AI in health care: Applications, challenges, and future directions. Annu Rev Biomed Data Sci. 2019;2:221-52.
- Azizi S, et al. Big self-supervised models advance medical AI. Nat Med. 2021;27(8):1431-42.
- Zhang Y, et al. Explainable deep learning for healthcare: Methods, applications and challenges. IEEE Access. 2020;8:120455-475.
- Holzinger A, et al. Explainable AI methods: A brief overview. Mach Learn Knowl Extr. 2021;3(2):606-27.
- Rudin C, Radin J. Why are we using black box models in AI when we do not need to A lesson from an explainable AI competition. Nat Mach Intell. 2019;1(5):206-15.
- Doshi-Velez F, et al. Accountability of AI Under the Law: The Role of Explanation. Harvard University; Cambridge; 2020.
- Kaur H, et al. Interpreting interpretability: Understanding data scientists' use of interpretability tools for machine learning. Presented at: Proceedings of the CHI Conference on Human Factors in Computing Systems; 2020. p. 1-14.
- Caruana R, et al. Intelligible models for healthcare: Predicting pneumonia risk and hospital 30-day readmission. Presented at: Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; 2015. p. 1721-30.
- Mangalote IAC, et al. Development and validation of a class imbalance-resilient cardiac arrest prediction framework incorporating multiscale aggregation, ICA and explainability. IEEE Trans Biomed Eng. 2025;72(5):1674-84.
- Ansari MY, Mangalote IAC, Masri D, Dakua SP. Neural network-based fast liver ultrasound image segmentation. Presented at: 2023 International Joint Conference on Neural Networks; 2023. p. 1-8.
- Dakua SP, et al. Artificial intelligence enabled biomineralization for eco-friendly nanomaterial synthesis: Charting future trends. Nano Select. 2025;6(5):e202400118.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.