Biomarcatori molecolari multimodali basati su machine learning per l'analisi predittiva della salute

Summary

Il machine learning con biomarcatori multimodali migliora la previsione e il monitoraggio delle malattie, offrendo promesse per i progressi sanitari in vari ambiti, migliorando gli esiti sanitari attraverso una previsione accurata delle malattie.

Abstract

Ogni anno, molte persone in tutto il mondo sono progressivamente colpite da condizioni devastanti di problemi di salute come malattie cardiache, infezioni respiratorie, disfunzioni neurologiche, stress cognitivo, cancro, ictus, diabete, ecc., che portano a gravi complicazioni di salute e anomalie associate. Pertanto, le analisi precoce della salute sono fondamentali, poiché consentono interventi tempestivi con terapie mirate, offrendo potenzialmente sollievo immediato e benefici duraturi a lungo termine che possono rallentare la progressione della malattia. A causa dei complessi processi fisiopatologici e degli studi clinici eterogenei in varie condizioni di salute, è necessario biomarcatori altamente sensibili e multimodali e approcci investigativi efficaci per rilevare e monitorare accuratamente gli esiti di salute dei pazienti. Pertanto, vengono considerati algoritmi di apprendimento automatico con varie categorie e tecniche per prevedere gli esiti, inclusi prognosi, valutazione del rischio, stratificazione dei pazienti e monitoraggio della malattia. Il flusso del lavoro proposto è suddiviso in tre fasi: la prima fase definisce l'importanza dell'assistenza sanitaria con casi di studio, seguita dai tradizionali algoritmi di Machine Learning (ML), dagli approcci tradizionali di Deep Learning (DL) e dalle moderne tecniche di DL (TabNet e AutoInt) nella seconda fase. Infine, gli esperimenti vengono realizzati per giustificare i risultati. Questo lavoro mette in evidenza il raggruppamento delle modalità integrando biomarcatori molecolari di proteine, chimici e genetici con le nuove caratteristiche del ML. I risultati indicano un miglioramento significativo nella previsione dell'accuratezza utilizzando la metodologia proposta.

Introduction

Il sistema sanitario utilizza sempre più spesso l'analisi predittiva per monitorare i pazienti e diagnosticare gli esiti di salute in modo tempestivo, facilitando l'assistenza proattiva e migliorando gli esiti per i pazienti. Integrando l'analisi predittiva con i biomarcatori, i clinici possono migliorare l'accuratezza diagnostica, identificare trattamenti efficaci, monitorare i progressi della terapia e ottenere preziose informazioni sui meccanismi della malattia, portando infine a decisioni terapeutiche più informate ed efficaci. I biomarcatori si riferiscono alle caratteristiche delle molecole biologiche o degli indicatori presenti nei campioni, come biofluidi, tessuti, cellule, DNA, RNA, sangue e urina, che misurano la presenza o la progressione di una malattia nel corpo umano, aiutando a valutare l'efficacia del^{trattamento 1}.

I progressi nell'applicazione dei biomarcatori molecolari svolgono un ruolo cruciale nella medicina personalizzata, misurando con precisione molecole specifiche per identificare problemi di salute unici nei pazienti, permettendo strategie di trattamento mirate fin dalle fasi^{iniziali 2}. In futuro, gli approcci multimodali aiuteranno a integrare molteplici modalità di complessi pattern di malattia, consentendo un'identificazione più accurata della prognosi delle malattie nel cancro e nelle malattie neurodegenerative attraverso tecniche avanzate di analisi^{predittiva 3}. La metodologia all'avanguardia utilizza dati multi-omici, bioinformatica e algoritmi ML per identificare nuovi biomarcatori, consentendo la profilazione del rischio specifica per paziente e strategie di trattamento soggettive per le malattie cardiovascolari (CVD) e altre malattie^{complesse 4}. La combinazione di biomarcatori molecolari e approcci multi-omici offre un potenziale per migliorare l'accuratezza diagnostica e la stratificazione terapeutica nelle malattie^{neurologiche 5}.

Con l'avanzamento delle tecniche di ML, i biomarcatori molecolari multimodali possono integrare diversi tipi di dati per identificare nuove firme di malattie in diverse condizioni di salute, consentendo diagnosi più accurate e strategie terapeutiche personalizzate. Sfruttando questo potenziale, l'autore esplora varie tecniche di ML nella sanità per prevedere i fattori di rischio diagnosticati delle malattie e ne sottolinea l'importanza in diversi settori^{sanitari 6}. Con il ML che trasforma la diagnosi e il trattamento delle malattie, gli studi farmaceutici stanno sempre più sfruttando gli algoritmi decisionali per analizzare gli esiti di salute dei pazienti e rispondere alle loro esigenze quotidiane, consentendo un'assistenza più informata ed^{efficace 7}. Sfruttando la potenziale necessità di integrazione multimodale dei dati, questo studio ha sviluppato biomarcatori utilizzando dati multimodali (MRI e genetici) per prevedere lo sviluppo e la progressione della malattia di Alzheimer, mostrando che i dati genetici prevedevano meglio la progressione futura dell'Alzheimer nei soggetti di controllo normali, mentre i dati MRI caratterizzavano meglio il deficit cognitivo lieve stabile, combinando entrambi la performance di classificazione di qualità^{migliore 8}.

Per far progredire ulteriormente l'applicazione dell'analisi multimodale dei dati, il deep learning multimodale utilizza dati sull'espressione genica per identificare farmaci che prendono di mira specifiche linee cellulari di nuove molecole biologiche, chiarendo così come le variazioni genomiche influenzino la risposta al trattamento⁹. In concomitanza con i progressi nell'analisi multimodale dei dati, i biomarcatori non invasivi, valutati utilizzando metriche di IA e ML, stanno emergendo come strumenti promettenti per la diagnosi, con profili di specificità e sensibilità variabili rispetto ai biomarcatori invasivi, a seconda dell'applicazione specifica e del contesto dei^{dati 10}. In linea con la crescente importanza dell'analisi multimodale dei dati, i modelli di ensemble Deep Learning (DL) possono gestire efficacemente dati complessi integrando nuovi biomarcatori, incluse le interazioni gene-proteina, per migliorare la ricerca sul cancro e ottimizzare le strategie^{terapeutiche 11}. Man mano che i modelli di ensemble DL continuano a far progredire la ricerca sul cancro, l'analisi predittiva svolge un ruolo cruciale nella diagnosi e nel trattamento delle malattie, analizzando grandi quantità di dati collettivi provenienti da molteplici fonti, incluse diverse condizioni di salute, per fornire una panoramica completa dello stato, come la valutazione del rischio e la^{diagnosi 12}.

L'obiettivo del protocollo proposto è implementare algoritmi basati su ML e DL che integrino i distinti marcatori biologici per migliorare l'accuratezza delle analisi sanitarie. Le tecniche di previsione convenzionali che utilizzano biomarcatori tipicamente si basano su dati monomodali e modelli statistici lineari, che potrebbero non catturare adeguatamente le relazioni intricate e non lineari che influenzano lo sviluppo della malattia e le differenze individuali. L'incorporazione di grandi quantità di dati provenienti da osservazioni, cartelle cliniche elettroniche, letture di laboratorio, misurazioni fisiche e valutazioni cliniche offre un'opportunità significativa per sintetizzare e ottimizzare la valutazione del rischio nella diagnosi del paziente¹³. I biomarcatori svolgono un ruolo cruciale nella medicina di precisione, permettendo un trattamento mirato al momento giusto. Sebbene i biomarcatori siano complessi e presentino sfide nella misurazione dei sottotipi di malattie e della crescita molecolare, sono preziosi per valutare reazioni tossiche in varie condizioni anomale, facilitando così ulteriori analisi. Utilizzando biomarcatori durante l'osservazione clinica, i professionisti sanitari possono prevedere con maggiore precisione la progressione della malattia e monitorare le risposte terapeutiche. In definitiva, la convergenza dei biomarcatori molecolari multimodali nell'analisi sanitaria con l'IA consente un riconoscimento dei pattern più efficace, abbinando le caratteristiche esistenti per mitigare l'impatto clinico.

Rispetto agli approcci all'avanguardia, in particolare il lavoro di Somepalli et ^al.14, dove gli autori hanno proposto algoritmi ML su dati genomici, come dati metabolici, epigenetici e proteomici, e hanno proposto linee guida generali per la selezione degli algoritmi ML. Tuttavia, vi è una limitazione nell'analisi dei dati. Nel lavoro^{esistente 15}, sono stati applicati metodi di integrazione non supervisionati ai dati omici, concentrandosi sulle sfide computazionali. Al contrario, ci sono limiti sull'ambito e sull'analisi dei metodi. Inoltre, Huang et ^al.16 hanno coperto la maggior parte dei metodi DL per analizzare diverse applicazioni, con l'obiettivo di comprendere la potenza dei big data e dei framework computazionali. Gli svantaggi includevano squilibrio dei dati, sovrafitting e problemi di interpretazione. Il protocollo proposto è cruciale per colmare una lacuna critica nella ricerca sui biomarcatori integrativi, poiché le tecniche attuali non riescono a combinare efficacemente dati biologici ad alta dimensione e diversi. Utilizzando sofisticati sistemi ML e DL che eccellono nel riconoscimento di schemi, nella selezione delle caratteristiche e nella fusione multimodale, la proposta mira a identificare firme predittive robuste che migliorano la diagnosi precoce, la prognosi e le opzioni di trattamento individuali. Questo protocollo affronta direttamente le limitazioni delle valutazioni di biomarcatori disgiunti presentando un modello completo e basato sui dati che consente previsioni sanitarie scalabili, interpretabili e clinicamente rilevanti.

Protocol

1. Flusso di lavoro sperimentale

La Figura 1 illustra una pipeline di workflow organizzata e modulare progettata per categorizzare i biomarcatori molecolari in categorie di indicazione di rischio o diagnostica utilizzando tecniche di machine learning e deep learning. Ecco una spiegazione dettagliata passo dopo passo del processo:

1. Acquisizione di dataset
   Il dataset è raccolto da MarkerDB 2.0, un database curato di biomarcatori molecolari.
2. Preprocessing dei dati
   Questo garantisce qualità e coerenza dei dati gestendo valori nulli e voci mancanti, codificando le caratteristiche categoriche usando LabelEncoder e scalando le caratteristiche numeriche (ad esempio, entrez_gene_id) tramite StandardScaler.
3. Ingegneria delle caratteristiche
   Si raccomanda di selezionare caratteristiche rilevanti che influenzino la classificazione dei biomarcatori, prevengano perdite di dati e migliorino le prestazioni del modello.
4. Sviluppo del modello
   Gli approcci utilizzati sono Regressione Logistica, Foresta Random, XGBoost, mentre in DL: MLP, MLP con LR Scheduler, AutoInt, TabNet. Le attività svolte sono sintonizzazione di iperparametri, validazione incrociata e ottimizzazione per compiti di classificazione.
5. Divisione dei dati
   Qui, il Set di addestramento (80%) viene utilizzato per apprendere i parametri del modello, mentre il Set di test (20%) viene usato per valutare il modello su dati non visti. Nella fase finale, vengono utilizzate metriche di valutazione per garantire che la prestazione venga misurata in modo olistico, specialmente in scenari di classe squilibrati.

Figura 1: Diagramma di flusso del lavoro proposto. Il flusso di lavoro del problema proposto è rappresentato in questa figura. I passaggi sono preprocessing dei dati, ingegneria delle caratteristiche, sviluppo di modelli, divisione, valutazione del modello tramite metriche e analisi dei biomarcatori. Clicca qui per visualizzare una versione più grande di questa figura.

2. Descrizione del dataset

Il nome del dataset è all_sequence_variants con l'estensione csv. Ci sono colonne con nomi come 'id', 'variazione', 'posizione', 'external_link', 'gene_symbol', 'entrez_gene_id', 'riferimento', condizioni', 'indication_types', dove tutte sono di tipo oggetto tranne id come tipo di int e entrez_gene_id come tipo float. Il numero totale di righe è 42.818 con 9 colonne. Inoltre, il dataset ha valori nulli per variazione, posizione, external_link, entrez_gene_id, riferimento, condizioni e indication_types. Il dataset è tratto dal link indicato come:^{https://markerdb.ca/downloads 17}

3. Preprocessing del dataset

In questa fase, la preelaborazione dei dati inizia con la raccolta di informazioni sul dataset, la descrizione, l'identificazione dei duplicati e la localizzazione dei valori mancanti/nulli. Non vi è alcun impatto della caratteristica external_link quando misurata tramite il coefficiente di correlazione, e quindi viene rimossa. I valori nulli delle colonne categoriche e numeriche sono riempiti rispettivamente con la mediana e la media. Infine, la forma del dataset di input e output è (42787, 6)(42787,). Le colonne di input sono 'id', 'variazione', 'posizione', 'gene_symbol', 'entrez_gene_id', 'condizioni', mentre la colonna target è indication_types.

4. Biomarcatori: categorie, sfide dei dati e il ruolo del rischio molecolare

Un biomarcatore è una caratteristica quantificabile che indica attività biologiche normali o anomale o risposte a varie esposizioni o interventi. I biomarcatori possono essere di natura molecolare, istologica, radiografica o fisiologica e sono suddivisi in sette categorie principali: (1) Un biomarcatore diagnostico determina se un individuo ha una specifica malattia o disturbo e se rientra in un sottotipo, (2) Un biomarcatore di monitoraggio indica la progressione di una malattia e la sua risposta al trattamento, (3) Un biomarcatore di risposta indica se un paziente sta reagendo a un farmaco o a una terapia, come un cambiamento della frequenza cardiaca, (4) Un biomarcatore predittivo può determinare se un individuo è a rischio di sviluppare una certa malattia e come potrebbe rispondere a un particolare trattamento, (5) Un biomarcatore prognostico può offrire indicazioni sulla probabilità di progressione o recidiva della malattia se un paziente è predisposto a un specifico esito di salute, (6) Un biomarcatore di rischio valuta il potenziale livello di rischio per una condizione prima che il paziente riceva una diagnosi ufficiale, e (7) Un biomarcatore di sicurezza valuta il potenziale di reazioni tossiche o avverse che possono derivare dal trattamento. Questo studio si concentra principalmente sull'analisi di biomarcatori molecolari relativi alla valutazione del rischio e alla diagnostica, come riportato nella Figura 2. Data l'enorme quantità di dati clinici disponibili a livello mondiale, i biomarcatori sono essenziali per guidare decisioni cliniche, far progredire la ricerca e facilitare la medicina personalizzata.

Figura 2: Categoria dei biomarcatori per il processo decisionale clinico. Le decisioni del biomarcatore sono rappresentate in questo diagramma. Sulla base delle analisi applicate ai biomarcatori, vengono considerate le decisioni cliniche e vengono implementati algoritmi di ML. Clicca qui per visualizzare una versione più grande di questa figura.

Trovare e comprendere informazioni clinicamente utili sui biomarcatori è una sfida a causa della vasta gamma di tipi, caratteristiche e qualità dei biomarcatori. La rapida crescita degli studi sui biomarcatori negli ultimi due decenni ha ulteriormente complicato l'accesso a dati completi e aggiornati, specialmente per i biomarcatori molecolari. Questo ha portato a problemi come risultati incoerenti, riscoperte ridondanti di biomarcatori esistenti, risultati contraddittori e opportunità trascurate di utilizzare biomarcatori^{già consolidati 18}. L'emergere delle misurazioni "omics" ha aggravato questo problema, portando a una proliferazione di nuovi biomarcatori molecolari nei test clinici e nella letteratura, rendendo sempre più difficile orientarsi e applicare efficacemente le conoscenze sui^{biomarcatori 19}.

MarkerDB 2.0 fornisce accesso a diversi biomarcatori molecolari per scopi^{sperimentali 20}. Vari biomarcatori sono utilizzati nella ricerca clinica e nelle applicazioni sanitarie per diagnosticare, prevedere e monitorare le malattie. Tra questi, i biomarcatori proteici utilizzano biofluidi come siero, sangue, liquido cerebrospinale (LCR), liquido peritoneale, liquido amniotico, plasma e urina per analizzare condizioni come diabete mellito, tubercolosi, sindrome di Down e disturbi correlati alla miopatia. Analogamente, i biomarcatori genetici utilizzano simboli genici come LRP1, LPP, MAPT e SPI1 per analizzare condizioni come la degenerazione maculare legata all'età, malattie allergiche, morbo di Alzheimer, cancro e asma. Inoltre, i biomarcatori molecolari multimodali aiutano a misurare il rischio per il paziente e gli indicatori^{diagnostici 21}. Questo lavoro evidenzia la necessità di analisi sanitarie utilizzando approcci ML per migliorare la diagnosi, la previsione e il trattamento personalizzato delle malattie.

5. Modellizzazione degli approcci ML statistici per la scoperta di biomarcatori

L'applicazione degli approcci ML ha trasformato il campo sanitario in numerosi modi. In particolare, i biomarcatori molecolari sono stati analizzati utilizzando varie tecniche di ML, tra cui l'Analisi dei Componenti Principali (PCA), il clustering K-means (KMA), l'Analisi dei Vicini Più Prossimi (NNA) e gli algoritmi di reti^{neurali 22}. Questi modelli identificano schemi complessi a partire da caratteristiche selezionate, gestiscono dati incompleti o incoerenti e supportano il monitoraggio in tempo reale dell'avanzamento della malattia. Oltre alla diagnosi delle malattie, gli algoritmi ML forniscono informazioni significative sulle problematiche dei pazienti attraverso l'esame e la visualizzazione dei dati, consentendo cure tempestive e^{mirate 23}. Di conseguenza, ciò migliora gli esiti di salute del paziente in condizioni insolite. Inoltre, la capacità del ML di rivoluzionare la scoperta di biomarcatori e i risultati terapeutici in varie malattie, inclusa l'analisi dei biomarcatori molecolari, sta diventando sempre più vivace.

Gli algoritmi ML sono suddivisi in cinque tipi principali, come indicato nella Figura 3. L'apprendimento supervisionato è il processo di addestramento su dataset etichettati per comprendere le relazioni input-output, rendendolo ideale per compiti come classificazione e regressione, come alberi decisionali e macchine a vettori di supporto. L'apprendimento non supervisionato identifica schemi all'interno di dati non etichettati ed è spesso applicato per il clustering e la riduzione della dimensionalità, con tecniche come il clustering k-means e l'analisi dei componenti principali. L'apprendimento semi-supervisionato unisce sia dati etichettati che non etichettati per generare previsioni. L'apprendimento per rinforzo si concentra sul processo decisionale informato dal feedback dell'ambiente ed è frequentemente utilizzato nel gaming e nella robotica, con metodi come il Q-learning e le reti di apprendimento per rinforzo profondo. Il deep learning impiega reti neurali artificiali con più livelli per identificare schemi intricati nei dati. Questa tecnica aiuta a prevedere i biomarcatori per malattie comuni, tra cui cancro, ictus, Alzheimer e Parkinson. Numerosi programmi clinicamente approvati utilizzano questa tecnologia^24,25. La diagnosi precisa dei pazienti con tumori maligni dipende tipicamente dall'acquisizione e dall'analisi patologica di campioni di tessuto, che forniscono informazioni fondamentali riguardo al grado istologico, sottotipo, stadio e vari altri biomarcatori tumorali.

Figura 3: Categorizzazione degli algoritmi di machine learning per il processo decisionale clinico. I tipi di algoritmi di ML nel diagramma sono illustrati per aiutare a comprendere la metodologia applicata. Clicca qui per visualizzare una versione più grande di questa figura.

Statistica e ML sono due discipline separate che si intersecano frequentemente. La statistica consiste nella raccolta, analizzare e interpretare dati, lavorando tipicamente con dataset più piccoli e ben definiti, e si concentra principalmente sul confronto e la sintesi delle informazioni. D'altra parte, il ML è un sottoinsieme dell'intelligenza artificiale che crea modelli predittivi, spesso gestendo dataset ampi e complessi. Sebbene la statistica svolga un ruolo importante nella ricerca confermativa e nella comprensione dei meccanismi sottostanti, il ML è più efficace nella ricerca esplorativa, nella scoperta di schemi complessi e nella gestione dei dati mancanti. Metodi come la regressione logistica possono essere considerati sia modelli statistici che modelli ML supervisionati, illustrando le distinzioni sfumate tra i due domini. In definitiva, i ricercatori devono valutare i propri obiettivi di ricerca e la natura dei dati per selezionare il metodo più adatto.

6. Modellizzazione di MLP e varianti di MLP

MLP, noto anche come perceptrone multistrato, è un tipo di architettura di rete neurale che presenta più strati neuronali tra i livelli di input e output, come illustrato nella Figura 4. La MLP fu introdotta negli anni '50 e acquisì un ampio uso grazie ai progressi e ai progressi nella retropropagazione negli anni '80, che contribuirono a minimizzare la perdita. I principi di apprendimento di base di MLP sono reti neurali, pesi e valori di bias per calcolare l'output. Infine, conoscere la funzione di attivazione e il valore soglia per ottenere l'output nello strato di output. Nella metodologia proposta, i nodi nello strato di input, nello strato nascosto e nello strato di output corrispondono rispettivamente a caratteristiche cliniche e geniche, a strati completamente connessi con attivazione ReLU e a un singolo neurone con attivazione sigmoidea per prevedere rispettivamente l'esito binario di indicazione (Rischio, Diagnostica). I principali vantaggi sono che sono semplici da addestrare e interpretare. Tuttavia, il semplice MLP non può gestire grandi set di dati ed è sensibile al tasso di^{apprendimento 26}. Pertanto, per superare questi svantaggi, si considera MLP con Learning Rate Scheduler secondo l'architettura indicata nella Figura 3B. MLP con LR è un potente meccanismo dinamico con decadimento ripido, decadimento esponenziale, decadimento inverso del tempo, ReduceLROnPlateau e ricottura coseno. Invece di un valore LR fisso, la velocità di apprendimento cambia in base alle prestazioni del modello e all'addestramento.

Figura 4: Modellazione di Perceptron e MLP multilivello con uno scheduler LR. (A) Perceptron Multi-Strato: La struttura di MLP è illustrata con Input Layer, Hidden Layer e Output Layer. Il primo livello riceve l'input e lo elabora nel secondo livello con attivazioni, mentre l'output viene ricevuto nell'ultimo strato. MLP è semplice da implementare. (B) MLP con LR Scheduler: Questo è simile a MLP; tuttavia, viene aggiunto un Learning Rate Scheduler per controllare la velocità di addestramento e ottenere un tasso di convergenza migliore. Il tasso di apprendimento si riduce a un plateau. Questo riduce i minimi di superamento. Clicca qui per visualizzare una versione più grande di questa figura.

Questo approccio è più efficiente, affidabile ed efficace per i dati tabulari. Inoltre, ci sono vantaggi come il miglioramento stabile della convergenza su dati rumorosi, una generalizzazione migliorata e uno sforzo ridotto nella sintonia degli iperparametri. Tuttavia, per alcuni compiti di previsione possono sorgere difficoltà, come rimanere bloccati nei minimi locali. Inoltre, nell'architettura MLP ampia e profonda presentata nella Figura 5, nella MLP vengono introdotti componenti ampi e profondi per eccellere nella mappatura di correlazioni, nella memorizzazione di regole e nell'apprendimento di nuovi pattern, mantenendo al contempo alti standard di generalizzazione. Combinando questi aspetti nello strato di output, l'output binario viene previsto²⁷. Tuttavia, ci sono limiti alla generalizzazione delle caratteristiche non visibili e alla generalizzazione eccessiva. In conclusione, MLP con Batch Norm e Dropout viene utilizzato per normalizzare il processo di addestramento, incorporando il dropout per l'apprendimento e la generalizzazione di attributi sconosciuti. In particolare, questa tecnica può essere applicata a dati ad alta dimensione e aiuta a prevenire il sovrafitting. Tuttavia, questa tecnica soffre di limitazioni di dimensione batch, aumento del consumo di memoria (dovuto ai livelli di normalizzazione batch) e non è una soluzione^{universale 28,29}.

Figura 5: Modellazione della rete MLP wide e Deep. Il diagramma illustra il percorso profondo della MLP, che può catturare relazioni non lineari e combina l'output con un'unità sigmoide per la classificazione. Questa architettura cattura l'apprendimento dei pattern e la conoscenza per dati eterogenei di biomarcatori. Clicca qui per visualizzare una versione più grande di questa figura.

7. TabNet

Il TabNet è un modello di deep learning noto come Tabular Network sviluppato dal team di ricerca^{di Google 30}. La motivazione principale del modello TabNet è conciliare le differenze tra gli approcci DL per immagini, testo, voce (CNN, Autoencoder, Transformers) e approcci ML basati su alberi (XGBoost, Random Forest, LightGBM). Inoltre, i limiti degli approcci DL hanno un enorme impatto sul modello TabNet, con MLP che è un modello parametrizzato. Soprattutto, gli approcci DL mancano di interpretazione nei problemi reali, nell'apprendimento auto-supervisionato e nella capacità di apprendimento^{sequenziale 31}. I modelli TabNet sono limitati ad applicazioni come la previsione del rischio^{assicurativo 32}, la stima del contenuto di cenere di^{carbone 33}, la previsione della tossicità^{chimica 34} e la rilevazione del cheating in test^{educativi 35}. L'architettura di TabNet è indicata nella Figura 6.

Figura 6: Modellazione della rete tabulare. La rete tabellare prende le caratteristiche di ingresso in formato tabellare e applica la tecnica del trasformatore in modo sequenziale in ogni blocco. Il blocco GLU, noto anche come blocco Unità Lineare Gateata, controlla il flusso informativo in avanti attraverso la rete, facilitando la selezione delle caratteristiche e l'apprendimento stabile. L'output viene presentato nello strato di uscita dall'output accumulato. Clicca qui per visualizzare una versione più grande di questa figura.

Dal diagramma architettonico sopra, il sistema è suddiviso in quattro componenti: blocco di input, trasformatore di caratteristiche condivise, passi decisionali sequenziali e il calcolo delle perdite tramite ottimizzazione. Nelle caratteristiche categoriche, le caratteristiche vengono convertite in interi seguendo lo strato di embedding. Allo stesso tempo, le caratteristiche continue vengono prese così come sono. Infine, le caratteristiche vengono convertite in un vettore di caratteristiche unificato dove x ∈ Rd. Nel passo successivo, vengono implementati strati completamente connessi con funzioni di attivazione, seguiti da una trasformazione per convertire i dati in un vettore, e viene presa una decisione. Nel terzo passo, vengono utilizzati in successione il trasformatore di attenzione, il mascheramento, il trasformatore decisionale e l'accumulo di previsione. Gli obiettivi di questo passaggio sono l'attenzione selettiva, il ragionamento sequenziale e i percorsi decisionali. Nell'ultimo passaggio, vengono utilizzati metodi binari di entropia incrociata o simili per individuare la perdita e ottimizzarne il valore. Inoltre, la regolarizzazione viene eseguita utilizzando un'attenzione scarna per prevenire il sovrafitting.

8. AutoInt

L'Apprendimento Automatico dell'Interazione delle Caratteristiche tramite Reti Neurali Auto-Attentive (AutoInt) è la forma completa di AutoInt, introdotta nella predizione del tasso di clic (CTR)³⁶ e successivamente applicata a varie applicazioni, tra cui la previsione dei difetti^{software 37}, i sistemi di^{raccomandazione 38} e il rilevamento^{genomico 39}. Ci sono limitazioni negli approcci ML esistenti, tra cui la gestione di dati sparsi ad alta dimensione, caratteristiche combinatorie di ordine superiore, la comprensione della capacità di previsione delle caratteristiche e la necessità di ingegneria manuale delle caratteristiche. Tutte queste sfide menzionate sono affrontate dal modello AutoInt con efficienza, efficacia e spiegabilità. L'obiettivo dell'AutoInt nella metodologia proposta è prevedere se la variante data è di tipo di indicazione di rischio o diagnostica. Sono proposti sette passaggi per il dataset dato, come mostrato nella Figura 6, insieme al codice sorgente. Innanzitutto, la lettura dei dati e la pre-elaborazione sono implementate per codificare tutte le caratteristiche categoriche come interi e mappare le etichette a 0 e 1 rispettivamente per Rischio e Diagnostica. Nel secondo passo, viene eseguita la rappresentazione delle caratteristiche per creare la matrice di incorporamento; a sua volta, la matrice viene convertita per normalizzare le caratteristiche numeriche. Esistono strati interagenti in cui l'interazione automatica neutra tra le caratteristiche viene appresa senza interazione manuale con i trasformatori. Inoltre, più teste apprendono diversi tipi di interazioni e, infine, le caratteristiche vengono concatenate, migliorando la rappresentazione. Sono presenti connessioni residue per apprendere sia interazioni di ordine inferiore che superiore, come 1 caratteristica, 2 caratteristiche, 3 caratteristiche e così via. Infine, dalla rete residua, gli output vengono passati alla funzione sigmoid per i calcoli di valori binari, come mostrato nella Figura 7.

Figura 7: Modellazione della rete AutoInt. La Rete AutoInt apprende automaticamente le caratteristiche, dove il livello di incorporamento prende le caratteristiche e le mappa nel livello successivo usando un meccanismo di autoattenzione e connessioni residue. L'ultimo componente ha lo strato MLP e funzioni di attivazione per produrre l'output. Clicca qui per visualizzare una versione più grande di questa figura.

Results

Gli esperimenti vengono condotti utilizzando approcci ML e DL per confrontarne le prestazioni. Allo stesso tempo, si considera la creazione di modelli ML che utilizzino sia meccanismi di apprendimento supervisionato che non supervisionato. Le tecniche supervisionate utilizzate in questa metodologia sono Logistic Regression, Decision Tree, Random Forest, Gradient Boost, Support Vector Machine e K-Nearest Neighbor. Questi algoritmi spaziano da semplici modelli statistici ad analisi comples...

Discussion

Il lavoro proposto discute chiaramente l'importanza dei biomarcatori nell'identificazione e nel monitoraggio di una malattia e delle sue caratteristiche. L'approccio suggerito per la metodologia dei biomarcatori si basa su quattro passaggi essenziali: preparazione attenta dei dati (pulizia, codifica, eliminazione degli identificatori); codifica uniforme del bersaglio (Rischio=0, Diagnostica=1); normalizzazione delle funzionalità e deep embedding di alta qualità per modelli come AutoInt

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Modello AutoInt	Università di Pechino	https://github.com/shichence/AutoInt	Apprendimento automatico dell'interazione delle caratteristiche tramite reti neurali auto-attente: algoritmo efficiente per apprendere automaticamente interazioni di alto ordine per caratteristiche categoriche e numeriche (scarse)
deepctr_torch.modelli	Open source	https://github.com/shenweichen/DeepCTR-Torch	Pacchetto modulare ed estendibile di modelli CTR basati su deep learning per costruire facilmente un proprio modello personalizzato.
Google Colaboratory	Google	https://colab.research.google.com/	basato su cloud  ambiente per scrivere ed eseguire codice Python tramite browser per machine learning e analisi dei dati
Keras 2.6.0	Keras	https://keras.io/	Fornisce un'interfaccia Python per l'esecuzione di reti neurali che funziona sopra Tensorflow
MarkerDB 2.0	MarkerDB	https://markerdb.ca/downloads	Pubblicamente disponibile Database di Biomarcatori Molecolari
Matplotlib 3.4.3	Matplotlib	https://matplotlib.org/	Libreria di visualizzazione per python
Numpy 1.21.4	Intorpidito	https://numpy.org/	Pacchetto fondamentale per il calcolo scientifico con Python
Pandas 1.3.4	Pandas	https://pandas.pydata.org/	Potente strumento open source per l'analisi e la manipolazione dei dati, costruito sopra il linguaggio di programmazione Python.
Python 3.8.10	Python Software Foundation	https://www.python.org/	Linguaggio di programmazione popolare che integra i sistemi di deep learning in modo più efficace.
pytorch_tabnet.modello_tab	Pytorch	https://pypi.org/project/pytorch-tabnet/	Per l'implementazione di problemi di classificazione binaria/multi-classe e regressione.
Scikit-learn	Scikit-learn	https://scikit-learn.org/stable/	Modulo Python per algoritmi di apprendimento automatico
Seaborn	Seaborn	https://seaborn.pydata.org/	Libreria di visualizzazione dati di alto livello per disegnare grafici statistici attraenti e informativi
Modello TabNet	Google	https://github.com/dreamquark-ai/tabnet	TabNet è una rete neurale end-to-end progettata per gestire direttamente i dati tabellari
Tensorflow 2.6.0	Google	https://www.tensorflow.org/	Una piattaforma end-to-end per il machine learning