Multimodale molekulare Biomarker auf Basis von maschinellem Lernen für prädiktive Gesundheitsanalytik

Summary

Maschinelles Lernen mit multimodalen Biomarkern verbessert die Krankheitsprognose und -überwachung und bietet Hoffnungen für Fortschritte im Gesundheitswesen in verschiedenen Bereichen und verbessert die Gesundheitsergebnisse durch genaue Krankheitsprognose.

Abstract

Jedes Jahr sind viele Menschen weltweit zunehmend von verheerenden Gesundheitsproblemen wie Herzkrankheiten, Atemwegsinfektionen, neurologischen Funktionsstörungen, kognitivem Stress, Krebs, Schlaganfall, Diabetes usw. betroffen, die zu schweren gesundheitlichen Komplikationen und damit verbundenen Auffälligkeiten führen. Daher sind frühzeitige Gesundheitsanalysen entscheidend, da sie zeitnahe Interventionen mit gezielten Therapien ermöglichen und sofortige Linderung und nachhaltige langfristige Vorteile bringen können, die das Fortschreiten der Krankheit verlangsamen können. Aufgrund der komplexen pathophysiologischen Prozesse und heterogenen klinischen Studien bei verschiedenen Gesundheitszuständen besteht ein Bedarf an hochsensitiven, multimodalen Biomarkern und effektiven Untersuchungsansätzen, um die Gesundheitsergebnisse der Patienten genau zu erkennen und zu überwachen. Daher werden maschinelle Lernalgorithmen mit verschiedenen Kategorien und Techniken zur Vorhersage von Ergebnissen berücksichtigt, darunter Prognose, Risikobewertung, Patientenstratifizierung und Krankheitsüberwachung. Der Ablauf der vorgeschlagenen Arbeit ist in drei Phasen unterteilt, wobei die erste Stufe die Bedeutung des Gesundheitswesens mit Fallstudien definiert, gefolgt von den traditionellen Machine Learning (ML)-Algorithmen, traditionellen Deep-Learning-(DL)-Ansätzen und modernen DL-Techniken (TabNet und AutoInt) in der zweiten Phase. Schließlich werden die Experimente durchgeführt, um die Ergebnisse zu rechtfertigen. Diese Arbeit hebt die Gruppierung von Modalitäten hervor, indem molekulare Protein-, chemische und genetische Biomarker mit aufkommenden ML-Merkmalen integriert werden. Die Ergebnisse zeigen eine deutliche Verbesserung bei der Vorhersage der Genauigkeit mit der vorgeschlagenen Methodik.

Introduction

Das Gesundheitssystem nutzt zunehmend prädiktive Analysen, um Patienten zu überwachen und Gesundheitsergebnisse zeitnah zu diagnostizieren, was eine proaktive Versorgung erleichtert und die Patientenergebnisse verbessert. Durch die Integration prädiktiver Analytik mit Biomarkern können Kliniker die diagnostische Genauigkeit verbessern, wirksame Behandlungen identifizieren, den Therapieverlauf überwachen und wertvolle Einblicke in Krankheitsmechanismen gewinnen, was letztlich zu fundierteren und effektiveren Behandlungsentscheidungen führt. Biomarker beziehen sich auf die Eigenschaften biologischer Moleküle oder Indikatoren, die in Proben wie Biofluiden, Geweben, Zellen, DNA, RNA, Blut und Urin gefunden werden, die das Vorhandensein oder den Fortschreiten einer Krankheit im menschlichen Körper messen und so die Wirksamkeit der Behandlung beurteilen¹.

Die Fortschritte bei der Anwendung molekularer Biomarker spielen eine entscheidende Rolle in der personalisierten Medizin, indem sie spezifische Moleküle präzise messen, um einzigartige Gesundheitsprobleme bei Patienten zu identifizieren und so zielgerichtete Behandlungsstrategien ab den Anfangsstadien zu ermöglichen. Zukünftig werden multimodale Ansätze dazu beitragen, mehrere Modalitäten komplexer Krankheitsmuster zu integrieren und so eine genauere Diagnose der Krankheitsprognose bei Krebs und neurodegenerativen Erkrankungen durch fortschrittliche prädiktive analytische Techniken zu ermöglichen³. Die hochmoderne Methodik nutzt Multi-Omics-Daten, Bioinformatik und ML-Algorithmen, um neuartige Biomarker zu identifizieren und so patientenspezifische Risikoprofilierungen sowie subjektive Behandlungsstrategien für Herz-Kreislauf-Erkrankungen (CVDs) und andere komplexe Erkrankungen zu ermöglichen⁴. Die Kombination aus molekularen Biomarkern und Multi-Omics-Ansätzen birgt Potenzial zur Verbesserung der diagnostischen Genauigkeit und therapeutischen Schichtung bei neurologischen Erkrankungen⁵.

Mit dem Fortschritt der ML-Techniken können multimodale molekulare Biomarker verschiedene Datentypen integrieren, um neuartige Krankheitssignaturen bei verschiedenen Gesundheitszuständen zu identifizieren und so genauere Diagnosen und personalisierte Behandlungsstrategien zu ermöglichen. Aufbauend auf diesem Potenzial untersucht der Autor verschiedene ML-Techniken im Gesundheitswesen zur Vorhersage von Risikofaktoren bei Krankheitsdiagnosen und hebt ihre Bedeutung in verschiedenen Gesundheitssektoren^{hervor 6}. Da ML die Diagnose und Behandlung von Krankheiten transformiert, nutzen pharmazeutische Praxen zunehmend Entscheidungsalgorithmen, um die Gesundheitsergebnisse der Patienten zu analysieren und deren tägliche Bedürfnisse zu erfüllen, was eine informiertere und effektivere Versorgung ermöglicht⁷. Ausgehend vom potenziellen Bedarf an multimodaler Datenintegration entwickelte diese Studie Biomarker, die multimodale Daten (MRT und genetisch) verwendeten, um die Entwicklung und den Fortschreiten der Alzheimer-Krankheit vorherzusagen und zeigte, dass genetische Daten das zukünftige Fortschreiten von Alzheimer bei normalen Kontrollpersonen besser vorhersagten, während MRT-Daten stabile leichte kognitive Beeinträchtigungen besser charakterisierten und beides kombinierten, was eine bessere Klassifikationsleistung⁸ ermöglichte.

Um die Anwendung der multimodalen Datenanalyse weiter voranzutreiben, nutzt multimodales Deep Learning Genexpressionsdaten, um Medikamente zu identifizieren, die spezifische Zelllinien neuartiger biologischer Moleküle ansprechen, und so aufzuklären, wie genomische Variationen die Behandlungsreaktion^{beeinflussen 9}. In Verbindung mit Fortschritten in der multimodalen Datenanalyse treten nicht-invasive Biomarker, die mit KI- und ML-Metriken bewertet werden, als vielversprechende Diagnosewerkzeuge hervor, mit unterschiedlichen Spezifitäts- und Sensitivitätsprofilen im Vergleich zu invasiven Biomarkern, abhängig von der spezifischen Anwendung und dem Datenkontext¹⁰. Im Einklang mit der wachsenden Bedeutung der multimodalen Datenanalyse können Deep Learning (DL)-Ensemblemodelle komplexe Daten effektiv verarbeiten, indem neuartige Biomarker, einschließlich Gen-Protein-Interaktionen, integriert werden, um die Krebsforschung zu verbessern und Behandlungsstrategien zu optimieren¹¹. Da DL-Ensemble-Modelle die Krebsforschung weiterhin vorantreiben, spielt prädiktive Analytik eine entscheidende Rolle bei der Diagnose und Behandlung von Krankheiten, indem sie große Mengen an kollektiven Daten aus verschiedenen Quellen, einschließlich verschiedener Gesundheitszustände, analysiert, um einen umfassenden Überblick über den Stand wie Risikobewertung und Diagnose¹² zu geben.

Ziel des vorgeschlagenen Protokolls ist die Implementierung von ML-basierten und DL-basierten Algorithmen, die die unterschiedlichen biologischen Marker integrieren, um die Genauigkeit der Gesundheitsanalytik zu verbessern. Konventionelle Vorhersagetechniken, die Biomarker nutzen, basieren typischerweise auf Einzelmodalitätsdaten und linearen statistischen Modellen, die die komplexen, nichtlinearen Zusammenhänge, die die Krankheitsentwicklung und individuelle Unterschiede beeinflussen, möglicherweise nicht ausreichend erfassen. Die Einbeziehung riesiger Datenmengen aus Beobachtungen, E-Health-Unterlagen, Labormessungen, physischen Messungen und klinischen Bewertungen bietet eine bedeutende Möglichkeit, die Risikobewertung bei der Patientendiagnose zu synthetisieren und zu optimieren¹³. Biomarker spielen eine entscheidende Rolle in der Präzisionsmedizin und ermöglichen eine gezielte Behandlung zum richtigen Zeitpunkt. Obwohl Biomarker komplex sind und Herausforderungen bei der Messung von Krankheitsubtypen und molekularem Wachstum darstellen, sind sie unschätzbar für die Bewertung toxischer Reaktionen unter verschiedenen abnormen Bedingungen und erleichtern somit weitere Analysen. Durch den Einsatz von Biomarkern während der klinischen Beobachtung können Gesundheitsfachkräfte den Krankheitsverlauf genauer vorhersagen und die Behandlungsreaktionen überwachen. Letztlich ermöglicht die Konvergenz multimodaler molekularer Biomarker in der Gesundheitsanalytik mit KI eine effektivere Mustererkennung, die bestehende Eigenschaften abgleicht, um klinische Auswirkungen zu mindern.

Im Vergleich zu modernen Ansätzen, insbesondere der Arbeit von Somepalli et ^al.14, bei denen die Autoren ML-Algorithmen auf Genomdaten wie metabolischen, epigenetischen und proteomischen Daten vorschlugen und allgemeine Richtlinien zur Auswahl von ML-Algorithmen vorschlugen. Allerdings gibt es eine Einschränkung bei der Analyse der Daten. In der bestehenden^{Arbeit wurden 15} unüberwachte Integrationsmethoden auf Omics-Daten angewandt, mit Fokus auf rechnerische Herausforderungen. Im Gegensatz dazu gibt es Einschränkungen hinsichtlich des Anwendungsbereichs und der Analyse der Methoden. Darüber hinaus behandelten Huang et ^al.16 die meisten DL-Methoden zur Analyse verschiedener Anwendungen mit dem Ziel, die Macht von Big Data und rechnergestützten Frameworks zu verstehen. Zu den Nachteilen gehörten Datenungleichgewichte, Überanpassung und Interpretationsprobleme. Das vorgeschlagene Protokoll ist entscheidend, um eine kritische Lücke in der integrativen Biomarker-Forschung zu schließen, da aktuelle Techniken es nicht schaffen, hochdimensionale und vielfältige biologische Daten effektiv zu kombinieren. Durch den Einsatz ausgefeilter ML und DL, die in Mustererkennung, Merkmalsauswahl und multimodaler Fusion hervorragend sind, zielt die vorgeschlagene Einreichung darauf ab, robuste prädiktive Signaturen zu identifizieren, die frühzeitige Diagnose, Prognose und individuelle Behandlungsoptionen verbessern. Dieses Protokoll adressiert direkt die Begrenzung disjunkter Biomarker-Bewertungen, indem es ein umfassendes, datengetriebenes Modell präsentiert, das skalierbare, interpretierbare und klinisch relevante Gesundheitsprognosen ermöglicht.

Protocol

1. Experimenteller Arbeitsablauf

Abbildung 1 zeigt eine organisierte und modulare Workflow-Pipeline, die darauf ausgelegt ist, molekulare Biomarker mittels maschinellem Lernen und Deep-Learning-Techniken in Risiko- oder Diagnoseindikationkategorien einzuteilen. Hier ist eine detaillierte Schritt-für-Schritt-Erklärung des Prozesses:

1. Datensatzerfassung
   Der Datensatz stammt aus MarkerDB 2.0, einer kuratierten Datenbank molekularer Biomarker.
2. Datenvorverarbeitung
   Dies gewährleistet Datenqualität und Konsistenz, indem Nullwerte und fehlende Einträge behandelt, kategorische Features mit LabelEncoder kodiert und numerische Features (z. B. entrez_gene_id) mit StandardScaler skaliert werden.
3. Feature-Engineering
   Es wird empfohlen, relevante Merkmale auszuwählen, die die Biomarker-Klassifikation beeinflussen, Datenlecks verhindern und die Modellleistung verbessern.
4. Modellentwicklung
   Die verwendeten Ansätze sind Logistic Regression, Random Forest, XGBoost, während in DL: MLP, MLP mit LR Scheduler, AutoInt, TabNet verwendet werden. Die durchgeführten Aktivitäten sind Hyperparameter-Tuning, Kreuzvalidierung und Optimierung für Klassifikationsaufgaben.
5. Datenaufteilung
   Hier wird der Trainingssatz (80 %) zum Lernen von Modellparametern verwendet, und der Testsatz (20 %) zur Auswertung des Modells anhand unsichtbarer Daten. In der letzten Phase werden Bewertungskennzahlen verwendet, um sicherzustellen, dass die Leistung ganzheitlich gemessen wird, insbesondere in unausgewogenen Klassenszenarien.

Abbildung 1: Flussdiagramm der vorgeschlagenen Arbeit. Der Arbeitsablauf des vorgeschlagenen Problems ist in dieser Abbildung dargestellt. Die Schritte sind Datenvorverarbeitung, Feature Engineering, Modellentwicklung, Splitting, Modellbewertung mittels Metriken und Biomarker-Analyse. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

2. Datensatzbeschreibung

Der Name des Datensatzes ist all_sequence_variants mit der CSV-Erweiterung. Es gibt Spalten mit Namen wie 'id', 'variation', 'position', 'external_link', 'gene_symbol', 'entrez_gene_id', 'reference', conditions', 'indication_types', wobei alle Objekttypen sind, außer id als int-Typ und entrez_gene_id als Float-Typ. Die Gesamtzahl der Zeilen beträgt 42.818 mit 9 Spalten. Darüber hinaus enthält der Datensatz Nullwerte für Variation, Position, external_link, entrez_gene_id, Referenz, Bedingungen und indication_types. Der Datensatz stammt aus dem Link wie folgt: https://markerdb.ca/downloads¹⁷

3. Datensatz-Vorverarbeitung

In dieser Phase beginnt die Datenvorverarbeitung mit der Sammlung von Datensatzinformationen, der Beschreibung, der Identifikation von Duplikaten und dem Auffinden fehlender oder nuller Werte. Es gibt keinen Einfluss des external_link Merkmals, wenn es mit dem Korrelationskoeffizienten gemessen wird, weshalb es entfernt wird. Die Nullwerte der kategorialen und numerischen Spalten werden mit Median bzw. Mittelwert gefüllt. Schließlich lautet die Form des Datensatzes aus Eingabe und Ausgabe (42787, 6)(42787,). Die Eingabespalten sind 'id', 'variation', 'position', 'gene_symbol', 'entrez_gene_id', 'conditions', während die Zielspalte indication_types ist.

4. Biomarker: Kategorien, Datenherausforderungen und die Rolle des molekularen Risikos

Ein Biomarker ist ein quantifizierbares Merkmal, das entweder normale oder abnormale biologische Aktivitäten oder Reaktionen auf verschiedene Expositionen oder Interventionen anzeigt. Biomarker können molekular, histologischer, radiographischer oder physiologischer Natur sein und werden in sieben Hauptkategorien unterteilt: (1) Ein diagnostischer Biomarker bestimmt, ob eine Person eine bestimmte Krankheit oder Störung hat und ob diese zu einem Subtyp gehört, (2) Ein Monitoring-Biomarker zeigt den Fortschreiten einer Krankheit und deren Reaktion auf die Behandlung an, (3) Ein Response-Biomarker zeigt, ob ein Patient auf ein Medikament oder eine Therapie reagiert, wie etwa eine Veränderung der Herzfrequenz, (4) Ein prädiktiver Biomarker kann feststellen, ob eine Person ein Risiko hat, eine bestimmte Krankheit zu entwickeln, und wie sie auf eine bestimmte Behandlung ansprechen könnte, (5) Ein prognostischer Biomarker kann Einblicke in die Wahrscheinlichkeit eines Krankheitsverlaufs oder -rückfalls liefern, wenn ein Patient für ein bestimmtes Gesundheitsergebnis prädisponiert ist, (6) Ein Risikobiomarker bewertet das potenzielle Risikoniveau für eine Erkrankung, bevor ein Patient eine offizielle Diagnose erhält, und (7) Ein Sicherheitsbiomarker bewertet das Potenzial für toxische oder unerwünschte Reaktionen, die durch die Behandlung entstehen können. Diese Studie konzentriert sich hauptsächlich auf die Analyse molekularer Biomarker im Zusammenhang mit Risikobewertung und Diagnostik, wie in Abbildung 2 dargestellt. Angesichts der riesigen Menge klinischer Daten, die weltweit verfügbar sind, sind Biomarker unerlässlich, um klinische Entscheidungen zu leiten, die Forschung voranzutreiben und personalisierte Medizin zu erleichtern.

Abbildung 2: Biomarker-Kategorie für klinische Entscheidungsfindung. Die Entscheidungen des Biomarkers werden in diesem Diagramm dargestellt. Basierend auf den auf die Biomarker angewandten Analytik werden klinische Entscheidungen getroffen und ML-Algorithmen implementiert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das Finden und Verstehen klinisch nützlicher Biomarker-Informationen ist aufgrund der großen Bandbreite an Biomarkertypen, Eigenschaften und Qualitäten eine Herausforderung. Das rasante Wachstum der Biomarker-Studien in den letzten zwei Jahrzehnten hat den Zugang zu umfassenden und aktuellen Daten, insbesondere zu molekularen Biomarkern, zusätzlich erschwert. Dies führte zu Problemen wie inkonsistenten Ergebnissen, redundanter Wiederentdeckung bestehender Biomarker, widersprüchlichen Ergebnissen und übersehenen Möglichkeiten,^etablierte Biomarker zu nutzen. Das Aufkommen von "Omics"-Messungen hat dieses Problem verschärft und zu einer Vielzahl neuartiger molekularer Biomarker in klinischen Tests und der Literatur geführt, was es zunehmend erschwert, Biomarker-Wissen effektiv zu navigieren und anzuwenden¹⁹.

MarkerDB 2.0 bietet Zugang zu verschiedenen molekularen Biomarkern für experimentelle Zwecke²⁰. Verschiedene Biomarker werden in der klinischen Forschung und im Gesundheitswesen eingesetzt, um Krankheiten zu diagnostizieren, vorherzusagen und zu überwachen. Unter diesen verwenden Proteinbiomarker Biofluide wie Serum, Blut, Rückenmarksflüssigkeit (CSF), Peritonealflüssigkeit, Fruchtwasser, Plasma und Urin, um Erkrankungen wie Diabetes mellitus, Tuberkulose, Down-Syndrom und myopathische Erkrankungen zu analysieren. Ebenso verwenden genetische Biomarker Gensymbole wie LRP1, LPP, MAPT und SPI1, um Erkrankungen wie altersbedingte Makuladegeneration, allergische Erkrankungen, Alzheimer, Krebs und Asthma zu analysieren. Darüber hinaus helfen multimodale molekulare Biomarker, das Patientenrisiko und diagnostische Indikatoren zu messen²¹. Diese Arbeit unterstreicht die Notwendigkeit von Gesundheitsanalytik mit ML-Ansätzen, um Krankheitsdiagnose, Vorhersage und personalisierte Behandlung zu verbessern.

5. Modellierung statistischer ML-Ansätze zur Biomarker-Entdeckung

Die Anwendung von ML-Ansätzen hat das Gesundheitswesen auf vielfältige Weise verändert. Konkret wurden molekulare Biomarker mit verschiedenen ML-Techniken analysiert, darunter Principal Component Analysis (PCA), K-means Clustering (KMA), Nearest Neighbor Analysis (NNA) und neuronale Netzwerkalgorithmen²². Diese Modelle identifizieren komplexe Muster aus ausgewählten Merkmalen, verwalten unvollständige oder inkonsistente Daten und unterstützen die Echtzeitverfolgung des Krankheitsverlaufs. Neben der Diagnose von Krankheiten liefern ML-Algorithmen durch Datenanalyse und Visualisierung bedeutende Einblicke in Patientenprobleme, was eine schnelle und gezielte^{Versorgung ermöglicht}. Dadurch verbessert dies die Gesundheitsergebnisse der Patienten bei ungewöhnlichen Erkrankungen. Darüber hinaus wird die Fähigkeit von ML, die Entdeckung von Biomarkern und therapeutische Ergebnisse in verschiedenen Krankheiten, einschließlich der Analyse molekularer Biomarker, zu revolutionieren.

ML-Algorithmen werden in fünf Haupttypen eingeteilt, wie in Abbildung 3 dargestellt. Supervised Learning ist der Prozess des Trainings auf beschrifteten Datensätzen, um Eingabe-Output-Beziehungen zu verstehen, was es ideal für Aufgaben wie Klassifikation und Regression macht, wie Entscheidungsbäume und unterstützende Vektormaschinen. Unüberwachtes Lernen erkennt Muster in unlabelten Daten und wird häufig zur Clusterbildung und Dimensionsreduktion eingesetzt, mit Techniken wie k-means Clustering und Hauptkomponentenanalyse. Halbüberwachtes Lernen kombiniert sowohl beschriftete als auch unbeschriftete Daten, um Vorhersagen zu erstellen. Reinforcement Learning konzentriert sich auf Entscheidungsfindung, die auf Feedback aus der Umgebung basiert, und wird häufig im Gaming und in der Robotik eingesetzt, mit Methoden wie Q-Learning und Deep Reinforcement Learning Networks. Deep Learning verwendet künstliche neuronale Netze mit mehreren Schichten, um komplexe Muster in Daten zu erkennen. Diese Technik hilft dabei, Biomarker für häufige Krankheiten wie Krebs, Schlaganfall, Alzheimer und Parkinson vorherzusagen. Zahlreiche klinisch zugelassene Anwendungen nutzen diese Technologie^24,25. Die genaue Diagnose von Patienten mit bösartigen Tumoren hängt typischerweise von der Entnahme und pathologischen Analyse von Gewebeproben ab, die wichtige Informationen über histologischen Grade, Subtyp, Stadium und verschiedene andere Tumorbiomarker liefern.

Abbildung 3: Kategorisierung von Machine-Learning-Algorithmen für klinische Entscheidungsfindung. Die Arten von ML-Algorithmen im Diagramm werden dargestellt, um die angewandte Methodik besser zu verstehen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Statistik und ML sind zwei getrennte Disziplinen, die sich häufig überschneiden. Statistik umfasst das Sammeln, Analysieren und Interpretieren von Daten, wobei typischerweise mit kleineren, klar definierten Datensätzen gearbeitet wird, und konzentriert sich hauptsächlich auf den Vergleich und die Zusammenfassung von Informationen. ML hingegen ist eine Teilmenge der künstlichen Intelligenz, die prädiktive Modelle erstellt und sich oft mit großen und komplexen Datensätzen beschäftigt. Während Statistiken eine wichtige Rolle bei der bestätigenden Forschung und dem Verständnis zugrunde liegender Mechanismen spielen, ist ML effektiver für explorative Forschung, das Aufdecken komplexer Muster und die Verwaltung fehlender Daten. Methoden wie die logistische Regression können sowohl als statistische Modelle als auch als überwachte ML-Modelle betrachtet werden, was die verschwommenen Unterscheidungen zwischen den beiden Bereichen veranschaulicht. Letztlich müssen Forscher ihre Forschungsziele und die Art ihrer Daten bewerten, um die am besten geeignete Methode auszuwählen.

6. Modellierung von MLP und Varianten von MLP

MLP, auch bekannt als Multilayer-Perzeptron, ist eine Art neuronale Netzwerkarchitektur, die mehrere Neuronenschichten zwischen Ein- und Ausgabeschicht umfasst, wie in Abbildung 4 dargestellt. MLP wurde in den 1950er Jahren eingeführt und gewann mit dem Fortschritt und den Fortschritten in der Backpropagation in den 1980er Jahren breite Verbreitung, was half, den Verlust zu minimieren. Die grundlegenden Lernprinzipien von MLP sind neuronale Netze, Gewichtungen und Verzerrungswerte zur Berechnung der Ausgabe. Schließlich, um die Aktivierungsfunktion und den Schwellenwert zu kennen, um die Ausgabe in der Ausgabeschicht zu erhalten. In der vorgeschlagenen Methodik entsprechen die Knoten in der Eingangsschicht, der versteckten Schicht und der Ausgabeschicht klinischen und Genmerkmalen, vollständig verbundenen Schichten mit ReLU-Aktivierung und einem einzelnen Neuron mit sigmoider Aktivierung, um das binäre Ergebnis des Indikation-(Risiko-, Diagnos-)Typs vorherzusagen. Die Hauptvorteile sind, dass sie einfach zu trainieren und zu interpretieren sind. Allerdings kann das einfache MLP große Datensätze nicht verarbeiten und ist empfindlich gegenüber der^{Lernrate von 26}. Um diese Nachteile zu überwinden, wird daher MLP mit Learning Rate Scheduler mit der in Abbildung 3B dargestellten Architektur betrachtet. MLP mit LR ist ein mächtiger dynamischer Mechanismus mit starkem Zerfall, exponentiellem Zerfall, inverser Zeitabkling, ReduceLROnPlateau und Cosinusglühung. Anstelle eines festen LR-Werts ändert sich die Lernrate basierend auf der Modellleistung und dem Training.

Abbildung 4: Modellierung von mehrschichtigem Perceptron und MLP mit einem LR-Scheduler. (A) Multi-Layer-Perzeptron: Die Struktur von MLP wird mit Input Layer, Hidden Layer und Output Layer illustriert. Die erste Schicht erhält die Eingabe und verarbeitet sie in der zweiten Schicht mit Aktivierungen, und die Ausgabe wird in der letzten Schicht empfangen. MLP ist einfach zu implementieren. (B) MLP mit LR Scheduler: Dies ist ähnlich wie MLP; allerdings wird ein Learning Rate Scheduler hinzugefügt, um die Trainingsgeschwindigkeit für eine bessere Konvergenzrate zu steuern. Die Lernrate ist auf einem Plateau reduziert. Das reduziert die Überschießminima. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Dieser Ansatz ist effizienter, zuverlässiger und effektiver für tabellarische Daten. Darüber hinaus gibt es Vorteile wie stabile Konvergenzverbesserung bei rauschen Daten, verbesserte Generalisierung und geringeren Aufwand bei der Hyperparameterabstimmung. Bei einigen Vorhersageaufgaben können jedoch Schwierigkeiten auftreten, wie etwa das Stecken in lokalen Minima. Darüber hinaus werden in der in Abbildung 5 dargestellten breiten und tiefen MLP-Komponenten breite und tiefe Komponenten eingeführt, um sich in der Korrelationskartierung, dem Auswendiglernen von Regeln und dem Erlernen neuer Muster zu glänzen, wobei hohe Verallgemeinerungsstandards aufrechterhalten werden. Durch die Kombination dieser Aspekte in die Ausgabeschicht wird die binäre Ausgabe²⁷ vorhergesagt. Allerdings gibt es Einschränkungen bei der Verallgemeinerung unsichtbarer Merkmale und der Überverallgemeinerung. Zusammenfassend wird MLP mit Batch-Norm und Dropout verwendet, um den Trainingsprozess zu normalisieren, wobei Dropout für das Lernen und die Verallgemeinerung unbekannter Attribute einbezogen werden. Insbesondere kann diese Technik auf hochdimensionale Daten angewendet werden und hilft, Überanpassungen zu verhindern. Dennoch leidet diese Technik unter Batch-Größenbeschränkungen, erhöhtem Speicherverbrauch (aufgrund von Batch-Normalisierungsschichten) und ist keine universelle Lösung^28,29.

Abbildung 5: Modellierung von MLP-weiten und tiefen Netzwerken. Das Diagramm illustriert den tiefen Pfad des MLP, der nichtlineare Beziehungen erfassen und die Ausgabe mit einer sigmoiden Einheit zur Klassifikation kombiniert. Diese Architektur erfasst Musterlernen und Wissen für heterogene Biomarker-Daten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

7. TabNet

Das TabNet ist ein Deep-Learning-Modell namens Tabular Network, das vom Google Research^{Team 30} entwickelt wurde. Die Hauptmotivation des TabNet-Modells ist es, Unterschiede zwischen den DL-Ansätzen für Bild-, Text-, Sprach- (CNN, Autoencoder, Transformers) und baumbasierten ML-Ansätze (XGBoost, Random Forest, LightGBM) auszugleichen. Darüber hinaus haben die Einschränkungen der DL-Ansätze einen enormen Einfluss auf das TabNet-Modell, wobei MLP ein parametrisiertes Modell ist. Vor allem fehlt es den DL-Ansätzen an Interpretation bei realen Problemen, selbstüberwachtem Lernen und sequenzieller Lernkapazität³¹. Die TabNet-Modelle sind auf Anwendungen wie Versicherungsrisikovorhersage³², Schätzung des Kohleaschegehalts³³, Vorhersage von chemischer Toxizität³⁴ und Erkennung von Betrug bei Bildungstests³⁵ beschränkt. Die Architektur von TabNet ist in Abbildung 6 dargestellt.

Abbildung 6: Modellierung des tabellarischen Netzwerks. Das Tabular-Netzwerk nimmt Eingabemerkmale in tabellarischem Format und wendet die Transformatortechnik in jedem Block sequentiell an. Der GLU-Block, auch bekannt als Gated Linear Unit Block, steuert den Informationsfluss im Netzwerk und erleichtert so die Auswahl von Features und stabiles Lernen. Die Ausgabe wird in der Ausgabeschicht aus den akkumulierten Ausgaben präsentiert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Aus dem obigen Architekturdiagramm ist das System in vier Komponenten unterteilt: Eingabeblock, Shared Feature Transformer, sequentielle Entscheidungsschritte und die Verlustberechnung mittels Optimierung. In den kategorialen Merkmalen werden die Merkmale nach der Einbettungsschicht in ganze Zahlen umgewandelt. Gleichzeitig werden die kontinuierlichen Merkmale so angenommen, wie sie sind. Schließlich werden die Merkmale in einen einheitlichen Merkmalsvektor umgewandelt, wobei x ∈ R Im nächsten Schritt werden vollständig verbundene Schichten mit Aktivierungsfunktionen implementiert, gefolgt von einer Transformation, um die Daten in einen Vektor umzuwandeln, und eine Entscheidung wird getroffen. Im dritten Schritt werden der Aufmerksamkeitstransformator, die Maskierung, der Entscheidungstransformator und die Prädiktionsakkumulation nacheinander verwendet. Die Ziele dieses Schrittes sind selektive Aufmerksamkeit, sequenzielles Schließen und Entscheidungswege. Im letzten Schritt werden entweder binäre Kreuzentropie oder ähnliche Methoden verwendet, um den Verlust zu finden und den Wert zu optimieren. Außerdem wird die Regularisierung mit sparsamer Aufmerksamkeit durchgeführt, um Überanpassungen zu vermeiden.

8. AutoInt

Automatisches Feature Interaction Learning via Self-Attendentive Neural Networks (AutoInt) ist die vollständige Form von AutoInt, eingeführt in der Click-through-Rate (CTR)-Vorhersage³⁶ und später auf verschiedene Anwendungen angewandt, darunter Softwarefehlervorhersage³⁷, Empfehlungssysteme³⁸ und Genomdetektion³⁹. Es gibt Einschränkungen bei den bestehenden ML-Ansätzen, darunter die Verarbeitung hochdimensionaler, spärlicher Daten, höherordnungige kombinatorische Merkmale, das Verständnis der Vorhersagefähigkeit der Merkmale und die Notwendigkeit manueller Feature-Engineering. Alle diese genannten Herausforderungen werden vom AutoInt-Modell mit Effizienz, Effektivität und Erklärbarkeit angegangen. Das Ziel von AutoInt in der vorgeschlagenen Methodik ist es, vorherzusagen, ob die gegebene Variante einen Risiko- oder Diagnose-Indikationtyp hat. Für den gegebenen Datensatz werden sieben Schritte vorgeschlagen, wie in Abbildung 6 zusammen mit dem Quellcode dargestellt. Erstens werden das Lesen von Daten und die Vorverarbeitung implementiert, um alle kategorialen Merkmale als ganze Zahlen zu kodieren und die Labels für Risiko bzw. Diagnostik auf 0 bzw. 1 zuzuordnen. Im zweiten Schritt wird eine Merkmalsrepräsentation durchgeführt, um die Einbettungsmatrix zu erstellen; wiederum wird die Matrix umgewandelt, um die numerischen Merkmale zu normalisieren. Es gibt wechselwirkende Schichten, in denen die neutrale automatische Interaktion zwischen den Merkmalen ohne manuelle Interaktion mit den Transformatoren erlernt wird. Außerdem lernen mehrere Köpfe verschiedene Arten von Interaktionen, und schließlich werden die Merkmale miteinander verkettet, was die Darstellung verbessert. Residualverbindungen sind vorhanden, um sowohl niedrigere als auch höhere Wechselwirkungen zu erlernen, wie 1 Merkmal, 2 Merkmale, 3 Merkmale und so weiter. Schließlich werden Ausgaben aus dem Restnetzwerk für Binärwertberechnungen an die sigmoidale Funktion weitergegeben, wie in Abbildung 7 gezeigt.

Abbildung 7: Modellierung des AutoInt-Netzwerks. Das AutoInt-Netzwerk lernt automatisch Features, wobei die Embedding-Schicht die Features nimmt und sie mithilfe eines Self-Attention-Mechanismus und Restverbindungen in die nächste Schicht abbildet. Die letzte Komponente verfügt über die MLP-Schicht und Aktivierungsfunktionen, um das Ergebnis zu erzeugen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Results

Die Experimente werden mit ML- und DL-Ansätzen durchgeführt, um deren Leistung zu vergleichen. Gleichzeitig wird die Erstellung von ML-Modellen in Betracht gezogen, die sowohl überwachte als auch unüberwachte Lernmechanismen nutzen. Die in dieser Methodik verwendeten überwachten Techniken sind Logistic Regression, Decision Tree, Random Forest, Gradient Boost, Support Vector Machine und K-Nearest Neighbor Algorithmen. Diese Algorithmen reichen von einfachen statistischen Modellen bis hin ...

Discussion

Die vorgeschlagene Arbeit behandelt eindeutig die Bedeutung von Biomarkern bei der Identifizierung und Überwachung einer Krankheit und ihrer Merkmale. Der vorgeschlagene Ansatz für die Biomarker-Methodik basiert auf vier wesentlichen Schritten: sorgfältige Datenaufbereitung (Reinigung, Codierung, Eliminierung von Identifikatoren); einheitliche Zielkodierung (Risiko=0, Diagnostisch=1); Normalisierung von Features und hochwertiges Deep Embedding für Modelle wie AutoInt^37<...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AutoInt-Modell	Peking-Universität	https://github.com/shichence/AutoInt	Automatisches Merkmalsinteraktionslernen über selbstaufmerksame neuronale Netze: Effizienter Algorithmus zur automatischen Erlernen hochrangiger Merkmalsinteraktionen für (spärliche) kategorische und numerische Merkmale
deepctr_torch.Modelle	Open Source	https://github.com/shenweichen/DeepCTR-Torch	Modulares und erweiterbares Paket von Deep-Learning-basierten CTR-Modellen, um ein eigenes individuelles Modell einfach zu erstellen.
Google Colaboratory	Google	https://colab.research.google.com/	Cloud-basiert  Umgebung, um Python-Code über den Browser für maschinelles Lernen und Datenanalyse zu schreiben und auszuführen
Keras 2.6.0	Keras	https://keras.io/	Bietet eine Python-Schnittstelle zum Ausführen neuronaler Netzwerke, die auf Tensorflow läuft
MarkerDB 2.0	MarkerDB	https://markerdb.ca/downloads	Öffentlich verfügbare Datenbank molekularer Biomarker
Matplotlib 3.4.3	Matplotlib	https://matplotlib.org/	Visualisierungsbibliothek für Python
Numpy 1.21.4	Numpy	https://numpy.org/	Grundlegendes Paket für wissenschaftliches Rechnen mit Python
Pandas 1.3.4	Pandas	https://pandas.pydata.org/	Leistungsstarkes, flexibles und einfach zu bedienendes Open-Source-Datenanalyse- und -Manipulationstool, das auf der Programmiersprache Python basiert.
Python 3.8.10	Python Software Foundation	https://www.python.org/	Beliebte Programmiersprache, die Deep-Learning-Systeme effektiver integriert.
pytorch_tabnet.tab_model	Pytorch	https://pypi.org/project/pytorch-tabnet/	Zur Implementierung von binären/mehrklassigen Klassifikations- und Regressionsproblemen.
Scikit-learn	Scikit-learn	https://scikit-learn.org/stable/	Python-Modul für maschinelle Lernalgorithmen
Seaborn	Seaborn	https://seaborn.pydata.org/	Hochrangige Datenvisualisierungsbibliothek zum Zeichnen attraktiver und informativer statistischer Grafiken
TabNet-Modell	Google	https://github.com/dreamquark-ai/tabnet	TabNet ist ein End-to-End-neuronales Netzwerk, das darauf ausgelegt ist, tabellarische Daten direkt zu verarbeiten
Tensorflow 2.6.0	Google	https://www.tensorflow.org/	Eine End-to-End-Plattform für maschinelles Lernen