$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Ethische Aussage
Diese Studie stützte sich vollständig auf öffentliche, anonymisierte EKG-Daten, die von PhysioNet heruntergeladen wurden. Alle in dieser Studie verwendeten Datensätze wurden ursprünglich mit Zustimmung der Probanden und mit ethischer Zustimmung der jeweiligen Datenträger erhoben. Diese Forschung erforderte keine Datenerhebung, keine experimentelle Arbeit mit weder menschlichen noch tierischen Probanden oder persönliche Identitätsdaten der Patienten. Daher wurde keine weitere ethische Überprüfung beantragt.
Methodik
Abbildung 2 veranschaulicht den Arbeitsablauf der vorgeschlagenen Architektur.
Datenerhebung
EKG-Daten werden aus der PhysioNet-Datenbank gesammelt, einem beliebten Archiv physiologischer Signale. Mehrere Datensätze werden aus der Datenbank abgerufen. Diese Datensätze werden zu einem einzigen Hauptdatensatz zusammengeführt, der verschiedene EKG-Signalklassen umfasst.
Verwendete Datensätze
Diese Studie nutzte mehrere öffentlich zugängliche EKG-Datensätze, um ein Deep-Learning-Modell zur Arrhythmieklassifikation zu entwickeln und zu evaluieren. Die Auswahl dieser Datensätze erfolgte mit Sorgfalt unter Berücksichtigung ihrer Vielfalt hinsichtlich der Patientendemografie und der Vielfalt der Arrhythmietypen, um sicherzustellen, dass das vorgeschlagene Modell in verschiedenen Szenarien gut abschneidet9. Für diese Studie wurden nur Lead-I-Daten aus der MIT-BIH Arrhythmia Database, der MIT-BIH Supraventricular Arrhythmia Database, der St. Petersburg INCART 12-lead Arrhythmia Database und der Sudden Cardiac Death Holter Database kombiniert. Diese Datensätze sind bekannt für ihre hochwertigen, annotierten EKG-Aufzeichnungen, die ein breites Spektrum an Arrhythmieklassen abdecken.
Die oben kombinierten Datensätze umfassen Patientendemografie, Aufzeichnungsgeräte, Abtastfrequenzen und Einstellungen. Die oben erwähnte Variabilität im Modell verbessert seine Verallgemeinerung, indem sie es einer Vielzahl von EKG-Morphologien, Rauschen und Rhythmen aussetzt.
Beschreibung von Datensätzen
Datenbank für MIT-BIH-Arrhythmien
Der MIT-BIH-Arrhythmie-Datensatz enthält 48 halbstündige EKG-Aufnahmen, nummeriert 100–234. Jeder Datensatz enthält Zweikanal-EKG-Signale, die mit 360 Samples pro Sekunde digitalisiert werden. Die Daten werden in den Formaten .dat, .hea und .atr gespeichert.
MIT-BIH supraventrikuläre Arrhythmie-Datenbank
Dies ist eine spezifische Teilmenge der MIT-BIH-Datenbanken. Die MIT-BIH Supraventrikuläre Arrhythmie-Datenbank umfasst 78 vollständige EKG-Aufnahmen, die von 30 Minuten bis zu mehreren Stunden dauern, nummeriert 801-811. Jeder Datensatz enthält zweikanalige EKG-Signale, die mit 128 Samples pro Sekunde in digitale Form umgewandelt werden.
Die Datenbank der INCART 12-Lead-Arrhythmie in St. Petersburg
Diese Datenbank enthält 75 annotierte Aufnahmen, die von 32 Holter-Monitoren aufgenommen wurden. Jede Aufnahme dauert 30 Minuten und enthält 12 Standard-Leads, die jeweils mit 257 Hz gesampelt werden. Die Signalstärke variiert zwischen 250 und 1100 Analog-Digital-Wandlereinheiten pro Millivolt.
Unvorhergesehener Herztod Holter-Datenbank
Dieser Datensatz ist einer von vielen Open-Access-Holter-Aufnahmen, die faktische Vorkommen von ventrikulärer Tachykardie (VT) und ventrikulärem Fibrillieren (VF) erfassen. Beides kann zu einem unvorhergesehenen Herztod führen. Jede Platte ist 24 Stunden lang und wird mit 250 Hz abgesampelt.
Datenvorverarbeitung
In dieser Studie wurden vier öffentliche EKG-Datenbanken mit unterschiedlichen Stichprobenraten verwendet: MIT-BIH-Arrhythmie (360 Hz), MIT-BIH Supraventrikuläre Arrhythmie (128 Hz), St. Petersburg INCART 12-Lead (257 Hz) und Sudden Cardiac Death Holter (250 Hz). Um sicherzustellen, dass alle Daten konsistent sind und während des Modelltrainings kombiniert werden können, wurden alle EKG-Signale auf eine gemeinsame Frequenz von 360 Hz neu gesampelt, was mit der MIT-BIH-Arrhythmiedatenbank übereinstimmt und häufig als Standard in der EKG-Forschung verwendet wird. Das Resampling erfolgte mittels bandbegrenzter Interpolation; anfangs wurden die EKG-Signale mit Tiefpassfilter gefiltert, um Aliasing zu verhindern, und anschließend wurde ein sinc-basierter Rekonstruktionskern für die Interpolation verwendet, gefolgt von der endgültigen Wiederbeschaffung bei 360 Hz. Nach dem Resampling wurde jedes Signal in Fenster mit 180 Samples unterteilt, was ungefähr 0,5 s Datenvolumen entspricht, sodass alle Datensätze die gleiche Zeitauflösung hatten. Diese Standardisierung ermöglichte die Kombination von Signalen aus verschiedenen Datenbanken für Training und Test, wodurch das Modell konsistente Muster im Laufe der Zeit lernte.
Die Vorverarbeitung umfasste mehrere wichtige Schritte, um die Qualität der Eingabedaten sicherzustellen:
Datensegmentierung:
Nach der Neuabnahme wurde jedes EKG-Signal in feste Fenster mit jeweils 180 Proben unterteilt. Dies entspricht etwa 0,5 s Signaldauer bei einer Abtastrate von 360 Hz. Diese Forschung verwendete ein festes, nicht überlappendes gleitendes Fenster zur Segmentierung. Jedes Fenster sammelte eine kontinuierliche Abfolge von EKG-Proben. Die Studie wählte ein Fenster von 180 Stichproben, da ein 0,5-S-Intervall ausreicht, um einen vollständigen Herzzyklus oder seine Hauptbestandteile – die P-Welle, QRS-Komplex und T-Welle – für typische Herzfrequenzen im Erwachsenenalter zu erfassen. Jedem Abschnitt wurde basierend auf der Annotation in der Mitte des Segments ein Klassenlabel zugewiesen. So entsprach das Segment-Label der Hauptform des Herzschlags innerhalb dieses Fensters. Die Schiebefenstermethode wurde folgende Segmentierungsfunktion angewendet:

wobei si die EKG-Probe zum Zeitpunkt i ist.
Normalisierung:
Ich habe die segmentierten EKG-Daten mit Min-Max-Skalierung normalisiert, um sicherzustellen, dass alle Merkmale Werte zwischen 0 und 1 bis10 haben.

Dieser Schritt hilft, die Konvergenz des Modells während des Trainings zu beschleunigen.
Klassenausgleich mit SMOTE
Normale (N) Schläge überstiegen die abnormalen Herzschlagklassen im EKG-Datensatz deutlich, der ein signifikantes Klassenungleichgewicht zeigte. Nach Segmentierung, Normalisierung und Train-Test-Splitting wurde der Trainingsdatensatz der Synthetic Minority Over-sampling Technique (SMOTE) unterzogen, um dieses Problem zu lösen.
Ein 180-dimensionaler Merkmalsraum wurde verwendet, um jedes EKG-Segment darzustellen und bestand aus 180 normalisierten Proben. SMOTE verwendete die euklidische Distanz, um die k nächstgelegenen Nachbarn jeder Minderheitenklasse (k = 5) innerhalb ihrer eigenen Klasse zu bestimmen. SMOTE wurde nur auf die Trainingsdaten angewendet, die in 70 % Training und 30 % Testsets mittels geschichteter Stichprobe aufgeteilt wurden. So wurden keine künstlichen Proben zum Testset hinzugefügt, sodass die Testergebnisse nicht vom Überprobenverfahren beeinflusst wurden. Die Testdaten blieben unverändert, bewahrten ihre ursprüngliche Klassenverteilung und wurden nur zur fairen Bewertung des Modells verwendet. Daher zeigen die High-Performance-Ergebnisse dieser Studie die tatsächliche Fähigkeit des Modells zur Verallgemeinerung, nicht aufgrund von Overfitting oder überhöhten Werten durch zusätzliche Stichproben.
Zug-Test-Aufteilung:
Nach der Vorverarbeitung und der Klassenfilterung wurde der Datensatz in Trainings- und Testteilmengen unterteilt, wobei eine Aufteilung von 70 % bis 30 % mittels stratifizierter Zufallsstichprobe verwendet wurde. Diese Schichtung basiert auf den Klassenbezeichnungen, um sicherzustellen, dass die relativen Anteile jeder Herzschlagklasse in den Trainings- und Testsätzen beibehalten werden.
Die Aufteilung wurde mit einem zufälligen Seed zur Reproduzierbarkeit durchgeführt. Jedes EKG-Segment erschien ausschließlich entweder im Trainings- oder im Testset. Um Verzerrungen und Datenabweichungen zu vermeiden, wurde jeder Vorverarbeitungsschritt, der die Datenverteilung beeinflussen könnte (nämlich die Klassenverteilung mittels SMOTE), erst nach der Aufteilung und ausschließlich auf den Trainingsdaten durchgeführt.
In diesem Zusammenhang verringert der Aufteilungsprozess durch die Beibehaltung von Klassenanteilen, die Verwendung von Zufallsstratifizierung und der strikten Trennung der Stichproben in Trainings- und Testsets die Wahrscheinlichkeit von Verzerrungen in den Stichproben, sodass Leistungsmetriken die Verallgemeinerung des Modells statt datenspezifischer Residuen widerspiegeln können.
Datensatzaufteilung und Klassenverteilung
Der endgültige Datensatz wurde in Trainings- und Testsets aufgeteilt, wobei 70 % für Training und 30 % für Tests verwendet wurden. Nach Anwendung von SMOTE wurde das Klassenungleichgewicht reduziert, sodass jeder Arrhythmietyp sowohl im Training als auch im Testset gut vertreten war. Insgesamt wurden 3.966.620 EKG-Segmente für das Training verwendet, während 112.575 EKG-Segmente für Tests verwendet wurden. Das große Datenvolumen, kombiniert mit der Vielzahl der Arrhythmietypen, ermöglichte die Erstellung eines Modells, das verschiedene Arrhythmietypen in realen EKG-Signalen effektiv identifiziert. Diese Studie verwendet Deep-Learning-Modelle, um EKG-Arrhythmien zu klassifizieren. Die fünf Herzschlagtypen, nämlich Normal (N), Left Bundle Branch Block (L), Right Bundle Branch Block (R), Atrial Premature Beat (A) und Premature Ventricular Contraction (V), wurden entsprechend den standardisierten Beat-Annotationen der MIT-BIH Arrhythmia Database sowie den AAMI-Richtlinien für ECG Beat-Annotation ausgewählt. Alle fünf hier erwähnten Beat-Annotationen umfassen bedeutende Herzerkrankungen, die in die breite Kategorie der Arrhythmien fallen und charakteristische Wellenformmerkmale in den EKG-Signalen rund um die P-, QRS- und T-Wellen aufweisen.
Darüber hinaus gehören diese Klassen zu den häufigsten und beständigsten in öffentlichen EKG-Datenbanken, was es erleichtert, ihre Wirksamkeit im Vergleich zu anderen EKG-basierten Herzrhythmusklassifikationsansätzen zu testen. Die Datensätze wurden nach einer patientenübergreifenden Methode aufgeteilt. Dieses Setup stellte sicher, dass EKG-Segmente eines einzelnen Patienten nicht gleichzeitig in den Trainings- und Testsets auftauchten. Nachdem diese Aufteilung stattgefunden hatte, wurde SMOTE nur noch auf das Trainingsset angewendet. Der Testsatz blieb frei von synthetischen Proben und wiederholten zeitlichen Fenstern. All dies hilft, Überschneidungen auf Segmentebene zu vermeiden und unterstützt eine echte Verallgemeinerung bei der Behandlung von Patienten, die bisher nicht gesehen wurden.
Klassenverteilung vor und nach SMOTE:
Der ursprüngliche Datensatz wies ein erhebliches Ungleichgewicht zwischen den Klassen auf, mit einer großen Anzahl von Normal (N) Schlägen und weniger Stichproben für die abnormalen Klassen. Vor der Verwendung von SMOTE enthielten die Trainingsdaten etwa 133.320 Normal (N), 8.075 Left Bundle Branch Block (L), 10.431 Right Bundle Branch Block (R), 4.489 Atriale Premative Beat (A) und 60.682 Pretire Ventricular Contraction (V) Segmente. Um das Ungleichgewicht zu beheben, wurde SMOTE nur auf den Trainingssatz angewendet, wodurch die Anzahl der Stichproben in den Minderheitenklassen erhöht wurde, um mit der Mehrheitsklasse übereinzustimmen. Nach der Erweiterung hatte jede Klasse 793.324 Abschnitte, was insgesamt 3.966.620 EKG-Abschnitte für die Ausbildung ergab. Das Testset, das 112.575 Segmente umfasste, behielt seine ursprüngliche Klassenverteilung bei und wurde nicht überbestückt. Dieser Ansatz gewährleistete eine faire und unvoreingenommene Bewertung der Leistung des Modells.
Ausbildung und Schlussfolgerung
untersuchte die Recheneffizienz, indem sie die Trainings- und Inferenzleistung einer NVIDIA RTX 3050 GPU mit 6 GB Speicher überprüfte. Der Trainingsprozess dauerte etwa 3,2 Stunden für 60 Epochen. Die Inferenzlatenz lag durchschnittlich bei 0,45 ms pro 180-Sample-Segment, was die Echtzeitnutzung ermöglicht. Der Speicherverbrauch der GPU erreichte einen Höhepunkt von 4,2 GB, und das Modell hat nur 1,8 Millionen Parameter, sodass es sich im Vergleich zu den meisten transformatorbasierten EKG-Setups leicht anfühlt.
Der Trainings- und Inferenzprozess besteht aus folgenden Schritten:
Trainingsaufbau: Trainingsparameter wie Lernrate, Batchgröße und Epochen sind definiert.
Modelltraining: Das CNN-Transformer-Modell wird auf den Trainingsdaten trainiert.
Validierung: Nach dem Training werden die Validierungsgenauigkeit und der Verlust des Modells überprüft. Wenn die Leistung gut ist, wird das Modell gerettet. Ist die Leistung schlecht, wiederholt sich die Pipeline mit anderen Trainingsparametern und kehrt zum Parameter-Einstellungsschritt zurück.
Modellarchitektur
Das gesamte CNN-Transformator-Setup besteht aus vier Hauptteilen: der Extraktion von Faltungsmerkmalen, einer Projektionsschicht, dem Transformatorencoder und schließlich dem Klassifikationskopf. Der Faltungsblock beginnt mit einer eindimensionalen Faltungsschicht mit 32 Filtern, einer Kerngröße von 3, einem Stride von 1 und einer Auffüllung von 1, gefolgt von einer ReLU. Es reduziert Werte mit Max-Pooling, Kernelgröße 2, um die zeitliche Auflösung des Signals zu verkürzen. Nach dieser ersten Faltungsschicht folgt eine weitere mit 64 Filtern, gleicher Kernelgröße 3, Stride 1, Padding 1, erneut ReLU und ein weiteres Max-Pooling mit Größe 2. Die Ausgabe von all dem wird abgeflacht, durch eine lineare Projektionsschicht geleitet, die Merkmale auf einen 128-dimensionalen Einbettungsraum abbildet, der dann in denTransformator 18,19 eingespeist wird.
Der Transformatorblock besteht aus zwei Encoder-Schichten, jede mit Mehrkopf-Selbstaufmerksamkeit und 4 Köpfen verwendet, um Langstreckenabhängigkeiten im EKG-Signal zu erfassen. In jeder Schicht gibt es ein positionsweise Feedforward-Netzwerk mit einer versteckten Größe von 256 und einem Dropout bei 0,5, um das Overfitting zu unterstützen. Nach jeder Unterschicht findet eine Schichtnormalisierung statt, was das Training stabilisiert.
Für den Klassifikationskopf handelt es sich um eine vollständig verbundene Schicht, die von 128 auf 64 fällt, gefolgt von ReLU und erneut Dropout 0,5. Dann hat die Ausgangsschicht fünf Neuronen für die Arrhythmieklassen, wobei Softmax die Wahrscheinlichkeiten berechnet.
1D Convolutional Neural Network (CNN)-Blöcke:
Der CNN-Block besteht aus zwei 1D-Faltungsschichten, jeweils gefolgt von einer ReLU-Aktivierung und einer Max-Pooling-Schicht. Diese Schichten helfen, räumliche Beziehungen im Eingangs-EKG-Signal zu identifizieren. Um die Merkmalsextraktion zu verbessern, werden nach jedem Transformationsschritt in den CNN-Schichten zusätzliche ReLU-Aktivierungsfunktionen angewendet.
Erste Faltungsschicht: Diese Schicht verwendet 32 Filter, jeweils von Größe 3, auf dem Eingangssignal. Der Prozess kann wie folgt geschrieben werden:

wobei yi der Ausgang ist, wj die Gewichte des Filters, xi+j das Eingangssegment, b der Vorspannterm und σ die Aktivierungsfunktion (ReLU) darstellt. Die resultierende Feature-Map durchläuft eine ReLU-Aktivierungsschicht, um Nichtlinearität hinzuzufügen:

Pooling-Schicht: Nach jeder Faltungsoperation wird ein Max-Pooling-Schritt angewendet, um die räumlichen Dimensionen zu halbieren. Dieser Prozess ist definiert als:

Dies hilft, die wichtigsten Funktionen zu erhalten und gleichzeitig die Rechenlast zu reduzieren.
Zweite Faltungsschicht: Diese Schicht verwendet 64 Filter der Größe 3 x 3, um die Merkmalskarten der vorherigen Schicht zu verarbeiten, sodass das Modell komplexere Muster erkennen kann. Nach der Faltung wird eine ReLU-Aktivierungsfunktion angewendet, um Nichtlinearität ins Modell einzuführen.

Dieser Schritt stellt sicher, dass das Modell detaillierte Muster aus dem EKG-Signal erfasst.
Zusätzliche Aktivierungsschichten: Die ReLU-Aktivierung wird nach jedem Schritt nach dem Faltungsprozess angewendet, um dem Netzwerk zu helfen, komplexe Muster besser zu erfassen und sicherzustellen, dass das Modell auf positive Aktivierungen fokussiert.
Abflachungsprozess: Nach der zweiten Max-Pooling-Operation werden die Merkmalsabbildungen zu einem einzigen Vektor abgeflacht, um den Transformatorblock einzugeben.
Transformatorblöcke:
Der Transformatorblock besteht aus zwei Schichten mehrköpfiger Selbstaufmerksamkeit, die dem Modell helfen, die Beziehungen zwischen verschiedenen Teilen des EKG-Signals über die Zeit zu verstehen. Multi-Head Self-Attention funktioniert, indem jedes Paar von Elementen in einer Sequenz betrachtet wird. Für eine Folge mit Abfrage Q, Schlüssel K und Wert V wird die Aufmerksamkeit berechnet als:

Hier ist dk die Dimensionalität der Schlüsselvektoren, was die Skaleninvarianz sicherstellt.
Feedforward-Schichten: Jeder Self-Attention-Ausgang durchläuft ein vollständig verbundenes Feedforward-Netzwerk mit ReLU-Aktivierung, gefolgt von Layer-Normalisierung. Dieser Schritt verfeinert die extrahierten temporalen Merkmale:

wobei W1 und b1 die Gewichte und Verspannungen der Vorwärtsschicht sind.
Batch-First-Darstellung: Der Transformator arbeitet auf Sequenzen in einem Batch-First-Layout und gewährleistet so die Kompatibilität mit dem Eingangsformat des CNN-Blocks.
Vollständig verbundene (dichte) Schichten:
Nach der Verarbeitung durch den Transformatorblock wird die Ausgangssequenz abgeflacht und dann durch zwei vollständig verbundene Schichten geschickt, um die Klassifikation durchzuführen. Die erste vollständig verbundene Schicht verwandelt den Eingabevektor in einen 128-dimensionalen Merkmalsraum und formt ihn dabei um.

wobei W die Gewichtsmatrix ist, x der Eingangsvektor und b der Biasvektor. Eine ReLU-Aktivierungsschicht wird angewendet:

Es folgt eine Dropout-Schicht mit einer Rate von 0,5, um Überanpassungen zu verhindern.
Zweite vollständig verbundene Schicht: Die letzte Schicht bildet die 128-dimensionalen Merkmale auf die Anzahl der Herzschlagklassen ab (z. B. 5 Klassen zur Arrhythmieerkennung). Die Ausgabe durchläuft eine log-SoftMax-Funktion, um die logaritmischen Wahrscheinlichkeiten zu berechnen: exp(xi)
Hybrides CNN-Transformator-Modell
Das vorgestellte Modell ist ein hybrides Deep-Learning-Modell, das die Stärken von CNNs und Transformern kombiniert, um sowohl räumliche als auch zeitliche Darstellungen zu verwenden. Diese Architektur ist speziell für die Verarbeitung komplexer, langsequenziger Daten wie physiologische Signale geeignet.

Die Gleichung stellt die Eingabedarstellung dar, wobei N = Anzahl der Stichproben, T = Anzahl der Zeitschritte, d = Merkmalsdimension pro Zeitschritt.

Diese Gleichung bezeichnet die Positionseinbettungen, wobei pos = Position in der Sequenz gilt; i = Einbettungsdimensionsindex.
CNN-Modul – Lokale Merkmalsextraktion
CNNs lernen effizient lokale Abhängigkeiten und morphologische Muster wie Spitzen, Steigungen oder Spitzen in sequentiellen Daten. Die Faltungsschicht verwendet
Kerne räumlicher Ausdehnung
über einem Eingabetensor
. Jeder Ausgangskanal m wird bestimmt durch:

= Anzahl der Eingangskanäle; K = Größe des Kerns; W = Filtergewichte; b = Verzerrung
ReLU-Funktion
In diesem Fall
stellt das lernbare Gewicht dar und
ist die Verspannung für Kanal mA, wird nichtlineare Aktivierung, wie die Rectified Linear Unit (ReLU), angewendet:

Pooling und Feature-Kompression
Pooling-Schichten verringern die räumliche oder zeitliche Dimension von Merkmalskarten, bewahren wichtige Merkmale und reduzieren die Berechnung. Beim Max-Pooling mit Fenstergröße
und Schritten S ist das Pool-Merkmal am Standort:

Ausgabelänge nach dem Pooling

Dabei ist
die Eingabelänge; der Schritt definiert eine Schrittlänge für das Verschieben des Pooling-Fensters. Diese Formel berechnet die Ausgabelänge einer Merkmalskarte nach einer Pooling-Operation (z. B. Max-Pooling). Es berechnet, wie stark die Merkmalskarte verkleinert wird, basierend auf Eingabelänge, Poolgröße und Schritt. Transformiert multidimensionale Merkmalsabbildungen in einen Vektor für vollständig zusammenhängende Schichten.
Transformatorencoder – Erfassung von Langstreckenabhängigkeiten
Transformer nutzen Selbstaufmerksamkeit, um langreichweitige zeitliche Abhängigkeiten in Sequenzen17 zu lernen.
Skalierte Dot-Produkt-Aufmerksamkeit

Q, K, V sind Abfrage-, Schlüssel- und Wertmatrizen, die durch gelernte Projektionen berechnet werden;
ist die Schlüsseldimension, die zur Skalierung des Skalierungsprodukts verwendet wird.
Multi-Kopf-Aufmerksamkeit

Jeder Kopf berechnet unabhängig von der Aufmerksamkeit; Die Ausgaben sind verkettet und linear transformiert.
sind für jeden Kopf erlernte Projektionsmatrizen.
ist das endgültige Projektionsgewicht nachder Verkettung von 18,19.
Endgültige Vorhersage und Niederlage
Vollständig verbundene Schichten ordnen Merkmale den Logits zu, die dann mithilfe von Aktivierungsfunktionen in Vorhersagen umgewandelt werden. Nach einigen Faltungs- und Poolschichten wird zu einem Vektor
abgeflacht.
Eine vollständig zusammenhängende Schicht berechnet die Logits: Eine vollständig zusammenhängende Schicht berechnet dann die Klassenlogits:

Sigmoid/Softmax-Aktivierung:

Die Aktivierungsfunktion ordnet die rohe Ausgabe des Modells 'z' den Wahrscheinlichkeiten zu. Sigmoid wird auf binäre Klassifikation angewandt, Softmax auf Multiklassenprobleme zur Wahrscheinlichkeitsverteilung über Klassen hinweg. z ist der lineare Ausgang (z. B. letzte Schicht: z = Wx + b). Ausgabe ŷ liegt zwischen (0, 1), was die Wahrscheinlichkeit20 bedeutet.
Ausbildungsprozess
Das Training wurde auf einem System mit folgenden Hardware-Spezifikationen durchgeführt:
Prozessor: AMD Ryzen 7 7840HS
CPU-RAM: 16 GB
GPU-RAM: 6 GB NVIDIA GeForce RTX 3050
Die Modelle wurden mit dem Adam-Optimierer trainiert, der die Lernrate während des Trainings basierend auf dem ersten und zweiten Moment des Gradienten anpasst. Die Update-Regel für Adam wird gegeben von:

In diesem Aufbau stellen mt und vt die Erst- und Zweitmoment-Schätzungen dar, α ist die Lernrate, und ε ist eine kleine Konstante, die verwendet wird, um Division durch Null zu verhindern. Die Modelle wurden über 60 Epochen trainiert, mit vorzeitigem Stoppen, um Überanpassungen zu verhindern. Eine Batchgröße von 1024 wurde verwendet, und die Trainingsdaten wurden mit PyTorchs DataLoader in die Modelle geladen. Dropout- und Batch-Normalisierung wurden integriert, um das Modell zu regulieren und die Konvergenz zu beschleunigen. Dropout ist eine Regularisierungsmethode, bei der während des Trainings zufällig ein prozentualer Prozentsatz der Neuronen abgeschaltet wird, was hilft, Überanpassungen zu reduzieren. Mathematisch sei zi die Aktivierung desi-ten Neurons bezeichnet. Während der Trainingsphase wird die modifizierte Aktivierung z' wie folgt berechnet:

wobei p die Abbruchrate ist (z. B. p = 0,5 für einen Ausbruch von 50 %). Während der Inferenz wird kein Dropout angewendet und das gesamte Netzwerk wird genutzt.
Konvergenz in neuronalen Netzen ist ein Problem, das bestehende Klassifikationssysteme im Gesundheitssektor erheblich beeinflusst, insbesondere wenn Diagnosen aufgrund unzureichender Konvergenz inkonsistent sind. Neuere Forschungen zu vordefinierten Optimierungsansätzen und Konvergenz zu einer festen Zeit haben gezeigt, dass es weiterhin möglich ist, Modelle zu trainieren, die innerhalb einer festen Anzahl von Iterationen für alle Anfangszustände konvergieren. Zukünftige Modelle, die darauf basieren, können eine vordefinierte Zeitoptimierung enthalten.
Batch-Normalisierung:
Die Batch-Normalisierung stabilisiert und beschleunigt das Training, indem die Eingaben zu jeder Schicht normalisiert werden. Gegeben eine Mini-Charge von Aktivierungen x = {x1, x2, . . ., xN}, ist der batch-normalisierte Output xi .wird berechnet als:


wobei μB und σB2 der Mittelwert und die Varianz der Charge sind, ε eine kleine Konstante für numerische Stabilität ist, und γ sowie β lernbare Parameter sind, die die normalisierten Werte skalieren und verschieben. Batch-Normalisierung hilft, interne Kovariatenverschiebungen zu reduzieren und ermöglicht die Nutzung höherer Lernraten. Diese Techniken, kombiniert mit dem Adam-Optimierer, gewährleisten ein robustes Training, indem sie Überanpassungen mindern und die Konvergenzgeschwindigkeit21,22 verbessern.
Abbildung 3 zeigt Validierungsverlust und Validierungsgenauigkeit über Epochen während des Trainings eines Machine-Learning-Modells. Die Validierungsgenauigkeit (blaue Linie, rechte Y-Achse) beginnt relativ niedrig (etwa 97,5 %) und steigt innerhalb der ersten 10 Epochen schnell an. Sie verbessert sich weiter und erreicht nach etwa 20 Epochen Werte von etwa 99,7 % bis 99,8 %. Dies zeigt an, dass das Modell Wissen gut auf der Validierungsmenge lernt und anwendet. Der Validierungsverlust (rote Linie, linke Y-Achse) beginnt hoch und fällt dann innerhalb der ersten paar Epochen (etwa 2 bis 3) stark auf nahezu null. Danach bleibt sie für den Rest des Trainings fast bei nullstabil, 23,24.