Wielomodalne biomarkery molekularne oparte na uczeniu maszynowym do predykcyjnej analityki zdrowotnej

Summary

Uczenie maszynowe z multimodalnymi biomarkerami poprawia przewidywanie i monitorowanie chorób, dając nadzieję na postęp w opiece zdrowotnej w różnych dziedzinach i poprawiając wyniki opieki zdrowotnej dzięki dokładnemu przewidywaniu chorób.

Abstract

Co roku wiele osób na całym świecie jest stopniowo dotkniętych niszczycielskimi problemami zdrowotnymi, takimi jak choroby serca, infekcje dróg oddechowych, zaburzenia neurologiczne, stres poznawczy, nowotwory, udary, cukrzyca itp., które prowadzą do poważnych powikłań zdrowotnych i powiązanych nieprawidłowości. Dlatego wczesna analiza zdrowotna jest kluczowa, ponieważ umożliwia terminową interwencję terapią celowaną, potencjalnie przynosząc natychmiastową ulgę i trwałe długoterminowe korzyści, które mogą spowolnić postęp choroby. Ze względu na złożone procesy patofizjologiczne i niejednorodne badania kliniczne w różnych schorzeniach, istnieje potrzeba stosowania wysoce czułych, multimodalnych biomarkerów oraz skutecznych metod badawczych, które pozwolą na dokładne wykrywanie i monitorowanie wyników zdrowotnych pacjentów. Dlatego do przewidywania wyników rozważane są algorytmy uczenia maszynowego o różnych kategoriach i technikach, w tym prognozowanie, ocenę ryzyka, stratyfikację pacjentów oraz monitorowanie chorób. Tok proponowanej pracy podzielony jest na trzy etapy: pierwszy etap definiuje znaczenie opieki zdrowotnej poprzez studia przypadków, a następnie tradycyjne algorytmy uczenia maszynowego (ML), tradycyjne podejścia Deep Learning (DL) oraz nowoczesne techniki DL (TabNet i AutoInt) w drugim etapie. Na koniec eksperymenty są wdrażane, aby uzasadnić wyniki. Praca ta podkreśla grupowanie modalności poprzez integrację białek molekularnych, chemicznych i genetycznych biomarkerów z nowymi cechami ML. Wyniki wskazują na istotną poprawę w przewidywaniu dokładności przy użyciu proponowanej metodologii.

Introduction

System opieki zdrowotnej coraz częściej wykorzystuje analitykę predykcyjną do monitorowania pacjentów i terminowego diagnozowania wyników zdrowotnych, ułatwiając opiekę proaktywną i poprawiając wyniki leczenia. Integrując analitykę predykcyjną z biomarkerami, klinicyści mogą zwiększyć dokładność diagnostyki, identyfikować skuteczne leczenia, monitorować postępy terapii oraz zdobywać cenne informacje o mechanizmach choroby, co ostatecznie prowadzi do bardziej świadomych i skutecznych decyzji dotyczących leczenia. Biomarkery odnoszą się do cech biologicznych cząsteczek lub wskaźników występujących w próbkach, takich jak biopłyny, tkanki, komórki, DNA, RNA, krew i mocz, które mierzą obecność lub postęp choroby w ludzkim organizmie, pomagając ocenić skuteczność leczenia¹.

Postępy w stosowaniu biomarkerów molekularnych odgrywają kluczową rolę w medycynie spersonalizowanej poprzez precyzyjne mierzenie konkretnych cząsteczek w celu identyfikacji unikalnych problemów zdrowotnych u pacjentów, umożliwiając ukierunkowane strategie leczenia od początkowych etapów². W przyszłości podejścia multimodalne pomogą integrować wiele modalności złożonych wzorców chorób, umożliwiając dokładniejszą identyfikację prognoz w nowotworach i chorobach neurodegeneracyjnych za pomocą zaawansowanych technik analitycznych predykcyjnych³. Nowoczesna metodologia wykorzystuje dane multi-omiki, bioinformatykę oraz algorytmy ML do identyfikacji nowych biomarkerów, umożliwiając profilowanie ryzyka specyficzne dla pacjenta oraz subiektywne strategie leczenia chorób sercowo-naczyniowych (CVD) i innych złożonych chorób⁴. Połączenie molekularnych biomarkerów i podejść multiomicznych daje nadzieję na poprawę dokładności diagnostycznej i stratyfikacji terapeutycznej w chorobach neurologicznych⁵.

Dzięki rozwojowi technik ML, wielomodalne molekularne biomarkery mogą integrować różnorodne typy danych, aby identyfikować nowe sygnatury chorób w różnych schorzeniach, umożliwiając dokładniejszą diagnozę i spersonalizowane strategie leczenia. Opierając się na tym potencjale, autor bada różne techniki ML w opiece zdrowotnej w celu przewidywania czynników ryzyka diagnozowania chorób oraz podkreśla ich znaczenie w różnych sektorach opieki zdrowotnej⁶. Dzięki transformacji diagnozy i leczenia chorób w ML, praktyki farmaceutyczne coraz częściej wykorzystują algorytmy decyzyjne do analizy wyników zdrowotnych pacjentów i dostosowywania się do ich codziennych potrzeb, umożliwiając bardziej świadomą i skuteczną opiekę⁷. Wykorzystując potencjalną potrzebę integracji danych multimodalnych, badanie to opracowało biomarkery wykorzystujące dane multimodalne (MRI i genetyczne) do przewidywania rozwoju i postępu choroby Alzheimera, pokazując, że dane genetyczne lepiej przewidują przyszły postęp choroby Alzheimera u osób kontrolnych w normalnym stanie, podczas gdy dane z MRI lepiej charakteryzowały stabilne, łagodne zaburzenia poznawcze oraz łącząc oba te elementy, lepszą jakość klasyfikacji⁸.

Dalszym pogłębieniem zastosowania analizy danych multimodalnych, multimodalne głębokie uczenie wykorzystuje dane o ekspresji genów do identyfikacji leków celujących w konkretne linie komórkowe nowych cząsteczek biologicznych, wyjaśniając tym samym wpływ wariacji genomowych na odpowiedź leczenia⁹. W połączeniu z postępem w multimodalnej analizie danych, nieinwazyjne biomarkery, oceniane za pomocą metryk AI i ML, stają się obiecującymi narzędziami diagnostycznymi, o różnej specyficzności i profilu wrażliwości w porównaniu z inwazyjnymi biomarkerami, zależnie od konkretnego zastosowania i kontekstu danych¹⁰. Zgodnie z rosnącym znaczeniem analizy danych multimodalnych, modele zespołów Deep Learning (DL) mogą skutecznie obsługiwać złożone dane, integrując nowe biomarkery, w tym interakcje gen-białko, aby usprawnić badania nad rakiem i optymalizować strategie leczenia¹¹. W miarę jak modele zespołowe DL nadal rozwijają badania nad rakiem, analityka predykcyjna odgrywa kluczową rolę w diagnozowaniu i leczeniu chorób, analizując duże ilości zbiorowych danych z wielu źródeł, w tym z różnych schorzeń, aby uzyskać kompleksowy przegląd stanu, taki jak ocena ryzyka i diagnoza¹².

Celem proponowanego protokołu jest wdrożenie algorytmów opartych na ML i DL, które integrują odrębne markery biologiczne w celu zwiększenia dokładności analityki medycznej. Tradycyjne techniki predykcyjne wykorzystujące biomarkery zazwyczaj opierają się na danych pojedynczych modalności oraz liniowych modelach statystycznych, które mogą nie oddawać wystarczająco złożonych, nieliniowych relacji wpływających na rozwój choroby i indywidualne różnice. Uwzględnienie ogromnych ilości danych z obserwacji, dokumentacji e-zdrowotnej, odczytów laboratoryjnych, pomiarów fizycznych oraz ocen klinicznych daje znaczącą szansę na syntezę i optymalizację oceny ryzyka w diagnozie pacjenta¹³. Biomarkery odgrywają kluczową rolę w medycynie precyzyjnej, umożliwiając ukierunkowane leczenie we właściwym czasie. Chociaż biomarkery są złożone i stanowią wyzwania w pomiarze podtypów chorób oraz wzrostu molekularnego, są nieocenione w ocenie toksycznych reakcji w różnych nieprawidłowych warunkach, co ułatwia dalszą analizę. Dzięki wykorzystaniu biomarkerów podczas obserwacji klinicznej, pracownicy służby zdrowia mogą dokładniej przewidywać postęp choroby i monitorować reakcje na leczenie. Ostatecznie zbieżność multimodalnych biomarkerów molekularnych w analityce opieki zdrowotnej z AI umożliwia skuteczniejsze rozpoznawanie wzorców, dopasowując istniejące cechy i łagodząc wpływ kliniczny.

W porównaniu z najnowocześniejszymi podejściami, zwłaszcza pracami Somepalli i ^in.14, gdzie autorzy zaproponowali algorytmy ML na danych genomowych, takich jak dane metaboliczne, epigenetyczne i proteomiczne, oraz zaproponowali ogólne wytyczne dotyczące wyboru algorytmów ML. Jednak istnieje ograniczenie w analizie danych. W istniejących pracach^zastosowano metody integracji bez nadzoru do danych omics, koncentrując się na wyzwaniach obliczeniowych. Dla porównania, istnieją ograniczenia co do zakresu i analizy metod. Ponadto Huang i ^in.16 omówili większość metod DL do analizy różnorodnych zastosowań, dążąc do zrozumienia siły big data i frameworków obliczeniowych. Wady obejmowały nierównowagę danych, nadmierne dopasowanie oraz problemy z interpretacją. Proponowany protokół jest kluczowy dla wypełnienia krytycznej luki w badaniach nad integracyjnymi biomarkerami, ponieważ obecne techniki nie łączą skutecznie danych o wysokich wymiarach i różnorodności. Wykorzystując zaawansowane ML i DL, które doskonale sprawdzają się w rozpoznawaniu wzorców, wyborze cech i fuzji multimodalnej, proponowane zgłoszenie ma na celu identyfikację solidnych sygnatur predykcyjnych, które poprawiają wczesną diagnozę, rokowanie oraz indywidualne opcje leczenia. Protokół ten bezpośrednio odpowiada na ograniczenia niespójnych ocen biomarkerów, prezentując kompleksowy, oparty na danych model umożliwiający skalowalne, interpretowalne i klinicznie istotne prognozy zdrowotne.

Protocol

1. Eksperymentalny przepływ pracy

Rysunek 1 ilustruje zorganizowany i modułowy pipeline workflow zaprojektowany do kategoryzacji biomarkerów molekularnych na kategorie wskazań ryzyka lub diagnostyki z wykorzystaniem technik uczenia maszynowego i głębokiego uczenia. Oto szczegółowe wyjaśnienie krok po kroku tego procesu:

1. Pozyskiwanie zbiorów danych
   Zbiór danych pochodzi z MarkerDB 2.0, kuratorskiej bazy danych biomarkerów molekularnych.
2. Wstępne przetwarzanie danych
   Zapewnia to jakość i spójność danych poprzez obsługę wartości zerowych i brakujących wpisów, kodowanie cech kategorycznych za pomocą LabelEncoder oraz skalowanie cech numerycznych (np. entrez_gene_id) za pomocą StandardScaler.
3. Inżynieria cech
   Zaleca się wybór istotnych cech wpływających na klasyfikację biomarkerów, zapobiegających wyciekom danych i poprawiających wydajność modelu.
4. Rozwój modeli
   Stosowane podejścia to regresja logistyczna, las losowy, XGBoost, natomiast w DL: MLP, MLP z LR Schedulerem, AutoInt, TabNet. Wykonywane czynności to strojenie hiperparametrów, walidacja krzyżowa oraz optymalizacja zadań klasyfikacyjnych.
5. Rozdzielanie danych
   Tutaj zestaw treningowy (80%) służy do nauki parametrów modelu, a zestaw testowy (20%) służy do oceny modelu na podstawie niewidocznych danych. Na końcowym etapie stosuje się metryki ewaluacyjne, aby zapewnić całościową ocenę wyników, zwłaszcza w scenariuszach niezrównoważonych klas.

Rysunek 1: Diagram przepływu proponowanych prac. Sposób pracy proponowanego problemu przedstawiony jest na tym rysunku. Etapy to wstępne przetwarzanie danych, inżynieria cech, tworzenie modelu, podział, ocena modelu za pomocą metryk oraz analiza biomarkerów. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

2. Opis zbioru danych

Nazwa zbioru danych to all_sequence_variants z rozszerzeniem csv. Są kolumny o nazwach takich jak 'id', 'variation', 'position', 'external_link', 'gene_symbol', 'entrez_gene_id', 'reference', conditions', 'indication_types', gdzie wszystkie są typami obiektu, z wyjątkiem id jako typu int i entrez_gene_id jako typu float. Łączna liczba wierszy wynosi 42818 w 9 kolumnach. Ponadto zbiór danych zawiera wartości zerowe dla zmienności, pozycji, external_link, entrez_gene_id, odniesienia, warunków i indication_types. Zbiór danych jest zaczerpnięty z linku podanego jako: https://markerdb.ca/downloads¹⁷

3. Wstępne przetwarzanie zbioru danych

Na tym etapie wstępne przetwarzanie danych rozpoczyna się od zebrania informacji o zbiorze danych, opisu, identyfikacji duplikatów oraz lokalizowania brakujących/wartości zerowych. Nie ma wpływu cechy external_link mierzonej współczynnikiem korelacji, dlatego jest ona usuwana. Wartości zerowe kolumn kategorycznych i kolumn liczbowych wypełnia się odpowiednio medianą i średnią. Na koniec, kształt zbioru danych wejścia i wyjścia to (42787, 6)(42787,). Kolumny wejściowe to 'id', 'variation', 'position', 'gene_symbol', 'entrez_gene_id', 'conditions', natomiast kolumna docelowa to indication_types.

4. Biomarkery: kategorie, wyzwania związane z danymi i rola ryzyka molekularnego

Biomarker to mierzalna cecha, która oznacza normalne lub nieprawidłowe aktywności biologiczne lub reakcje na różne ekspozycje lub interwencje. Biomarkery mogą mieć charakter molekularny, histologiczny, radiograficzny lub fizjologiczny i dzielą się na siedem głównych kategorii: (1) Diagnostyczny biomarker określa, czy dana osoba ma konkretną chorobę lub zaburzenie oraz czy mieści się ona w podtypie, (2) Biomarker monitorujący wskazuje postęp choroby i jej reakcję na leczenie, (3) Biomarker odpowiedzi pokazuje, czy pacjent reaguje na lek lub terapię, na przykład zmiana tętna, (4) Predykcyjny biomarker może określić, czy dana osoba jest narażona na rozwój danej choroby i jak może zareagować na konkretne leczenie, (5) Prognostyczny biomarker może dostarczyć informacji o prawdopodobieństwie postępu lub nawrotu choroby, jeśli pacjent jest predysponowany do określonego wyniku zdrowotnego, (6) Biomarker ryzyka ocenia potencjalny poziom ryzyka dla danej choroby przed otrzymaniem oficjalnej diagnozy przez pacjenta, oraz (7) Biomarker bezpieczeństwa ocenia potencjalne reakcje toksyczne lub niepożądane, które mogą pojawić się w wyniku leczenia. Badanie koncentruje się głównie na analizie biomarkerów molekularnych związanych z oceną ryzyka i diagnostyką, jak przedstawiono na Rysunku 2. Biorąc pod uwagę ogromną ilość danych klinicznych dostępnych na całym świecie, biomarkery są niezbędne do podejmowania decyzji klinicznych, rozwoju badań oraz ułatwiania medycyny spersonalizowanej.

Rysunek 2: Kategoria biomarkerów do podejmowania decyzji klinicznych. Decyzje biomarkera są przedstawione na tym diagramie. Na podstawie analiz zastosowanych do biomarkerów rozważane są decyzje kliniczne oraz wdrażane są algorytmy ML. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Znalezienie i zrozumienie klinicznie użytecznych informacji o biomarkerach jest trudne ze względu na szeroki zakres typów, cech i jakości biomarkerów. Szybki wzrost liczby badań nad biomarkerami w ciągu ostatnich dwóch dekad dodatkowo utrudnił dostęp do kompleksowych i aktualnych danych, zwłaszcza dotyczących molekularnych markerów. To doprowadziło do problemów takich jak niespójne wyniki, powtarzające się ponowne odkrywanie istniejących biomarkerów, sprzeczne wyniki oraz pomijane możliwości wykorzystania ustalonych markerów¹⁸. Pojawienie się pomiarów "omikowych" pogłębiło ten problem, prowadząc do rozpowszechnienia nowych biomarkerów molekularnych w badaniach klinicznych i literaturze, co coraz bardziej utrudnia skuteczne poruszanie się i stosowanie wiedzy o biomarkerach¹⁹.

MarkerDB 2.0 zapewnia dostęp do różnorodnych molekularnych biomarkerów do celów eksperymentalnych²⁰. Różne biomarkery są wykorzystywane w badaniach klinicznych i zastosowaniach medycznych do diagnozowania, przewidywania i monitorowania chorób. Wśród nich biomarkery białek wykorzystują biopłyny takie jak surowica, krew, płyn mózgowo-rdzeniowy (CSF), płyn otrzewnowy, płyn owodniowy, osocze i mocz do analizy schorzeń takich jak cukrzyca, gruźlica, zespół Downa oraz zaburzenia związane z miopatią. Podobnie biomarkery genetyczne wykorzystują symbole genów takich jak LRP1, LPP, MAP i SPI1 do analizy schorzeń takich jak zwyrodnienie plamki żółtej związane z wiekiem, choroby alergiczne, choroba Alzheimera, nowotwory i astma. Ponadto wielomodalne markery molekularne pomagają mierzyć ryzyko pacjentów oraz wskaźniki diagnostyczne²¹. Prace te podkreślają potrzebę analityki medycznej wykorzystującej podejścia ML w celu usprawnienia diagnostyki, przewidywania i spersonalizowanego leczenia.

5. Modelowanie statystycznych metod ML do odkrywania biomarkerów

Zastosowanie podejść ML przekształciło dziedzinę opieki zdrowotnej na wiele sposobów. Konkretnie, molekularne biomarkery zostały przeanalizowane przy użyciu różnych technik ML, w tym analizy głównych składników (PCA), klastrowania K-średnich (KMA), analizy najbliższego sąsiada (NNA) oraz algorytmów sieci neuronowych²². Modele te identyfikują złożone wzorce z wybranych cech, zarządzają niepełnymi lub niespójnymi danymi oraz wspierają śledzenie postępu choroby w czasie rzeczywistym. Oprócz diagnozowania chorób, algorytmy ML dostarczają istotnych informacji o problemach pacjentów poprzez analizę i wizualizację danych, umożliwiając szybką i ukierunkowaną opiekę²³. W rezultacie poprawia to wyniki zdrowotne pacjentów w nietypowych warunkach. Ponadto zdolność ML do rewolucjonizowania odkrywania biomarkerów i wyników terapeutycznych w różnych chorobach, w tym analizy biomarkerów molekularnych, staje się coraz bardziej dynamiczna.

Algorytmy ML dzielą się na pięć głównych typów, jak pokazano na Rysunku 3. Uczenie nadzorowane to proces trenowania na oznaczonych zbiorach danych w celu zrozumienia relacji wejścia i wyjścia, co czyni go idealnym do zadań takich jak klasyfikacja i regresja, jak drzewa decyzyjne i maszyny wektorowe wspomagające. Uczenie nienadzorowane identyfikuje wzorce w danych nieoznaczonych i często stosuje się do klasteryzacji oraz redukcji wymiarowości, z technikami takimi jak klasteryzacja k-średnich oraz analiza głównych komponentów. Uczenie półnadzorowane łączy zarówno dane oznaczone, jak i nieoznaczone, aby generować przewidywania. Uczenie ze wzmocnieniem koncentruje się na podejmowaniu decyzji opartych na sprzężeniu zwrotnym ze środowiska i jest często stosowane w grach i robotyce, w metodach takich jak Q-learning oraz głębokie sieci uczenia ze wzmocnieniem. Głębokie uczenie wykorzystuje sztuczne sieci neuronowe o wielu warstwach do identyfikowania złożonych wzorców w danych. Technika ta pomaga przewidywać biomarkery powszechnych chorób, w tym raka, udaru, choroby Alzheimera i Parkinsona. Wiele klinicznie zatwierdzonych aplikacji korzysta z tej technologii^24,25. Precyzyjna diagnoza pacjentów z nowotworami złośliwymi zazwyczaj zależy od pozyskania i analizy patologicznej próbek tkanek, które dostarczają kluczowych informacji dotyczących stopnia histologicznego, podtypu, stadium oraz innych biomarkerów nowotworowych.

Rysunek 3: Kategoryzacja algorytmów uczenia maszynowego do podejmowania decyzji klinicznych. Typy algorytmów ML przedstawione na diagramie są przedstawione, aby lepiej zrozumieć zastosowaną metodologię. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Statystyka i ML to dwie odrębne dziedziny, które często się przenikają. Statystyka polega na zbieraniu, analizowaniu i interpretowaniu danych, zazwyczaj pracując z mniejszymi, dobrze zdefiniowanymi zbiorami danych, i koncentruje się głównie na porównywaniu i podsumowywaniu informacji. Z drugiej strony, ML to podzbiór sztucznej inteligencji, który tworzy modele predykcyjne, często pracując z dużymi i złożonymi zbiorami danych. Chociaż statystyka odgrywa ważną rolę w badaniach potwierdzających i rozumieniu mechanizmów leżących u podstaw, ML jest skuteczniejsze w badaniach eksploracyjnych, odkrywaniu złożonych wzorców i zarządzaniu brakującymi danymi. Metody takie jak regresja logistyczna można traktować zarówno jako modele statystyczne, jak i nadzorowane modele ML, co ilustruje zatarte rozróżnienia między tymi dwoma dziedzinami. Ostatecznie badacze muszą ocenić swoje cele badawcze oraz charakter danych, aby wybrać najbardziej odpowiednią metodę.

6. Modelowanie MLP i warianty MLP

MLP, znany również jako percepton wielowarstwowy, to rodzaj architektury sieci neuronowej, w której wiele warstw neuronów pomiędzy warstwami wejściową i wyjściową jest przedstawiona na Rysunku 4. MLP został wprowadzony w latach 50. XX wieku i zyskał szerokie zastosowanie wraz z postępem i postępem w propagacji wstecznej w latach 80., co pomogło zminimalizować straty. Podstawowe zasady uczenia MLP to sieci neuronowe, wagi i wartości bias do obliczania wyników. Na koniec, aby znać funkcję aktywacji i wartość progową, aby uzyskać wyjście w warstwie wyjściowej. W proponowanej metodologii węzły warstwy wejściowej, warstwy ukrytej i warstwy wyjściowej odpowiadają cechom klinicznym i genowym, warstwom w pełni połączonym z aktywacją ReLU oraz pojedynczemu neuronowi z aktywacją sigmoidalną, aby przewidzieć binarny wynik typu wskazania (Ryzyko, Diagnostyka), odpowiednio. Główną zaletą jest to, że są łatwe do szkolenia i interpretacji. Jednak prosty MLP nie obsługuje dużych zbiorów danych i jest wrażliwy na szybkość uczenia^{się 26}. Dlatego, aby przezwyciężyć te wady, rozważa się MLP z Learning Rate Scheduler według architektury przedstawionej na Rysunku 3B. MLP z LR to potężny mechanizm dynamiczny z gwałtownym rozpadem, upadkiem wykładniczym, odwrotnym rozpadem czasowym, ReduceLROnPlateau oraz wyżarzeniem kosinusowym. Zamiast stałej wartości LR, tempo uczenia się zmienia się w zależności od wydajności modelu i treningu.

Rysunek 4: Modelowanie wielowarstwowego Perceptron i MLP za pomocą planera LR. (A) Perceptron wielowarstwowy: Struktura MLP została zilustrowana za pomocą warstwy wejściowej, ukrytej warstwy i warstwy wyjściowej. Pierwsza warstwa odbiera wejście i przetwarza je na drugiej warstwie z aktywacjami, a wyjście jest odbierane na ostatniej warstwie. MLP jest proste do wdrożenia. (B) MLP z planistą LR: Jest podobne do MLP; jednak dodano Learning Rate Scheduler (Planer Learning Rate), aby kontrolować prędkość treningu dla lepszej konwergencji. Tempo uczenia się jest obniżone na poziomie stagnacji. To zmniejsza minimalne przekroczenie. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

To podejście jest bardziej efektywne, niezawodne i skuteczne dla danych tabelarowych. Dodatkowo przynoszą korzyści takie jak poprawa stabilnej zbieżności danych o szumie, lepsza generalizacja oraz mniejszy nakład pracy przy strojeniu hiperparametrów. Jednak w przypadku niektórych zadań predykcyjnych mogą pojawić się trudności, takie jak utknięcie w lokalnych minimach. Ponadto, w szerokiej i głębokiej architekturze MLP przedstawionej na Rysunku 5, szerokie i głębokie komponenty są wprowadzane w MLP, aby doskonale radzić sobie z mapowaniem korelacji, zapamiętywaniem reguł oraz nauką nowych wzorców, przy zachowaniu wysokich standardów uogólnienia. Łącząc te aspekty z warstwą wyjściową, przewiduje się wyjście binarne na^{poziomie 27}. Jednak istnieją ograniczenia uogólniania niewidocznych cech i nadmiernego uogólniania. Podsumowując, MLP z normą wsadową i wyrzuceniem jest używany do normalizacji procesu treningowego, włączając wyrzucenie do nauki i uogólniania nieznanych atrybutów. W szczególności technika ta może być stosowana do danych o wysokich wymiarach i pomaga zapobiegać nadmiernemu dopasowaniu. Niemniej jednak technika ta cierpi na ograniczenia wielkości partii, zwiększone zużycie pamięci (z powodu warstw normalizacji wsad) i nie jest uniwersalnym rozwiązaniem^28,29.

Rysunek 5: Modelowanie sieci MLP w całym i głębokim zakresie. Diagram ilustruje głęboką ścieżkę MLP, która może wychwycać nieliniowe zależności i łączy wyjście z jednostką sigmoidalną do klasyfikacji. Ta architektura rejestruje uczenie się wzorców i wiedzę na potrzeby heterogenicznych danych biomarkerów. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

7. TabNet

TabNet to model głębokiego uczenia znany jako Tabular Network opracowany przez zespół Google Research³⁰. Główną motywacją modelu TabNet jest pogodzenie różnic między podejściami DL dla podejść obrazowych, tekstowych, mowy (CNN, Autoencoder, Transformers) oraz drzewnego ML (XGBoost, Random Forest, LightGBM). Ponadto ograniczenia podejść DL mają ogromny wpływ na model TabNet, ponieważ MLP jest modelem parametryzowanym. Przede wszystkim podejścia DL nie mają interpretacji w problemach rzeczywistych, samodzielnego uczenia się ani sekwencyjnej zdolności uczenia^{się 31}. Modele TabNet są ograniczone do zastosowań takich jak prognoza ryzyka ubezpieczeniowego³², estymacja zawartości popiołu^{węglowego 33}, prognoza toksyczności chemicznej³⁴ oraz wykrywanie oszustw w testach edukacyjnych³⁵. Architektura TabNet przedstawiona jest na Rysunku 6.

Rysunek 6: Modelowanie sieci tabelarowej. Sieć tabularyczna przyjmuje cechy wejściowe w formacie tabelarczym i stosuje technikę transformatora w sposób sekwencyjny w każdym bloku. Blok GLU, znany również jako blok Gated Linear Unit, kontroluje przepływ informacji w sieci do przodu, ułatwiając wybór cech i stabilne uczenie się. Wyjście jest prezentowane w warstwie wyjściowej z akumulowanego wyjścia. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Na podstawie powyższego schematu architektury system dzieli się na cztery komponenty: blok wejściowy, transformator wspólnych cech, sekwencyjne kroki decyzyjne oraz obliczanie strat z użyciem optymalizacji. W cechach kategorycznych cechy te są przekształcane w liczby całkowite po warstwie osadzenia. Jednocześnie cechy ciągłe są traktowane tak, jak są. Na koniec cechy są przekształcane w zunifikowany wektor cech, gdzie x ∈ Rd. W kolejnym kroku implementowane są w pełni połączone warstwy z funkcjami aktywacji, po czym następuje transformacja przekształcająca dane w wektor i podejmowana jest decyzja. W trzecim etapie stosuje się kolejno transformator uwagi, maskowanie, transformator decyzyjne oraz akumulację predykcji. Cele tego etapu to selektywna uwaga, rozumowanie sekwencyjne oraz ścieżki decyzyjne. W ostatnim kroku stosuje się entropię krzyżową binarną lub podobne metody do znalezienia utraty i optymalizacji wartości. Ponadto regularizacja przeprowadza się z oszczędną uwagą, aby zapobiec nadmiernemu dopasowaniu.

8. AutoInt

Automatyczne uczenie interakcji cech za pomocą samouważnych sieci neuronowych (AutoInt) to pełna forma AutoInt, wprowadzona w Click-through rate (CTR) prediction³⁶ , a później zastosowana w różnych zastosowaniach, w tym Software Defect Prediction³⁷, Advice Systems³⁸ oraz Genome^{detection 39}. Istnieją ograniczenia istniejących podejść ML, w tym obsługa wysokowymiarowych rzadkich danych, cech kombinatorycznych wyższego rzędu, zrozumienie możliwości tej cechy w zakresie predykcji oraz konieczność ręcznego inżynierowania cech. Wszystkie wymienione wyzwania są rozwiązane przez model AutoInt z efektywnością, skutecznością i łatwością wyjaśnienia. Celem AutoInt w proponowanej metodologii jest przewidzenie, czy dany wariant należy do typu wskazującego Ryzyka czy Diagnostycznego. Dla danego zbioru danych proponowanych jest siedem kroków, jak pokazano na Rysunku 6, wraz z kodem źródłowym. Po pierwsze, zaimplementowano odczyt danych i wstępne przetwarzanie, aby zakodować wszystkie cechy kategoryczne jako liczby całkowite i mapować etykiety na 0 i 1 odpowiednio dla Ryzyka i Diagnostyki. W drugim kroku wykonywana jest reprezentacja cech, aby utworzyć macierz osadzenia; następnie macierz jest przekształcana, aby normalizować cechy liczbowe. Istnieją warstwy oddziałujące, gdzie neutralna automatyczna interakcja między cechami jest przyswajana bez ręcznej interakcji z transformatorami. Ponadto wiele głów uczy się różnych typów interakcji, a w końcu cechy są łączone, wzmacniając reprezentację. Obecne są połączenia resztkowe, aby uczyć się zarówno niższych, jak i wyższych rzędów oddziaływań, takich jak 1 cecha, 2 cechy, 3 cechy i tak dalej. Na koniec, z sieci resztkowej, wyjścia są przekazywane do funkcji sigmoidalnej do obliczeń wartości binarnych, jak pokazano na Rysunku 7.

Rysunek 7: Modelowanie sieci AutoInt. Sieć AutoInt automatycznie uczy się cech, gdzie warstwa osadzająca pobiera te cechy i mapuje je na kolejną warstwę, wykorzystując mechanizm samokontroli i pozostałe połączenia. Ostatni komponent posiada warstwę MLP oraz funkcje aktywacyjne do generowania wyjścia. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Results

Eksperymenty prowadzone są z wykorzystaniem metod ML i DL w celu porównania ich wydajności. Jednocześnie rozważa się tworzenie modeli ML wykorzystujących zarówno mechanizmy uczenia nadzorowanego, jak i nienadzorowanego. Techniki nadzorowane stosowane w tej metodologii to regresja logistyczna, drzewo decyzyjne, las losowy, gradient boost, maszyna wektorów wsparcia oraz algorytmy k-najbliższego sąsiada. Algorytmy te obejmują zarówno proste modele statystyczne, jak i złożone analizy oparte na drzewach. Z kolei algorytmy nie...

Discussion

Proponowana praca jasno omawia znaczenie biomarkerów w identyfikacji i monitorowaniu choroby oraz jej charakterystyki. Sugerowane podejście do metodologii biomarkerów opiera się na czterech kluczowych etapach: starannym przygotowaniu danych (czyszczenie, kodowanie, eliminacja identyfikatorów); jednolite kodowanie celów (Ryzyko=0, Diagnostyka=1); normalizację funkcji i wysokiej jakości głębokie osadzenie dla modeli takich jak AutoInt³⁷/TabNet; oraz solidną integralność procesu oceny (odpowiedni pod...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AutoInt Model	Uniwersytet Pekiński	https://github.com/shichence/AutoInt	Automatyczne uczenie interakcji cech za pomocą samouważnych sieci neuronowych: Wydajny algorytm automatycznego uczenia się interakcji cech wysokiego rzędu dla (rzadkich) cech kategorycznych i numerycznych
deepctr_torch.models	Open source	https://github.com/shenweichen/DeepCTR-Torch	Modułowy i rozszerzalny pakiet modeli CTR opartych na głębokim uczeniu, umożliwiający łatwą budowę własnych, niestandardowych modeli.
Google Colaboratory	Google	https://colab.research.google.com/	Chmurowe  środowisko do pisania i wykonywania kodu Pythona przez przeglądarkę do uczenia maszynowego, analizy danych
Keras 2.6.0	Keras	https://keras.io/	Zapewnia interfejs w Pythonie do wykonywania sieci neuronowych, który działa na Tensorflow
MarkerDB 2.0	MarkerDB	https://markerdb.ca/downloads	Publicky dostępna baza danych biomarkerów molekularnych
Matplotlib 3.4.3	Matplotlib	https://matplotlib.org/	Biblioteka wizualizacji dla Pythona
Numpy 1.21.4	Numpy	https://numpy.org/	Podstawowy pakiet do obliczeń naukowych z Pythonem
Pandas 1.3.4	Pandy	https://pandas.pydata.org/	Potężne, elastyczne i łatwe w użyciu narzędzie do analizy i manipulacji danymi, otwarte, oparte na języku programowania Python.
Python 3.8.10	Python Software Foundation	https://www.python.org/	Popularny język programowania, który skuteczniej integruje systemy uczenia głębokiego.
pytorch_tabnet.tab_model	Pytorch	https://pypi.org/project/pytorch-tabnet/	Do implementowania problemów klasyfikacji binarnej/wieloklasowej i regresji.
Scikit-learn	Scikit-learn	https://scikit-learn.org/stable/	Moduł Python dla algorytmów uczenia maszynowego
Seaborn	Seaborn	https://seaborn.pydata.org/	Biblioteka wizualizacji danych na wysokim poziomie do rysowania atrakcyjnych i informacyjnych grafik statystycznych
TabNet Model	Google	https://github.com/dreamquark-ai/tabnet	TabNet to kompleksowa sieć neuronowa zaprojektowana do bezpośredniej obsługi danych tabelarowych
Tensorflow 2.6.0	Google	https://www.tensorflow.org/	Platforma end-to-end do uczenia maszynowego