Guida per clinici basata sul web e la registrazione di video compatibili della cinematica standardizzata dei compiti di alcol per l'analisi della visione artificiale

Sommario

Le metriche cinematiche del compito di bere sono state raccomandate per l'uso nella riabilitazione dell'ictus dell'arto superiore, ma gli approcci convenzionali agli studi cinematici sono considerati poco pratici. Il protocollo attuale descrive una guida web per catturare video del compito di bere, compatibili con la visione artificiale per estrarre metriche cinematiche raccomandate.

Abstract

La valutazione dell'arto superiore è fondamentale per il ciclo di riabilitazione. Negli ultimi due decenni, la valutazione cinematica dell'attività di consumo alcolico si è dimostrata valida e reattiva ai cambiamenti clinici nelle popolazioni riabilitative colpite da malattie di vasta portata, tra cui ictus e malattie muscoloscheletriche. Questo lavoro fondamentale sulla cinematica dei compiti di bere ha portato a raccomandazioni consensuali per l'adozione della cinematica degli arti superiori nella ricerca sulla riabilitazione. Tuttavia, sono emerse questioni pratiche che mettono a rischio l'adozione nella comunità di ricerca e la sua traduzione nella pratica clinica. Le barriere all'adozione includono le complessità tecniche dei metodi convenzionali di motion capture per acquisire la cinematica e la fedeltà dei protocolli di attività alla base della cinematica. Per quanto riguarda il primo, le scoperte nel sottocampo dell'IA noto come visione artificiale stanno riducendo drasticamente il carico tecnico dell'analisi cinematica. Per quanto riguarda quest'ultimo, ora presentiamo un'applicazione web (app) progettata per guidare i clinici attraverso la cattura video di un protocollo di attività di bevute altamente standardizzato, utilizzando una telecamera stereo pronta all'uso, un computer personale e materiali di base accessibili in un ambiente clinico ambulatoriale. Inoltre, dimostriamo la compatibilità di questa cattura video con una pipeline di visione artificiale costruita su misura per estrarre metriche cinematiche del compito di bevute. Attraverso studi continui di validazione e usabilità, prevediamo che uno strumento del genere migliorerà significativamente l'accesso a metriche cinematiche altamente standardizzate degli arti superiori, che dovrebbero promuovere la ricerca e la cura clinica nelle popolazioni riabilitative con compromissione degli arti superiori.

Introduzione

La maggior parte dei nostri arti superiori nella vita quotidiana richiede entrambi gli arti. La perdita delle capacità degli arti superiori si verifica frequentemente dopo lesioni neurologiche, con circa l'80% dei sopravvissuti a un ictus che sperimenta deficit degli arti^{superiori 1}. Questi deficit sono noti per ridurre la funzione e la qualità della^{vita 2}. La riabilitazione rimane un intervento primario per ripristinare la funzione³, e la riabilitazione è stata descritta come un ciclo basato su una valutazione^{precisa 4}. La valutazione cinematica dell'arto superiore ha ricevuto maggiore attenzione negli ultimi due decenni. Questa attenzione è dovuta in parte ai limiti delle attuali valutazioni cliniche, che hanno riconosciuto svantaggi tra cui la soggettività dei valutatori umani e la scarsa risoluzione per cambiamenti^{sottili 5}.

La cinematica è un sottocampo della biomeccanica che coinvolge lo studio del movimento umano durante i movimenti del corpo, degli arti e delle articolazioni. Tra i lavori di ricerca precedenti, gli studi cinematici sul compito del bere hanno attirato notevole attenzione dalla comunità^{di ricerca 6}. La popolarità del compito di bere nella valutazione cinematica è stata attribuita alla sua complessità del movimento, alla specificità del compito orientato all'obiettivo e al suo movimento^{ciclico 7}. Oltre a un insieme di studi su adulti e bambini neurotipici, il compito del bere è stato anche studiato in una vasta gamma di malattie^neurologiche 8,9,10,11. Nelle popolazioni con ictus, questi studi hanno identificato metriche cinematiche importanti, valide, affidabili e reattive al cambiamento^clinico 12,13,14. Tuttavia, la valutazione cinematica è stata a lungo considerata poco pratica a causa dei sistemi complessi/costosi e delle conoscenze tecniche^{necessarie 15}.

Con l'avvento dell'intelligenza artificiale, le barriere pratiche alla valutazione cinematica si stanno riducendo significativamente. Ad esempio, la visione artificiale — un sottocampo dell'IA che estrae informazioni da immagini digitali — può ora essere sfruttata per ottenere sistemi di motion capture senza marcatori utilizzando fotocamere e computer relativamente^semplici 16,17,18. Per sfruttare questi progressi nella visione artificiale, l'obiettivo di questo articolo sui metodi è descrivere uno strumento web sviluppato per guidare i clinici sui seguenti aspetti: (i) implementare un protocollo di attività standardizzato per il compito di bere e (ii) registrare video del compito di bere compatibili con un flusso di lavoro di visione artificiale per estrarre metriche cinematiche. Sebbene queste metriche cinematiche non facciano ancora parte dell'assistenza clinica standard, l'obiettivo dell'attuale protocollo è coinvolgere i clinici che desiderano integrare la ricerca biomeccanica nella loro pratica. L'impatto atteso è un notevole aumento dell'accesso clinico alle metriche cinematiche dell'arto superiore, che si prevede informerà i protocolli di riabilitazione attuali e supporterà la ricerca e lo sviluppo di nuovi protocolli terapeutici.

Protocollo

Le figure presentate nella sezione dei risultati rappresentative corrispondono a due studi di caso separati condotti in conformità con la Dichiarazione di Helsinki. Il consenso informato è stato ottenuto da tutti i partecipanti prima della raccolta dei dati. Poiché questi studi di caso separati coinvolgevano solo due partecipanti, non soddisfavano la definizione di ricerca clinica definita dal locale Institutional Review Board; pertanto, un numero di protocollo IRB assegnato non è disponibile.

NOTA: Il protocollo e l'app web associata sono suddivisi principalmente in tre fasi come segue: (i) configurazione dello spazio di lavoro; (ii) attività di calibrazione; e (iii) attività di consumo di alcol. Un'infografica (Figura 1) fornisce un'illustrazione visiva di questi passaggi, inclusi i flussi di lavoro che gli utenti possono aspettarsi durante l'utilizzo dell'app web (https://mobile-motion-lab-public.web.app).

Figura 1: Infografica che riassume il protocollo. Insieme agli screenshot dall'app web, viene fornita un'illustrazione per ogni passaggio principale, inclusa la configurazione dello spazio di lavoro (pannello sinistro), il workflow di calibrazione (pannello centrale) e il workflow del compito drinking (pannello destro). Clicca qui per visualizzare una versione più grande di questa figura.

1. Configurazione dello spazio di lavoro

NOTA: Questo passaggio spiega come impostare correttamente lo spazio di lavoro (Figura 2) per l'attività di calibrazione e la successiva attività di drink. Una corretta configurazione è fondamentale per garantire la standardizzazione e la qualità delle catture video per una post-elaborazione e un'estrazione affidabile delle misure cinematiche tramite un flusso di lavoro di visione artificiale.

1. Posizione della sedia, del tavolo e del soggetto
   1. Posiziona una sedia a altezza regolabile con schienale in modo che il soggetto possa sedersi con i palmi poggiati a faccia in giù sul tavolo e con la piega del polso allineata al bordo del tavolo.
   2. Regola l'altezza del sedile per assicurarti che anche e ginocchia del soggetto siano a circa 90° di flessione.
   3. Regolare l'altezza del tavolo per garantire che le braccia riposino comodamente ai lati, mantenendo la postura seduta eretta e con una flessione dei gomiti a 90°.
2. Posizionamento del tovaglino per l'attività di bevute
   1. Crea il tovaglietta usando il file stampabile (Drinking Task Activity Placement) nel menu Risorse dell'app web (https://mobile-motion-lab-public.web.app/resources) e carta stampante formato tabloid di 10 pollici x 17 pollici.
   2. Allinea il bordo anteriore del tovaglino con il bordo del tavolo direttamente davanti al soggetto. Assicurati che la casella quadrata del bersaglio sia centrata sulla linea mediana del soggetto.
   3. Fissa saldamente il tovaglietta sulla superficie del tavolo con del nastro adesivo.
3. Piazzamento in coppa
   1. Metti un bicchiere di plastica da 250 mL nel quadrato sul tovaglino. Questo posiziona la tazza a 30 cm dal bordo del tavolo e direttamente davanti al soggetto. Riempi il bicchiere con 100 mL di acqua potabile.
4. Posizionamento della telecamera
   1. Posiziona la fotocamera stereo (con lunghezza focale di 4 mm) per catturare il soggetto e la coppa da una vista frontale dall'alto. È richiesta una telecamera stereo con una connessione compatibile a un computer personale con accesso web (ad esempio, connessione USB a una workstation basata in una clinica). Si consiglia una fotocamera stereo con una lunghezza focale maggiore per minimizzare gli effetti della distorsione dell'obiettivo su immagini/video registrati. Può essere utilizzato un treppiede standard per fotocamera.
      NOTA: Una volta calibrata la telecamera (da eseguire nelle fasi future), mantenere questa calibrazione si basa sul mantenere la posizione della telecamera. Per questo motivo, la fotocamera preferisce una base solida, come un treppiede montato a terra o un treppiede montato su una superficie solida, ad esempio un piano di lavoro permanente o un tavolo pesante.
   2. Regolare la posizione della telecamera per catturare il volume bersaglio, cioè il cubo immaginario che contiene completamente il soggetto nella sua posizione iniziale con sufficiente margine per catturare completamente l'attività prossimale e distale degli arti superiori (ad esempio, incluso il movimento della mano) che verrà eseguita dal soggetto durante le successive prove di attività (ad esempio, durante il compito di bevure).
      1. Sebbene la posizione ideale della fotocamera stereo dipenda dai parametri intrinseci del dispositivo specifico (ad esempio dimensione del sensore d'immagine, lunghezza focale, campo visivo), si inizia posizionando la fotocamera stereo a circa 150 cm dal bordo del tavolo (cioè il bordo del tavolo più vicino al soggetto) e con l'altezza della fotocamera impostata a circa 100 cm sopra la superficie del tavolo.
      2. Da questa posizione iniziale, si aggiusta ulteriormente se necessario per ottimizzare la posizione della telecamera in modo che il volume del bersaglio menzionato venga catturato. Da notare che il processo di calibrazione della telecamera tiene automaticamente conto delle variazioni nei parametri estrinseci della telecamera (ad esempio, rollio/imbardata/beccheggio).
5. Configurazione dell'illuminazione
   1. Assicurati che la stanza sia ben illuminata con un'illuminazione soffusa e uniforme, se possibile. Evita una forte retroilluminazione, come la luce solare intensa da una finestra vicina, poiché l'abbagliamento può ostacolare la rilevazione efficace del motivo della griglia a scacchiera durante l'attività di calibrazione.
   2. Evitare di introdurre ombre all'interno della visuale della telecamera, poiché le ombre possono degradare il successo della calibrazione e il successo della successiva stima della posa umana tramite visione artificiale. Usa luci a soffitto o lampade posizionate per ridurre le ombre sul soggetto. Se l'abbagliamento è problematico, considera di modificare le luci con diffusori di luce.

2. Attività di calibrazione

NOTA: Questo passaggio spiega come completare con successo l'attività di calibrazione e garantire una corretta curatela delle immagini verso una destinazione di salvataggio appropriata tramite l'app web. La calibrazione può essere eseguita una volta al giorno prima della raccolta dei dati video con i soggetti. Se la posizione della telecamera viene modificata per qualsiasi motivo durante la giornata, inclusi cambiamenti involontari dovuti a un passante che colpisce la telecamera/treppiede, si raccomanda una nuova calibrazione e tutte le attività registrate in video devono essere associate a questa nuova calibrazione durante qualsiasi flusso di lavoro di visione artificiale.

1. Preparazione alla calibrazione
   1. Crea il modello a scacchiera per la calibrazione utilizzando il file stampabile (Calibration Checkerboard Printout) dal menu Risorse dell'app web (https://mobile-motion-lab-public.web.app/resources).
   2. Stampare il motivo a scacchiera in bianco e nero utilizzando carta standard formato lettera di 8,5 pollici x 11 pollici. Usa carta e stampante senza finitura lucida.
   3. Attacca la stampa del motivo della griglia a scacchiera su una superficie piana (ad esempio, il retro di una cartellina) e fissa con del nastro adesivo. Assicurati che il nastro non occluda alcuna parte del motivo a scacchiera e che la stampa di carta fissata abbia deformazioni minime. Altrimenti, occlusioni o deformazioni del motivo a scacchiera possono ridurre le possibilità di calibrazione efficace tramite una soluzione di visione artificiale.
2. Cattura di immagini di calibrazione
   1. Apri il modulo di attività di calibrazione (Guida all'Attività di Calibrazione) situato nel menu della dashboard dell'app web (https://mobile-motion-lab-public.web.app/calibrationActivity). Questo modulo è progettato per guidare il processo di calibrazione.
      1. Eseguire la calibrazione con il seguente processo: (i) visualizzazione di una dimostrazione video dell'attività di calibrazione; (ii) verificare l'identità della telecamera stereo; e (iii) anteprima del feed live della telecamera stereo prima della registrazione. Infine, effettua una registrazione per catturare l'attività di calibrazione, che consiste nello spostare il motivo a scacchiera nell'area dello spazio di lavoro mentre vengono catturate le immagini.
   2. Procedi attraverso la guida finché non saranno disponibili un'anteprima della telecamera stereo e l'icona Avvia Registrazione.
   3. Prima di iniziare la registrazione, posiziona la scacchiera nella sua posizione di partenza. Basandosi su un individuo seduto al tavolo come descritto in precedenza, la posizione iniziale della scacchiera consiste nel tenere il motivo approssimativamente all'altezza del petto e perpendicolare alla superficie del tavolo (Figura 3).
   4. Avvia la registrazione cliccando sull'icona Avvia registrazione nell'app web. Quando viene avviato, l'app fornisce un conto alla rovescia visivo/audio di 3 secondi, dopo di che un successivo segnale visivo/audio indica quando iniziare l'attività di calibrazione.
      NOTA: Se la calibrazione viene eseguita in solitaria, il conto alla rovescia permette all'utente di iniziare la registrazione e poi posizionare il pattern della scacchiera prima che inizi la cattura.
   5. Quando viene avviato l'inizio dell'attività di calibrazione, sposta il motivo scacchiera in avanti attraverso l'area dello spazio di lavoro (verso la telecamera) in modo fluido e controllato. Una volta spostato completamente in avanti attraverso lo spazio di lavoro (il cubo immaginario assegnato al soggetto e alla coppa), poi si inverte il movimento per spostare il motivo all'indietro (lontano dalla fotocamera) in modo fluido e controllato. Ripeti questo movimento avanti e indietro del motivo a scacchiera fino al completamento della cattura dell'immagine. La durata totale della cattura dell'immagine è di 10 secondi.
      1. Evita di muovere troppo velocemente il motivo della scacchiera. Movimenti rapidi possono introdurre la sfocatura delle immagini catturate dalla fotocamera, e questa sfocatura può ridurre la capacità di un flusso di lavoro di visione artificiale di estrarre parametri di calibrazione appropriati.
         NOTA: Come promemoria, l'app web include una dimostrazione video durante il modulo di attività di calibrazione. In alternativa, il movimento del pattern di calibrazione è mostrato anche nel video Getting Started situato nella pagina risorse dell'app web.
3. Revisione della registrazione di calibrazione
   1. Rivedi la calibrazione registrata. Immediatamente dopo la registrazione dell'attività di calibrazione, viene presentata una riproduzione video nell'app web. Rivedi questa riproduzione video con attenzione ai seguenti elementi.
      1. Qualità dell'immagine: Assicurati che l'intero motivo a scacchiera sia completamente visibile durante tutto il video. La sfocatura dell'immagine dovrebbe essere evitata il più possibile e, se ci sono prove sostanziali di sfocatura, considera di riprovare la registrazione di calibrazione con movimenti più lenti del pattern a scacchiera. Migliorando la qualità dell'immagine, i flussi di lavoro successivi di visione artificiale avranno maggiori probabilità di rilevare con successo il motivo a scacchiera, che è un riferimento necessario per estrarre misurazioni di profondità e posizione.
      2. Visibilità chiara: Assicurati che l'illuminazione sia adeguata. Evita ombre scure evidenti o riflessi bianchi che oscurano la visuale del motivo della scacchiera. Assicurati che non siano ostacoli alla linea di vista della telecamera durante la cattura dell'immagine (ad esempio, un passante che attraversa il primo piano).
         NOTA: Come riferimento per misurare la qualità e la visibilità dell'immagine, esempi di video di calibrazione sono disponibili sia nel modulo attività di calibrazione sia nel Video di inizio situato nel menu Risorse dell'app web.
      3. Riprova, se necessario. Se ci sono dubbi sulle prestazioni dell'attività di calibrazione e sulla qualità della registrazione video di calibrazione, seleziona l'opzione Retry per riavviare la registrazione video per un altro tentativo. Altrimenti, procedi a inviare/salvare le immagini di calibrazione.
4. Salvataggio delle immagini di calibrazione
   1. Dopo aver completato con successo l'attività di calibrazione e la registrazione, seleziona l'icona Salva immagini di calibrazione . Questo aprirà un prompt finestra che permette la scelta della destinazione di salvataggio file per le immagini di calibrazione. Di default, la destinazione di salvataggio del file è impostata come desktop con una convenzione predefinita di nome file (cioè, calibration_[Data]_[Ora]_[Tipo di fotocamera]).
   2. Una volta verificato il salvataggio delle immagini di calibrazione, seleziona Conferma Salvataggio per procedere. Dopo il salvataggio apparirà un messaggio di conferma, insieme a opzioni per procedere al modulo successivo Guida all'Attività del Compito di Bere o riavviare il modulo Guida all'Attività del Compito di Calibrazione.

3. Attività di bevute

NOTA: Questo passaggio spiega come guidare i soggetti nel completamento dell'attività di drink, come creare registrazioni video del compito di bere e come garantire una corretta curatela dei video verso una destinazione di salvataggio tramite l'app web.

1. Preparazione per l'attività di bevute
   1. Posiziona il soggetto nella posizione appropriata di inizio/fine per l'attività di bere. Regola l'altezza del sedile in modo che il soggetto possa sedersi comodamente con fianchi e ginocchia fletti a un angolo di 90°. Regola l'altezza del tavolo secondo necessità. Assicurati che il soggetto sia seduto in posizione eretta su una sedia con le braccia rilassate ai lati, i gomiti fletti a 90°, i palmi delle mani comodamente appoggiati sul tavolo a larghezza delle spalle, la piega dei polsi allineata con il bordo del tavolo e la linea mediana allineata con la posizione della tazza sul tovaglietta.
   2. Istruisci il soggetto a usare una mano specificata (destra o sinistra) per la registrazione iniziale.
      NOTA: Ulteriori tentativi successivi dell'attività di bere sono possibili tramite l'app web. Durante eventuali ulteriori prove, la lateralità della mano può essere indicata nell'app web, che sarà automaticamente associata ai rispettivi nomi dei file di prova durante la curazione dei dati.
   3. Istrui il soggetto a praticare l'attività di bevute. I soggetti possono eseguire una o due prove di prova dell'attività di bevuta (senza registrazione). Ricorda al soggetto che è necessario un piccolo sorso prima di riportare la tazza e la mano nelle rispettive posizioni di partenza.
      1. Evita di sovra-allenare il soggetto riguardo all'attività di bevuta. L'intento è catturare il comportamento come si verificherebbe nel mondo reale. Se il soggetto richiede ulteriori istruzioni, consigliagli di considerare una situazione reale nella sua vita quotidiana.
2. Registra l'attività di bevute
   1. Apri il modulo Drinking Task Activity (Drinking Task Activity Guide) situato nel menu della dashboard dell'app web (https://mobile-motion-lab-public.web.app/drinkingTaskActivity).
      NOTA: Questo modulo è progettato per guidare la registrazione video di un soggetto che svolge l'attività di bevuta. Questo processo include quanto segue: (i) visualizzazione di una registrazione di esempio dell'attività di bevuta; (ii) verificare l'identità stereo della telecamera e inserire l'identificatore del soggetto; (iv) entrare nella lateralità della mano da utilizzare per la prova specifica, ad esempio destra o sinistra; e (v) anteprima del feed in diretta della telecamera stereo prima della registrazione.
   2. Prima di iniziare la registrazione, orienta il soggetto verso il conto alla rovescia. L'app mobile fornirà un conto alla rovescia visivo/audio di 3 secondi, dopo di che un successivo segnale visivo/audio indicherà quando iniziare a svolgere l'attività di bere.
   3. Avvia la registrazione video cliccando sull'icona Avvia la registrazione nell'app web. Utilizzando il conto alla rovescia/i segnali, chiedi al soggetto di eseguire l'attività di bere (Figura 3). La durata totale assegnata all'attività di bevute è di 20 secondi.
      NOTA: Il soggetto deve solo prendere un piccolo sorso dal bicchiere prima di riportare il bicchiere nella sua area delimitata sul tovaglino e poi riportare la mano nell'area delineata.
3. Rivedi il video del lavoro alcolico. Immediatamente dopo la registrazione, viene presentata una riproduzione video nell'app web. Rivedi questa riproduzione video con attenzione ai seguenti elementi.
   1. Soggetto nell'inquadratura: Assicurati che il viso, il busto, gli arti superiori e la tazza del soggetto siano completamente ricatturati in tutti i fotogrammi video durante l'intera attività di bevuta.
   2. Assenza di disturbi visivi: Assicurati che l'illuminazione sia adeguata, senza ombre o riflessi che distraevano. Evita di catturare accidentalmente altre persone in primo piano o sullo sfondo del video. Altrimenti, le possibilità che un flusso di lavoro di visione artificiale identifichi con successo l'oggetto di interesse potrebbero essere compromesse.
   3. Completamento del compito: Assicurati che il soggetto completi l'intero compito, inclusi il sollevamento della tazza, il sorso di un sorso, la riportata alla posizione originale e la riportata del corpo/mani alla posizione iniziale.
   4. Riprova, se necessario. Se ci sono dubbi sulla qualità della registrazione video del compito di bevute, seleziona l'opzione Retry per riavviare la registrazione video per un altro tentativo.
      NOTA: L'opzione Retry scarterà la registrazione video precedente. Se non è desiderato scartare il video, evita di selezionare Retry e procedi invece con ulteriori prove come descritto di seguito.
4. Registrazione di ulteriori prove dell'attività di bevute
   1. Se si desiderano ulteriori prove del compito di bere per lo stesso soggetto, seleziona l'opzione Ripeti un altro tentativo.
      NOTA: Il modulo Drinking Task Activity Guide è progettato per essere eseguito come un'istanza unica per ogni materia unica (ad esempio, il modulo deve essere riavviato per ogni materia unica).
   2. Procedere con la registrazione e la revisione di ulteriori prove per lo stesso soggetto seguendo le istruzioni sopra menzionate.
      NOTA: Per le prove ripetute con lo stesso soggetto, l'identificatore del soggetto originariamente inserito e l'identificatore della telecamera saranno automaticamente associati a tutte le prove. Altrimenti, ogni prova richiede solo i seguenti passaggi: (i) inserire la lateralità della mano da usare dal soggetto, ad esempio destra o sinistra; (ii) anteprima il feed live della telecamera stereo prima della registrazione; (iii) avviare la registrazione video dell'attività di consumo alcolico; e (iv) revisione/registrazione dei ritentivi secondo necessità.
5. Salva le registrazioni video
   1. Dopo che tutte le prove desiderate sono state registrate, seleziona Terminato con tutte le prove per procedere con il salvataggio dei file video nella destinazione desiderata.
   2. Nel campo indicato Note, aggiungi eventuali commenti pertinenti all'elaborazione, analisi e interpretazione futura dei dati. Seleziona il pacchetto e aggiungi Note per procedere.
   3. Seleziona l'icona Salva i Video del Compito di Bere . Questo aprirà un prompt finestra che permette la scelta della destinazione di salvataggio del file. Di default, la destinazione di salvataggio del file è impostata come desktop.
      NOTA: Una volta impostata la destinazione di salvataggio del file, l'app web curata automaticamente i dati video con una struttura cartella/sottocartella che ha una denominazione basata su input precedenti inseriti dall'utente durante il completamento della guida all'app web. Questo si traduce in una cartella principale con un nome standardizzato (cioè, subj[identifier]_drinktask_[Data]_[Tempo]_[Tipo di fotocamera]) così come sottocartelle con denominazione standardizzata (cioè, [Lateralità]_[Numero di prova]_[Frame Rate]), che contengono i rispettivi video per ogni prova di attività.
   4. Una volta verificato il salvataggio dei video nel file, seleziona Conferma salvataggio per procedere. Dopo il salvataggio apparirà un messaggio di conferma, così come un'opzione per riavviare il modulo Guida all'Attività per il Compito di Bevere. Come dimostrato nella sezione dei risultati qui sotto, i video salvati possono quindi essere abbinati a un flusso di lavoro di computer vision per estrarre la cinematica.

Risultati

Una delle principali motivazioni della guida per clinici online è ridurre le barriere tecniche che altrimenti potrebbero scoraggiare i clinici dal ricorrere alla visione artificiale per valutare la biomeccanica degli arti superiori dei loro pazienti. La guida clinica basata sul web dovrebbe produrre due risultati principali per l'utente: (i) una serie di immagini sincronizzate del pattern di calibrazione a scacchiera basate sui doppi sensori di una telecamera stereo, e (ii) per ogni prova eseguita dal soggetto, una coppia di video sincronizzati dell'attività standardizzata di bere (Figura 3). La guida web fornisce istruzioni in più formati, incluse procedure scritte, dimostrazioni video/audio e una guida virtuale interattiva. Per ridurre il carico amministrativo, la cura dei dati è automatizzata. I dati di immagini e video vengono salvati in una cartella digitale preferita come indicato dall'utente, ad esempio situata su un desktop di un computer o su una rete istituzionale basata su cloud. I dati sono organizzati automaticamente in cartelle compresse, incluse sottocartelle annidate e nomi di file standardizzati in base all'identificatore del soggetto, data/ora di acquisizione dei dati, lateralità manuale, tipo/lateralità della fotocamera e numero di prova.

Figura 2: Configurazione ambulatoriale per la registrazione di immagini e video. La cinematica del compito di bere può essere estrata da video compatibili tramite visione artificiale, che può essere ottenuta con l'installazione rappresentata di una telecamera stereo, un computer e oggetti comunemente presenti in una clinica (sedie, tavoli, risorse di stampa, clipboard, bicchieri, acqua potabile). Sebbene la posizione esatta e l'orientamento della fotocamera varino a seconda del modello del dispositivo, (A) viene mostrata una posizione approssimativa, (B) che può essere regolata per catturare lo spazio di lavoro atteso che contiene completamente il corpo e gli arti superiori del soggetto durante il compito di bere. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Immagini e video compatibili creati da una guida clinica web. I principali risultati della guida clinica online includono (A) una serie di immagini sincronizzate del pattern di calibrazione a scacchiera e (B) una coppia di video sincronizzati che catturano la performance del soggetto in tutte le fasi dell'attività di bevuta. Clicca qui per visualizzare una versione più grande di questa figura.

Sulla base dei dati di immagini e video raccolti, la biomeccanica degli arti superiori durante il compito di bere può poi essere estratta utilizzando la visione artificiale. È importante sottolineare che la raccolta di dati grezzi e l'applicazione della visione artificiale possono essere disaccoppiate. In letteratura precedente sono stati descritti diversi flussi di lavoro di visione artificiale per l'applicazione a tali^{dati 16,18} oppure gli utenti possono applicare i propri flussi di lavoro personalizzati. Ad esempio, abbiamo precedentemente sviluppato un flusso di lavoro di visione artificiale per stimare la posa umana tridimensionale (Figura 4) e successivamente estrarre tre metriche cinematiche. In breve, questo flusso di lavoro di computer vision prevede i seguenti passaggi chiave: (i) calibrazione per estrarre le proprietà intrinseche ed estrinseche della fotocamera per mappare i pixel a dimensioni reali; (ii) rilevamento della posa umana per annotare la posizione dei pixel dei punti anatomici chiave del corpo umano in immagini bidimensionali; (iii) applicazione di una procedura di sollevamento per calcolare informazioni tridimensionali da immagini bidimensionali duali; e (iv) applicazione di filtri per il levigamento delle traiettorie, ad esempio media mobile e filtri di Kalman. Una descrizione più dettagliata va oltre lo scopo dell'attuale articolo, ma può essere consultata nel lavoro^{precedente 16}. Applicando questo flusso di lavoro, le metriche cinematiche estratte quantificano la fluidità del movimento (ad esempio, numero di unità di movimento, NMU), la compensazione (ad esempio, spostamento del tronco, TD) e il tempo di movimento (MT), che si sono dimostrati validi, affidabili e reattivi ai cambiamenti clinici negli studi di riabilitazione dopo ictus ^5,13,14. Rispetto a un sistema convenzionale di motion capture basato su marker, questo flusso di lavoro di visione artificiale produce un piccolo errore (_errore NMU -0,12 unità,_errore TD 3,4 mm e_errore MT 0,15 s) rispetto alle stime di variazioni clinicamente significative (3-7 NMU, 20-50 mm TD e 2,5-5 s MT)¹⁶. Per illustrare una metrica cinematica specifica, cioè la fluidità del movimento tramite NMU (Figura 5), un grafico del profilo della velocità del polso durante il compito di bere rappresenta la NMU (ad esempio, ogni unità di movimento indicata da un asterisco rosso) misurata durante uno studio di caso su un individuo con storia di ictus (donna di 51 anni, mano destra dominante, storia di ictus ischemico del midollo destro con conseguente lieve emisparesi sinistra, Esordio dell'ictus >6 mesi prima, comorbidità tra cui ipertensione e sindrome del tunnel carpale destro).

Figura 4: Applicazione della visione artificiale a immagini e video per estrarre dati sui movimenti umani. Sono stati descritti diversi flussi di lavoro di visione artificiale per raggiungere la cinematica del compito di bere. (A) Un passaggio iniziale di calibrazione richiede che immagini 2D mappino i pixel alle dimensioni del mondo reale, (B) che possono essere convertite in coordinate 3D usando geometria proiettiva. Successivamente, applicando la stima della posa umana ai video del compito di bere, (C) i punti chiave anatomici 2D possono essere rilevati automaticamente, che possono essere convertiti in (D) punti chiave 3D per vari calcoli e visualizzazioni metriche, ad esempio traiettorie dei punti chiave. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Metrica cinematica della fluidità del movimento durante il compito di bere. Basandosi sui dati 3D sui movimenti umani del compito di bere, si possono ottenere diverse metriche cinematiche post-ictus. Basandosi su un soggetto nella fase cronica del recupero da ictus, una metrica cinematica della fluidità del movimento (ad esempio, numero di unità di movimento, NMU, come raffigurato dal numero di asterischi rossi sul profilo della velocità del polso) può essere estratta dal video con visione artificiale per rivelare una differenza oggettiva nella funzione motoria tra l'arto superiore (A) sinistro e (B) destro. Clicca qui per visualizzare una versione più grande di questa figura.

Discussione

La valutazione cinematica del compito di bere è stata raccomandata per la ricerca sulla riabilitazione^{dell'ictus 6}. Tuttavia, sono state citate preoccupazioni pratiche come ostacoli all'adozione della cinematica nella ricerca sulla riabilitazione, e queste preoccupazioni includono i costi e i requisiti tecnici per le tecnologie di motion capture convenzionalmente utilizzate per misurare la biomeccanica^{umana 15}. Queste preoccupazioni ostacolano quindi l'adozione clinica e la traduzione della valutazione cinematica nella pratica clinica. In alternativa, un approccio più pratico per estrarre la cinematica tramite la visione artificiale può essere realizzato utilizzando una singola telecamera stereo, un computer personale e oggetti comunemente presenti in una clinica^{ambulatoriale 16}. Presentiamo un protocollo progettato per i clinici che utilizza una guida web per registrare immagini e video compatibili con un flusso di lavoro di visione artificiale per estrarre metriche cinematiche del compito di bere. L'obiettivo a lungo termine è aumentare l'accessibilità a queste metriche, che sono state precedentemente sviluppate e raccomandate per la ricerca sulla riabilitazione dell'ictus 5,6,12,13,14.

La sincronizzazione video è importante per gli approcci a doppia camera alla visione artificiale. Le configurazioni a doppia telecamera imitano gli occhi umani, che percepiscono contemporaneamente una scena nel mondo reale da punti di vista leggermente diversi per permettere la percezione della profondità. Nel caso della visione artificiale, la sincronizzazione appropriata è quindi fondamentale per l'accuratezza delle informazioni tridimensionali (ad esempio, la posizione del polso umano in un sistema di coordinate cartesiane) determinate da due sorgenti bidimensionali (ad esempio, la posizione dei pixel del polso umano in una foto). Secondo la nostra esperienza, le doppie telecamere possono fornire risultati ragionevoli se sincronizzate entro 1 ms¹⁶. Diversi fattori possono ridurre la sincronizzazione, tra cui frame rate inaffidabili della telecamera, velocità di trasmissione dati limitate nei cavi, inefficienze software e specifiche hardware limitate (ad esempio, bassa RAM o processori di basso livello). Per alleviare i problemi di sincronizzazione, questo protocollo utilizza una telecamera stereo pronta all'uso, che beneficia di un'ingombro fisico più ridotto ed è progettata come dispositivo plug-and-play (ad esempio, una singola connessione USB a un computer personale standard) per catturare automaticamente immagini sincronizzate da due sensori d'immagine integrati.

Le caratteristiche della fotocamera richiedono un'attenta considerazione per qualsiasi applicazione di visione artificiale. In teoria, immagini ad alta risoluzione e registrazioni a frequenza di fotogrammi più elevate del movimento umano offrono più dati per rilevare i punti chiave anatomici con maggiore accuratezza spaziotemporale. Tuttavia, è necessario un equilibrio inevitabile tra la quantità di dati e le risorse di calcolo disponibili per elaborarli. Il protocollo descritto si basa su una telecamera stereo che registra video con risoluzione di 1280 x 720 pixel a una frequenza di 60 Hz, paragonabile a studi precedenti che applicano la visione artificiale per la cinematica dei compiti^{di bevuta 16,18}. Per registrare questi video, abbiamo osservato un successo affidabile usando un computer consumer di fascia superiore (ad esempio, CPU a 3,2 GHz con 128 GB di RAM) e un successo misto con un computer portatile (ad esempio, CPU a 2,6 GHz con 16 GB di RAM). Quando si applicano computer di fascia inferiore, un problema tipico è la mancanza di fotogrammi video, che spesso si presenta come un video in uscita con una durata inferiore alla registrazione video prevista di 20 secondi. Da notare che, sebbene il data computing sia un colpevole comune della mancanza di fotogrammi video, la trasmissione dei dati è anch'essa importante. Nel contesto sanitario, ad esempio, le impostazioni di sicurezza associate alle porte di accesso dei computer (ad esempio, chiavette USB) possono causare ritardi nella trasmissione dati che interferiscono con una registrazione video affidabile.

L'interferenza in linea di vista metterà alla prova passaggi chiave in un flusso di lavoro di visione artificiale, inclusa la calibrazione e la stima della posa umana. La calibrazione si basa su immagini digitali di un motivo a scacchiera di dimensioni standard, che consente alla visione artificiale di mappare i pixel dell'immagine alle dimensioni fisiche del mondo reale. Una visualizzazione chiara del pattern a scacchiera migliora il tasso di successo di questa mappatura. Le interferenze visive possono sorgere per diversi motivi, tra cui, ma non solo, i seguenti: (i) problemi di illuminazione (ad esempio, abbagliamento intenso da una finestra vicina o ombre scure); (ii) movimenti eccessivamente veloci della scacchiera (ad esempio, sfocatura dell'immagine dovuta a un tempo di esposizione prolungato); oppure (iii) proprietà intrinseche inappropriate della fotocamera (ad esempio, lunghezza focale errata o grave distorsione dell'obiettivo). La stima della posa umana sfrutta l'intelligenza artificiale per annotare automaticamente i punti di riferimento anatomici a partire da immagini di una singola persona (stima a posa singola) o di più persone (stima a pose multiple). La chiara visualizzazione dell'essere umano è quindi fondamentale per il tasso di successo della stima della posa. Alcune interferenze visive possono essere tollerate a seconda dei parametri della visione artificiale (ad esempio, architettura dell'IA, soglie di previsione). Tuttavia, per valutare l'idoneità di un video alla stima della posa umana, le insidie comuni da evitare includono le seguenti: (i) spettatori in vista nel caso di stima con una sola posa; (ii) segmenti del corpo intermittentemente fuori dal campo visivo della telecamera; e (iii) auto-occlusioni dovute alla sovrapposizione di segmenti corporei.

Separare la raccolta dati dal flusso di lavoro della visione artificiale offre sia vantaggi che svantaggi. Un notevole svantaggio è il ritardo nelle informazioni clinicamente rilevanti disponibili per clinici e pazienti per informare il processo decisionale. Un potenziale vantaggio è la riduzione dell'interferenza con l'interazione tra clinico e paziente. Ad esempio, assumendo che la calibrazione venga eseguita prima dell'appuntamento del paziente, registrare in video 10 ripetizioni del compito di bere come descritto nella letteratura^{precedente 12} dovrebbe idealmente richiedere meno di 4 minuti di registrazione video più qualsiasi tempo necessario per orientare i pazienti ingenui al protocollo. Inoltre, questo disaccoppiamento può aumentare l'accettazione da parte dei clinici dividendo la responsabilità delle informazioni. All'interno di questa separazione dei compiti, il clinico si assume la responsabilità di quando e perché avvengono le valutazioni video, mentre i data scient/ingegneri si occupano di perfezionare il flusso di lavoro della visione artificiale responsabile delle metriche cliniche accurate e affidabili (ad esempio, la cinematica dei compiti di drink). Infatti, questo può essere paragonato alla realtà attuale di molti test basati sul sangue (ad esempio, panel metabolici completi) e basati su immagini (ad esempio, risonanze magnetiche) regolarmente prescritti dai clinici. Infine, questo disaccoppiamento potrebbe essere vantaggioso man mano che il campo dell'IA continua a progredire. I dati video acquisiti oggi potrebbero essere sottoposti a analisi ripetute da soluzioni di visione artificiale più avanzate di domani, che potrebbero estrarre più metriche cinematiche con maggiore velocità, accuratezza e affidabilità.

Il nostro obiettivo è promuovere ulteriormente l'accesso alla cinematica degli arti superiori tra la comunità riabilitativa, che include clinici in ambulatorio e, prevedibilmente, individui in ambito domiciliare (ad esempio, teleriabilitazione). Questo protocollo e l'app web dovrebbero essere considerati una fase iniziale di sviluppo, che finora è stata considerata un'attività molto focalizzata (cioè il compito di bere) e un gruppo relativamente focalizzato di stakeholder (cioè utenti clinici e soggetti che possono facilmente eseguire il compito di bere). Le versioni future saranno necessarie per accogliere un gruppo di utenti più diversificato, attività più diversificate e popolazioni di soggetti più diversificate (ad esempio, individui con deficit gravi che necessitano di accomodamento delle attività). Inoltre, lo sviluppo futuro includerà importanti checkpoint prima di una diffusione su larga scala, come l'integrazione nelle cartelle cliniche elettroniche e il mantenimento della privacy e riservatezza dei pazienti. Queste future versioni probabilmente incorporeranno anche nuove tecnologie e perfezioneranno quelle attualmente disponibili. Ad esempio, il protocollo attuale presuppone un flusso di lavoro di visione artificiale basato sulla visione binoculare (ad esempio, telecamere stereo). Un prossimo sviluppo logico è un protocollo che prevede la visione monocoloare (ad esempio, telecamere più basilari), che potrebbe essere realizzabile utilizzando l'IA addestrata su dataset binoculari. Da notare che l'attuale protocollo fornisce dati di immagine e video compatibili con le soluzioni di visione artificiale all'avanguardia, che stanno già venendo superate nelle prestazioni dalle più recenti soluzioni¹⁸. Il protocollo web descritto qui potrebbe permettere ai clinici di implementare nella loro pratica una base per la visione artificiale, che probabilmente progredirà notevolmente man mano che la tecnologia AI permeerà il settore sanitario.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Braccio di montaggio della fotocamera, singolo a 2 sezioni articolato con piattaforma per la telecamera	Manfrotto	196B-2	Supporto per fotocamera stereo
Treppiede per fotocamera, compatibile con viti di montaggio standard da 1/4 di pollice e 3/8 di pollice	iFilmati	CB3 Base	Treppiede per la fotocamera stereo montata
Cartellino, formato standard lettera	N/A	N/A	Superficie per fissare il pattern di calibrazione
Bicchiere, plastica da 8 oz	N/A	N/A	Contenitore d'acqua per il lavoro di bere
Sedia regolabile in altezza, con ruote a ruota rodante bloccanti	Vermund Larsen A/S	Indipendenza VELA	Sedia per materia
Tavolo regolabile in altezza, con ruote ruote bloccanti	Midmark Corporation	6215 Postazione Rettangolare	Tabella per la configurazione dei compiti di bere
Stampa della scacchiera di calibrazione	N/A	N/A	Modello per il video di calibrazione
Stampa del tovaglino dell'attività per il compito di bere,	N/A	N/A	Toppietta per guidare l'installazione dei compiti di bere
Fotocamera stereo, lunghezza focale 4mm, senza polarizzatore, cavo USB 3.0 da 5m	Stereolabs	Zed 2i	Telecamera stereo per la registrazione video
Nastro	N/A	N/A	Adesivo per stampe