Waiting
Traitement de la connexion…

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Chemistry

Un flusso di lavoro per l'ottimizzazione della formulazione di nanoparticelle lipidiche (LNP) utilizzando esperimenti di processo di miscela progettati e modelli di ensemble autoconvalidati (SVEM)

Published: August 18, 2023 doi: 10.3791/65200

Summary

Questo protocollo fornisce un approccio all'ottimizzazione della formulazione rispetto a fattori di studio di miscela, continui e categoriali che riduce al minimo le scelte soggettive nella costruzione del progetto sperimentale. Per la fase di analisi, viene impiegata una procedura di adattamento di modellazione efficace e facile da usare.

Abstract

Presentiamo un approccio in stile Quality by Design (QbD) per l'ottimizzazione delle formulazioni di nanoparticelle lipidiche (LNP), con l'obiettivo di offrire agli scienziati un flusso di lavoro accessibile. La restrizione intrinseca in questi studi, in cui i rapporti molari dei lipidi ionizzabili, helper e PEG devono sommarsi fino al 100%, richiede metodi di progettazione e analisi specializzati per soddisfare questo vincolo di miscela. Concentrandoci sui fattori lipidici e di processo comunemente utilizzati nell'ottimizzazione della progettazione LNP, forniamo passaggi che evitano molte delle difficoltà che tradizionalmente sorgono nella progettazione e nell'analisi di esperimenti di processo di miscelazione impiegando progetti di riempimento dello spazio e utilizzando il quadro statistico recentemente sviluppato di modelli di ensemble autoconvalidati (SVEM). Oltre a produrre formulazioni ottimali candidate, il flusso di lavoro crea anche riepiloghi grafici dei modelli statistici adattati che semplificano l'interpretazione dei risultati. Le formulazioni candidate appena identificate vengono valutate con cicli di conferma e facoltativamente possono essere condotte nel contesto di uno studio di seconda fase più completo.

Introduction

Le formulazioni di nanoparticelle lipidiche (LNP) per sistemi di rilascio genico in vivo coinvolgono generalmente quattro lipidi costituenti delle categorie di lipidi ionizzabili, helper e PEG 1,2,3. Sia che questi lipidi vengano studiati da soli o contemporaneamente ad altri fattori non miscelati, gli esperimenti per queste formulazioni richiedono disegni di "miscela" perché - data una formulazione candidata - aumentare o diminuire il rapporto di uno qualsiasi dei lipidi porta necessariamente ad una corrispondente diminuzione o aumento della somma dei rapporti degli altri tre lipidi.

Per esempio, si suppone che stiamo ottimizzando una formulazione LNP che attualmente utilizza una ricetta impostata che verrà trattata come punto di riferimento. L'obiettivo è massimizzare la potenza del LNP mentre secondariamente mira a ridurre al minimo la dimensione media delle particelle. I fattori di studio che variano nell'esperimento sono i rapporti molari dei quattro lipidi costituenti (ionizzabili, colesterolo, DOPE, PEG), il rapporto N/P, la portata e il tipo di lipide ionizzabile. I lipidi ionizzabili e helper (compreso il colesterolo) possono variare su un intervallo più ampio di rapporto molare, 10-60%, rispetto al PEG, che sarà variato dall'1-5% in questa illustrazione. La ricetta di formulazione di riferimento e gli intervalli degli altri fattori e la loro granularità di arrotondamento sono specificati nella scheda supplementare 1. Per questo esempio, gli scienziati sono in grado di eseguire 23 esecuzioni (lotti unici di particelle) in un solo giorno e vorrebbero usarlo come dimensione del campione se soddisfa i requisiti minimi. I risultati simulati per questo esperimento sono disponibili nel file supplementare 2 e nel file supplementare 3.

Rampado e Peer4 hanno pubblicato un recente documento di revisione sul tema degli esperimenti progettati per l'ottimizzazione dei sistemi di somministrazione di farmaci basati su nanoparticelle. Kauffman et al.5 hanno considerato studi di ottimizzazione LNP utilizzando disegni di screening fattoriale frazionario e definitivo6; Tuttavia, questi tipi di disegni e modelli non possono soddisfare un vincolo di miscela senza ricorrere all'uso di "variabili di allentamento" inefficienti7 e non sono tipicamente utilizzati quando sono presenti fattori di miscela 7,8. Invece, i "progetti ottimali" in grado di incorporare un vincolo di miscela sono tradizionalmente utilizzati per esperimenti di processo di miscela9. Questi disegni mirano a una funzione specificata dall'utente dei fattori di studio e sono ottimali (in uno dei numerosi sensi possibili) solo se questa funzione cattura la vera relazione tra i fattori di studio e le risposte. Si noti che vi è una distinzione nel testo tra "progetti ottimali" e "candidati formulativi ottimali", con quest'ultimo che si riferisce alle migliori formulazioni identificate da un modello statistico. I progetti ottimali presentano tre svantaggi principali per gli esperimenti di processo di miscela. In primo luogo, se lo scienziato non riesce ad anticipare un'interazione dei fattori di studio quando specifica il modello target, allora il modello risultante sarà distorto e può produrre formulazioni candidate inferiori. In secondo luogo, i progetti ottimali posizionano la maggior parte delle corse sul confine esterno dello spazio fattoriale. Negli studi LNP, questo può portare a un gran numero di corse perse se le particelle non si formano correttamente a qualsiasi estremo delle impostazioni lipidiche o di processo. In terzo luogo, gli scienziati spesso preferiscono avere corse sperimentali all'interno dello spazio fattoriale per ottenere un senso indipendente dal modello della superficie di risposta e per osservare il processo direttamente in regioni precedentemente inesplorate dello spazio fattoriale.

Un principio di progettazione alternativo consiste nell'mirare a una copertura uniforme approssimativa dello spazio dei fattori (vincolato dalla miscela) con un design che riempie lo spazio10. Questi progetti sacrificano una certa efficienza sperimentale rispetto ai progetti ottimali9 (supponendo che l'intero spazio fattoriale porti a formulazioni valide) ma presentano diversi vantaggi in un compromesso che sono utili in questa applicazione. Il design di riempimento dello spazio non fa alcuna ipotesi a priori sulla struttura della superficie di risposta; Ciò gli conferisce la flessibilità di catturare relazioni impreviste tra i fattori di studio. Ciò semplifica anche la generazione del progetto perché non richiede di prendere decisioni su quali termini di regressione aggiungere o rimuovere quando viene regolata la dimensione di esecuzione desiderata. Quando alcuni punti di progettazione (ricette) portano a formulazioni fallite, i progetti di riempimento dello spazio consentono di modellare il limite del fallimento sui fattori di studio, supportando anche modelli statistici per le risposte allo studio rispetto alle combinazioni di fattori di successo. Infine, la copertura interna dello spazio fattoriale consente un'esplorazione grafica indipendente dal modello della superficie di risposta.

Per visualizzare il sottospazio del fattore di miscela di un esperimento di processo di miscelazione, vengono utilizzati "grafici ternari" triangolari specializzati. La figura 1 motiva questo utilizzo: nel cubo di punti in cui tre ingredienti possono essere compresi tra 0 e 1, i punti che soddisfano un vincolo secondo cui la somma degli ingredienti è uguale a 1 sono evidenziati in rosso. Il vincolo della miscela sui tre ingredienti riduce lo spazio dei fattori fattibili a un triangolo. Nelle applicazioni LNP con quattro ingredienti di miscela, produciamo sei diversi grafici ternari per rappresentare lo spazio fattoriale tracciando due lipidi alla volta contro un asse "Altri" che rappresenta la somma degli altri lipidi.

Figure 1
Figura 1: Regioni a fattore triangolare. Nel grafico di riempimento dello spazio all'interno del cubo, i piccoli punti grigi rappresentano formulazioni incoerenti con il vincolo della miscela. I punti rossi più grandi giacciono su un triangolo inscritto all'interno del cubo e rappresentano formulazioni per le quali il vincolo della miscela è soddisfatto. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Oltre ai fattori di miscela lipidica, ci sono spesso uno o più fattori di processo continui come il rapporto N: P, la concentrazione del tampone o la portata. Possono essere presenti fattori categoriali, come il tipo di lipide ionizzabile, il tipo di lipidi helper o il tipo di tampone. L'obiettivo è trovare una formulazione (una miscela di lipidi e impostazioni per i fattori di processo) che massimizzi una certa misura di potenza e / o migliori le caratteristiche fisico-chimiche come minimizzare la dimensione delle particelle e il PDI (indice di polidispersione), massimizzare l'incapsulamento percentuale e minimizzare gli effetti collaterali - come la perdita di peso corporeo - negli studi in vivo . Anche quando si parte da una ricetta di riferimento ragionevole, potrebbe esserci interesse a ri-ottimizzare dato un cambiamento nel carico utile genetico o quando si considerano cambiamenti nei fattori di processo o nei tipi lipidici.

Cornell7 fornisce un testo definitivo sugli aspetti statistici degli esperimenti di miscela e processo di miscelazione, con Myers et al.9 che fornisce un eccellente riassunto degli argomenti di progettazione e analisi delle miscele più rilevanti per l'ottimizzazione. Tuttavia, questi lavori possono sovraccaricare gli scienziati con dettagli statistici e con terminologia specializzata. Il software moderno per la progettazione e l'analisi degli esperimenti fornisce una soluzione robusta che supporterà sufficientemente la maggior parte dei problemi di ottimizzazione LNP senza dover ricorrere alla teoria pertinente. Mentre gli studi più complicati o ad alta priorità trarranno comunque beneficio dalla collaborazione con uno statistico e potrebbero impiegare progetti ottimali piuttosto che ingombranti, il nostro obiettivo è migliorare il livello di comfort degli scienziati e incoraggiare l'ottimizzazione delle formulazioni LNP senza fare appello a test inefficienti a un fattore alla volta (OFAT)11 o semplicemente accontentarsi della prima formulazione che soddisfa le specifiche.

In questo articolo viene presentato un flusso di lavoro che utilizza software statistico per ottimizzare un problema di formulazione LNP generico, affrontando i problemi di progettazione e analisi nell'ordine in cui verranno riscontrati. In effetti, il metodo funzionerà per problemi di ottimizzazione generali e non è limitato agli LNP. Lungo il percorso, vengono affrontate diverse domande comuni che sorgono e vengono fornite raccomandazioni basate sull'esperienza e sui risultati della simulazione12. Il framework recentemente sviluppato di modelli di ensemble autoconvalidati (SVEM)13 ha notevolmente migliorato l'approccio altrimenti fragile all'analisi dei risultati degli esperimenti sui processi di miscelazione e utilizziamo questo approccio per fornire una strategia semplificata per l'ottimizzazione della formulazione. Mentre il flusso di lavoro è costruito in modo generale che potrebbe essere seguito utilizzando altri pacchetti software, JMP 17 Pro è unico nell'offrire SVEM insieme agli strumenti di riepilogo grafico che abbiamo trovato necessari per semplificare l'analisi altrimenti arcana degli esperimenti di processo di miscela. Di conseguenza, nel protocollo vengono fornite anche istruzioni specifiche per JMP.

SVEM utilizza la stessa base del modello di regressione lineare dell'approccio tradizionale, ma ci consente di evitare noiose modifiche necessarie per adattarsi a un "modello completo" di effetti candidati utilizzando un approccio di base di selezione in avanti o di selezione penalizzata (Lazo). Inoltre, SVEM fornisce un "modello ridotto" migliorato che riduce al minimo il potenziale di incorporare il rumore (processo più varianza analitica) che appare nei dati. Funziona calcolando la media dei modelli previsti risultanti dalla riponderazione ripetuta dell'importanza relativa di ciascuna esecuzione nel modello 13,14,15,16,17,18. SVEM fornisce un framework per la modellazione di esperimenti di processo di miscela che è sia più facile da implementare rispetto alla tradizionale regressione a colpo singolo e produce candidati di formulazione ottimale di migliore qualità12,13. I dettagli matematici di SVEM vanno oltre lo scopo di questo documento e anche un sommario sommario oltre la revisione della letteratura pertinente distrarrebbe dal suo principale vantaggio in questa applicazione: consente una procedura click-to-run semplice, robusta e accurata per i professionisti.

Il flusso di lavoro presentato è coerente con l'approccio Quality by Design (QbD)19 allo sviluppo farmaceutico20. Il risultato dello studio sarà la comprensione della relazione funzionale che collega gli attributi dei materiali e i parametri di processo agli attributi critici di qualità (CQA)21. Daniel et al.22 discutono l'utilizzo di un framework QbD specifico per la produzione di piattaforme RNA: il nostro flusso di lavoro potrebbe essere utilizzato come strumento all'interno di questo framework.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

L'esperimento descritto nella sezione Risultati rappresentativi è stato condotto in conformità con la Guida per la cura e l'uso degli animali da laboratorio e le procedure sono state eseguite seguendo le linee guida stabilite dal nostro Comitato istituzionale per la cura e l'uso degli animali (IACUC). Sono stati ottenuti commercialmente topi femmina Balb/C di 6-8 settimane. Gli animali hanno ricevuto ad libitum chow e acqua standard e sono stati alloggiati in condizioni standard con cicli luce / buio di 12 ore, a una temperatura di 65-75 ° F (~ 18-23 ° C) con 40-60% di umidità.

1. Registrazione dello scopo, delle risposte e dei fattori dello studio

NOTA: in questo protocollo, JMP 17 Pro viene utilizzato per la progettazione e l'analisi dell'esperimento. È possibile utilizzare software equivalenti seguendo passaggi simili. Per esempi e ulteriori istruzioni per tutti i passaggi eseguiti nella Sezione 1, fare riferimento al File supplementare 1.

  1. Riassumere lo scopo dell'esperimento in un documento contrassegnato dalla data.
  2. Elencare le risposte primarie (CQA) che verranno misurate durante l'esperimento.
  3. Elencare eventuali risposte secondarie (ad esempio, restrizioni a valle sulle proprietà fisico-chimiche) che potrebbero essere misurate.
  4. Elencare i parametri di processo che possono essere correlati alle risposte, compresi quelli più rilevanti per lo scopo dello studio.
  5. Se lo studio durerà più giorni, includere un fattore di "blocco" categorico del giorno.
    NOTA: Questo bilancia le impostazioni dei fattori tra i giorni per evitare che i cambiamenti a livello di giorno nella media del processo vengano confusi con i fattori di studio.
  6. Selezionare i fattori da variare e quelli da mantenere costanti durante lo studio.
    NOTA: utilizzare strumenti di prioritizzazione dei rischi come le analisi degli effetti in modalità guasto20 per selezionare il sottoinsieme di fattori più rilevante (Figura 2). Di solito, tutti i lipidi dovrebbero essere lasciati variare; anche se in alcuni casi con budget limitato, è ragionevole bloccare il PEG a un rapporto fisso.
  7. Stabilire gli intervalli per i fattori variabili e la precisione decimale pertinente per ciascuno.
  8. Decidere la dimensione del progetto dello studio (il numero di lotti unici di particelle) utilizzando l'euristica minima e massima. Le esecuzioni del benchmark di controllo incluse manualmente non vengono conteggiate ai fini della dimensione di esecuzione consigliata dall'euristica.
    Nota : la seguente euristica presuppone che le risposte siano continue. L'euristica minima presuppone che sarà possibile eseguire uno studio di follow-up, se necessario, oltre a eseguire cicli di conferma per le formulazioni ottimali candidate. Se sarà possibile eseguire solo esecuzioni di conferma, è meglio preventivare il numero di esecuzioni ottenute dall'euristica massima. Per le risposte primarie binarie, chiedere aiuto a uno statistico per determinare il numero appropriato di esecuzioni.
    1. Euristica minima: Allocare tre cicli per fattore di miscela, due per fattore di processo continuo e uno per livello di ciascun fattore categoriale.
      NOTA: Per uno studio con quattro fattori lipidici, due continui e una variabile di processo categorico a tre vie, questo porta a suggerire di (3 x 4) + (2 x 2) + 3 = 19 esecuzioni di riempimento dello spazio. Aggiungere ulteriori esecuzioni se è probabile che alcune falliscano a causa di problemi di formulazione o misurazione.
    2. Euristica massima: Avviare il software per la creazione di progetti ottimali e inserire i parametri richiesti per un secondo ordine (inclusi effetti principali, interazioni bidirezionali tra tutti gli effetti ed effetti quadratici per fattori di processo continui). Calcola la dimensione minima di esecuzione secondo l'algoritmo del software. Aggiungere 1 al risultato ottenuto dal software per definire l'euristica massima.
      Nota : fare riferimento al file supplementare 1 per istruzioni dettagliate sull'esecuzione di questi passaggi. Un caso campione con quattro fattori lipidici, due continui e una variabile di processo categorica a tre vie, porta a una dimensione di esecuzione consigliata di 34 (33 dalla raccomandazione software + 1). Qualsiasi corsa oltre questo sarebbe probabilmente meglio utilizzata per studi di conferma o follow-up.

Figure 2
Figura 2: Diagramma di causa ed effetto. Il diagramma mostra i fattori comuni in un problema di ottimizzazione della formulazione LNP. Fare clic qui per visualizzare una versione ingrandita di questa figura.

2. Creazione del tavolo di design con un design che riempie lo spazio

  1. Aprite JMP e navigate nella barra dei menu fino a DOE > Special Purpose > Space Filling Design.
  2. Inserire le risposte dello studio (vedere il file supplementare 1).
  3. Facoltativo: aggiungere colonne per ulteriori risposte, indicando se ciascuna deve essere ingrandita, ridotta a icona o destinata facendo clic su Aggiungi risposta.
    NOTA: queste impostazioni possono essere modificate in seguito e non influiscono sulla progettazione. Analogamente, è possibile aggiungere colonne aggiuntive per ulteriori risposte dopo aver creato la tabella dati.
  4. Inserisci i fattori di studio e gli intervalli corrispondenti. Utilizzare il pulsante Miscela per aggiungere fattori di miscela, il pulsante Continuo per aggiungere fattori continui o il pulsante Categorico per aggiungere fattori categorici.
    NOTA: Questo esempio di studio utilizza i fattori e gli intervalli illustrati nella Figura 3, che includono il rapporto molare ionizzabile (compreso tra 0,1 e 0,6), il rapporto molare Helper (anche tra 0,1 e 0,6), il rapporto molare colesterolo (tra 0,1 e 0,6), il rapporto molare PEG (da 0,01 a 0,05) e il tipo lipidico ionizzabile (che può essere H101, H102 o H103).
  5. Immettere il numero predeterminato di esecuzioni per il progetto nel campo Numero di esecuzioni .
  6. Facoltativo: aumentare la dimensione media del cluster dal valore predefinito di 50 a 2000 tramite il menu triangolo rosso accanto all'intestazione Progettazione riempimento spazio e nel sottomenu Opzioni avanzate .
    NOTA: questa è un'impostazione per l'algoritmo di riempimento dello spazio che può portare a una costruzione di progettazione leggermente migliore al costo di un tempo computazionale aggiuntivo.
  7. Generare la tabella di progettazione che riempie lo spazio per i fattori scelti e le dimensioni dell'esecuzione. Fare clic su Riempimento rapido e flessibile, quindi fare clic su Crea tabella.
    Nota : le prime due esecuzioni da un progetto di esempio sono illustrate nella Figura 4.
  8. Aggiungere una colonna Note alla tabella per annotare eventuali esecuzioni create manualmente. Fare doppio clic sulla prima intestazione di colonna vuota per aggiungere una colonna, quindi fare doppio clic sulla nuova intestazione di colonna per modificare il nome.
  9. Se applicabile, incorporare manualmente le esecuzioni di controllo del benchmark nella tabella di progettazione. Includi una replica per uno dei benchmark di controllo. Contrassegna il nome del benchmark nella colonna Note e codifica a colori le righe di replica del benchmark per una facile identificazione del grafico.
    1. Aggiungi una nuova riga facendo doppio clic sulla prima intestazione di riga vuota e inserisci le impostazioni del fattore di benchmark. Duplicare questa riga per creare una replica del benchmark. Evidenziate entrambe le righe e passate a Righe > Colori per assegnare un colore ai fini della creazione grafica.
      NOTA: la replica fornisce una stima indipendente dal modello del processo più la varianza analitica e fornirà ulteriori informazioni grafiche.
  10. Se le prove di controllo del benchmark superano l'intervallo dei fattori di studio, indicarlo nella colonna "Note" per la futura esclusione dall'analisi.
  11. Arrotondare i fattori di miscela alla granularità appropriata. Per fare ciò,
    1. Evidenziare le intestazioni di colonna per i fattori di miscela, fare clic con il pulsante destro del mouse su una delle intestazioni di colonna e passare a Nuova colonna formula > Trasforma > arrotondamento..., immettere l'intervallo di arrotondamento corretto e fare clic su OK.
    2. Assicuratevi che non sia selezionata alcuna riga facendo clic sul triangolo inferiore all'intersezione delle intestazioni di riga e colonna.
    3. Copiare i valori dalle colonne arrotondate appena create (Ctrl + C) e incollare (Ctrl + V) nelle colonne della miscela originale. Infine, eliminare le colonne dei valori arrotondati temporanei.
  12. Dopo aver arrotondato i rapporti lipidici, verificare che la loro somma sia uguale a 100% selezionando le intestazioni di colonna per i fattori di miscela, facendo clic con il pulsante destro del mouse su uno e passando a Nuova colonna Formula > Combina > somma. Se la somma di una riga non è uguale a 1, regolare manualmente uno dei fattori di miscela, assicurandosi che l'impostazione dei fattori rimanga all'interno dell'intervallo di fattori. Eliminare la colonna di somma dopo aver apportato le modifiche.
  13. Seguire la stessa procedura utilizzata per arrotondare i fattori di miscela per arrotondare i fattori di processo alla rispettiva granularità.
  14. Formattare le colonne lipidiche da visualizzare come percentuali con il numero desiderato di decimali: selezionare le intestazioni di colonna, fare clic con il pulsante destro del mouse e scegliere Standardizza attributi.... Nella finestra successiva, impostare Formato su Percentuale e regolare il numero di decimali in base alle esigenze.
  15. Se vengono aggiunte esecuzioni manuali, ad esempio benchmark, selezionare nuovamente l'ordine delle righe della tabella: aggiungere una nuova colonna con valori casuali (fare clic con il pulsante destro del mouse sull'ultima intestazione di colonna e selezionare Nuova colonna formula > Casuale > Normale casuale). Ordinare la colonna in ordine crescente facendo clic con il pulsante destro del mouse sull'intestazione della colonna e quindi eliminare la colonna.
  16. Facoltativo: aggiungere una colonna Run ID . Compila questo con la data corrente, il nome dell'esperimento e il numero di riga della tabella.
    NOTA: vedere (Figura 5) per un esempio.
  17. Generare grafici ternari per visualizzare i punti di progettazione sui fattori lipidici (Figura 6). Inoltre, esaminare la distribuzione della corsa sui fattori di processo (Figura 7): selezionare Grafico > Grafico ternario. Selezionate solo i fattori di miscela per X, Plottaggio.
  18. Per esaminare la distribuzione sui fattori processo, selezionare Analizza > distribuzione e immettere i fattori processo per Y, Colonne.
    NOTA: Lo scienziato della formulazione deve confermare la fattibilità di tutte le esecuzioni. Se esistono esecuzioni non fattibili, riavviare la progettazione tenendo conto dei vincoli appena individuati.

Figure 3
Figura 3: Fattori e intervalli di studio. Le schermate delle impostazioni all'interno del software sperimentale sono utili per riprodurre l'impostazione dello studio. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 4
Figura 4: Output iniziale per un progetto che riempie spazio. Mostrando le prime due righe della tabella, le impostazioni devono essere arrotondate alla precisione desiderata, assicurandosi anche che la somma dei lipidi sia pari a 1. Il benchmark è stato aggiunto alla tabella manualmente. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 5
Figura 5: Tabella di studio formattata. I livelli dei fattori sono stati arrotondati e formattati ed è stata aggiunta una colonna Run ID. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 6
Figura 6: Punti di progettazione su un grafico ternario. Le 23 formulazioni sono mostrate in funzione dei corrispondenti rapporti Ionizzabile, Helper e "Altri" (Colesterolo+PEG). Il punto verde al centro rappresenta il benchmark 33:33:33:1 rapporto molare di Ionizable (H101):Colesterolo:Helper (DOPE):P EG. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 7
Figura 7: Distribuzione dei fattori di processo non miscelati nell'esperimento. Gli istogrammi mostrano come le corse sperimentali sono distanziate tra tipo lipidico ionizzabile, rapporto N-P e portata. Fare clic qui per visualizzare una versione ingrandita di questa figura.

3. Esecuzione dell'esperimento

  1. Eseguire l'esperimento nell'ordine fornito dalla tabella dati. Registrare le letture nelle colonne incorporate nella tabella sperimentale.
  2. Se vengono eseguiti più test per la stessa risposta su un lotto di formulazione identico, calcolare una media per questi risultati all'interno di ciascun lotto. Aggiungere una colonna per ogni misurazione del test alla tabella.
    1. Per ottenere una media, selezionare tutte le colonne correlate, fare clic con il pulsante destro del mouse su una delle intestazioni di colonna selezionate e scegliere Nuova colonna formula > Combina > Media. Utilizzare questa colonna Media per l'analisi delle risposte future.
      NOTA: senza ricominciare la ricetta, le misurazioni ripetute del saggio catturano solo la varianza del saggio e non costituiscono repliche indipendenti.
  3. Documentare qualsiasi occorrenza di precipitazioni della formulazione o problemi di tollerabilità in vivo (come grave perdita di peso corporeo o morte) con indicatori binari (0/1) in una nuova colonna per ogni tipo di problema.

4. Analisi dei risultati sperimentali

  1. Tracciare le letture ed esaminare le distribuzioni delle risposte: aprire Graph > Graph Builder e trascinare ogni risposta nell'area Y per i singoli grafici. Ripeti questa operazione per tutte le risposte.
  2. Esaminare la distanza relativa tra le esecuzioni di replica codificate a colori, se ne è stata inclusa una. Ciò consente di comprendere la variazione totale (di processo e analitica) al benchmark rispetto alla variabilità dovuta a cambiamenti nelle impostazioni fattoriali nell'intero spazio fattoriale (Figura 8).
  3. Determinare se la risposta non elaborata deve essere modellata o se deve essere utilizzata una trasformazione. Per le risposte che sono limitate ad essere positive ma sono illimitate sopra (ad esempio, potenza), adattare sia una distribuzione normale che una distribuzione lognormale ai risultati sperimentali. Se la distribuzione lognormale si adatta meglio con un AICc inferiore (corretto il criterio informativo di Akaike), allora prendi una trasformazione logaritmica di quella risposta.
    1. Passare ad Analizza distribuzione > e selezionare la risposta per Y, Colonne. Nel report di distribuzione risultante, fare clic sul triangolo rosso accanto al nome della risposta e scegliere Adattamento continuo > Adatta normale e Adattamento continuo > Adatta normale dal menu a discesa. Nel successivo rapporto Confronta distribuzioni, controllare i valori AICc per accertare quale distribuzione si adatta meglio alla risposta.
    2. Per eseguire una trasformazione del log, fare clic con il pulsante destro del mouse sull'intestazione della colonna di risposta e scegliere Nuova colonna Formula > Registro > registro. Quando viene creato un modello e viene salvata una colonna di stima sulla scala logaritmica, trasformare nuovamente la risposta nella scala originale selezionando Nuova colonna formula > Registro > Exp.
    3. Per le risposte proporzionali limitate tra 0 e 1, confrontare l'adattamento di una distribuzione normale e beta. Se la distribuzione beta ha un AICc inferiore, eseguire una trasformazione logit. Nel rapporto Distribuzione della risposta, scegliere Adattamento continuo > Adattamento normale e Adattamento continuo > Adattamento beta.
      1. Per la trasformazione logit, fare clic con il pulsante destro del mouse sull'intestazione della colonna di risposta nella tabella dati e scegliere Nuova colonna formula > Specialità > Logit. Post creazione del modello, salvare la colonna di previsione. Per ripristinare la scala originale, utilizzare Nuova colonna Formula > Specialità > Logistica.
        NOTA: l'analisi SVEM basata sulla regressione è robusta per le deviazioni dalla normalità nella distribuzione della risposta. Tuttavia, queste trasformazioni possono portare a una più facile interpretazione dei risultati e a una migliore adattamento dei modelli.
  4. Rappresentare graficamente le corse su un grafico ternario. Colorare i punti in base alle risposte (o alle risposte trasformate se è stata applicata una trasformazione): aprite Grafico > Grafico ternario. Selezionate solo i fattori di miscela per X, Plottaggio. Fare clic con il pulsante destro del mouse su uno dei grafici risultanti, selezionare Legenda riga e quindi selezionare la colonna di risposta (trasformata).
    NOTA: colorare i punti in base alle risposte offre una prospettiva visiva indipendente dal modello del comportamento in relazione ai fattori di miscela.
  5. Eliminate lo script Modello generato dal progetto di riempimento dello spazio.
  6. Costruire un modello indipendente per ogni risposta in funzione dei fattori di studio, ripetendo i seguenti passaggi per ogni risposta.
    NOTA: Nel caso di una risposta binaria secondaria (ad esempio, fallimento della formulazione o morte del topo), modellare anche questa risposta. Modificare l'impostazione della distribuzione di destinazione da Normale a Binomiale.
  7. Costruisci un modello "completo" che comprenda tutti gli effetti candidati. Questo modello dovrebbe includere gli effetti principali di ciascun fattore, le interazioni a due e tre vie, i termini cubici quadratici e parziali nei fattori di processo e i termini cubici di Scheffé per i fattori di miscela23,24.
    NOTA: utilizzare lo stesso set di effetti candidati per ogni risposta. La tecnica di selezione del modello SVEM perfezionerà in modo indipendente i modelli per ogni risposta, risultando potenzialmente in modelli ridotti unici per ciascuno. La Figura 9 illustra alcuni di questi effetti candidati. I seguenti passaggi secondari descrivono dettagliatamente questo processo.
    1. Selezionare Analizza > Adatta modello.
    2. Assicurarsi che i fattori di blocco (ad esempio, Day) non siano autorizzati a interagire con altri fattori di studio. Selezionare eventuali fattori di blocco e fare clic su Aggiungi. Non includere questi fattori in nessuno dei passaggi secondari successivi.
      NOTA: i fattori di blocco sono importanti da tenere in considerazione nel modello, ma i fattori di blocco non dovrebbero interagire con altri fattori di studio. Lo scopo principale dei fattori di blocco è quello di aiutare a controllare la variabilità dell'esperimento e migliorare la sensibilità dell'esperimento.
    3. Evidenzia tutti i fattori di studio. Modificare il valore del campo Grado impostandolo su 3 (per impostazione predefinita è impostato su 2). Clicca su fattoriale al grado.
      NOTA: questa azione include gli effetti principali e le interazioni a due e tre vie nel modello.
    4. Selezionate solo i fattori non di miscela nella finestra di selezione. Fare clic su Macro > Cubico parziale.
      NOTA: questa azione introduce effetti quadratici per i fattori di processo continui e la loro interazione con altri fattori non di miscela nel modello.
    5. Scegliere solo i fattori di miscela dall'elenco di selezione. Fare clic su Macro > Scheffe Cubic. Disattivare l'opzione predefinita Nessuna intercettazione (fare riferimento alla Figura 9).
      NOTA: l'inclusione di un'intercetta nel modello è un passaggio essenziale quando si utilizzano i metodi Lasso ed è utile anche nel contesto della selezione diretta. L'impostazione predefinita tradizionale No Intercept è di solito in atto perché adattare un'intercetta simultaneamente a tutti gli effetti principali della miscela, senza modifiche come l'approccio SVEM, non è fattibile con la normale procedura di regressione dei minimi quadrati12.
    6. Specificare la colonna di risposta: evidenziare la colonna di risposta e fare clic su Y.
    7. Modificare l'impostazione Personalità in Regressione generalizzata. Mantieni la distribuzione impostata su Normale.
    8. Salvate questa configurazione del modello nella tabella dati per utilizzarla con risposte aggiuntive facendo clic sul menu triangolo rosso accanto a Specifica modello (Model Specification ) e selezionando Salva nella tabella dati.
  8. Applicare il metodo di selezione diretta SVEM per adattarlo al modello ridotto, senza includere obbligatoriamente gli effetti principali del fattore di miscela, e memorizzare la colonna della formula di previsione nella tabella dati.
    1. Nella finestra di dialogo Adatta modello , fate clic su Esegui.
    2. Per il metodo di stima, selezionare SVEM Forward Selection.
    3. Espandi i menu Controlli avanzati > Forza termini e deseleziona le caselle associate agli effetti principali della miscela. Solo la casella del termine Intercetta deve rimanere selezionata. Nella Figura 10 viene illustrata la configurazione predefinita in cui vengono forzati gli effetti principali. Per questo passaggio, queste caselle devono essere deselezionate per consentire al modello di includere o escludere questi effetti in base alla procedura di selezione in avanti.
    4. Fare clic su Vai per eseguire la procedura di selezione diretta SVEM.
  9. Tracciare le risposte effettive in base alle risposte previste dal modello SVEM per verificare una ragionevole capacità predittiva. (Figura 11). Fare clic sul triangolo rosso accanto a Selezione diretta SVEM e selezionare Grafici diagnostici > Traccia effettivo per previsto.
  10. Fare clic sul triangolo rosso accanto a Selezione diretta SVEM e selezionare Salva colonne > Salva formula di previsione per creare una nuova colonna contenente la formula di stima nella tabella dati.
  11. Facoltativo: ripetere i passaggi precedenti utilizzando SVEM Lasso come metodo di stima per determinare se viene suggerita una ricetta ottimale diversa dopo aver eseguito i passaggi successivi. In tal caso, eseguire entrambe le ricette come prove di conferma (discusse nella Sezione 5) per vedere quale funziona meglio nella pratica12.
  12. Ripetere i passaggi di creazione del modello per ogni risposta.
  13. Una volta salvate le colonne di stima per tutte le risposte nella tabella dati, rappresentare graficamente le tracce di risposta per tutte le colonne di risposta previste utilizzando la piattaforma Profiler: Selezionare Grafico > Profiler, selezionare tutte le colonne di stima create nel passaggio precedente per Y, Formula di stima, e fare clic su OK (Figura 12).
  14. Identificare le formulazioni ottimali del candidato.
    1. Definire la "funzione di desiderabilità" per ogni risposta, specificando se la risposta deve essere massimizzata, ridotta a icona o abbinata a una destinazione. Impostare tutte le risposte primarie in modo che utilizzino un peso di importanza pari a 1,0 e qualsiasi risposta secondaria utilizzi un peso di importanza pari a 0,2. Dal menu triangolo rosso di Prediction Profiler, selezionare Ottimizzazione e desiderabilità > Funzioni di desiderabilità, quindi Ottimizzazione e Desiderabilità > Imposta desiderabilità. Immettere le impostazioni nelle finestre successive.
      NOTA: I pesi importanti sono relativi e soggettivi, quindi vale la pena verificare la sensibilità dell'optimum combinato alle variazioni di questi pesi entro un intervallo ragionevole (ad esempio, da una ponderazione uguale alla ponderazione 1:5).
    2. Comanda al profiler di trovare le impostazioni dei fattori ottimali che massimizzano la funzione di desiderabilità (Figura 12): dal profiler, selezionare Ottimizzazione e desiderabilità > Massimizza desiderabilità.
      NOTA: I valori previsti delle risposte ai candidati ottimali possono sovrastimare il valore delle risposte inclinate a destra come la potenza; Tuttavia, le prove di conferma forniranno osservazioni più accurate di queste formulazioni candidate. L'obiettivo principale è individuare la formulazione ottimale (le impostazioni della ricetta ottimale).
    3. Registrare le impostazioni dei fattori ottimali e annotare le ponderazioni importanti utilizzate per ogni risposta: dal menu Profilo di previsione , selezionare Impostazioni fattore > Memorizza impostazioni.
  15. Facoltativo: per fattori categoriali come il tipo lipidico ionizzabile, trovare le formulazioni condizionatamente ottimali per ciascun livello di fattori.
    1. Per prima cosa imposta il livello desiderato del fattore nel profiler, quindi tieni premuto il tasto Ctrl e fai clic con il pulsante sinistro del mouse all'interno del grafico di quel fattore e seleziona Blocca fattori impostazione. Selezionare Ottimizzazione e desiderabilità > Massimizza desiderabilità per trovare l'optimum condizionale con questo fattore bloccato all'impostazione corrente.
    2. Sblocca le impostazioni del fattore prima di procedere, utilizzando lo stesso menu utilizzato per bloccare le impostazioni del fattore.
  16. Ripetere il processo di ottimizzazione dopo aver regolato i pesi di importanza delle risposte (utilizzando Ottimizzazione e Desiderabilità > Imposta desiderabilità), magari ottimizzando solo le risposte primarie o impostando alcune delle risposte secondarie in modo che abbiano più o meno importanza o impostando l'obiettivo delle risposte secondarie su Nessuno (Figura 13).
  17. Registrare il nuovo candidato ottimale (dal menu Profilo prrevisione, selezionare Impostazioni fattore > Memorizza impostazioni).
  18. Produrre riepiloghi grafici delle regioni ottimali dello spazio fattoriale: generare una tabella di dati con 50.000 righe popolate con impostazioni di fattori generate casualmente all'interno dello spazio fattoriale consentito, insieme ai corrispondenti valori previsti dal modello ridotto per ciascuna delle risposte e la funzione di desiderabilità congiunta.
    1. Nel profiler, selezionare Output tabella casuale. Impostare Quante esecuzioni simulare? su 50.000 e fare clic su OK .
      NOTA: in questo modo viene generata una nuova tabella con i valori previsti delle risposte in ciascuna delle 50.000 formulazioni. La colonna Desiderabilità dipende dai pesi di importanza per le risposte presenti quando è selezionata l'opzione Tabella casuale di output .
    2. Nella tabella appena creata aggiungere una nuova colonna che calcola il percentile della colonna Desiderabilità. Utilizzare questa colonna percentile nei grafici ternari anziché la colonna Desiderabilità non elaborata. Fare clic con il pulsante destro del mouse sull'intestazione della colonna Desiderabilità e scegliere Nuova colonna Formula > Probabilità distributiva > cumulativa per creare una nuova colonna Probabilità cumulativa [Desiderabilità].
    3. Generare gli elementi grafici descritti nei passaggi seguenti. Modificare ripetutamente la combinazione di colori della grafica per visualizzare le previsioni per ogni risposta e per la colonna Probabilità cumulativa[Desiderabilità].
    4. Costruire grafici ternari per i quattro fattori lipidici. Nella tabella passare a Grafico > Grafico ternario, selezionare i fattori di combinazione per X, Plottazione e fare clic su OK. Fare clic con il pulsante destro del mouse in uno dei grafici risultanti, selezionare Legenda riga e quindi selezionare la colonna di risposta prevista. Modificare l'elenco a discesa Colori in Jet.
      NOTA: visualizza le regioni con le prestazioni migliori e peggiori rispetto ai fattori lipidici. La Figura 14 mostra i percentili della desiderabilità congiunta quando si considera la massimizzazione della potenza (importanza = 1) e la minimizzazione della dimensione (importanza = 0,2), facendo la media su tutti i fattori che non sono mostrati sugli assi del grafico ternario. La Figura 15 mostra le dimensioni non elaborate previste. È anche ragionevole suddividere questi grafici in modo condizionale su altri fattori, come la creazione di un insieme distinto di grafici ternari per ciascun tipo di lipide ionizzabile con un filtro dati locale (disponibile dal menu triangolo rosso accanto a Grafico ternario).
    5. Allo stesso modo, utilizzare Graph > Graph Builder per tracciare i 50.000 punti codificati a colori (che rappresentano formulazioni uniche) rispetto ai fattori di processo non miscelati, singolarmente o congiuntamente, e cercare relazioni tra le risposte e i fattori. Cerca le impostazioni dei fattori che producono la massima desiderabilità. Esplora diverse combinazioni di fattori nella grafica.
      NOTA: quando colorate i grafici, usate Probabilità cumulativa [Desiderabilità], ma quando tracciate la desiderabilità sull'asse verticale rispetto ai fattori processo, utilizzate la colonna Desiderabilità non elaborata. La colonna Desiderabilità può anche essere posizionata su un asse della visualizzazione 3D grafico > grafico a dispersione insieme ad altri due fattori di processo per l'esplorazione multivariata. La figura 16 mostra la desiderabilità congiunta di tutte le formulazioni che possono essere formate con ciascuno dei tre tipi di lipidi ionizzabili. Le formulazioni più desiderabili utilizzano H102, con H101 che fornisce alcune alternative potenzialmente competitive.
    6. Salvare il profiler e le relative impostazioni memorizzate nella tabella dati. Fare clic sul triangolo rosso accanto a Profiler e selezionare Salva script > nella tabella dati....

Figure 8
Figura 8: Letture di potenza osservate dall'esperimento. I punti mostrano i valori di potenza che sono stati osservati dalle 23 esecuzioni; Le esecuzioni del benchmark replicate sono visualizzate in verde. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 9
Figura 9: Finestra di dialogo software per l'avvio dell'analisi. Gli effetti candidati sono stati inseriti insieme alla risposta di potenza target e l'opzione Nessuna intercetta è stata deselezionata. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 10
Figura 10. Finestra di dialogo aggiuntiva per specificare le opzioni SVEM. Per impostazione predefinita, gli effetti principali dei lipidi sono forzati nel modello. Poiché è inclusa un'intercettazione, si consiglia di deselezionare queste caselle per non forzare gli effetti. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 11
Figura 11: Effettivo per trama prevista. Questa figura traccia la potenza osservata rispetto al valore previsto per ogni formulazione dal modello SVEM. La correlazione non deve essere così forte come in questo esempio, ma l'aspettativa è di vedere almeno una correlazione moderata e di verificare la presenza di valori anomali. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 12
Figura 12: Profiler di previsione. Le prime due righe di grafici mostrano le sezioni della funzione di risposta prevista alla formulazione ottimale (come identificato dall'approccio SVEM). La riga inferiore dei grafici mostra la "desiderabilità" ponderata della formulazione, che è una funzione dell'ultima colonna di grafici che mostra che la potenza dovrebbe essere massimizzata e la dimensione dovrebbe essere ridotta al minimo. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 13
Figura 13: Tre candidati formulatori ottimali di SVEM-Forward Selection. Modificare la ponderazione dell'importanza relativa delle risposte può portare a diverse formulazioni ottimali. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 14
Figura 14: Grafici ternari per il percentile di desiderabilità. Il grafico mostra le 50.000 formulazioni codificate a colori per percentile di desiderabilità, dove la desiderabilità è impostata con importanza peso di 1,0 per massimizzare la potenza e 0,2 per minimizzare le dimensioni, questi grafici mostrano che la regione ottimale delle formulazioni è costituita da percentuali più basse di lipidi ionizzabili e percentuali più elevate di PEG. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 15
Figura 15: Grafico ternario per la dimensione prevista. Il grafico mostra le previsioni delle dimensioni del modello SVEM per ciascuna delle 50.000 formulazioni. La dimensione è ridotta al minimo con percentuali più elevate di lipidi helper e massimizzata con percentuali più basse di aiutante. Poiché gli altri fattori variano liberamente tra le 50.000 formulazioni tracciate, ciò implica che questa relazione vale per tutti gli intervalli degli altri fattori (PEG, portata, ecc.). Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 16
Figura 16: Diagrammi di violino per la desiderabilità di formulazioni che coinvolgono i tre diversi tipi di lipidi ionizzabili. Ciascuno dei 50.000 punti rappresenta una formulazione unica da tutto lo spazio fattoriale consentito. I picchi di queste distribuzioni sono i valori massimi di desiderabilità che vengono calcolati analiticamente con il profiler di previsione. H102 ha il picco più grande e quindi produce la formulazione ottimale. L'approccio SVEM alla costruzione del modello che genera questo output filtra automaticamente i fattori statisticamente insignificanti: lo scopo di questo grafico è considerare la significatività pratica tra i livelli fattoriali. Fare clic qui per visualizzare una versione ingrandita di questa figura.

5. Cicli di conferma

  1. Preparare una tabella che elenca i candidati ottimali identificati in precedenza (Figura 17).
    NOTA: I valori True Potency e True Size in Figura 17 sono compilati utilizzando le funzioni generatrici simulate: in pratica, queste saranno ottenute formulando e quindi misurando le prestazioni di queste ricette.
    1. Includere il controllo del benchmark con l'insieme di corse candidate che verranno formulate e misurate.
    2. Se una qualsiasi delle formulazioni dell'esperimento è risultata produrre risultati desiderabili, magari sovraperformando il benchmark, selezionare il meglio da aggiungere alla tabella dei candidati e ripetere il test insieme alle nuove formulazioni.
      NOTA: aggiungere manualmente le esecuzioni desiderate alla tabella dei candidati oppure utilizzare le impostazioni memorizzate della finestra del profiler se queste esecuzioni provengono dall'esperimento precedente. Identificare il numero di riga dell'esecuzione, passare a Impostazioni fattore > Profiler di previsione > Imposta su Dati nella riga e immettere il numero di riga. Quindi, scegli Impostazioni di Prediction Profiler > Factor > Memorizza impostazioni ed etichetta in modo appropriato (ad esempio, "benchmark" o "esecuzione ottimale dell'esperimento precedente").
    3. Fare clic con il pulsante destro del mouse sulla tabella Impostazioni memorizzate nel profiler e selezionare Crea in tabella dati.
      NOTA: a seconda della priorità e del budget dello studio, prendere in considerazione l'esecuzione di repliche per ogni esecuzione di conferma, soprattutto se si sostituisce il benchmark. Crea e analizza ogni formulazione due volte, utilizzando il risultato medio per la classificazione. Prestare attenzione a tutti i candidati con un ampio intervallo di risposta tra le due repliche in quanto ciò potrebbe indicare un'elevata varianza del processo.
    4. Se necessario a causa di vincoli di budget, selezionare tra i candidati identificati per adeguarsi al budget sperimentale o per eliminare i candidati ridondanti.
  2. Eseguire le corse di conferma. Costruisci le formulazioni e raccogli le letture.
  3. Verificare la coerenza tra i risultati dell'esperimento originale e i risultati del batch di conferma per i benchmark o altre ricette ripetute. Se si verifica uno spostamento di grandi dimensioni e imprevisto, considerare ciò che potrebbe aver contribuito allo spostamento e se è possibile che tutte le esecuzioni dal batch di conferma siano state interessate.
  4. Confronta le prestazioni delle formulazioni ottimali del candidato. Scopri se alcuni nuovi candidati hanno sovraperformato il benchmark.
  5. Facoltativo: aggiungere il risultato delle serie di conferma alla tabella sperimentale ed eseguire nuovamente l'analisi nella Sezione 4.
    NOTA: il passaggio successivo del flusso di lavoro fornisce istruzioni per la creazione di uno studio di follow-up insieme a queste esecuzioni, se lo si desidera.

Figure 17
Figura 17: Tabella dei dieci candidati ottimali da eseguire come prove di conferma. La vera potenza e la vera dimensione sono state compilate dalle funzioni di generazione della simulazione (senza alcun processo aggiunto o variazione analitica). Fare clic qui per visualizzare una versione ingrandita di questa figura.

6. Facoltativo: progettazione di uno studio di follow-up da eseguire in concomitanza con le esecuzioni di conferma

  1. Valutare la necessità di uno studio di follow-up considerando i seguenti criteri:
    1. Determinare se la formulazione ottimale si trova lungo uno dei limiti dei fattori e se si desidera un secondo esperimento per espandere almeno uno degli intervalli di fattori.
    2. Valutare se l'esperimento iniziale ha utilizzato una dimensione di esecuzione relativamente piccola o intervalli di fattori relativamente grandi e se è necessario "ingrandire" la regione ottimale identificata con esecuzioni aggiuntive e analisi aggiornate.
    3. Controlla se viene introdotto un fattore aggiuntivo. Questo potrebbe essere un livello di un fattore categoriale come un lipide ionizzabile aggiuntivo o un fattore che è rimasto costante nello studio iniziale, ad esempio la concentrazione tampone.
    4. Se nessuna delle condizioni precedenti è soddisfatta, procedere al passaggio 7.
  2. Preparare ulteriori esecuzioni sperimentali da eseguire in concomitanza con le esecuzioni di conferma.
    1. Definire i limiti fattoriali garantendo una parziale sovrapposizione con la regione dallo studio iniziale. Se non esistono sovrapposizioni, deve essere progettato un nuovo studio.
    2. Sviluppa le nuove piste sperimentali con un design che riempie lo spazio. Seleziona DOE > Special Purpose > Space Filling Design.
      NOTA: per gli utenti avanzati, prendere in considerazione un design D-optimal tramite DOE > Custom Design.
    3. Dopo aver generato le esecuzioni di riempimento dello spazio, incorporare manualmente due o tre esecuzioni dell'esperimento originale che si trovano all'interno del nuovo spazio fattoriale. Distribuire queste esecuzioni in modo casuale all'interno della tabella sperimentale utilizzando i passaggi descritti nella Sezione 2 per aggiungere righe e quindi randomizzare l'ordine delle righe.
      NOTA: Questi verranno utilizzati per stimare qualsiasi spostamento nei mezzi di risposta tra i blocchi.
    4. Concatenare le esecuzioni di conferma e le nuove esecuzioni di riempimento dello spazio in un'unica tabella e randomizzare l'ordine di esecuzione. Utilizzare Tabelle > Concatenare e quindi creare e ordinare in base a una nuova colonna casuale per randomizzare l'ordine di esecuzione, come descritto nella Sezione 2.
  3. Formulare le nuove ricette e raccogliere i risultati.
  4. Concatenare le nuove esecuzioni sperimentali e i risultati alla tabella dei dati dell'esperimento originale, introducendo una colonna ID esperimento per indicare l'origine di ciascun risultato. Utilizzare Tabelle > Concatena e selezionare l'opzione Crea colonna di origine.
  5. Verificare che le proprietà della colonna per ciascun fattore visualizzino l'intervallo combinato per entrambi gli studi: fare clic con il pulsante destro del mouse sull'intestazione della colonna per ciascun fattore ed esaminare gli intervalli di proprietà Codifica e Miscela , se presenti.
  6. Inizia l'analisi dei risultati del nuovo esperimento.
    1. Includere la colonna ID esperimento come termine nel modello da utilizzare come fattore di blocco. Assicurarsi che questo termine non interagisca con i fattori di studio. Eseguite lo script della finestra di dialogo Adatta modello salvato nella tabella nella Sezione 4, selezionate la colonna ID esperimento e fate clic su Aggiungi per includerla nell'elenco degli effetti candidati.
    2. Eseguire questa finestra di dialogo Adatta modello sulla tabella dati concatenata per analizzare congiuntamente i risultati del nuovo esperimento e dello studio iniziale. Attenersi alle istruzioni precedenti per generare candidati di formulazione ottimali aggiornati e riepiloghi grafici.
    3. Per la convalida, analizzare in modo indipendente i risultati del nuovo esperimento, escludendo i risultati dell'esperimento iniziale. In altre parole, eseguire i passaggi descritti nella Sezione 4 nella nuova tabella sperimentale.
    4. Garantire che le formulazioni ottimali identificate da questi modelli siano strettamente allineate con quelle riconosciute dall'analisi congiunta.
    5. Rivedere i riassunti grafici per confermare che sia le analisi congiunte che quelle individuali dei nuovi risultati sperimentali mostrano comportamenti simili della superficie di risposta (il che significa che esiste una relazione simile tra le risposte e i fattori).
    6. Confronta le analisi combinate e individuali dei nuovi risultati con l'esperimento iniziale per coerenza. Utilizzare strutture grafiche simili per il confronto ed esaminare le ricette ottimali identificate per le differenze.

7. Documentare le conclusioni scientifiche finali dello studio

  1. Se il controllo del benchmark cambia in una nuova ricetta identificata a causa dello studio, registrare la nuova impostazione e specificare i file di progettazione e analisi che ne registrano l'origine.
  2. Mantenere tutte le tabelle sperimentali e i riepiloghi di analisi, preferibilmente con nomi di file contrassegnati da data, per riferimento futuro.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Questo approccio è stato convalidato in entrambi i tipi lipidici ampiamente classificati: lipidi classici simili a MC3 e lipidoidi (ad esempio, C12-200), generalmente derivati dalla chimica combinatoria. Rispetto a una formulazione LNP di riferimento sviluppata utilizzando un metodo One Factor at a Time (OFAT), le formulazioni candidate generate attraverso il nostro flusso di lavoro dimostrano spesso miglioramenti di potenza da 4 a 5 volte su scala logaritmica, come mostrato nelle letture della luciferasi epatica di topo nella Figura 18. La Tabella 1 illustra i corrispondenti miglioramenti nell'espressione della luciferasi epatica di topo osservati durante le prestazioni di controllo del benchmark durante due fasi di ottimizzazione (uno studio iniziale e un successivo studio di follow-up). Nella prima fase, l'attenzione si è concentrata sull'ottimizzazione dei rapporti lipidici mantenendo costanti altri fattori. Nello studio di follow-up, è stato introdotto un ulteriore tipo di lipide helper ed è stata eseguita l'ottimizzazione considerando sia la composizione del rapporto lipidico che il tipo di lipidi helper. Di conseguenza, il tipo di lipide helper appena introdotto è stato selezionato per essere utilizzato con la composizione lipidica ottimizzata associata. Il significativo aumento della potenza suggerisce che queste composizioni ottimizzate possono esibire capacità di fuga endosomiale superiori25.

Le simulazioni possono essere utilizzate per mostrare la qualità attesa del candidato ottimale prodotto da questa procedura. Nell'ambito dell'esperimento di esempio utilizzato nel protocollo, possiamo ripetere la simulazione molte volte per diverse dimensioni di esecuzione e valutare i risultati in base alla funzione di generazione del processo simulata. Uno script JMP a tale scopo è disponibile nel file supplementare 4. In particolare, è stato generato un design di riempimento dello spazio e le colonne di risposta sono state popolate con i valori delle nostre funzioni del generatore, oltre al rumore che rappresenta la variazione analitica e di processo. Adattiamo queste risposte simulate con diverse tecniche di analisi (inclusa SVEM Forward Selection) per produrre una ricetta ottimale del candidato corrispondente. I candidati di ciascun metodo di analisi vengono quindi confrontati con il valore dell'optimum reale delle funzioni generatrici. La figura 19 illustra la percentuale media della risposta teorica massima ottenuta da ciascuno dei tre metodi di analisi utilizzando disegni di riempimento dello spazio delle dimensioni fornite sull'asse orizzontale. Il modello completo, che include tutti gli effetti candidati e non riduce il modello in base alla significatività statistica di tali effetti, esegue i risultati peggiori. Gran parte del lavoro aggiuntivo che tradizionalmente va nell'adattare i modelli di regressione per gli esperimenti di processo di miscela comporta modifiche (rimozione dell'intercetta, forzatura degli effetti principali della miscela, precludendo l'uso di effetti di miscela quadratici puri, ecc.) che sono necessarie per adattarsi a questo modello completo9, e da questa prospettiva, tali procedure non sono necessarie12. Inoltre, questo modello non può essere adattato fino a quando le dimensioni del progetto non raggiungono il numero di effetti nel modello. A dimensioni sperimentali più piccole, possiamo adattare il tradizionale metodo di selezione in avanti, che supera il modello completo rispetto alle prestazioni medie della formulazione candidata ottimale per ogni dimensione sperimentale fissa. Allo stesso modo, la modifica SVEM a questo approccio di selezione anticipata migliora ulteriormente le prestazioni dei candidati ottimali. Questo grafico rivela che l'utilizzo di SVEM-Forward Selection12,13 per analizzare un esperimento di riempimento dello spazio di 24 esecuzioni raggiunge la stessa qualità media che richiede tipicamente 50 esecuzioni quando analizzato con un modello di selezione in avanti tradizionale (targeting AICc minimo). Sebbene le prestazioni effettive varino da processo a processo, questa simulazione, insieme ai risultati pubblicati su SVEM 12,13,16,17,26, dimostra il potenziale di questa procedura di modellazione per l'ottimizzazione della formulazione.

Figure 18
Figura 18: Miglioramento dell'espressione della luciferasi epatica dopo due cicli di sperimentazione. Il round 0 mostra la lettura della luciferasi epatica per la formulazione di riferimento; Il round 1 mostra la lettura della luciferasi epatica dopo il primo esperimento che ottimizza i rapporti molari lipidici costituenti LNP; Il round 2 mostra la lettura della luciferasi epatica dopo il secondo esperimento che ottimizza ulteriormente i rapporti molari costituenti considerando anche un ulteriore tipo di lipidi helper. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figure 19
Figura 19: Qualità della formulazione ottimale in funzione delle dimensioni sperimentali e del modello statistico. L'asse verticale rappresenta la percentuale di massima desiderabilità teorica e l'asse orizzontale rappresenta la dimensione del progetto di riempimento dello spazio. Ogni punto mostra la media di oltre 150 simulazioni. La linea blu (triangoli) rappresenta il modello completo (senza alcuna eliminazione di effetti statisticamente insignificanti), la linea ambra (cerchi) rappresenta il tradizionale modello di selezione in avanti basato su AICc (con un'intercetta e senza forzare gli effetti principali della miscela) e la linea verde (triangoli capovolti) rappresenta il modello di selezione diretta basato su SVEM (con un'intercetta e senza forzare gli effetti principali della miscela). Fare clic qui per visualizzare una versione ingrandita di questa figura.

Rotondo ID particella Espressione della luciferasi nel fegato (fotone/sec)
0 Benchmark di controllo 8.E+06
1 Ottimizzato sui rapporti lipidici 2.E+09
2 Ottimizzato su rapporti lipidici e tipo di lipidi helper 8.E+10

Tabella 1: Miglioramento sistematico dell'espressione della luciferasi attraverso l'ottimizzazione del Design of Experiment (DOE). Questa tabella illustra il significativo miglioramento nell'espressione della luciferasi, con un miglioramento fino a 10.000 volte sulla scala fotone/secondo, dal benchmark iniziale al "candidato ottimale" finale.

File supplementare 1: 04APR2023 Riepilogo.docx - Questo documento fornisce una registrazione dello studio compreso il suo scopo, le risposte valutate, i fattori considerati e il numero totale di esecuzioni eseguite. Clicca qui per scaricare questo file.

File supplementare 2: 23_run_simulated_experiment.jmp - Un file JMP con l'esperimento simulato e i relativi risultati. Questo file include anche script di analisi allegati compatibili con JMP 17 Pro. Fare clic qui per scaricare questo file.

File supplementare 3: 23_run_simulated_experiment.xlsx - Un file Excel che include l'esperimento simulato e i relativi risultati, adatto ai lettori che potrebbero non avere accesso a JMP. Clicca qui per scaricare questo file.

File supplementare 4: simulazione della miscela 20DEC22.jsl - Questo è uno script JMP 17 Pro utilizzato per simulare esperimenti di formulazione LNP e valutare le prestazioni di diversi metodi di analisi. Lo script utilizza l'approccio SVEM-Forward Selection (no intercept), che è il metodo di analisi chiave utilizzato in questo flusso di lavoro. Clicca qui per scaricare questo file.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Il moderno software per la progettazione e l'analisi di esperimenti di processo di miscela consente agli scienziati di migliorare le loro formulazioni di nanoparticelle lipidiche in un flusso di lavoro strutturato che evita una sperimentazione OFAT inefficiente. L'approccio di modellazione SVEM recentemente sviluppato elimina molte delle modifiche di regressione arcana e delle strategie di riduzione del modello che potrebbero aver precedentemente distratto gli scienziati con considerazioni statistiche estranee. Una volta raccolti i risultati, il framework di analisi SVEM offre un approccio più facile da implementare e tende a produrre modelli migliori rispetto agli approcci di modellazione tradizionali13. Inoltre, le analisi grafiche basate sulle formule di previsione per ciascuna risposta sono facilmente interpretabili dagli scienziati, fornendo un chiaro riassunto del comportamento marginale della risposta su singoli fattori e piccoli gruppi di fattori senza richiedere l'interpretazione di stime di parametri altamente correlate da un modello di regressione. Ciò consente agli scienziati di concentrarsi sulla valutazione della significatività pratica tra i fattori di studio dopo che SVEM ha automaticamente rimosso effetti statisticamente insignificanti.

Il flusso di lavoro è stato utilizzato nella pratica per variare sistematicamente la composizione lipidica e i parametri di formulazione come rapporto N/P, portata e rapporto di miscelazione per l'ottimizzazione e per selezionare i migliori tipi di lipidi helper, tipi di lipidi ionizzabili e tipi di tampone. Gli obiettivi di questi esempi di solito includono la massimizzazione della potenza in vivo o in vitro e l'incapsulamento di carichi utili variabili come mRNA o DNA per bersagli rilevanti in vivo come le cellule del fegato, o talvolta attraverso più tipi di cellule nel caso di applicazioni in vitro. Per applicazioni specifiche, potrebbe essere necessario bilanciare proprietà biofisiche come dimensioni, PDI, potenziale zeta e incapsulamento percentuale durante l'esame della potenza in vivo. Inoltre, l'obiettivo è quello di trovare una formulazione potente, ma ben tollerata e quindi possiamo includere risposte come il cambiamento del peso corporeo, la risposta delle citochine o l'elicitazione di enzimi epatici come AST / ALT nell'analisi. I modelli sono emersi da numerosi esperimenti LNP. In particolare, alterazioni nel rapporto molare del lipide ionizzabile e nel rapporto N/P sembrano avere un impatto significativo sull'incapsulamento dell'RNA. Inoltre, i cambiamenti nel rapporto molare PEG sembrano influenzare la stabilità delle particelle, come indicato dalle influenze sulle dimensioni e sulla PDI. In generale, un eccesso di PEG nel nucleo LNP tende ad avere un effetto dannoso sulla potenza nei topi.

I miglioramenti delle prestazioni sono particolarmente evidenti quando è mirata più di una risposta: anche se il benchmark funziona già bene rispetto alla risposta primaria (ad esempio, potenza), l'ottimizzazione articolare in genere mantiene o migliora il comportamento rispetto alla risposta primaria, migliorando contemporaneamente il comportamento rispetto ad altre risposte (riducendo al minimo PDI, dimensioni o perdita di peso corporeo). Convalidiamo l'autenticità di questi miglioramenti con cicli di conferma, in cui prepariamo e confrontiamo direttamente la formulazione di riferimento (possibilmente con una replica) e le nuove formulazioni candidate.

La fase di progettazione di questo flusso di lavoro prevede diversi passaggi critici. Innanzitutto, assicurarsi che i fattori e le loro gamme siano inseriti correttamente nella piattaforma di progettazione che riempie lo spazio. In secondo luogo, utilizzare la grafica e la conoscenza dell'argomento per confermare la fattibilità di ogni formulazione risultante prima di iniziare l'esperimento. Infine, eseguire l'esperimento seguendo l'ordine casuale specificato dalla tabella di progettazione. L'adesione a questa sequenza aiuta a evitare che le covariate non misurate - come l'ordine di produzione della formulazione o la temperatura ambiente - confondano i fattori in studio. I progetti che riempiono lo spazio sono più facili da costruire, con meno possibilità di errore da parte dell'utente rispetto ai progetti ottimali del processo di miscelazione, che richiedono decisioni aggiuntive durante la configurazione che possono frustrare gli utenti inesperti e scoraggiarli dall'utilizzare esperimenti progettati. Tuttavia, dopo aver lavorato su questo protocollo, gli scienziati possono beneficiare di ulteriori letture su come i progetti ottimali potrebbero potenzialmente sostituire i progetti di riempimento dello spazio nel protocollo, come descritto nel capitolo 6 di Goos and Jones (2011) 27. Soprattutto per gli studi di follow-up che "ingrandiscono" una regione ottimale - dove c'è meno preoccupazione per i guasti lungo i confini della miscela - i progetti D-ottimali possono essere più efficienti dei progetti che riempiono lo spazio.

Allo stesso modo, la fase di analisi di questo flusso di lavoro ha diversi passaggi critici. Innanzitutto, assicurarsi che il modello specifichi un set appropriato di effetti candidati, incluse le interazioni, anziché solo gli effetti principali (di primo ordine) dei fattori. In secondo luogo, utilizzare SVEM Forward Selection come framework di modellazione. In terzo luogo, disabilitare l'opzione predefinita No Intercept ed evitare di forzare gli effetti principali della miscela. Infine, impostare correttamente le funzioni di desiderabilità per le risposte prima di avviare l'ottimizzazione. Per gli utenti che non hanno accesso a SVEM, l'approccio migliore consiste nell'utilizzare la tradizionale selezione in avanti (targeting AICc minimo) per il problema di regressione12. Il protocollo menziona che è anche possibile utilizzare SVEM Lasso: in media, questo approccio fornisce risultati simili a SVEM Forward Selection, sebbene per particolari set di dati i due approcci possano produrre formulazioni ottimali leggermente diverse che potrebbero essere confrontate con le prove di conferma12. Tuttavia, SVEM Lasso darà risultati di modellazione inferiori se l'utente commette il facile errore di dimenticare di disabilitare l'opzione predefinita No Intercept 12: per questo motivo, abbiamo utilizzato SVEM Forward Selection come metodo predefinito, poiché è più robusto di questa opzione.

Il limite principale di questo metodo è che ci saranno studi occasionali con maggiore complessità che beneficeranno dell'aiuto di uno statistico per la progettazione e l'analisi. Situazioni in cui il budget di esecuzione è più limitato del solito (al di sotto dell'euristica minima), le risposte sono binarie, ci sono un gran numero di fattori categoriali o livelli di un singolo fattore categoriale, in cui un obiettivo della ricerca è quello di considerare l'eliminazione di uno o più fattori di miscela dalla ricetta, o dove ci sono vincoli aggiuntivi sullo spazio fattoriale possono essere affrontati in modo diverso da uno statistico, ad esempio utilizzando disegni12,28 ottimali o ibridi o aggiungendo una struttura aggiuntiva al progetto. In particolare, un progetto ibrido potrebbe essere formato creando un design che riempie lo spazio con la maggior parte delle esecuzioni preventivate e quindi "aumentando" il progetto con le restanti esecuzioni (di solito 2-4) utilizzando un criterio D-ottimale. Un altro approccio ibrido consiste nel generare un progetto di riempimento dello spazio sulla miscela (lipidi) e sui fattori continui (processo), e quindi aggiungere eventuali fattori categoriali utilizzando un'allocazione "ottimale" dei livelli dei fattori. Tuttavia, l'approccio semplificato di progettazione del riempimento dello spazio adottato nel protocollo è stato sviluppato negli ultimi anni nel processo di esecuzione di dozzine di esperimenti di ottimizzazione della formulazione LNP e riteniamo che offra un approccio robusto che funzionerà con successo nella maggior parte dei casi, dando anche agli scienziati fiducia nella loro capacità di utilizzare esperimenti progettati.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

La strategia di progettazione sperimentale alla base di questo flusso di lavoro è stata impiegata in due domande di brevetto in cui uno degli autori è un inventore. Inoltre, Adsurgo, LLC è un partner JMP certificato. Tuttavia, lo sviluppo e la pubblicazione di questo documento sono stati intrapresi senza alcuna forma di incentivo finanziario, incoraggiamento o altri incentivi da parte di JMP.

Acknowledgments

Siamo grati all'editore e ai referee anonimi per i suggerimenti che hanno migliorato l'articolo.

Materials

Name Company Catalog Number Comments
JMP Pro 17.1 JMP Statistical Discovery LLC

DOWNLOAD MATERIALS LIST

References

  1. Dolgin, E. Better lipids to power next generation of mRNA vaccines. Science. 376 (6594), 680-681 (2022).
  2. Hou, X., Zaks, T., Langer, R., Dong, Y. Lipid nanoparticles for mRNA delivery. Nature Reviews Materials. 6 (12), 1078-1094 (2021).
  3. Huang, X., et al. The landscape of mRNA nanomedicine. Nature Medicine. 28, 2273-2287 (2022).
  4. Rampado, R., Peer, D. Design of experiments in the optimization of nanoparticle-based drug delivery systems. Journal of Controlled Release. 358, 398-419 (2023).
  5. Kauffman, K. J., et al. Optimization of lipid nanoparticle formulations for mRNA delivery in vivo with fractional factorial and definitive screening designs. Nano Letters. 15, 7300-7306 (2015).
  6. Jones, B., Nachtsheim, C. J. A class of three-level designs for definitive screening in the presence of second-order effects. Journal of Quality Technology. 43, 1-15 (2011).
  7. Cornell, J. Experiments with Mixtures: Designs, Models, and the Analysis of Mixture Data. Wiley Series in Probability and Statistics. , Wiley. (2002).
  8. Jones, B. Proper and improper use of definitive screening designs (DSDs). JMP user Community. , https://community.jmp.com/t5/JMP-Blog/Proper-and-improper-use-of-Definitive-Screening-Designs-DSDs/bc-p/546773 (2016).
  9. Myers, R., Montgomery, D., Anderson-Cook, C. Response Surface Methodology. , Wiley. (2016).
  10. Lekivetz, R., Jones, B. Fast flexible space-filling designs for nonrectangular regions. Quality and Reliability Engineering International. 31, 829-837 (2015).
  11. Czitrom, V. One-factor-at-a-time versus designed experiments. The American Statistician. 53, 126-131 (1999).
  12. Karl, A., Wisnowski, J., Rushing, H. JMP Pro 17 remedies for practical struggles with mixture experiments. JMP Discovery Conference. , (2022).
  13. Lemkus, T., Gotwalt, C., Ramsey, P., Weese, M. L. Self-validated ensemble models for design of experiments. Chemometrics and Intelligent Laboratory Systems. 219, 104439 (2021).
  14. Gotwalt, C., Ramsey, P. Model validation strategies for designed experiments using bootstrapping techniques with applications to biopharmaceuticals. JMP Discovery Conference. , (2018).
  15. Xu, L., Gotwalt, C., Hong, Y., King, C. B., Meeker, W. Q. Applications of the fractional-random-weight bootstrap. The American Statistician. 74 (4), 345-358 (2020).
  16. Ramsey, P., Levin, W., Lemkus, T., Gotwalt, C. SVEM: A paradigm shift in design and analysis of experiments. JMP Discovery Conference Europe. , (2021).
  17. Ramsey, P., Gaudard, M., Levin, W. Accelerating innovation with space filling mixture designs, neural networks and SVEM. JMP Discovery Conference. , (2021).
  18. Lemkus, T. Self-Validated Ensemble modelling. Doctoral Dissertations. 2707. , https://scholars.unh.edu/dissertation/2707 (2022).
  19. Juran, J. M. Juran on Quality by Design: The New Steps for Planning Quality into Goods and Services. , Free Press. (1992).
  20. Yu, L. X., et al. Understanding pharmaceutical quality by design. The AAPS Journal. 16, 771 (2014).
  21. Simpson, J. R., Listak, C. M., Hutto, G. T. Guidelines for planning and evidence for assessing a well-designed experiment. Quality Engineering. 25, 333-355 (2013).
  22. Daniel, S., Kis, Z., Kontoravdi, C., Shah, N. Quality by design for enabling RNA platform production processes. Trends in Biotechnology. 40 (10), 1213-1228 (2022).
  23. Scheffé, H. Experiments with mixtures. Journal of the Royal Statistical Society Series B. 20, 344-360 (1958).
  24. Brown, L., Donev, A. N., Bissett, A. C. General blending models for data from mixture experiments. Technometrics. 57, 449-456 (2015).
  25. Herrera, M., Kim, J., Eygeris, Y., Jozic, A., Sahay, G. Illuminating endosomal escape of polymorphic lipid nanoparticles that boost mRNA delivery. Biomaterials Science. 9 (12), 4289-4300 (2021).
  26. Lemkus, T., Ramsey, P., Gotwalt, C., Weese, M. Self-validated ensemble models for design of experiments. ArXiv. , 2103.09303 (2021).
  27. Goos, P., Jones, B. Optimal Design of Experiments: A Case Study Approach. , John Wiley & Sons, Ltd. (2011).
  28. Rushing, H. DOE Gumbo: How hybrid and augmenting designs can lead to more effective design choices. JMP Discovery Conference. , (2020).

Tags

Questo mese su JoVE numero 198
Un flusso di lavoro per l'ottimizzazione della formulazione di nanoparticelle lipidiche (LNP) utilizzando esperimenti di processo di miscela progettati e modelli di ensemble autoconvalidati (SVEM)
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Karl, A. T., Essex, S., Wisnowski,More

Karl, A. T., Essex, S., Wisnowski, J., Rushing, H. A Workflow for Lipid Nanoparticle (LNP) Formulation Optimization using Designed Mixture-Process Experiments and Self-Validated Ensemble Models (SVEM). J. Vis. Exp. (198), e65200, doi:10.3791/65200 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter