Summary
이 프로토콜은 실험 설계 구성에서 주관적인 선택을 최소화하는 혼합물, 연속 및 범주형 연구 요인에 대한 제형 최적화에 대한 접근 방식을 제공합니다. 분석 단계에서는 효과적이고 사용하기 쉬운 모델링 피팅 절차가 사용됩니다.
Abstract
우리는 과학자들에게 접근 가능한 워크플로우를 제공하는 것을 목표로 지질 나노입자(LNP) 제형을 최적화하기 위한 QbD(Quality by Design) 스타일의 접근 방식을 제시합니다. 이온화 가능, 헬퍼 및 PEG 지질의 몰 비율이 최대 100%까지 합산되어야 하는 이러한 연구의 고유한 제한 사항은 이러한 혼합물 제약 조건을 수용하기 위해 전문화된 설계 및 분석 방법이 필요합니다. LNP 설계 최적화에 일반적으로 사용되는 지질 및 공정 요인에 초점을 맞추고, 공간 충진 설계를 채택하고 최근 개발된 자체 검증 앙상블 모델(SVEM)의 통계적 프레임워크를 활용하여 혼합물 공정 실험의 설계 및 분석에서 전통적으로 발생하는 많은 어려움을 피할 수 있는 단계를 제공합니다. 후보 최적 제형을 생성하는 것 외에도 워크플로는 결과 해석을 단순화하는 적합 통계 모델의 그래픽 요약을 작성합니다. 새로 확인된 후보 제형은 확인 실행으로 평가되며 선택적으로 보다 포괄적인 2상 연구의 맥락에서 수행될 수 있습니다.
Introduction
생체내 유전자 전달 시스템을 위한 지질 나노입자 (LNP) 제형은 일반적으로 이온화 가능, 헬퍼 및 PEG 지질 1,2,3의 범주로부터 4개의 구성 지질을 포함한다. 이들 지질이 단독으로 연구되든 다른 비혼합물 인자와 동시에 연구되든, 이들 제형에 대한 실험은 "혼합물" 설계를 필요로 하는데, 그 이유는 - 후보 제형이 주어지면 - 지질 중 어느 하나의 비율을 증가시키거나 감소시키는 것은 필연적으로 다른 3개의 지질의 비율의 합에서 상응하는 감소 또는 증가로 이어지기 때문이다.
예를 들어, 현재 벤치마크로 취급될 세트 레시피를 사용하는 LNP 제형을 최적화하고 있다고 가정합니다. 목표는 LNP의 효능을 최대화하는 동시에 이차적으로 평균 입자 크기를 최소화하는 것입니다. 실험에서 다양한 연구 요소는 4가지 구성 지질(이온화 가능, 콜레스테롤, DOPE, PEG)의 몰비, N:P 비율, 유속 및 이온화 가능한 지질 유형입니다. 이온화 가능한 지질(콜레스테롤 포함)은 PEG보다 더 넓은 범위의 몰비(10-60%)에 걸쳐 변할 수 있으며, 이는 이 그림에서 1-5%로 변할 것입니다. 벤치마크 제형 레시피와 다른 요인의 범위 및 반올림 세분성은 보충 파일 1에 명시되어 있습니다. 이 예에서 과학자들은 하루에 23번의 런(입자의 고유한 배치)을 수행할 수 있으며 최소 요구 사항을 충족하는 경우 이를 표본 크기로 사용하려고 합니다. 이 실험에 대한 시뮬레이션 결과는 보충 파일 2 및 보충 파일 3에 제공됩니다 .
Rampado와 Peer4는 나노 입자 기반 약물 전달 시스템의 최적화를 위해 설계된 실험 주제에 대한 최근 리뷰 논문을 발표했습니다. Kauffman et al.5은 부분 요인 및 확정 선별 설계를 사용하여 LNP 최적화 연구를 고려했습니다6; 그러나 이러한 유형의 설계는 비효율적인 "슬랙 변수"7를 사용하지 않고는 혼합물 제약조건을 수용할 수 없으며, 혼합물 계수가 존재할 때는 일반적으로 사용되지 않습니다7,8. 대신, 혼합물 제약 조건을 통합할 수 있는 "최적 설계"가 전통적으로 혼합물 공정 실험에 사용된다 9. 이러한 설계는 연구 요인의 사용자 지정 함수를 대상으로 하며 이 함수가 연구 요인과 반응 간의 실제 관계를 포착하는 경우에만 최적입니다(여러 가지 가능한 의미 중 하나에서). 텍스트에는 "최적 설계"와 "최적 제형 후보" 사이에 차이가 있으며, 후자는 통계 모델에 의해 식별된 최상의 제형을 나타냅니다. 최적 설계에는 혼합물 공정 실험에 대한 세 가지 주요 단점이 있습니다. 첫째, 과학자가 목표 모델을 지정할 때 연구 요인의 상호 작용을 예상하지 못하면 결과 모델이 편향되어 열등한 후보 공식을 생성할 수 있습니다. 둘째, 최적 설계는 대부분의 런을 요인 공간의 외부 경계에 배치합니다. LNP 연구에서는 입자가 지질 또는 공정 설정의 극단에서 올바르게 형성되지 않을 경우 많은 수의 실행 손실이 발생할 수 있습니다. 셋째, 과학자들은 종종 반응 표면에 대한 모델 독립적 감각을 얻고 요인 공간의 이전에 탐색되지 않은 영역에서 직접 프로세스를 관찰하기 위해 요인 공간의 내부에서 실험적 실행을 선호합니다.
대안적인 설계 원리는 공간 채우기 설계(10)를 사용하여 (혼합물 제약) 요인 공간의 근사치의 균일한 커버리지를 목표로 하는 것이다. 이러한 설계는 최적 설계9 에 비해 일부 실험 효율성을 희생하지만(전체 요인 공간이 유효한 공식으로 이어진다고 가정할 때), 이 응용 분야에서 유용한 몇 가지 이점을 절충한다. 공간 채우기 설계는 응답 표면의 구조에 대해 선험 적으로 가정하지 않습니다. 이를 통해 연구 요인 간의 예상치 못한 관계를 포착할 수 있는 유연성을 얻을 수 있습니다. 또한 원하는 실행 크기를 조정할 때 추가하거나 제거할 회귀 항을 결정할 필요가 없기 때문에 디자인 생성이 간소화됩니다. 일부 설계점(레시피)으로 인해 공식화가 실패하는 경우 공간 채우기 설계를 사용하면 연구 요인에 대한 고장 경계를 모형화하는 동시에 성공적인 요인 조합에 대한 연구 반응에 대한 통계 모형을 지원할 수 있습니다. 마지막으로, 요인 공간의 내부 커버리지는 반응 표면의 모델 독립적인 그래픽 탐색을 허용합니다.
혼합물 공정 실험의 혼합 계수 부분공간을 시각화하기 위해 특수 삼각형 "삼항 플롯"이 사용됩니다. 그림 1은 이러한 용도를 나타냅니다: 세 가지 성분이 각각 0에서 1 사이의 범위를 허용할 수 있는 점의 큐브에서 성분의 합이 1과 같다는 제약 조건을 만족하는 점이 빨간색으로 강조 표시됩니다. 세 가지 성분에 대한 혼합물 제약 조건은 실현 가능한 요인 공간을 삼각형으로 줄입니다. 4가지 혼합물 성분을 사용하는 LNP 응용 분야에서는 다른 지질의 합을 나타내는 "기타" 축에 대해 한 번에 2개의 지질을 플로팅하여 요인 공간을 나타내는 6개의 서로 다른 삼항 플롯을 생성합니다.
그림 1: 삼각 요인 영역. 정육면체 내의 공간 채우기 그림에서 작은 회색 점은 혼합물 구속조건과 일치하지 않는 공식을 나타냅니다. 더 큰 빨간색 점은 정육면체 내에 새겨진 삼각형에 있으며 혼합물 제약 조건이 충족되는 공식을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
지질 혼합물 요인 외에도 N:P 비율, 완충액 농도 또는 유속과 같은 하나 이상의 연속 공정 요인이 있는 경우가 많습니다. 범주형 인자는 이온화 가능한 지질 유형, 헬퍼 지질 유형, 또는 완충액 유형과 같은 존재할 수 있다. 목표는 생체 내 연구에서 효능의 일부 측정을 최대화하고 입자 크기 및 PDI(다분산 지수) 최소화, 캡슐화 비율 최대화 및 체중 감소와 같은 부작용 최소화와 같은 물리화학적 특성을 개선하는 제형(지질 및 공정 요인 설정의 혼합물)을 찾는 것입니다. 합리적인 벤치마크 레시피에서 시작하는 경우에도 유전자 페이로드의 변화를 감안할 때 또는 공정 요인 또는 지질 유형의 변화를 고려할 때 재최적화에 관심이 있을 수 있습니다.
Cornell7 은 혼합물 및 혼합물 공정 실험의 통계적 측면에 대한 명확한 텍스트를 제공하며, Myers et al.9 는 최적화를 위한 가장 관련성이 높은 혼합물 설계 및 분석 주제에 대한 훌륭한 요약을 제공합니다. 그러나 이러한 작업은 통계적 세부 사항과 전문 용어로 과학자들에게 과부하가 걸릴 수 있습니다. 실험 설계 및 분석을 위한 최신 소프트웨어는 관련 이론에 호소할 필요 없이 대부분의 LNP 최적화 문제를 충분히 지원할 수 있는 강력한 솔루션을 제공합니다. 더 복잡하거나 우선순위가 높은 연구도 통계학자와의 협력을 통해 이익을 얻을 수 있고 공간을 채우는 설계보다는 최적 설계를 사용할 수 있지만, 우리의 목표는 비효율적인 OFAT(one-factor-at-a-time) 테스트11 에 호소하거나 단순히 사양을 충족하는 첫 번째 공식에 안주하지 않고 과학자들의 편안함 수준을 개선하고 LNP 제형의 최적화를 장려하는 것입니다.
이 기사에서는 통계 소프트웨어를 활용하여 일반적인 LNP 배합 문제를 최적화하고 설계 및 분석 문제를 발생하는 순서대로 해결하는 워크플로우를 제공합니다. 실제로 이 방법은 일반적인 최적화 문제에 대해 작동하며 LNP에 국한되지 않습니다. 그 과정에서 발생하는 몇 가지 일반적인 질문이 해결되고 경험과 시뮬레이션 결과에 근거한 권장 사항이 제공됩니다12. 최근 개발된 자체 검증 앙상블 모델(SVEM)13 프레임워크는 혼합 공정 실험의 결과를 분석하는 취약한 접근 방식을 크게 개선했으며, 이 접근 방식을 사용하여 제형 최적화를 위한 단순화된 전략을 제공합니다. 워크플로우는 다른 소프트웨어 패키지를 사용하여 따를 수 있는 일반적인 방식으로 구성되지만, JMP 17 Pro는 혼합 공정 실험의 난해한 분석을 단순화하는 데 필요한 그래픽 요약 도구와 함께 SVEM을 제공한다는 점에서 독특합니다. 따라서 JMP 관련 지침도 프로토콜에 제공됩니다.
SVEM은 기존 접근 방식과 동일한 선형 회귀 모델 기반을 사용하지만, 전방 선택 또는 페널티 선택(올가미) 기본 접근 방식을 사용하여 후보 효과의 "전체 모델"을 맞추는 데 필요한 지루한 수정을 피할 수 있습니다. 또한 SVEM은 데이터에 나타나는 잡음(공정 및 분석 분산)을 통합할 가능성을 최소화하는 개선된 "축소 모형" 적합도를 제공합니다. 모델 13,14,15,16,17,18에서 각 실행의 상대적 중요도를 반복적으로 재가중하여 발생하는 예측된 모델의 평균을 구하는 방식으로 작동합니다. SVEM은 기존의 단발성 회귀 분석보다 구현하기 쉽고 더 나은 품질의 최적 제형 후보를 산출하는 혼합물 공정 실험을 모델링하기 위한 프레임워크를 제공합니다(12,13). SVEM의 수학적 세부 사항은 이 논문의 범위를 벗어나며, 관련 문헌 검토를 넘어서는 피상적인 요약조차도 이 응용 프로그램의 주요 이점인 실무자를 위한 간단하고 강력하며 정확한 클릭 투 런 절차를 허용합니다.
제시된 워크플로우는 의약품 개발에 대한 QbD(Quality by Design)19 접근법과 일치한다20. 이 연구의 결과는 재료 속성과 공정 매개변수를 중요한 품질 속성(CQA)21에 연결하는 기능적 관계에 대한 이해가 될 것입니다. Daniel et al.22 는 RNA 플랫폼 생산을 위해 특별히 QbD 프레임워크를 사용하는 것에 대해 논의합니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
대표 결과 섹션에 설명된 실험은 실험실 동물의 관리 및 사용 가이드에 따라 수행되었으며 절차는 IACUC(Institutional Animal Care and Use Committee)에서 수립한 지침에 따라 수행되었습니다. 6-8주령의 암컷 Balb/C 마우스를 상업적으로 입수하였다. 동물은 임의 표준 차우와 물을 받았고 40-60% 습도의 65-75°F(~18-23°C) 의 온도에서 12시간의 명암주기로 표준 조건에서 사육되었습니다.
1. 연구 목적, 반응 및 요인 기록
참고: 이 프로토콜 전체에서 JMP 17 Pro는 실험을 설계하고 분석하는 데 사용됩니다. 유사한 단계에 따라 동등한 소프트웨어를 사용할 수 있습니다. 섹션 1에서 수행된 모든 단계에 대한 예제 및 추가 지침은 보충 파일을 참조하십시오.
- 날짜가 찍힌 문서에 실험의 목적을 요약합니다.
- 실험 중에 측정할 1차 반응(CQA)을 나열합니다.
- 측정할 수 있는 2차 반응(예: 물리화학적 특성에 대한 다운스트림 제한)을 나열합니다.
- 연구 목적과 가장 관련이 있는 것을 포함하여 응답과 관련될 수 있는 프로세스 매개변수를 나열합니다.
- 연구가 여러 날에 걸쳐 실행되는 경우 일 범주형 "차단" 요인을 포함합니다.
참고: 이렇게 하면 공정 평균의 일별 이동이 연구 요인과 혼동되는 것을 방지하기 위해 여러 날에 걸쳐 요인 설정의 균형을 맞춥니다. - 연구 중에 변경할 요인과 일정하게 유지되는 요인을 선택합니다.
참고: 고장 모드 영향 분석20 과 같은 위험 우선 순위 지정 도구를 사용하여 가장 관련성이 높은 요인 하위 집합을 선택합니다(그림 2). 일반적으로 모든 지질은 다양해야 합니다. 예산이 제한된 일부 경우에는 PEG를 고정 비율로 잠그는 것이 합리적입니다. - 다양한 요인의 범위와 각각에 대한 관련 소수 정밀도를 설정합니다.
- 최소 및 최대 휴리스틱을 사용하여 연구 설계 크기(입자의 고유한 배치 수)를 결정합니다. 수동으로 포함된 제어 벤치마크 실행은 추론에서 권장하는 실행 크기에 포함되지 않습니다.
참고: 다음 추론에서는 응답이 연속적이라고 가정합니다. 최소 휴리스틱은 후보 최적 제형에 대한 확인 실행을 수행하는 것 외에도 필요한 경우 후속 연구를 수행할 수 있다고 가정합니다. 확인 실행만 수행할 수 있는 경우 최대 휴리스틱에서 얻은 실행 수에 대한 예산을 책정하는 것이 좋습니다. 이항 1차 반응의 경우 통계학자의 도움을 받아 적절한 런 수를 결정합니다.- 최소 휴리스틱: 혼합 요인당 3개의 런, 연속 공정 요인당 2개, 각 범주형 요인의 수준당 1개의 런을 할당합니다.
참고: 4개의 지질 요인, 2개의 연속 및 1개의 3원 범주형 공정 변수가 있는 연구의 경우 (3 x 4) + (2 x 2) + 3=19 공간 채우기 런이 제안됩니다. 일부 실행이 공식화 또는 측정 문제로 인해 실패할 가능성이 있는 경우 실행을 추가합니다. - 최대 휴리스틱: 최적의 설계를 구축하기 위한 소프트웨어를 실행하고 2차에 필요한 파라미터(주효과, 모든 효과 간의 양방향 교호작용, 연속 공정 요인에 대한 2차 효과 포함)를 입력합니다. 소프트웨어 알고리즘에 따라 최소 실행 크기를 계산합니다. 소프트웨어에서 얻은 결과에 1을 추가하여 최대 휴리스틱을 정의합니다.
참고: 보충 파일을 참조하십시오 file 이 단계를 수행하는 방법에 대한 자세한 지침은 1. 4개의 지질 요인(2개의 연속 및 1개의 3원 범주형 공정 변수)이 있는 샘플 케이스는 권장 실행 크기가 34(소프트웨어 권장 사항에서 33 + 1)로 이어집니다. 이를 초과하는 실행은 확인 또는 후속 연구에 더 잘 사용될 것입니다.
- 최소 휴리스틱: 혼합 요인당 3개의 런, 연속 공정 요인당 2개, 각 범주형 요인의 수준당 1개의 런을 할당합니다.
그림 2: 원인 및 결과 다이어그램 이 다이어그램은 LNP 배합 최적화 문제의 공통 요인을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
2. 공간을 채우는 디자인으로 디자인 테이블 만들기
- JMP를 열고 메뉴 모음에서 DOE > 특수 목적 > 공간 채우기 설계로 이동합니다.
- 연구 응답을 입력합니다( 보충 파일 1 참조).
- 선택 사항: 응답 추가를 클릭하여 각 응답을 최대화, 최소화 또는 타겟팅할지 여부를 나타내는 추가 응답에 대한 열을 추가합니다.
참고: 이러한 설정은 나중에 수정할 수 있으며 설계에 영향을 주지 않습니다. 마찬가지로, 설계 변수 테이블을 작성한 후 추가 응답을 위한 열을 추가할 수 있습니다. - 연구 요인과 해당 범위를 입력합니다. 혼합물(Mixture ) 버튼을 사용하여 혼합물 요인을 추가하거나, 연속형( Inutic ) 버튼을 사용하여 계량형 요인을 추가하거나, 범주형 버튼을 사용하여 범주형 요인을 추가합니다.
참고: 이 예시 연구는 그림 3에 설명된 요인과 범위를 사용하며, 여기에는 이온화 가능 몰비(0.1 및 0.6 사이), 도우미 몰비(0.1 및 0.6 사이), PEG 몰비(0.01 및 0.05) 및 이온화 가능한 지질 유형(H101, H102 또는 H103). - 설계에 대해 미리 결정된 런 수를 런 수 필드에 입력합니다.
- 선택 사항: Space Filling Design 헤더 옆의 빨간색 삼각형 메뉴와 Advanced Options 하위 메뉴를 통해 Average Cluster Size를 기본값인 50에서 2000으로 늘립니다.
참고: 이것은 추가 계산 시간을 희생하면서 약간 더 나은 설계 구성으로 이어질 수 있는 공간 채우기 알고리즘에 대한 설정입니다. - 선택한 요인과 런 크기에 대한 공간 채우기 설계 변수 테이블을 생성합니다. Fast Flexible Filling(빠른 유연한 채우기)을 클릭한 다음 Make Table(테이블 만들기)을 클릭합니다.
참고: 예제 설계의 처음 두 실행은 그림 4에 나와 있습니다. - 수동으로 만든 실행에 주석을 달기 위해 테이블에 Notes 열을 추가합니다. 첫 번째 빈 열 머리글을 두 번 클릭하여 열을 추가한 다음 새 열 머리글을 두 번 클릭하여 이름을 편집합니다.
- 해당되는 경우, 벤치마크 관리 실행을 설계 변수 테이블에 수동으로 통합합니다. 제어 벤치마크 중 하나에 대한 반복실험을 포함합니다. Notes 열에 벤치마크 이름을 표시하고 쉽게 그래프를 식별할 수 있도록 벤치마크 복제 행을 색상으로 구분합니다.
- 첫 번째 빈 행 머리글을 두 번 클릭하여 새 행을 추가하고 벤치마크 계수 설정을 입력합니다. 이 행을 복제하여 벤치마크의 복제본을 만듭니다. 두 행을 모두 강조 표시하고 Rows > Colors 로 이동하여 그래프 작성을 위한 색상을 할당합니다.
참고: 반복실험은 공정에 대한 모델 독립적 추정치와 분석적 분산을 제공하며 추가적인 그래픽 통찰력을 제공합니다.
- 첫 번째 빈 행 머리글을 두 번 클릭하여 새 행을 추가하고 벤치마크 계수 설정을 입력합니다. 이 행을 복제하여 벤치마크의 복제본을 만듭니다. 두 행을 모두 강조 표시하고 Rows > Colors 로 이동하여 그래프 작성을 위한 색상을 할당합니다.
- 벤치마크 관리 실행이 연구 요인의 범위를 초과하는 경우 향후 분석에서 제외할 수 있도록 "참고" 열에 이를 표시하십시오.
- 혼합물 계수를 적절한 입도로 반올림합니다. 이렇게하기 위해,
- 혼합 계수에 대한 열 머리글을 강조 표시하고 열 머리글 중 하나를 마우스 오른쪽 단추로 클릭한 다음 새 수식 열 > 반올림 변환...> 올바른 반올림 간격을 입력하고 확인을 클릭합니다.
- 행과 열 머리글의 교차점에 있는 아래쪽 삼각형을 클릭하여 행이 선택되지 않았는지 확인합니다.
- 새로 만든 둥근 열의 값을 복사(Ctrl + C)하고 원래 혼합 열에 붙여넣기(Ctrl + V)합니다. 마지막으로 임시 반올림 값 열을 삭제합니다.
- 지질 비율을 반올림한 후 혼합물 계수에 대한 열 머리글을 선택하고 하나를 마우스 오른쪽 단추로 클릭한 다음 새 수식 열 > 합계 결합으로 이동하여 합계가 100%인지 확인합니다> 행의 합이 1이 아닌 경우 혼합 요인 중 하나를 수동으로 조정하여 요인 설정이 요인 범위 내에 유지되도록 합니다. 조정이 완료된 후 합계 열을 삭제합니다.
- 혼합물 계수를 반올림하는 데 사용된 것과 동일한 절차에 따라 공정 계수를 각각의 입도로 반올림합니다.
- 원하는 소수점 이하 자릿수로 백분율로 표시되도록 lipid 열의 서식을 지정합니다(열 머리글을 선택하고 마우스 오른쪽 버튼을 클릭한 다음 Standardize Attributes...)을 선택합니다. 다음 창에서 Format(형식 )을 Percent (백분율)로 설정하고 필요에 따라 소수점 이하 자릿수를 조정합니다.
- 벤치마크와 같은 수동 실행이 추가되는 경우 테이블 행 순서를 다시 임의화합니다(마지막 열 머리글을 마우스 오른쪽 버튼으로 클릭하고 새 수식 열 > 임의 > 임의 정규 선택). 이 열의 머리글을 마우스 오른쪽 단추로 클릭하여 오름차순으로 정렬한 다음 열을 삭제합니다.
- 선택 사항: 실행 ID 열을 추가합니다. 테이블의 현재 날짜, 실험 이름 및 행 번호로 채웁니다.
참고: 예를 들어 (그림 5)를 참조하십시오. - 삼항 플롯을 생성하여 지질 계수에 대한 설계점을 시각화합니다(그림 6). 또한 공정 요인에 대한 런 분포를 조사합니다(그림 7): 그래프 > 삼항 플롯을 선택합니다. X, 플로팅에 대한 혼합 요인만 선택합니다.
- 공정 요인에 대한 분포를 조사하려면 분포 분석(Analyze > Distribution )을 선택하고 Y, 열에 공정 요인을 입력합니다.
참고: 배합 과학자는 모든 실행의 타당성을 확인해야 합니다. 실행 불가능한 실행이 있는 경우 새로 발견된 제약 조건을 고려하여 설계를 다시 시작합니다.
그림 3: 요인 및 범위 연구. 실험 소프트웨어 내의 설정 스크린샷은 스터디 설정을 재현하는 데 유용합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 공간 채우기 설계의 초기 출력. 표의 처음 두 행을 표시하면 설정을 원하는 정밀도로 반올림하는 동시에 지질의 합계가 1이 되도록 해야 합니다. 벤치마크가 테이블에 수동으로 추가되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: 서식이 지정된 스터디 테이블. 요인 수준이 반올림되고 서식이 지정되었으며 실행 ID 열이 추가되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 6: 삼항 그림의 설계점. 23가지 제형은 해당 이온화 가능, 도우미 및 "기타"(콜레스테롤+PEG) 비율의 함수로 표시됩니다. 중앙의 녹색 점은 이온화 가능(H101):콜레스테롤:도우미(DOPE):P EG의 벤치마크 33:33:33:1 몰비를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 7: 실험에서 비혼합물 공정 요인의 분포. 히스토그램은 이온화 가능한 지질 유형, N:P 비율 및 유속에 걸쳐 실험 실행의 간격을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
3. 실험 실행
- 설계 변수 테이블에 제공된 순서대로 실험을 실행합니다. 실험 테이블에 내장된 열에 판독값을 기록합니다.
- 동일한 제형 배치에서 동일한 반응에 대해 여러 분석이 수행되는 경우 각 배치 내에서 이러한 결과의 평균을 계산합니다. 각 분석 측정에 대한 컬럼을 표에 추가합니다.
- 평균을 구하려면 모든 관련 열을 선택하고 선택한 열 머리글 중 하나를 마우스 오른쪽 단추로 클릭한 다음 새 수식 열 > 평균 > 결합을 선택합니다. 향후 반응 분석을 위해 이 평균 열을 사용합니다.
참고: 레시피를 새로 시작하지 않고 반복적인 분석 측정은 분석 분산만 캡처하고 독립적인 반복을 구성하지 않습니다.
- 평균을 구하려면 모든 관련 열을 선택하고 선택한 열 머리글 중 하나를 마우스 오른쪽 단추로 클릭한 다음 새 수식 열 > 평균 > 결합을 선택합니다. 향후 반응 분석을 위해 이 평균 열을 사용합니다.
- 제형 침전 또는 생체 내 내약성 문제(예: 심각한 체중 감소 또는 사망)의 발생을 각 문제 유형에 대한 새 열에 이진(0/1) 표시기와 함께 문서화합니다.
4. 실험 결과 분석
- 판독값을 플로팅하고 반응의 분포를 조사합니다: 그래프 작성기> 열고 각 반응을 개별 플롯의 Y 영역으로 끌어옵니다. 모든 응답에 대해 이 작업을 반복합니다.
- 색으로 구분된 반복 실행 간의 상대적 거리(포함된 경우)를 검사합니다. 이를 통해 전체 요인 공간에서 요인 설정의 변화로 인한 변동성과 비교하여 벤치마크의 전체(공정 및 분석) 변동을 이해할 수 있습니다(그림 8).
- 원시 응답을 모델링해야 하는지 또는 변환을 대신 사용해야 하는지 여부를 결정합니다. 양성으로 제한되지만 위의 한계가 없는 반응(예: 효능)의 경우 정규 분포와 로그 정규 분포를 모두 실험 결과에 맞춥니다. 로그 정규 분포가 더 낮은 AICc(수정된 Akaike의 정보 기준)에 더 잘 맞으면 해당 응답의 로그 변환을 수행합니다.
- 분포 분석(Analyze > Distribution)으로 이동하고 Y, 열에 대한 반응을 선택합니다. 결과 분포 보고서에서 응답 이름 옆에 있는 빨간색 삼각형을 클릭하고 드롭다운 메뉴에서 연속 피팅 > 정규 피팅 및 연속 피팅 > 로그 정규 피팅을 선택합니다. 후속 분포 비교 보고서에서 AICc 값을 확인하여 어떤 분포가 반응에 더 적합한지 확인하십시오.
- 로그 변환을 수행하려면 응답 열 머리글을 마우스 오른쪽 단추로 클릭하고 새 수식 열 > 로그 > 로그를 선택합니다. 모델이 작성되고 로그 스케일의 예측 열이 저장되면 New Formula Column > Log > Exp를 선택하여 응답을 원래 스케일로 다시 변환합니다.
- 0과 1 사이의 경계를 이루는 비율 반응의 경우 정규 분포와 베타 분포의 적합도를 비교합니다. 베타 분포의 AICc가 더 낮으면 로짓 변환을 수행하십시오. 반응에 대한 분포 보고서에서 연속 적합 > 정상 적합 및 연속 적합 > 베타 적합을 선택합니다.
- 로짓 변환의 경우 데이터 테이블에서 응답 열 머리글을 마우스 오른쪽 단추로 클릭하고 새 수식 열 > 특수 > 로짓을 선택합니다. 모델 작성 후 예측 열을 저장합니다. 원래 척도로 되돌리려면 새 수식 열 > 특수 > 물류를 사용합니다.
참고: 회귀 기반 SVEM 분석은 반응 분포의 정규성을 벗어나는 데 강력합니다. 그러나 이러한 변환은 결과를 더 쉽게 해석하고 모델의 적합성을 향상시킬 수 있습니다.
- 로짓 변환의 경우 데이터 테이블에서 응답 열 머리글을 마우스 오른쪽 단추로 클릭하고 새 수식 열 > 특수 > 로짓을 선택합니다. 모델 작성 후 예측 열을 저장합니다. 원래 척도로 되돌리려면 새 수식 열 > 특수 > 물류를 사용합니다.
- 삼항 플롯에서 런을 그래프로 표시합니다. 반응(또는 변환이 적용된 경우 변환된 반응)에 따라 점을 색칠합니다: 그래프 > 삼항 플롯을 엽니다. X, 플로팅에 대한 혼합 요인만 선택합니다. 결과 그래프 중 하나를 마우스 오른쪽 버튼으로 클릭하고 Row Legend 를 선택한 다음 (변환된) 응답 열을 선택합니다.
참고: 반응에 따라 점을 채색하면 혼합 요인과 관련된 행동에 대한 모델 독립적인 시각적 관점을 얻을 수 있습니다. - 공간 채우기 설계에 의해 생성된 모델 스크립트를 삭제합니다.
- 연구 요인의 함수로 각 반응에 대한 독립 모형을 작성하고 각 반응에 대해 다음 단계를 반복합니다.
참고: 2차 이진 반응(예: 제형 실패 또는 마우스 사망)의 경우 이 반응도 모델링합니다. 목표 분포 설정을 정규 에서 이항으로 변경합니다. - 모든 후보 효과로 구성된 "전체" 모델을 구성합니다. 이 모형에는 각 요인의 주효과, 2차 및 3차 교호작용, 공정 요인의 2차 및 편 3차 항, 혼합 요인23,24에 대한 Scheffé 3차 항이 포함되어야 합니다.
참고: 각 반응에 대해 동일한 후보 효과 집합을 사용합니다. SVEM 모델 선택 기법은 각 반응에 대한 모델을 독립적으로 구체화하여 잠재적으로 각 반응에 대해 고유한 축소 모델을 생성합니다. 그림 9 는 이러한 후보 효과 중 일부를 보여 줍니다. 다음 하위 단계에서는 이 프로세스를 자세히 설명합니다.- 모형 분석(Analyze > Fit Model)을 선택합니다.
- 차단 요인(예: Day)이 다른 연구 요인과 상호 작용할 수 없는지 확인합니다. 차단 요소를 선택하고 추가를 클릭합니다. 후속 하위 단계에서 이러한 요소를 포함하지 마십시오.
참고: 차단 요인은 모형에서 고려하는 것이 중요하지만 차단 요인이 다른 연구 요인과 상호 작용하도록 허용해서는 안 됩니다. 차단 요인의 주요 목적은 실험의 변동성을 제어하고 실험의 민감도를 개선하는 것입니다. - 모든 연구 요소를 강조 표시하십시오. Degree 필드 값을 3으로 수정합니다(기본적으로 2로 설정됨). Factorial to Degree를 클릭합니다.
참고: 이 작업에는 모델의 2방향 및 3방향 상호 작용뿐만 아니라 주효과도 포함됩니다. - 선택 창에서 비혼합 계수만 선택합니다. 매크로(Macros) > 부분 입방체(Partial Cubic)를 클릭합니다.
참고: 이 작업은 연속 공정 요인에 대한 2차 효과와 모델의 다른 비혼합 요인과의 상호 작용을 도입합니다. - 선택 리스트에서 혼합 계수만 선택합니다. 매크로 > Scheffe Cubic을 클릭합니다. 기본 No Intercept 옵션을 비활성화합니다( 그림 9 참조).
참고: 모델에 절편을 포함하는 것은 올가미 방법을 사용할 때 필수적인 단계이며 전방 선택 컨텍스트에서도 유용합니다. SVEM 접근법과 같은 수정 없이 모든 혼합물 주효과와 동시에 절편을 맞추는 것은 일반 최소 제곱 회귀 절차(12)로는 실현 가능하지 않기 때문에 기존의 디폴트 설정 절편 없음(No Intercept)이 일반적으로 적용된다. - 반응 열 지정: 반응 열을 강조 표시하고 Y를 클릭합니다.
- 성격 설정을 일반화 회귀로 변경합니다. Distribution(분포)을 Normal(보통)로 설정된 상태로 유지합니다.
- Model Specification 옆에 있는 빨간색 삼각형 메뉴를 클릭하고 Save to Data Table을 선택하여 추가 응답에 사용할 수 있도록 이 모델 설정을 데이터 테이블에 저장합니다.
- 혼합 요인 주효과를 필수 포함 없이 축소 모형에 적합하도록 SVEM 전진 선택 방법을 적용하고 예측 공식 열을 데이터 테이블에 저장합니다.
- 모델 피팅(Fit Model) 대화상자에서 실행(Run)을 클릭합니다.
- 추정 방법으로 SVEM 전진 선택을 선택합니다.
- Advanced Controls > Force Terms 메뉴를 확장하고 혼합물의 주 효과와 관련된 상자를 선택 취소합니다. 인터셉트 용어 상자만 선택된 상태로 유지되어야 합니다. 그림 10은 주 효과가 강제로 적용되는 기본 설정을 보여줍니다. 이 단계에서는 모델이 전진 선택 절차에 따라 이러한 효과를 포함하거나 제외할 수 있도록 이러한 상자를 선택 취소해야 합니다.
- Go(이동)를 클릭하여 SVEM Forward Selection(SVEM 전달 선택) 절차를 실행합니다.
- SVEM 모형에서 예측된 반응으로 실제 반응을 플로팅하여 합리적인 예측 능력을 검증합니다. (그림 11). SVEM 전진 선택(SVEM Forward Selection ) 옆에 있는 빨간색 삼각형을 클릭하고 진단 플롯( Diagnostic Plot) > 예측된 실제 플롯(Plot actual by Predicted)을 선택합니다.
- SVEM 정방향 선택 옆에 있는 빨간색 삼각형을 클릭하고 열 저장 > 예측 수식 저장을 선택하여 데이터 테이블에 예측 수식이 포함된 새 열을 만듭니다.
- 선택 사항: SVEM 올가미 를 추정 방법으로 사용하여 위의 단계를 반복하여 후속 단계를 수행한 후 다른 최적의 레시피가 제안되는지 확인합니다. 그렇다면 두 레시피를 모두 확인 실행(섹션 5에서 설명)으로 실행하여 실제로12에서 가장 잘 수행되는 레시피를 확인합니다.
- 각 반응에 대해 모형 작성 단계를 반복합니다.
- 모든 응답에 대한 예측 열이 데이터 테이블에 저장되면 프로파일러 플랫폼을 사용하여 예측된 모든 응답 열에 대한 응답 추적을 그래프로 표시합니다. 그래프 > 프로파일러를 선택하고 Y, 예측 수식에 대해 이전 단계에서 만든 모든 예측 열을 선택한 다음 확인을 클릭합니다(그림 12).
- 후보 최적 제형을 식별합니다.
- 각 반응에 대해 "만족도 함수"를 정의하여 반응을 최대화, 최소화 또는 목표값과 일치시킬지 여부를 지정합니다. 1차 응답은 중요도 가중치 1.0을 사용하고 보조 응답은 중요도 가중치 0.2를 사용하도록 설정합니다. 예측 프로파일러(Prediction Profiler) 빨간색 삼각형 메뉴에서 최적화 및 만족도(Optimization and T바람직함) > 만족도 함수(Desirability Functions)를 선택한 다음 최적화 및 만족도(Optimization and T바람직함)> 선호도 설정(Set Desirabilities)을 선택합니다. 후속 창에 설정을 입력합니다.
참고: 중요한 가중치는 상대적이고 주관적이므로 합리적인 범위(예: 동일한 가중치에서 1:5 가중치로) 내에서 이러한 가중치의 변화에 대한 결합된 최적 가중치의 민감도를 확인하는 것이 좋습니다. - 프로파일러에 명령하여 만족도 함수를 최대화하는 최적의 요인 설정을 찾습니다(그림 12). 프로파일러에서 최적화 및 만족도 > 만족도 최대화를 선택합니다.
참고: 최적 후보에서 반응의 예측 값은 효능과 같은 오른쪽 치우친 반응의 값을 과대평가할 수 있습니다. 그러나 확인 실행은 이러한 후보 공식에 대한 보다 정확한 관찰을 제공합니다. 주요 목표는 최적의 제형 (최적의 레시피 설정)을 찾는 것입니다. - 최적 요인 설정을 기록하고 각 반응에 사용된 중요한 가중치를 기록하십시오. 예측 프로파일러(Prediction Profiler ) 메뉴에서 요인 설정 (Factor Settings) > 설정 기억(Remember Settings)을 선택합니다.
- 각 반응에 대해 "만족도 함수"를 정의하여 반응을 최대화, 최소화 또는 목표값과 일치시킬지 여부를 지정합니다. 1차 응답은 중요도 가중치 1.0을 사용하고 보조 응답은 중요도 가중치 0.2를 사용하도록 설정합니다. 예측 프로파일러(Prediction Profiler) 빨간색 삼각형 메뉴에서 최적화 및 만족도(Optimization and T바람직함) > 만족도 함수(Desirability Functions)를 선택한 다음 최적화 및 만족도(Optimization and T바람직함)> 선호도 설정(Set Desirabilities)을 선택합니다. 후속 창에 설정을 입력합니다.
- 선택 사항: 이온화 가능한 지질 유형과 같은 범주형 요인의 경우 각 요인 수준에 대해 조건부로 최적의 제형을 찾습니다.
- 먼저 프로파일러에서 원하는 인자 수준을 설정한 다음 Ctrl 키를 누른 채 해당 인자의 그래프 내부를 마우스 왼쪽 버튼으로 클릭하고 인자 잠금 설정을 선택합니다. 최적화 및 만족도(Optimization and T바람직성) > 만족도 최대화(Maximize T바람직성)를 선택하여 이 요인이 현재 설정에서 잠긴 조건부 최적값을 찾습니다.
- 계속하기 전에 요인 설정을 잠그는 데 사용된 것과 동일한 메뉴를 사용하여 요인 설정의 잠금을 해제합니다.
- 응답 변수의 중요도 가중치를 조정한 후(최적화 및 만족도 > 만족도 설정 사용), 1차 반응만 최적화하거나 일부 2차 응답의 중요도 가중치를 더 많거나 적게 설정하거나 2차 응답의 목표를 없음 으로 설정한 후 최적화 프로세스를 반복합니다(그림 13).
- 새로운 최적 후보를 기록합니다(예측 프로파일러 메뉴에서 요인 설정 > 설정 기억 선택).
- 요인 공간의 최적 영역에 대한 그래픽 요약 생성: 허용된 요인 공간 내에서 임의로 생성된 요인 설정으로 채워진 50,000개의 행이 있는 데이터 테이블을 각 반응에 대한 축소 모형의 해당 예측 값 및 결합 만족도 함수와 함께 생성합니다.
- 프로파일러에서 Output Random Table(랜덤 테이블 출력)을 선택합니다. How many runs to simulate?를 50,000으로 설정하고 OK 를 클릭합니다.
참고: 이렇게 하면 50,000개의 공식 각각에서 반응의 예측 값이 포함된 새 테이블이 생성됩니다. 만족도 열은 출력 랜덤 테이블 옵션을 선택할 때 적용되는 응답의 중요도 가중치에 따라 달라집니다. - 새로 만든 테이블에서 만족도 열의 백분위수를 계산하는 새 열을 추가합니다. 삼항 플롯에서 원시 Desirability 열 대신 이 백분위수 열을 사용합니다. 만족도 열 머리글을 마우스 오른쪽 단추로 클릭하고 새 수식 열 > 분포 > 누적 확률을 선택하여 새 누적 확률[만족도] 열을 만듭니다.
- 다음 단계에서 설명하는 그래픽을 생성합니다. 각 반응과 누적 확률[Desirability] 열에 대한 예측을 표시하기 위해 그래픽의 색 구성표를 반복적으로 변경합니다.
- 4개의 지질 인자에 대한 삼항 플롯을 구성합니다. 표에서 그래프 > 삼항 그림으로 이동하여 X, 플로팅에 대한 혼합 요인을 선택하고 확인을 클릭합니다. 결과 그래프 중 하나를 마우스 오른쪽 단추로 클릭하고 행 범례를 선택한 다음 예측 반응 열을 선택합니다. 색상 드롭다운을 Jet로 변경합니다.
참고: 이것은 지질 인자와 관련하여 최고 및 최악의 성능 영역을 표시합니다. 그림 14 는 효능 최대화(중요도=1) 및 크기 최소화(중요도=0.2)를 고려할 때 접합 만족도의 백분위수를 보여주며, 삼항 플롯 축에 표시되지 않은 요인에 대한 평균을 구합니다. 그림 15 는 원시 예측 크기를 보여줍니다. 또한 이러한 그래프를 다른 요인에 따라 조건부로 분류하는 것이 합리적입니다(예: 로컬 데이터 필터(삼항 플롯 옆의 빨간색 삼각형 메뉴에서 사용 가능)를 사용하여 각 이온화 가능한 지질 유형에 대해 고유한 삼 항 플롯 세트를 만드는 것과 같습니다. - 마찬가지로, 그래프 > 그래프 빌더 를 사용하여 비혼합물 공정 요인에 대해 50,000개의 색으로 구분된 점(고유한 공식을 나타냄)을 개별적으로 또는 공동으로 플로팅하고 반응과 요인 간의 관계를 검색합니다. 가장 높은 만족도를 산출하는 요인 설정을 찾습니다. 그래픽에서 다양한 요소 조합을 탐색합니다.
참고: 그래프를 색칠할 때는 누적 확률[바람직성] 을 사용하지만, 공정 요인에 대해 세로 축에 만족도를 그릴 때는 원시 만족도 열을 사용합니다. 만족도 열은 그래프 > 산점도 3D 시각화의 축에 다변량 탐색을 위한 두 개의 다른 프로세스 요소와 함께 배치할 수도 있습니다. 도 16 은 3개의 이온화가능한 지질 유형 각각으로 형성될 수 있는 모든 제형의 접합 바람직함을 보여준다. 가장 바람직한 제형은 H102를 사용하며 H101은 잠재적으로 경쟁력 있는 대안을 제공합니다. - 프로파일러와 프로파일러에 저장된 세팅을 데이터 테이블에 다시 저장합니다. Profiler 옆에 있는 빨간색 삼각형을 클릭하고 Save Script > To Data Table...을 선택합니다.
- 프로파일러에서 Output Random Table(랜덤 테이블 출력)을 선택합니다. How many runs to simulate?를 50,000으로 설정하고 OK 를 클릭합니다.
그림 8: 실험에서 관찰된 효능 판독값. 점은 23회 실행에서 관찰된 효능 값을 보여줍니다. 복제된 벤치마크 실행은 녹색으로 표시됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 9: 해석을 시작하기 위한 소프트웨어 대화 상자. 후보 효과가 목표 효능 반응과 함께 입력되었으며 절편 없음 옵션이 선택 취소되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 10. SVEM 옵션을 지정하기 위한 추가 대화 상자입니다. 기본적으로 지질 주효과는 모형에 강제됩니다. 인터셉트가 포함되어 있기 때문에 효과를 강제하지 않도록 이 상자를 선택 취소하는 것이 좋습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 11: 예측된 플롯에 의한 실제. 이 그림은 SVEM 모델에 의해 각 제형에 대해 예측된 값에 대해 관찰된 효능을 표시합니다. 상관 관계가 이 예에서처럼 강할 필요는 없지만 최소한 중간 정도의 상관 관계를 확인하고 이상값을 확인해야 합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 12: 예측 프로파일러Figure 12: Prediction profiler. 그래프의 위쪽 두 행은 최적의 공식(SVEM 접근법으로 식별됨)에서 예측된 반응 함수의 슬라이스를 보여줍니다. 그래프의 맨 아래 행은 제형의 가중 "바람직함"을 보여주며, 이는 효능이 최대화되어야 하고 크기가 최소화되어야 함을 보여주는 그래프의 마지막 열의 함수입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 13: SVEM-Forward Selection의 세 가지 최적 제형 후보. 반응의 상대적 중요도 가중치를 변경하면 다른 최적 공식이 도출될 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 14: 만족도의 백분위수에 대한 삼항 플롯. 이 플롯은 바람직 함의 백분위 수로 색상으로 구분 된 50,000 개의 제형을 보여 주며, 여기서 바람직 함은 효능을 최대화하기 위해 1.0의 중요도 가중치로 설정되고 크기를 최소화하기 위해 0.2로 설정되며, 이 플롯은 제형의 최적 영역이 이온화 가능한 지질의 낮은 비율과 PEG의 높은 백분율로 구성됨을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 15: 예측된 크기에 대한 삼항 그림. 이 그림은 50,000개 제형 각각에 대한 SVEM 모형의 크기 예측값을 보여줍니다. 크기는 도우미 지질의 비율이 높을수록 최소화되고 도우미 비율이 낮을수록 최대화됩니다. 다른 요인은 50,000개의 플롯된 공식에 따라 자유롭게 다르기 때문에 이는 이 관계가 다른 요인(PEG, 유속 등)의 범위에 걸쳐 유지됨을 의미합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 16: 세 가지 다른 이온화 가능한 지질 유형을 포함하는 제형의 바람직함에 대한 바이올린 플롯. 50,000개 포인트 각각은 허용된 요인 공간 전체에서 고유한 공식을 나타냅니다. 이러한 분포의 봉우리는 예측 프로파일러를 사용하여 분석적으로 계산되는 만족도의 최대값입니다. H102는 가장 큰 피크를 가지므로 최적의 제형을 생성합니다. 이 출력을 생성하는 모델을 구축하기 위한 SVEM 접근 방식은 통계적으로 유의하지 않은 요인을 자동으로 필터링합니다. 이 그래프의 목적은 요인 수준 전반에 걸쳐 실질적인 유의성을 고려하는 것입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
5. 확인 실행
- 이전에 식별된 최적의 후보를 나열하는 표를 준비합니다(그림 17).
참고: 그림 17의 True Potency 및 True Size 값은 시뮬레이션된 생성 함수를 사용하여 채워집니다. 실제로 이러한 레시피의 성능을 공식화한 다음 측정하여 얻을 수 있습니다.- 공식화되고 측정될 후보 실행 집합과 함께 벤치마크 제어를 포함합니다.
- 실험에서 나온 제형 중 하나라도 벤치마크를 능가하여 바람직한 결과를 산출하는 것으로 밝혀지면 후보 테이블에 추가할 최상의 제형을 선택하고 새 제형과 함께 다시 테스트합니다.
참고: 원하는 실행을 후보 테이블에 수동으로 추가하거나, 이전 실험에서 실행한 경우 프로파일러 창의 기억된 설정을 사용합니다. 실행의 행 번호를 식별하고, 예측 프로파일러 > 요인 설정 > 행의 데이터로 설정됨으로 이동하여 행 번호를 입력합니다. 그런 다음 예측 프로파일러 > 요인 설정 > 설정 기억 을 선택하고 적절하게 레이블을 지정합니다(예: "벤치마크" 또는 "이전 실험에서 가장 잘 실행"). - 프로파일러에서 기억된 세팅(Remembered Settings ) 테이블을 우클릭하고 데이터 테이블로 만들기(Make into Data Table) 를 선택합니다.
참고: 연구의 우선 순위와 예산에 따라, 특히 벤치마크를 대체하는 경우 각 확인 실행에 대해 반복실험을 실행하는 것이 좋습니다. 순위를 매기기 위해 평균 결과를 사용하여 각 공식을 두 번 만들고 분석합니다. 두 반복실험에 걸쳐 반응 범위가 넓은 후보는 공정 분산이 높다는 것을 나타낼 수 있으므로 주의해야 합니다. - 예산 제약으로 인해 필요한 경우 실험 예산과 일치하거나 중복 후보를 제거하기 위해 식별된 후보 중에서 다운셀렉트합니다.
- 확인 실행을 수행합니다. 공식을 구성하고 판독값을 수집합니다.
- 원래 실험의 결과와 벤치마크 또는 기타 반복되는 레시피에 대한 확인 배치의 결과 간에 일관성이 있는지 확인합니다. 예기치 않은 대규모 이동이 있는 경우 이동에 기여했을 수 있는 항목과 확인 일괄 처리의 모든 실행이 영향을 받았을 가능성이 있는지 고려합니다.
- 후보 최적 제형의 성능을 비교한다. 새로운 후보자가 벤치마크를 능가하는지 알아보십시오.
- 선택 사항: 확인 실행 결과를 실험 테이블에 추가하고 섹션 4의 분석을 다시 실행합니다.
참고: 워크플로의 다음 단계에서는 원하는 경우 이러한 실행과 함께 후속 연구를 구성하기 위한 지침을 제공합니다.
그림 17: 확인 실행으로 실행할 10개의 최적 후보 표. True Potency 및 True Size는 시뮬레이션 생성 기능에서 채워졌습니다(추가 프로세스 또는 분석 변형 없음). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
6. 선택 사항: 확인 실행과 동시에 실행할 후속 연구 설계
- 다음 기준을 고려하여 후속 연구의 필요성을 평가합니다.
- 최적의 공식이 요인 경계 중 하나를 따라 놓여 있는지, 그리고 요인 범위 중 하나 이상을 확장하기 위해 두 번째 실험이 필요한지 여부를 확인합니다.
- 초기 실험에서 상대적으로 작은 런 크기 또는 상대적으로 큰 요인 범위를 사용했는지, 그리고 추가 런 및 업데이트된 분석을 통해 식별된 최적 영역을 "확대"해야 하는지 평가합니다.
- 추가 요소가 도입되고 있는지 확인하십시오. 이것은 추가 이온화 가능한 지질과 같은 범주형 인자의 수준 또는 초기 연구에서 일정하게 유지된 인자(예: 완충액 농도)일 수 있습니다.
- 위의 조건 중 어느 것도 충족되지 않으면 7단계로 진행합니다.
- 확인 실행과 동시에 수행할 추가 실험 실행을 준비합니다.
- 요인 한계를 정의하여 초기 연구의 영역과 부분적으로 겹치도록 합니다. 겹치는 부분이 없으면 새 스터디를 설계해야 합니다.
- 공간을 채우는 설계로 새로운 실험 런을 개발합니다. DOE > 특수 목적 > 공간 채우기 설계를 선택합니다.
참고: 고급 사용자의 경우 DOE > Custom Design을 통해 D-최적 설계를 고려하십시오. - 공간 채우기 런이 생성된 후 새 요인 공간 내에 있는 원래 실험의 런 2개 또는 3개를 수동으로 통합합니다. 섹션 2에 설명된 단계를 사용하여 실험 테이블 내에서 이러한 런을 랜덤하게 분배하여 행을 추가한 다음 행 순서를 랜덤화합니다.
참고: 이는 블록 간 응답 평균의 이동을 추정하는 데 사용됩니다. - 확인 실행과 새 공백 채우기 실행을 단일 테이블로 연결하고 실행 순서를 임의로 지정합니다. 테이블 > 연결을 사용한 다음, 섹션 2에 설명된 대로 새 임의 열을 만들고 정렬하여 실행 순서를 임의로 지정합니다.
- 새로운 레시피를 공식화하고 결과를 수집하십시오.
- 새 실험 실행 및 결과를 원래 실험 데이터 테이블에 연결하고 각 결과의 출처를 나타내는 실험 ID 열을 도입합니다. 테이블 > 연결을 사용하고 원본 열 만들기 옵션을 선택합니다.
- 각 요인의 컬럼 속성이 두 스터디에 대해 결합된 범위를 표시하는지 확인합니다. 각 요인의 컬럼 머리글을 마우스 오른쪽 버튼으로 클릭하고 코딩 및 혼합물 속성 범위(있는 경우)를 검토합니다.
- 새 실험 결과의 분석을 시작합니다.
- 실험 ID 열을 차단 요인으로 사용할 항으로 모형에 포함합니다. 이 항이 연구 요인과 상호 작용하지 않는지 확인하십시오. 섹션 4의 표에 저장된 Fit Model 대화 상자 스크립트를 실행하고, 실험 ID 열을 선택하고, 추가를 클릭하여 후보 효과 목록에 포함합니다.
- 연결된 데이터 테이블에서 이 모형 적합 대화상자를 실행하여 새 실험과 초기 스터디의 결과를 공동으로 분석합니다. 이전 지침을 준수하여 업데이트된 최적 제형 후보 및 그래픽 요약을 생성합니다.
- 검증을 위해 초기 실험의 결과를 제외하고 새 실험의 결과를 독립적으로 분석합니다. 즉, 새로운 실험표에서 섹션 4에 설명된 단계를 수행한다.
- 이러한 모델로 식별된 최적의 제형이 관절 분석에서 인식된 제형과 밀접하게 일치하는지 확인합니다.
- 그래픽 요약을 검토하여 새로운 실험 결과의 공동 분석과 개별 분석이 모두 유사한 반응 표면 거동을 나타내는지 확인합니다(반응과 요인 간에 유사한 관계가 있음을 의미).
- 일관성을 위해 새로운 결과의 결합 분석과 개별 분석을 초기 실험과 비교합니다. 비교를 위해 유사한 그래프 구조를 사용하고 차이에 대해 식별된 최적의 레시피를 조사합니다.
7. 연구의 최종 과학적 결론 문서화
- 연구로 인해 벤치마크 관리가 새로 식별된 레시피로 변경되는 경우 새 설정을 기록하고 원점을 기록하는 설계 및 분석 파일을 지정합니다.
- 나중에 참조할 수 있도록 모든 실험 테이블과 분석 요약을 가급적이면 날짜가 찍힌 파일 이름으로 유지합니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
이 접근법은 광범위하게 분류된 지질 유형인 MC3 유사 고전적 지질 및 일반적으로 조합 화학에서 파생된 지질(예: C12-200)에 걸쳐 검증되었습니다. OFAT(One Factor at a Time) 분석법을 사용하여 개발된 벤치마크 LNP 제형과 비교했을 때, 당사의 워크플로우를 통해 생성된 후보 제형은 그림 18의 마우스 간 루시페라아제 판독값에 표시된 것과 같이 로그 척도에서 4-5배의 효능 향상을 자주 보여줍니다. 표 1 은 두 가지 최적화 단계(초기 연구 및 후속 연구)에 걸쳐 벤치마크 대조군 성능을 통해 관찰된 마우스 간 루시페라아제 발현의 상응하는 향상을 보여줍니다. 첫 번째 단계에서는 다른 요인을 일정하게 유지하면서 지질 비율을 최적화하는 데 중점을 두었습니다. 후속 연구에서는 추가적인 헬퍼 지질 유형을 도입하고 지질 비율 구성과 헬퍼 지질 유형을 모두 고려하여 최적화를 수행했습니다. 결과적으로, 새로 도입된 헬퍼 지질 유형이 관련된 최적화된 지질 조성물과 함께 사용되도록 선택되었습니다. 효능의 현저한 향상은 이러한 최적화된 조성물이 우수한 엔도솜 탈출 능력을 나타낼 수 있음을 시사한다25.
시뮬레이션을 사용하여 이 절차에서 생성된 최적 후보의 예상 품질을 표시할 수 있습니다. 프로토콜에 사용된 예제 실험의 프레임워크 내에서 다양한 실행 크기에 대해 시뮬레이션을 여러 번 반복하고 시뮬레이션된 프로세스 생성 기능에 따라 결과를 평가할 수 있습니다. 이를 위한 JMP 스크립트는 보충 파일 4에 나와 있습니다. 특히, 공간 채우기 설계가 생성되었고 응답 열은 생성기 함수의 값과 분석 및 공정 변동을 나타내는 노이즈로 채워졌습니다. 이러한 시뮬레이션된 응답을 다양한 분석 기술(SVEM 전방 선택 포함)에 맞춰 해당 후보 최적 레시피를 생성합니다. 그런 다음 각 분석 방법의 후보를 생성 함수의 실제 최적 값과 비교합니다. 그림 19는 수평축에 주어진 크기의 공간 채우기 설계를 사용하여 세 가지 분석 방법 각각에 의해 달성된 최대 이론적 응답의 평균 백분율을 보여줍니다. 모든 후보 효과를 포함하고 해당 효과의 통계적 유의성에 따라 모형을 축소하지 않는 전체 모형은 최악의 결과를 보입니다. 전통적으로 혼합 공정 실험에 회귀 모델을 맞추기 위해 수행되는 추가 작업의 대부분은 이전체 모델을 맞추는 데 필요한 수정(절편 제거, 혼합물 주효과 강제, 순수 2차 혼합 효과의 사용 배제 등)을 포함하며9, 이러한 관점에서 이러한 절차는 불필요하다12. 또한 설계 크기가 모형의 효과 수에 도달할 때까지 이 모형을 적합할 수 없습니다. 더 작은 실험 크기에서는 각각의 고정된 실험 크기에 대한 최적 후보 제형의 평균 성능과 관련하여 전체 모델을 능가하는 전통적인 순방향 선택 방법을 적합할 수 있습니다. 마찬가지로, 이 순방향 선택 접근 방식에 대한 SVEM 수정은 최적 후보의 성능을 더욱 향상시킵니다. 이 플롯은 SVEM-전진 선택12,13을 사용하여 24회 런 공간 채우기 실험을 분석하면 기존의 전방 선택(최소 AICc 타겟팅) 모델로 분석할 때 일반적으로 50회 런이 필요한 동일한 평균 품질을 달성한다는 것을 보여줍니다. 실제 성능은 공정마다 다르지만, SVEM 12,13,16,17,26에 발표된 결과와 함께 이 시뮬레이션은 제형 최적화를 위한 이 모델링 절차의 잠재력을 보여줍니다.
그림 18: 두 차례의 실험 후 간 루시페라아제 발현 개선. 라운드 0은 벤치마크 제형에 대한 간 루시페라아제 판독값을 보여줍니다. 라운드 1은 LNP 구성 지질 몰비를 최적화하는 첫 번째 실험 후 간 루시페라아제 판독값을 보여줍니다. 라운드 2는 두 번째 실험 후 간 루시페라아제 판독값을 보여주며, 이는 구성 몰 비율을 더욱 최적화하는 동시에 추가 보조 지질 유형을 고려합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 19: 실험 크기 및 통계 모델의 함수로서의 최적 제형의 품질. 세로축은 이론상 최대값 만족도의 백분율을 나타내고 가로축은 공간 채우기 설계의 크기를 나타냅니다. 각 점은 150개 이상의 시뮬레이션에 대한 평균을 보여줍니다. 파란색 선(삼각형)은 전체 모델(통계적으로 유의하지 않은 효과를 제거하지 않음)을 나타내고, 황색(원) 선은 기존 AICc 기반 전방 선택 모델(절편 및 혼합 주효과를 강제하지 않음)을 나타내고, 녹색 선(거꾸로 된 삼각형)은 SVEM 기반 전방 선택 모델(절편 및 혼합 주효과를 강제하지 않음)을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 둥근 | 파티클 ID | 간에서의 루시페라아제 발현 (photon/sec) |
| 0 | 제어 벤치마크 | 8.E+06 |
| 1 | 지질 비율에 최적화 | 2.E+09 |
| 2 | Lipid Ratios 및 Helper Lipid Type에 최적화 | 8.E+10 |
표 1: DOE(Design of Experiment) 최적화를 통한 루시페라아제 발현의 체계적인 개선. 이 표는 초기 벤치마크에서 최종 "최적 후보"까지 광자/초 척도에서 최대 10,000배 개선된 루시페라아제 발현의 상당한 향상을 보여줍니다.
보충 파일 1: 04APR2023 요약.docx - 이 문서는 목적, 평가된 응답, 고려된 요인 및 실행된 총 실행 수를 포함한 연구 기록을 제공합니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 2: 23_run_simulated_experiment.jmp - 시뮬레이션된 실험과 그 결과가 포함된 JMP 파일입니다. 이 파일에는 JMP 17 Pro와 호환되는 분석 스크립트가 첨부되어 있습니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 3: 23_run_simulated_experiment.xlsx - 시뮬레이션된 실험과 그 결과가 포함된 Excel 파일로, JMP에 액세스할 수 없는 독자에게 적합합니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 4: 혼합물 시뮬레이션 20DEC22.jsl - LNP 배합 실험을 시뮬레이션하고 다양한 분석 방법의 성능을 평가하는 데 사용되는 JMP 17 Pro 스크립트입니다. 이 스크립트는 이 워크플로우에서 사용되는 주요 분석 방법인 SVEM-Forward Selection(절편 없음) 접근 방식을 사용합니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
혼합물 공정 실험의 설계 및 분석을 위한 최신 소프트웨어를 통해 과학자들은 비효율적인 OFAT 실험을 피하는 구조화된 워크플로우에서 지질 나노입자 제형을 개선할 수 있습니다. 최근에 개발된 SVEM 모델링 접근 방식은 이전에 불필요한 통계적 고려 사항으로 과학자들의 주의를 산만하게 했을 수 있는 많은 난해한 회귀 수정 및 모델 축소 전략을 제거합니다. 일단 결과가 수집되면, SVEM 분석 프레임워크는 구현하기 더 쉬우며 전통적인 모델링 접근법보다 더 나은 모델을 생성하는 경향이 있는 접근법을 제공한다13. 또한 각 반응에 대한 예측 공식을 기반으로 하는 그래픽 분석은 과학자들이 쉽게 해석할 수 있으며, 회귀 모델에서 상관관계가 높은 매개변수 추정치를 해석할 필요 없이 개별 요인 및 소규모 요인 그룹에 대한 반응의 한계 거동에 대한 명확한 요약을 제공합니다. 이를 통해 과학자들은 SVEM이 통계적으로 유의하지 않은 영향을 자동으로 제거한 후 연구 요인 전반에 걸쳐 실질적인 중요성을 평가하는 데 집중할 수 있습니다.
워크플로우는 최적화를 위해 N/P 비율, 유속 및 혼합 비율과 같은 지질 조성 및 제형 파라미터를 체계적으로 변화시키고 최상의 보조 지질 유형, 이온화 가능한 지질 유형 및 완충액 유형을 선택하는 데 실제로 사용되었습니다. 이러한 예의 목표는 일반적으로 생체 내 또는 체외 효능을 극대화하고 간 세포와 같은 관련 생체 내 표적을 위해 mRNA 또는 DNA와 같은 다양한 페이로드를 캡슐화하는 것을 포함하며, 때로는 시험관 내 응용 프로그램의 경우 여러 세포 유형에 걸쳐 캡슐화하는 것입니다. 특정 응용 분야의 경우 생체 내 효능을 조사하는 동안 크기, PDI, 제타 전위 및 캡슐화 비율과 같은 생물물리학적 특성의 균형을 맞춰야 할 수 있습니다. 또한 목표는 강력하면서도 내약성이 좋은 제형을 찾는 것이므로 체중 변화, 사이토카인 반응 또는 AST/ALT와 같은 간 효소 유도와 같은 반응을 분석에 포함할 수 있습니다. 수많은 LNP 실험에서 패턴이 나타났습니다. 특히, 이온화 가능한 지질의 몰비와 N/P 비율의 변화는 RNA 캡슐화에 상당한 영향을 미치는 것으로 보입니다. 또한, PEG 몰비의 변화는 크기 및 PDI에 대한 영향으로 표시되는 바와 같이 입자 안정성에 영향을 미치는 것으로 보입니다. 일반적으로, LNP 코어에서 PEG의 과잉은 마우스의 효능에 해로운 영향을 미치는 경향이 있다.
성능 향상은 하나 이상의 반응이 타겟팅 될 때 특히 두드러집니다 : 벤치 마크가 이미 1 차 반응 (예 : 효능)과 관련하여 잘 수행되더라도 관절 최적화는 일반적으로 1 차 반응에 대한 행동을 유지하거나 개선하는 동시에 다른 반응에 대한 행동을 개선합니다 (PDI, 크기 또는 체중 감소 최소화). 우리는 확인 실행을 통해 이러한 개선 사항의 신뢰성을 검증하며, 여기서 벤치마크 공식(복제가 가능할 수 있음)과 새로운 후보 공식을 준비하고 직접 비교합니다.
이 워크플로의 디자인 단계에는 몇 가지 중요한 단계가 있습니다. 먼저, 요인과 그 범위가 공간 채우기 설계 플랫폼에 올바르게 입력되었는지 확인하십시오. 둘째, 실험을 시작하기 전에 그래픽과 주제 지식을 사용하여 각 결과 제형의 타당성을 확인합니다. 마지막으로, 설계 변수 테이블에 지정된 랜덤 순서에 따라 실험을 실행합니다. 이 순서를 준수하면 측정되지 않은 공변량(예: 제형 생산 순서 또는 주변 온도)이 연구 중인 요인을 혼동하는 것을 방지하는 데 도움이 됩니다. 공간 채우기 설계는 시공이 더 쉬우며, 경험이 없는 사용자를 좌절시키고 설계된 실험을 사용하지 못하게 할 수 있는 설정 중에 추가 결정이 필요한 최적의 혼합 공정 설계보다 사용자 오류 가능성이 적습니다. 그럼에도 불구하고, 이 프로토콜을 통해 작업한 후, 과학자들은 Goos and Jones (2011)27의 6장에 설명된 것과 같이 최적의 설계가 프로토콜에서 공간 채우기 설계를 잠재적으로 대체할 수 있는 방법에 대한 추가 읽기를 통해 이점을 얻을 수 있습니다. 특히 혼합물 경계를 따라 파손될 염려가 적은 최적 영역을 "확대"하는 후속 연구의 경우 D-최적 설계가 공간 채우기 설계보다 더 효율적일 수 있습니다.
마찬가지로 이 워크플로의 분석 단계에는 몇 가지 중요한 단계가 있습니다. 먼저, 모형이 요인의 주요(1차) 효과만 지정하는 것이 아니라 교호작용을 포함한 적절한 후보 효과 집합을 지정하는지 확인합니다. 둘째, SVEM Forward Selection을 모델링 프레임워크로 사용합니다. 셋째, 기본 No Intercept 옵션을 비활성화하고 혼합물 주효과를 강제하지 마십시오. 마지막으로, 최적화를 시작하기 전에 반응에 대한 만족도 함수를 올바르게 설정합니다. SVEM에 액세스할 수 없는 사용자의 경우, 가장 좋은 방법은 회귀 문제12에 대해 기존의 전진 선택(최소 AICc를 대상으로 함)을 사용하는 것이다. 프로토콜은 SVEM 올가미를 사용하는 것도 가능하다고 언급한다: 평균적으로 이 접근법은 SVEM 전방 선택과 유사한 결과를 제공하지만, 특정 데이터 세트의 경우 두 접근법이 확인 실행과 비교할 수 있는 약간 다른 최적 공식을 생성할 수 있다12. 그러나 SVEM Lasso는 사용자가 기본 No Intercept 옵션12를 비활성화하는 것을 잊어버리는 쉬운 실수를 저지르는 경우 열등한 모델링 결과를 제공합니다.
이 방법의 주요 한계는 설계 및 분석을 위해 통계학자의 도움을 받을 수 있는 더 복잡한 연구가 가끔 있다는 것입니다. 실행 예산이 평소보다 더 제한적인 상황(최소 휴리스틱 미만), 응답이 이진적이고, 많은 수의 범주형 요인 또는 단일 범주형 요인의 수준이 있는 경우, 연구 목표가 레시피에서 하나 이상의 혼합 요인을 제거하는 것을 고려하는 것이거나 요인 공간에 대한 추가 제약 조건이 있는 경우 통계학자가 다르게 접근할 수 있습니다. 예를 들어 최적 또는 하이브리드12,28 설계를 사용하거나 설계에 추가 구조를 추가합니다. 특히, 하이브리드 설계는 대부분의 예산 실행으로 공간을 채우는 설계를 만든 다음 D-최적 기준을 사용하여 나머지 실행(일반적으로 2-4)으로 설계를 "보강"하여 형성할 수 있습니다. 또 다른 하이브리드 접근 방식은 혼합물(지질) 및 연속(공정) 요인에 대해 공간 채우기 설계를 생성한 다음 나중에 요인 수준의 "최적" 할당을 사용하여 범주형 요인을 추가하는 것입니다. 그럼에도 불구하고, 프로토콜에서 채택된 단순화된 공간 채우기 설계 접근 방식은 지난 몇 년 동안 수십 건의 LNP 제형 최적화 실험을 실행하는 과정에서 개발되었으며, 우리는 이것이 과학자들에게 설계된 실험을 활용할 수 있는 능력에 대한 확신을 주는 동시에 대부분의 경우 성공적으로 작동할 강력한 접근 방식을 제공한다고 믿습니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
이 워크플로우를 뒷받침하는 실험 설계 전략은 저자 중 한 명이 발명가인 두 개의 특허 출원에 사용되었습니다. 또한 Adsurgo, LLC는 인증된 JMP 파트너입니다. 그러나 이 논문의 개발과 출판은 JMP의 어떠한 형태의 금전적 인센티브, 격려 또는 기타 유인책도 없이 수행되었습니다.
Acknowledgments
기사를 개선하는 제안에 대해 편집자와 익명의 심사위원에게 감사드립니다.
Materials
| Name | Company | Catalog Number | Comments |
| JMP Pro 17.1 | JMP Statistical Discovery LLC |
References
- Dolgin, E. Better lipids to power next generation of mRNA vaccines. Science. 376 (6594), 680-681 (2022).
- Hou, X., Zaks, T., Langer, R., Dong, Y. Lipid nanoparticles for mRNA delivery. Nature Reviews Materials. 6 (12), 1078-1094 (2021).
- Huang, X., et al.
- Rampado, R., Peer, D. Design of experiments in the optimization of nanoparticle-based drug delivery systems. Journal of Controlled Release. 358, 398-419 (2023).
- Kauffman, K. J., et al. Optimization of lipid nanoparticle formulations for mRNA delivery in vivo with fractional factorial and definitive screening designs. Nano Letters. 15, 7300-7306 (2015).
- Jones, B., Nachtsheim, C. J. A class of three-level designs for definitive screening in the presence of second-order effects. Journal of Quality Technology. 43, 1-15 (2011).
- Cornell, J. Experiments with Mixtures: Designs, Models, and the Analysis of Mixture Data. Wiley Series in Probability and Statistics. , Wiley. (2002).
- Jones, B. Proper and improper use of definitive screening designs (DSDs). JMP user Community. , https://community.jmp.com/t5/JMP-Blog/Proper-and-improper-use-of-Definitive-Screening-Designs-DSDs/bc-p/546773 (2016).
- Myers, R., Montgomery, D., Anderson-Cook, C. Response Surface Methodology. , Wiley. (2016).
- Lekivetz, R., Jones, B. Fast flexible space-filling designs for nonrectangular regions. Quality and Reliability Engineering International. 31, 829-837 (2015).
- Czitrom, V.
- Karl, A., Wisnowski, J., Rushing, H. JMP Pro 17 remedies for practical struggles with mixture experiments. JMP Discovery Conference. , (2022).
- Lemkus, T., Gotwalt, C., Ramsey, P., Weese, M. L. Self-validated ensemble models for design of experiments. Chemometrics and Intelligent Laboratory Systems. 219, 104439 (2021).
- Gotwalt, C., Ramsey, P. Model validation strategies for designed experiments using bootstrapping techniques with applications to biopharmaceuticals. JMP Discovery Conference. , (2018).
- Xu, L., Gotwalt, C., Hong, Y., King, C. B., Meeker, W. Q.
- Ramsey, P., Levin, W., Lemkus, T., Gotwalt, C. SVEM: A paradigm shift in design and analysis of experiments. JMP Discovery Conference Europe. , (2021).
- Ramsey, P., Gaudard, M., Levin, W. Accelerating innovation with space filling mixture designs, neural networks and SVEM. JMP Discovery Conference. , (2021).
- Lemkus, T.
- Juran, J. M. Juran on Quality by Design: The New Steps for Planning Quality into Goods and Services. , Free Press. (1992).
- Yu, L. X., et al. Understanding pharmaceutical quality by design. The AAPS Journal. 16, 771 (2014).
- Simpson, J. R., Listak, C. M., Hutto, G. T. Guidelines for planning and evidence for assessing a well-designed experiment. Quality Engineering. 25, 333-355 (2013).
- Daniel, S., Kis, Z., Kontoravdi, C., Shah, N. Quality by design for enabling RNA platform production processes. Trends in Biotechnology. 40 (10), 1213-1228 (2022).
- Scheffé, H.
- Brown, L., Donev, A. N., Bissett, A. C. General blending models for data from mixture experiments. Technometrics. 57, 449-456 (2015).
- Herrera, M., Kim, J., Eygeris, Y., Jozic, A., Sahay, G. Illuminating endosomal escape of polymorphic lipid nanoparticles that boost mRNA delivery. Biomaterials Science. 9 (12), 4289-4300 (2021).
- Lemkus, T., Ramsey, P., Gotwalt, C., Weese, M. Self-validated ensemble models for design of experiments. ArXiv. , 2103.09303 (2021).
- Goos, P., Jones, B. Optimal Design of Experiments: A Case Study Approach. , John Wiley & Sons, Ltd. (2011).
- Rushing, H. DOE Gumbo: How hybrid and augmenting designs can lead to more effective design choices. JMP Discovery Conference. , (2020).
