Summary
该协议提供了一种针对混合物，连续和分类研究因素进行配方优化的方法，可最大限度地减少实验设计构建中的主观选择。在分析阶段，采用有效且易于使用的建模拟合程序。
Abstract
我们提出了一种质量源于设计（QbD）风格的方法来优化脂质纳米颗粒（LNP）配方，旨在为科学家提供可访问的工作流程。这些研究中的固有限制是可电离脂质、辅助脂质和PEG脂质的摩尔比必须加起来达到100%，需要专门的设计和分析方法来适应这种混合物约束。我们专注于LNP设计优化中常用的脂质和过程因子，通过采用空间填充设计和利用最近开发的自验证集成模型（SVEM）统计框架，提供了避免传统上在混合过程实验的设计和分析中出现的许多困难的步骤。除了生成候选最佳公式外，该工作流程还构建拟合统计模型的图形摘要，以简化结果的解释。新确定的候选配方通过确认运行进行评估，并且可以选择在更全面的第二阶段研究背景下进行。
Introduction
用于体内基因递送系统的脂质纳米颗粒（LNP）制剂通常涉及来自可电离脂质、辅助脂质和PEG脂质1，2，3类别的四种组成脂质。无论这些脂质是单独研究还是与其他非混合因子同时研究，这些配方的实验都需要“混合物”设计，因为 - 给定候选配方 - 增加或减少任何一种脂质的比例必然导致其他三种脂质的比例之和相应减少或增加。
为了说明这一点，假设我们正在优化LNP配方，该配方目前使用将被视为基准的固定配方。目标是最大限度地提高LNP的效力，其次是最小化平均粒径。实验中变化的研究因素是四种组成脂质（可电离、胆固醇、涂料、PEG）的摩尔比、N：P 比、流速和可电离脂质类型。可电离和辅助脂质（包括胆固醇）允许在比PEG更宽的摩尔比范围内变化，10-60%，在本图中将在1-5%之间变化。基准配方配方和其他因素的范围及其舍入粒度在补充文件 1 中指定。在这个例子中，科学家们能够在一天内进行23次运行（独特的颗粒批次），如果满足最低要求，他们希望将其用作样本量。该实验的模拟结果在补充文件2和补充文件3中提供。
Rampado和Peer4最近发表了一篇关于优化纳米颗粒药物输送系统的设计实验的综述论文。Kauffman等人5考虑了使用分数阶乘和确定性筛选设计进行LNP优化研究6;然而，如果不使用低效的“松弛变量”7，这些类型的设计就无法适应混合约束，并且通常在存在混合因子时不使用7，8。相反，能够包含混合约束的“最佳设计”传统上用于混合过程实验9。这些设计针对研究因子的用户指定函数，并且仅当该函数捕获研究因子和响应之间的真实关系时，这些设计才是最优的（在多种可能意义上的一种）。请注意，案文中对“最佳设计”和“最佳候选配方”有区别，后者是指由统计模型确定的最佳配方。对于混合过程实验，优化设计有三个主要缺点。首先，如果科学家在指定目标模型时未能预测研究因素的相互作用，那么得到的模型将是有偏差的，并可能产生较差的候选公式。其次，最优设计将大部分游程置于因子空间的外部边界上。在LNP研究中，如果颗粒在脂质或工艺设置的任何极端情况下没有正确形成，这可能会导致大量的运行损失。第三，科学家通常更喜欢在因子空间的内部进行实验运行，以获得与模型无关的响应面感，并直接在因子空间的先前未探索的区域观察该过程。
另一种设计原则是使用空间填充设计10来针对（混合约束）因子空间的近似均匀覆盖。相对于最优设计9 ，这些设计牺牲了一些实验效率（假设整个因子空间导致有效的公式），但在权衡中提供了一些好处，这些好处在本应用中很有用。空间填充设计不对响应面的结构做出任何 先验 假设;这使其能够灵活地捕获研究因素之间的意外关系。这也简化了设计生成，因为它不需要在调整所需的运行大小时决定添加或删除哪些回归项。当某些设计点（配方）导致公式失败时，空间填充设计可以对研究因子的失效边界进行建模，同时还支持成功因子组合上研究响应的统计模型。最后，因子空间的内部覆盖允许对响应面进行独立于模型的图形探索。
为了可视化混合过程实验的混合因子子空间，使用了专门的三角形“三元图”。 图 1 激发了这种用法：在允许三个成分范围从 0 到 1 的点立方体中，满足成分总和等于 1 的约束的点以红色突出显示。对三种成分的混合约束将可行因子空间减小为三角形。在具有四种混合物成分的LNP应用中，我们通过一次绘制两种脂质与代表其他脂质之和的“其他”轴来生成六种不同的三元图来表示因子空间。
图 1：三角因子区域。 在立方体内的空间填充图中，灰色小点表示与混合约束不一致的配方。较大的红点位于立方体内的三角形上，表示满足混合约束的公式。 请点击此处查看此图的大图。
除了脂质混合物因子外，通常还有一个或多个连续的过程因子，例如N：P比，缓冲液浓度或流速。可能存在分类因子，例如可电离脂质类型、辅助性脂质类型或缓冲液类型。目标是在 体内 研究中找到一种配方（脂质和过程因子设置的混合物），以最大限度地提高某种效力和/或改善理化特性，例如最小化粒径和PDI（多分散指数），最大化包封百分比，并最大限度地减少副作用 - 例如体重减轻。即使从合理的基准配方开始，鉴于遗传有效载荷的变化或考虑过程因素或脂质类型的变化，也可能有兴趣重新优化。
康奈尔7提供了关于混合物和混合物过程实验的统计方面的权威文本，Myers等人9提供了最相关的混合物设计和优化分析主题的出色总结。然而，这些工作可能会使科学家负担过重的统计细节和专业术语。用于实验设计和分析的现代软件提供了一个强大的解决方案，可以充分支持大多数LNP优化问题，而不必诉诸相关理论。虽然更复杂或高优先级的研究仍将受益于与统计学家的合作，并可能采用最佳而不是空间填充设计，但我们的目标是提高科学家的舒适度，并鼓励优化LNP配方，而不是诉诸低效的一次单因素（OFAT）测试11或简单地满足规格的第一个配方。
在本文中，介绍了一种利用统计软件优化通用LNP配方问题的工作流程，按照遇到的顺序解决设计和分析问题。事实上，该方法适用于一般优化问题，不限于LNP。 在此过程中，解决了出现的几个常见问题，并根据经验和仿真结果提供了建议12。最近开发的自验证集成模型框架（SVEM）13 极大地改进了分析混合过程实验结果的脆弱方法，我们使用这种方法为配方优化提供了简化的策略。虽然工作流程的构建方式一般，可以使用其他软件包进行，但JMP 17 Pro的独特之处在于提供SVEM以及图形汇总工具，我们发现这些工具对于简化混合过程实验的晦涩分析是必要的。因此，协议中还提供了JMP特定的指令。
SVEM采用与传统方法相同的线性回归模型基础，但它允许我们使用前向选择或惩罚选择（Lasso）基本方法避免拟合候选效应的“完整模型”所需的繁琐修改。此外，SWEM提供了改进的“简化模型”拟合，可最大程度地减少合并数据中出现的噪声（过程加分析方差）的可能性。它的工作原理是平均模型13，14，15，16，17，18 中每次游程的相对重要性后产生的预测模型。SVEM提供了一个用于模拟混合过程实验的框架，该框架比传统的单次回归更容易实施，并且可以产生更高质量的最佳候选配方12，13。SVEM的数学细节超出了本文的范围，即使是超出相关文献综述的粗略总结也会分散其在本应用中的主要优势：它允许从业者简单，强大和准确的点击运行程序。
所提出的工作流程与药物开发的质量源于设计（QbD）19 方法一致20。研究结果将是了解将材料属性和工艺参数与关键质量属性（CQA）联系起来的功能关系21。Daniel等人22 讨论了使用专门用于RNA平台生产的QbD框架：我们的工作流程可以用作该框架内的工具。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
代表性结果部分中描述的实验是根据实验动物护理和使用指南进行的，程序按照我们的机构动物护理和使用委员会（IACUC）制定的指南进行。商业获得6-8周龄雌性Balb / C小鼠。动物 随意接受 标准食物和水，并在标准条件下饲养12小时光照/黑暗循环，温度为65-75°F（~18-23°C），湿度为40-60%。
1. 记录研究目的、反应和因素
注意：在整个实验方案中，JMP 17 Pro用于设计和分析实验。可以按照类似的步骤使用等效软件。有关第 1 节中执行的所有步骤的示例和进一步说明，请参阅 补充文件 1。
- 在带日期戳的文档中总结实验的目的。
- 列出将在实验期间测量的主要响应 （CQA）。
- 列出可能测量的任何次要反应（例如，对理化特性的下游限制）。
- 列出可能与响应相关的过程参数，包括与研究目的最相关的参数。
- 如果研究将持续多天，则包括日分类“阻塞”因子。
注意： 这将平衡跨天的因子设置，以防止过程均值中的日水平偏移与研究因子混淆。 - 选择要变化的因子和在研究期间保持不变的因子。
注意：使用风险优先级工具（如故障模式影响分析20 ）来选择最相关的因素子集（图2）。通常，应允许所有脂质变化;尽管在某些预算有限的情况下，以固定比率锁定PEG是合理的。 - 建立不同因子的范围以及每个因子的相关小数精度。
- 使用最小和最大启发式方法确定研究设计大小（唯一批次的粒子数量）。手动包含的控制基准运行不计入启发式方法建议的运行大小。
注意：以下启发式方法假定响应是连续的。最小启发式假设，如果需要，除了对候选最佳配方进行确认运行外，还可以进行后续研究。如果只能执行确认运行，则最好为从最大启发式获得的运行次数进行预算。对于二元主响应，请寻求统计学家的帮助以确定适当的运行次数。- 最小启发式： 为每个混合因子分配三个游程，为每个连续过程因子分配两个游程，每个分类因子的每个水平分配一个游程。
注意：对于具有四个脂质因子、两个连续和一个三元分类过程变量的研究，这会导致 （3 x 4） + （2 x 2） + 3=19 次空间填充运行的建议。如果某些运行可能由于配方或测量问题而失败，请添加额外的运行。 - 最大启发式： 启动用于构建最佳设计的软件，并输入二阶所需的参数（包括主效应、所有效应之间的双向交互作用以及连续过程因子的二次效应）。根据软件的算法计算最小运行大小。从软件获得的结果加 1 以定义最大启发式。
注：有关执行这些步骤的详细说明，请参阅 补充文件 1 。具有四个脂质因子（两个连续因子和一个三元分类过程变量）的样本案例导致建议的运行大小为 34（软件建议为 33 + 1）。任何超出此范围的运行都可能更好地用于确认或后续研究。
- 最小启发式： 为每个混合因子分配三个游程，为每个连续过程因子分配两个游程，每个分类因子的每个水平分配一个游程。
图 2：因果图。该图显示了 LNP 配方优化问题中的常见因子。请点击此处查看此图的大图。
2. 创建具有空间填充设计的系列零件设计表
- 打开JMP并在菜单栏中导航到 DOE>特殊用途>空间填充设计。
- 输入研究回复（见 补充文件1）。
- 可选：为其他响应添加列，通过点击 添加响应来指示是最大化、最小化还是定位每个响应。
注意：这些设置可以在以后修改，不会影响设计。同样，在创建系列零件设计表后，可以添加其他响应的其他列。 - 输入研究因子和相应的范围。使用“混合”按钮添加混合因子，使用“连续”按钮添加连续因子，或使用“分类”按钮添加分类因子。
注意：此示例研究使用 图3所示的因子和范围，其中包括可电离摩尔比（范围在0.1和0.6之间），辅助摩尔比（也在0.1和0.6之间），胆固醇摩尔比（在0.1和0.6之间），PEG摩尔比（从0.01到0.05）和可电离脂质类型（可以是H101， H102 或 H103）。 - 在“运行次数”字段中输入设计的预定 运行次数 。
- 可选：通过空间填充设计标题旁边的红色三角形菜单和高级选项子菜单中，将平均簇大小从默认值 50 增加到 2000。
注意：这是空间填充算法的设置，可以以额外的计算时间为代价，使设计构造稍好一些。 - 为所选因子和运行大小生成空间填充设计表。单击快速 灵活填充，然后单击 制作表格。
注意：示例设计的前两次运行如图 4 所示。 - 将 “注释” 列添加到表中，用于批注任何手动创建的运行。双击第一个空列标题以添加列，然后双击新列标题以编辑名称。
- 如果适用，请手动将基准控制运行合并到系列零件设计表中。包括其中一个控制基准的复制。在 “注释 ”列中标记基准名称，并对基准复制行进行颜色编码，以便于图形识别。
- 通过双击第一个空行标题添加新行并输入基准因子设置。复制此行以创建基准的副本。突出显示两行并导航到 “行>颜色 ”以指定用于图形目的的颜色。
注意：仿行提供了与模型无关的过程估计值以及分析方差，并将提供额外的图形见解。
- 通过双击第一个空行标题添加新行并输入基准因子设置。复制此行以创建基准的副本。突出显示两行并导航到 “行>颜色 ”以指定用于图形目的的颜色。
- 如果任何基准控制运行超出研究因子的范围，请在“注释”列中表示，以便将来从分析中排除。
- 将混合因子舍入到适当的粒度。为此，
- 突出显示混合因子的列标题，右键单击其中一个列标题，然后导航到“ 新建公式列>变换>舍入...”，输入正确的舍入间隔，然后单击“ 确定”。
- 通过单击行标题和列标题交集处的底部三角形，确保未选择任何行。
- 从新创建的舍入列 （Ctrl + C） 复制值并粘贴 （Ctrl + V） 到原始混合列中。最后，删除临时舍入值列。
- 对脂质比率进行舍入后，通过选择混合因子的列标题，右键单击一个，然后转到“ 新建公式列”>合并>和，验证其总和等于 100%。如果任何行的总和不等于 1，请手动调整其中一个混合因子，确保因子设置保持在因子范围内。完成调整后删除总和列。
- 按照用于对混合因子舍入的相同过程，将过程因子舍入到其各自的粒度。
- 格式化脂质列以显示为具有所需小数位数的百分比：选择列标题，右键单击，然后选择 标准化属性...。在下一个窗口中，将 格式 设置为 百分比并 根据需要调整小数位数。
- 如果添加了基准等手动运行，请重新随机化表行顺序：添加具有随机值的新列（右键单击最后一个列标题，然后选择“ 新建公式列”>“随机”>“随机正态”）。通过右键单击其列标题，按升序对此列进行排序，然后删除该列。
- 可选：添加 “运行 ID ”列。使用表中的当前日期、实验名称和行号填充此字段。
注：有关示例，请参阅（图5）。 - 生成三元图以可视化脂质因子的设计点（图 6）。此外，检查过程因子的游程分布（图 7）：选择“ 三元图>图”。仅选择 X、绘图的混合因子。
- 若要检查过程因子的分布，请选择 “分析>分布 ”，然后输入 Y、列的处理因子。
注意：配方科学家应确认所有运行的可行性。如果存在不可行的运行，请考虑新发现的约束，重新启动设计。
图3：研究因素和范围。 实验软件中设置的屏幕截图对于重现研究设置很有用。 请点击此处查看此图的大图。
图 4：空间填充设计的初始输出。 显示表格的前两行，设置需要四舍五入到所需的精度，同时还要确保脂质量的总和为 1。基准已手动添加到表中。 请点击此处查看此图的大图。
图 5：格式化学习表。 因子水平已舍入和格式化，并添加了运行 ID 列。 请点击此处查看此图的大图。
图 6：三元图上的设计点。这 23 种配方显示为相应的可电离、辅助和“其他”（胆固醇+PEG）比率的函数。中间的绿点代表可电离 （H101）：胆固醇：辅助 （DOPE）:P EG 的基准 33：33：33：1 摩尔比。请点击此处查看此图的大图。
图7：实验中非混合过程因子的分布。 直方图显示了实验游程在可电离脂质类型、N：P 比率和流速之间的间隔。 请点击此处查看此图的大图。
3. 运行实验
- 按系列零件设计表提供的顺序运行试验。记录实验表中内置的列中的读数。
- 如果对同一配方批次的相同响应进行多次测定，请计算每个批次中这些结果的平均值。将每个测定测量值的一列添加到表中。
- 要获得平均值，请选择所有相关列，右键单击其中一个选定的列标题，然后选择“ 新建公式列>合并>平均值”。使用此 平均值 列进行将来的响应分析。
注意：如果不重新开始配方，重复的测定测量仅捕获测定方差，不构成独立的重复。
- 要获得平均值，请选择所有相关列，右键单击其中一个选定的列标题，然后选择“ 新建公式列>合并>平均值”。使用此 平均值 列进行将来的响应分析。
- 在每种类型的问题的新列中使用二进制 （0/1） 指标记录任何配方沉淀或体内耐受性问题（例如严重体重 减轻或死亡 ）的发生。
4. 分析实验结果
- 绘制读数并检查响应的分布：打开 图形>图形生成器 并将每个响应拖到各个绘图的 Y 区域中。对所有响应重复此操作。
- 检查颜色编码的仿行游程之间的相对距离（如果包括一个）。这允许了解基准的总（过程和分析）变异，与由于整个因子空间的因子设置变化而导致的变异性（图8）。
- 确定是否应对原始响应建模或是否应改用转换。对于限制为阳性但以上无界的响应（例如，效力），将正态分布和对数正态分布拟合到实验结果中。如果对数正态分布与较低的 AICc（校正赤池信息准则）配合得更好，则对该响应进行对数变换。
- 导航到分析>分布，然后选择 Y、列的响应。在生成的分布报告中，单击响应名称旁边的红色三角形，然后从下拉菜单中选择连续拟合>拟合正态和连续拟合>拟合对数正态。在随后的“比较分布”报告中，检查 AICc 值以确定哪个分布更适合响应。
- 若要执行日志转换，请右键单击响应列标题，然后选择“ 新建公式列”>“日志>日志”。生成模型并保存对数刻度上的预测列时，通过选择“ 新建公式列”>“对数> Exp”将响应转换回原始刻度。
- 对于介于 0 和 1 之间的比例响应，比较正态分布和 beta 分布的拟合。如果 beta 发行版的 AICc 较低，请执行 logit 转换。在响应的分布报告中，选择 连续拟合>拟合 正常和 连续拟合>拟合 Beta。
- 对于 Logit 转换，右键单击数据表中的响应列标题，然后选择“ 新建公式列”>“专业”> Logit。模型构建后，保存预测列。若要恢复到原始比例，请使用“ 新建公式列”>“专业>逻辑”。
注意：基于回归的 SVEM 分析对于响应分布中偏离正态性是稳健的。但是，这些转换可以更轻松地解释结果并改进模型的拟合。
- 对于 Logit 转换，右键单击数据表中的响应列标题，然后选择“ 新建公式列”>“专业”> Logit。模型构建后，保存预测列。若要恢复到原始比例，请使用“ 新建公式列”>“专业>逻辑”。
- 在三元图上绘制运行图。根据响应（如果应用了转换，则为转换后的响应）为点着色：打开图形 >三元图。仅选择 X、绘图的混合因子。右键单击任何生成的图形，选择“ 行图例 ”，然后选择（转换后的）响应列。
注意：根据响应对点进行着色可提供与模型无关的与混合因子相关的行为的视觉视角。 - 删除由空间填充设计生成的模型脚本。
- 为每个响应构建一个独立的模型作为研究因子的函数，并为每个响应重复以下步骤。
注意：在二级二元响应（例如，配方失败或小鼠死亡）的情况下，也要对此响应进行建模。将目标分布设置从 正态 更改为 二项式。 - 构建一个包含所有候选效应的“完整”模型。该模型应包括每个因子的主效应、双向和三向相互作用、过程因子中的二次和部分三次项以及混合因子23，24 的 Scheffé 三次项。
注意：对每个响应使用相同的候选效果集。SVEM模型选择技术将独立优化每个响应的模型，从而可能为每个响应生成唯一的简化模型。 图 9 说明了其中一些候选效应。以下子步骤详细介绍了此过程。- 选择 分析拟合模型>。
- 确保不允许阻断因子（例如，Day）与其他研究因子相互作用。选择任何阻塞因素，然后单击 添加。不要在任何后续子步骤中包括这些因素。
注意：在模型中考虑阻塞因子很重要，但不应允许阻塞因子与其他研究因子相互作用。阻塞因子的主要目的是帮助控制实验的变异性并提高实验的灵敏度。 - 突出显示所有研究因素。将 度 数字段值修改为 3（默认情况下设置为 2）。单击阶 乘到度。
注意：此操作包括模型中的主效应以及双向和三向交互。 - 在选择窗口中仅选择非混合因子。单击“ 宏”>“部分立方体”。
注意： 此操作引入了连续过程因子的二次效应及其与模型中其他非混合因子的交互作用。 - 仅从选择列表中选择混合因子。单击 “宏”>“舍夫·库比克”。停用默认的 “无截距 ”选项（请参阅 图 9）。
注意：使用套索方法时，在模型中包括截距是必不可少的步骤，在前向选择上下文中也很有用。传统的默认设置“无截距”通常是适当的，因为使用常规最小二乘回归过程12 不进行任何修改（如 SVEM 方法）将截距与所有混合主效应同时拟合是不可行的。 - 指定响应列：突出显示响应列，然后单击 Y。
- 将 “个性 ”设置更改为 “广义回归”。将“ 分布 ”设置为 “正常”。
- 将此模型设置保存到数据表中，以便通过单击“ 模型规格 ”旁边的红色三角形菜单并选择 “保存到数据表”来与其他响应一起使用。
- 应用 SVEM 正向选择方法拟合约简模型，而不强制包含混合因子主效应，并将预测公式列存储在数据表中。
- 在“ 拟合模型 ”对话框中，单击“ 运行”。
- 对于 估计方法，选择 SVEM 前向选择。
- 展开 “高级控制”>“强制术语 ”菜单，然后取消选择与混合物主效果关联的框。只有 截获 项框应保持选中状态。 图 10 显示了强制主效果的默认设置。对于此步骤，需要取消选中这些框，以允许模型根据前向选择过程包含或排除这些效应。
- 单击 “转到 ”以运行“SVEM 向前选择”过程。
- 根据 SVEM 模型的预测响应绘制实际响应，以验证合理的预测能力。（图11）。单击 SVEM 正向选择 旁边的红色三角形，然后选择 诊断图>按预测绘制实际图。
- 单击 “SVEM 正向选择 ”旁边的红色三角形，然后选择“ 保存列”>“保存预测公式 ”以在数据表中创建一个包含预测公式的新列。
- 可选：使用 SVEM 套索 作为 估计方法 重复上述步骤，以确定在执行后续步骤后是否建议了不同的最佳配方。如果是这样，请在确认运行时运行这两个配方（在第 5 节中讨论），以查看哪个配方在实践中表现最佳12.
- 对每个响应重复模型构建步骤。
- 将所有响应的预测列保存到数据表后，使用 Profiler 平台绘制所有预测响应列的响应跟踪图：选择 图形>分析器，然后选择在上一步中为 Y 创建的所有预测列，预测 公式，然后单击 确定 （图 12）。
- 确定候选的最佳配方。
- 为每个响应定义“合意性函数”，指定响应是应最大化、最小化还是与目标匹配。将任何主要响应设置为使用重要性权重 1.0，将任何辅助响应设置为使用重要性权重 0.2。从 “预测分析器 ”红色三角形菜单中，选择“ 优化和合意性”>“合意函数”， 然后选择“ 优化和合意性”>“设置合意性”。 在后续窗口中输入设置。
注意：重要权重是相对的和主观的，因此值得检查组合最优值对这些权重在合理范围内变化的敏感性（例如，从相等权重到 1：5 权重）。 - 命令性能分析器查找最大化合意性函数的最佳因子设置（图 12）：从刻画器中，选择优化和合意性 >最大化合意性。
注意：最佳候选项的响应预测值可能会高估右偏响应的值，例如效力;但是，确认运行将提供对这些候选配方的更准确的观察结果。主要目的是 找到 最佳配方（最佳配方的 设置 ）。 - 记录最佳因子设置并记下用于每个响应的重要权重：从 预测分析器 菜单中，选择 因子设置>记住设置。
- 为每个响应定义“合意性函数”，指定响应是应最大化、最小化还是与目标匹配。将任何主要响应设置为使用重要性权重 1.0，将任何辅助响应设置为使用重要性权重 0.2。从 “预测分析器 ”红色三角形菜单中，选择“ 优化和合意性”>“合意函数”， 然后选择“ 优化和合意性”>“设置合意性”。 在后续窗口中输入设置。
- 可选：对于可电离脂质类型等分类因子，请找到每个因子水平的条件最佳配方。
- 首先在探查器中设置因子的所需水平，然后按住 Ctrl 键并在该因子的图形内单击鼠标左键并选择锁定 因子设置。 选择 优化和合意性>最大化合意性以找到将此因子锁定在其当前设置下的条件最优值。
- 在继续之前，使用用于锁定因子设置的相同菜单解锁因子设置。
- 在调整响应的重要性权重（使用优化 和合意性>设置合意性）后重复优化过程，可能仅优化主要响应或将某些次要响应设置为具有或多或少的重要性权重，或者将辅助响应的目标设置为 无 （图 13）。
- 记录新的最佳候选项（从“预测分析器”菜单中，选择“因子设置”>“记住设置”。
- 生成因子空间最佳区域的图形摘要：生成一个包含 50，000 行的数据表，其中填充了允许因子空间内随机生成的因子设置，以及来自每个响应的简化模型中的相应预测值和联合合意性函数。
- 在性能分析器中，选择 “输出随机表”。将“ 要模拟的运行次数？ ”设置为 50，000，然后单击“确定”。
注意：这将生成一个新表，其中包含 50，000 个公式中每个公式的响应预测值。“ 合意性”列取决于选择 “输出随机表 ”选项时所设置的响应的重要性权重。 - 在新创建的表中，添加一个新列，用于计算“ 合意性” 列的百分位数。在三元图中使用此百分位数列，而不是原始 合意性 列。右键单击“ 合意性 ”列标题，然后选择“ 新建公式列>分布>累积概率”以创建新的 “累积概率[合意性] ”列。
- 生成以下步骤中描述的图形。重复更改图形的配色方案，以显示每个响应和 累积概率 [合意性] 列的预测。
- 构建四种脂质因子的三元图。在表中，导航到图形>三元图，为 X、绘图选择混合因子，然后单击确定。右键单击其中一个生成的图形，选择“行图例”，然后选择预测响应列。将颜色下拉列表更改为喷气式。
注意：这将显示相对于脂质因子的最佳和最差表现区域。图 14 显示了在考虑最大化 效力 （重要性 = 1）和最小化 大小 （重要性 = 0.2）时联合合意性的百分位数，同时对三元图轴上未显示的任何因子求平均值。 图 15 显示了原始预测大小。根据其他因素有条件地分解这些图表也是合理的，例如使用局部数据过滤器（可从三元图旁边的红色三角形菜单中获得）为每种可电离脂质类型创建一组不同的 三元图。 - 同样，使用 Graph > Graph Builder 单独或联合地针对非混合过程因子绘制 50，000 个颜色编码点（表示唯一配方），并搜索响应和因子之间的关系。查找产生最高合意性的因子设置。探索图形中因子的不同组合。
注意： 为图形着色时，请使用 累积概率[ 合意性]，但在垂直轴上根据过程因子绘制合意性时，请使用原始 合意性 列。 合意性 列也可以放置在图 >散点图 3D 可视化的轴上，以及用于多变量探索的另外两个过程因子。 图16 显示了三种可电离脂质类型中每一种都可以形成的所有制剂的联合合意性。最理想的配方使用H102，H101提供了一些潜在的竞争替代品。 - 将性能分析器及其记住的设置保存回数据表。单击“ 性能分析器 ”旁边的红色三角形，然后选择 “将脚本>保存到数据表...”。
- 在性能分析器中，选择 “输出随机表”。将“ 要模拟的运行次数？ ”设置为 50，000，然后单击“确定”。
图 8：从实验中观察到的效力读数。 这些点显示了从 23 次运行中观察到的效力值;复制的基准测试运行以绿色显示。 请点击此处查看此图的大图。
图 9：用于启动分析的软件对话框。 候选效应已与目标效力响应一起输入，并且未选中无截距选项。 请点击此处查看此图的大图。
图 10.用于指定 SVEM 选项的附加对话框。 默认情况下，脂质主效应被强制到模型中。由于包含截距，因此我们建议取消选中这些框，以免强制效果。 请点击此处查看此图的大图。
图 11：预测图的实际值。该图将观察到的效力与 SVEM 模型预测的每个配方的值绘制。相关性不必像本例中那样强，但期望至少看到中等相关性并检查异常值。请点击此处查看此图的大图。
图 12：预测探查器。 图表的前两行显示了最佳公式（由 SVEM 方法识别）下的预测响应函数切片。图表的底行显示了配方的加权“合意性”，这是最后一列图表的函数，表明效力应该最大化，大小应该最小化。 请点击此处查看此图的大图。
图 13：来自 SVEM-前向选择的三个最佳候选配方。 改变响应的相对重要性权重会导致不同的最佳公式。 请点击此处查看此图的大图。
图 14：合意性百分位数的三元图。该图显示了按合意性百分位数进行颜色编码的 50，000 种配方，其中合意性设置为重要性权重 1.0 表示最大化效力，0.2 表示最小化尺寸，这些图显示配方的最佳区域由较低百分比的可电离脂质和较高百分比的 PEG 组成。请点击此处查看此图的大图。
图 15：预测大小的三元图。该图显示了 SVEM 模型对 50，000 个配方中每个配方的大小预测。使用较高百分比的辅助脂质使大小最小化，使用较低百分比的辅助脂质最大化。由于其他因子在 50，000 个绘制公式中自由变化，这意味着这种关系在其他因子（PEG、流速等）的范围内成立。请点击此处查看此图的大图。
图 16：涉及三种不同可电离脂质类型的配方合意性的小提琴图。50，000 个点中的每一个都代表整个允许因子空间中的唯一公式。这些分布的峰值是使用预测探查器分析计算的合意性的最大值。H102具有最大的峰，因此产生最佳配方。用于构建生成此输出的模型的 SVEM 方法会自动过滤掉统计上不显著的因素：此图的目的是考虑因子水平的实际显著性。请点击此处查看此图的大图。
5. 确认运行
- 准备一个表格，列出之前确定的最佳候选对象（图 17）。
注意：图 17 中的真实效力和真实大小值是使用模拟生成函数填充的：在实践中，这些值将通过制定然后测量这些配方的性能来获得。- 将基准控制与将制定和测量的候选游程集包括在内。
- 如果发现实验中的任何配方产生了理想的结果，也许是优于基准，请选择最好的配方添加到候选表中，并与新配方一起重新测试。
注意：手动将所需运行添加到候选表，或者使用“性能分析器”窗口的 “记住的设置 ”（如果这些运行来自上一个实验）。标识运行的行号，导航到“ 预测分析器”>“因子设置”>“设置为行中的数据”，然后输入行号。然后，选择 “预测分析器”>“因子设置”>“记住设置 ”并适当标记（例如，“基准”或“上一个实验的最佳运行”）。 - 右键单击性能分析器中的“ 记住的设置 ”表，然后选择“ 生成数据表”。
注意：根据研究的优先级和预算，考虑为每个确认运行运行重复，尤其是在更换基准时。使用平均结果进行排名，创建和分析每个公式两次。注意在两个重复中具有宽响应范围的任何候选者，因为这可能表明高过程方差。 - 如果由于预算限制而有必要，请从确定的候选项中向下选择以匹配实验预算或消除多余的候选人。
- 执行确认运行。构建公式并收集读数。
- 检查原始实验结果与基准或其他重复配方的确认批次结果之间的一致性。如果存在较大且意外的偏移，请考虑可能导致偏移的原因，以及确认批次中的所有运行是否可能受到影响。
- 比较候选最佳配方的性能。探索是否有任何新的候选人表现优于基准。
- 可选：将确认运行的结果添加到实验表中，然后重新运行第 4 节中的分析。
注意：工作流程的下一步提供了构建后续研究的说明以及这些运行（如果需要）。
图 17：在确认运行时运行的十个最佳候选项表。 真实效力和真实大小已从模拟生成函数中填充（没有任何添加的过程或分析变化）。 请点击此处查看此图的大图。
6. 可选：设计与确认运行同时运行的后续研究
- 考虑以下标准评估后续研究的必要性：
- 确定最佳公式是否位于其中一个因子边界上，以及是否需要第二个试验来扩展至少一个因子范围。
- 评估初始试验是否使用了相对较小的游程大小或相对较大的因子范围，以及是否需要通过额外的游程和更新的分析来“放大”已确定的最佳区域。
- 检查是否引入了其他因素。这可能是分类因子的水平，例如额外的可电离脂质或在初始研究中保持不变的因子，例如缓冲液浓度。
- 如果以上条件都不满足，请继续执行步骤 7。
- 准备与确认运行同时进行的其他试验运行。
- 定义因子限值，确保与初始算例中的区域部分重叠。如果不存在重叠，则必须设计一项新的研究。
- 使用空间填充设计开发新的实验运行。选择 DOE>特殊用途>空间填充设计。
注意：对于高级用户，请考虑通过 DOE>定制设计进行D优化设计。 - 生成空间填充游程后，手动合并原始试验中位于新因子空间中的两个或三个游程。使用第 2 节中所述的步骤在实验表中随机分布这些运行，以添加行，然后随机化行顺序。
注意：这些将用于估计模块之间响应均值的任何偏移。 - 将确认运行和新的空间填充运行连接到单个表中，并随机化运行顺序。使用 表>连接 ，然后按新的随机列创建和排序以随机化运行顺序，如第 2 节中所述。
- 制定新配方并收集结果。
- 将新的实验运行和结果连接到原始实验数据表，并引入实验 ID 列以指示每个结果的来源。使用 “表>连接 ”，然后选择 “创建源列”选项。
- 验证每个因子的列属性是否显示两个算例的组合范围：右键单击每个因子的列标题，并检查 编码 和 混合 属性范围（如果存在）。
- 开始分析新实验的结果。
- 将试验 ID 列作为术语包含在模型中，以用作阻塞因子。确保该术语不与研究因素相互作用。运行保存到第 4 部分中的表中的“ 拟合模型 ”对话框脚本，选择实验 ID 列，然后单击“ 添加 ”以将其包含在候选效应列表中。
- 在级联数据表上运行此 拟合模型 对话框，以联合分析新试验和初始算例的结果。遵循前面的说明，生成更新的最佳候选配方和图形摘要。
- 为了进行验证，请独立分析新实验的结果，不包括初始实验的结果。也就是说，在新实验表上执行第 4 节中描述的步骤。
- 确保这些模型确定的最佳配方与联合分析识别的配方紧密一致。
- 查看图形摘要以确认新实验结果的联合和单个分析都表现出相似的响应面行为（这意味着响应和因子之间存在类似的关系）。
- 将新结果的组合和单独分析与初始实验进行比较，以确保一致性。使用类似的图形结构进行比较，并检查已确定的差异最佳配方。
7. 记录研究的最终科学结论
- 如果基准对照因研究而更改为新确定的配方，请记录新设置并指定记录其来源的设计和分析文件。
- 维护所有实验表和分析摘要，最好带有日期戳的文件名，以备将来参考。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
这种方法已在两种广泛分类的脂质类型中得到验证：MC3样经典脂质和类脂质（例如，C12-200），通常来自组合化学。与使用一次一个因子（OFAT）方法开发的基准LNP配方相比，通过我们的工作流程生成的候选配方经常在对数尺度上显示出4至5倍的效力提高，如图 18中的小鼠肝荧光素酶读数所示。 表1 描述了在两个优化阶段（初始研究和后续研究）中，在基准对照性能上观察到的小鼠肝荧光素酶表达的相应增强。在第一阶段，重点是优化脂质比，同时保持其他因素不变。在后续研究中，引入了额外的辅助脂质类型，并考虑了脂质比组成和辅助脂质类型进行了优化。因此，选择新引入的辅助脂质类型与相关的优化脂质组合物一起使用。效力的显着增强表明，这些优化的组合物可能表现出优越的内体逃逸能力25。
模拟可用于显示此过程产生的最佳候选产品的预期质量。在协议中使用的示例实验框架内，我们可以针对不同的运行规模多次重复模拟，并根据模拟的过程生成函数评估结果。补充文件 4 中提供了用于此目的的 JMP 脚本。具体来说，生成了一个空间填充设计，并使用来自生成器函数的值以及表示分析和过程变化的噪声填充响应列。我们将这些模拟响应与不同的分析技术（包括SVEM前向选择）拟合，以产生相应的候选最佳配方。然后将每种分析方法的候选值与生成函数的真实最优值进行比较。图19说明了使用水平轴上给定的空间填充设计，三种分析方法中的每一种所实现的最大理论响应的平均百分比。完整模型（包括所有候选效应，并且不会根据这些效应的统计显著性来减少模型）执行最差的效果最差。传统上用于拟合混合过程实验回归模型的大部分额外工作涉及拟合完整模型所需的修改（去除截距、强制混合主效应、排除使用纯二次混合效应等），从这个角度来看，这些过程是不必要的12.此外，在设计大小达到模型中的效应数之前，无法拟合此模型。在较小的实验规模下，我们可以拟合传统的前向选择方法，该方法在每个固定实验规模的最佳候选公式的平均性能方面优于完整模型。同样，对这种前向选择方法的 SVEM 修改进一步提高了最佳候选者的性能。该图显示，使用 SVEM-前向选择12，13 分析进行 24 次运行的空间填充实验，在使用传统的前向选择（针对最小 AICc）模型进行分析时，可以获得通常需要 50 次运行的平均质量。尽管实际性能因工艺而异，但该模拟以及SVEM12，13，16，17，26上公布的结果证明了该建模程序在配方优化方面的潜力。
图18：两轮实验后肝荧光素酶表达的改善。 第 0 轮显示基准配方的肝荧光素酶读数;第 1 轮显示了第一次实验后的肝荧光素酶读数，该实验优化了 LNP 成分脂质摩尔比;第 2 轮显示了第二次实验后的肝荧光素酶读数，这进一步优化了成分摩尔比，同时还考虑了额外的辅助脂质类型。 请点击此处查看此图的大图。
图19：最佳配方的质量作为实验规模和统计模型的函数。 纵轴表示理论最大合意性的百分比，横轴表示空间填充设计的大小。每个点显示 150 次模拟的平均值。蓝线（三角形）表示完整模型（不消除统计上不显著的效应），琥珀线（圆圈）表示传统的基于 AICc 的前向选择模型（具有截距且不强制混合主效应），绿线（倒置三角形）表示基于 SVEM 的前向选择模型（具有截距且不强制混合主效应）。 请点击此处查看此图的大图。
| 圆 | 粒子识别 | 肝脏中的荧光素酶表达（光子/秒） |
| 0 | 控制基准 | 8.E+06 |
| 1 | 针对脂质比进行优化 | 2.E+09 |
| 2 | 针对脂质比和辅助脂质类型进行优化 | 8.E+10 |
表1：通过实验设计（DOE）优化系统地改善荧光素酶表达。 该表说明了荧光素酶表达的显着增强，从最初的基准到最终的“最佳候选者”，光子/秒尺度的改善高达10，000倍。
补充文件 1：2023 年 4 月 4 日 摘要.docx - 本文档提供了研究记录，包括其目的、评估的响应、考虑的因素以及执行的运行总数。 请点击此处下载此文件。
补充文件 2：23_run_simulated_experiment.jmp - 包含模拟实验及其结果的 JMP 文件。此文件还包括与JMP 17 Pro兼容的附加分析脚本。 请点击此处下载此文件。
补充文件3：23_run_simulated_experiment.xlsx - 包含模拟实验及其结果的Excel文件，适合可能无法访问JMP的读者。 请点击此处下载此文件。
补充文件4：混合物模拟20DEC22.jsl - 这是一个JMP 17 Pro脚本，用于模拟LNP配方实验并评估不同分析方法的性能。该脚本使用 SVEM 前向选择（无截距）方法，这是此工作流中使用的关键分析方法。 请点击此处下载此文件。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
用于设计和分析混合过程实验的现代软件使科学家能够在结构化工作流程中改进其脂质纳米颗粒配方，从而避免低效的OFAT实验。最近开发的VEM建模方法消除了许多晦涩难懂的回归修改和模型缩减策略，这些修改和模型缩减策略以前可能会因无关的统计考虑而分散科学家的注意力。收集结果后，SVEM分析框架提供了一种方法，该方法更易于实施，并且倾向于生成比传统建模方法更好的模型13。此外，科学家很容易解释基于每个响应的预测公式的图形分析，清楚地总结了响应在单个因子以及一小组因子上的边际行为，而无需解释回归模型中高度相关的参数估计。这使科学家能够在SVEM自动消除统计上不显着的影响后，专注于评估研究因素的实际意义。
该工作流程已在实践中用于系统地改变脂质组成和配方参数，如N/P比、流速和混合比以进行优化，并选择最佳的辅助脂质类型、可电离脂质类型和缓冲液类型。这些示例的目标通常包括最大化体内或体外效力，并封装不同的有效载荷，如mRNA或DNA，用于相关的体内靶标，如肝细胞，或者在体外应用的情况下有时跨多种细胞类型。对于特定应用，我们可能需要平衡生物物理特性，例如尺寸、PDI、zeta 电位和包封百分比，同时检查体内效力。此外，目标是找到一种有效但耐受性良好的制剂，因此我们可以在分析中包括体重变化、细胞因子反应或肝酶（如 AST/ALT）引发等反应。许多LNP实验已经出现了模式。值得注意的是，可电离脂质摩尔比和N / P比的改变似乎显着影响RNA包封。此外，PEG摩尔比的变化似乎会影响颗粒稳定性，如对尺寸和PDI的影响所示。一般来说，LNP核心中过量的PEG往往会对小鼠的效力产生不利影响。
当针对多个响应时，性能改进尤其明显：即使基准在主要响应（例如，效力）方面已经表现良好，联合优化通常也会保持或改善相对于主要响应的行为，同时改善相对于其他响应的行为（最小化PDI，大小或体重减轻）。我们通过确认运行来验证这些改进的真实性，其中我们准备并直接比较基准配方（可能具有重复）和新的候选配方。
此工作流的设计阶段有几个关键步骤。首先，确保将因子及其范围正确输入到空间填充设计平台中。其次，在开始实验之前，使用图形和主题知识来确认每个结果配方的可行性。最后，按照系列零件设计表指定的随机顺序执行实验。遵守此顺序有助于防止未测量的协变量（例如配方生产顺序或环境温度）混淆所研究的因素。空间填充设计更易于构建 - 与最佳混合工艺设计相比，用户出错的可能性更小，后者在设置过程中需要额外的决策，这可能会使没有经验的用户感到沮丧并阻止他们使用设计的实验。然而，在完成该协议之后，科学家们可能会从有关最佳设计如何潜在地取代协议中的空间填充设计的额外阅读中受益，例如Goos and Jones（2011）27的第6章中所述。特别是对于“放大”最佳区域的后续研究 - 其中不太担心混合物边界上的故障 - D优化设计可能比空间填充设计更有效。
同样，此工作流的分析阶段有几个关键步骤。首先，确保模型指定一组适当的候选效应，包括交互作用，而不仅仅是因子的主要（一阶）效应。其次，采用 SVEM 前向选择作为建模框架。第三，禁用默认的 “无截距 ”选项，避免强制混合主效果。最后，在启动优化之前正确设置响应的合意性函数。对于无法访问 SVEM 的用户，最佳方法是对回归问题12 使用传统的前向选择（针对最小 AICc）。该协议提到也可以使用SVEM套索：平均而言，这种方法给出的结果与SVEM前向选择相似，尽管对于特定的数据集，这两种方法可能会产生略有不同的最佳公式，可以与确认运行进行比较12。但是，如果用户容易错误忘记禁用默认的 无截距 选项12，SVEM Lasso 将给出较差的建模结果：出于这个原因，我们使用 SVEM 前向选择作为默认方法，因为它对此选项更健壮。
这种方法的主要局限性是，偶尔会有更复杂的研究，这些研究将受益于统计学家的设计和分析。运行预算比平时更有限（低于最小启发式），响应是二元的，存在大量分类因子或单个分类因子的水平，其中研究目标是考虑从配方中消除一个或多个混合因子，或者统计学家可能会以不同的方式处理因子空间的额外约束， 例如通过使用最优或混合12，28 设计或向设计添加附加结构。具体来说，可以通过创建具有大部分预算运行的空间填充设计，然后使用 D 最优标准使用剩余运行（通常为 2-4）“增强”设计来形成混合设计。另一种混合方法是在混合物（脂质）和连续（过程）因子上生成空间填充设计，然后使用因子水平的“最佳”分配添加任何分类因子。尽管如此，协议中采用的简化空间填充设计方法是在过去几年中在运行数十个LNP配方优化实验的过程中开发的，我们相信它提供了一种强大的方法，在大多数情况下可以成功工作，同时也让科学家对他们利用设计实验的能力充满信心。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
支撑这一工作流程的实验设计策略已被用于两项专利申请，其中一位作者是发明人。 此外，Adsurgo， LLC是经过认证的JMP合作伙伴。然而，本文的开发和出版是在没有JMP任何形式的财政激励、鼓励或其他诱惑的情况下进行的。
Acknowledgments
我们感谢编辑和匿名审稿人的建议，这些建议改进了文章。
Materials
| Name | Company | Catalog Number | Comments |
| JMP Pro 17.1 | JMP Statistical Discovery LLC |
References
- Dolgin, E. Better lipids to power next generation of mRNA vaccines. Science. 376 (6594), 680-681 (2022).
- Hou, X., Zaks, T., Langer, R., Dong, Y. Lipid nanoparticles for mRNA delivery. Nature Reviews Materials. 6 (12), 1078-1094 (2021).
- Huang, X., et al.
- Rampado, R., Peer, D. Design of experiments in the optimization of nanoparticle-based drug delivery systems. Journal of Controlled Release. 358, 398-419 (2023).
- Kauffman, K. J., et al. Optimization of lipid nanoparticle formulations for mRNA delivery in vivo with fractional factorial and definitive screening designs. Nano Letters. 15, 7300-7306 (2015).
- Jones, B., Nachtsheim, C. J. A class of three-level designs for definitive screening in the presence of second-order effects. Journal of Quality Technology. 43, 1-15 (2011).
- Cornell, J. Experiments with Mixtures: Designs, Models, and the Analysis of Mixture Data. Wiley Series in Probability and Statistics. , Wiley. (2002).
- Jones, B. Proper and improper use of definitive screening designs (DSDs). JMP user Community. , https://community.jmp.com/t5/JMP-Blog/Proper-and-improper-use-of-Definitive-Screening-Designs-DSDs/bc-p/546773 (2016).
- Myers, R., Montgomery, D., Anderson-Cook, C. Response Surface Methodology. , Wiley. (2016).
- Lekivetz, R., Jones, B. Fast flexible space-filling designs for nonrectangular regions. Quality and Reliability Engineering International. 31, 829-837 (2015).
- Czitrom, V.
- Karl, A., Wisnowski, J., Rushing, H. JMP Pro 17 remedies for practical struggles with mixture experiments. JMP Discovery Conference. , (2022).
- Lemkus, T., Gotwalt, C., Ramsey, P., Weese, M. L. Self-validated ensemble models for design of experiments. Chemometrics and Intelligent Laboratory Systems. 219, 104439 (2021).
- Gotwalt, C., Ramsey, P. Model validation strategies for designed experiments using bootstrapping techniques with applications to biopharmaceuticals. JMP Discovery Conference. , (2018).
- Xu, L., Gotwalt, C., Hong, Y., King, C. B., Meeker, W. Q.
- Ramsey, P., Levin, W., Lemkus, T., Gotwalt, C. SVEM: A paradigm shift in design and analysis of experiments. JMP Discovery Conference Europe. , (2021).
- Ramsey, P., Gaudard, M., Levin, W. Accelerating innovation with space filling mixture designs, neural networks and SVEM. JMP Discovery Conference. , (2021).
- Lemkus, T.
- Juran, J. M. Juran on Quality by Design: The New Steps for Planning Quality into Goods and Services. , Free Press. (1992).
- Yu, L. X., et al. Understanding pharmaceutical quality by design. The AAPS Journal. 16, 771 (2014).
- Simpson, J. R., Listak, C. M., Hutto, G. T. Guidelines for planning and evidence for assessing a well-designed experiment. Quality Engineering. 25, 333-355 (2013).
- Daniel, S., Kis, Z., Kontoravdi, C., Shah, N. Quality by design for enabling RNA platform production processes. Trends in Biotechnology. 40 (10), 1213-1228 (2022).
- Scheffé, H.
- Brown, L., Donev, A. N., Bissett, A. C. General blending models for data from mixture experiments. Technometrics. 57, 449-456 (2015).
- Herrera, M., Kim, J., Eygeris, Y., Jozic, A., Sahay, G. Illuminating endosomal escape of polymorphic lipid nanoparticles that boost mRNA delivery. Biomaterials Science. 9 (12), 4289-4300 (2021).
- Lemkus, T., Ramsey, P., Gotwalt, C., Weese, M. Self-validated ensemble models for design of experiments. ArXiv. , 2103.09303 (2021).
- Goos, P., Jones, B. Optimal Design of Experiments: A Case Study Approach. , John Wiley & Sons, Ltd. (2011).
- Rushing, H. DOE Gumbo: How hybrid and augmenting designs can lead to more effective design choices. JMP Discovery Conference. , (2020).
