Представлен метод мультимодальной сорегистрации изображений, не требующий использования реперных маркеров для производственных сканирований. Фантомный подход генерирует дифференциальное преобразование между системами координат двух модальностей визуализации.
Остаточное термоядерное синтез и валидация дифференциального преобразования
После вычисления дифференциального преобразования программное обеспечение отображает остаток термоядерного синтеза в миллиметрах, представляющий среднеквадратическую ошибку19 преобразования. Если этот остаток превышает на порядок величину размера воксела, рекомендуется проверить наборы данных на предмет общих проблем. Однако, поскольку все изображения имеют небольшие искажения, остаточное значение не может стать произвольно малым; Он отражает только посадку используемых маркеров. Например, совместная регистрация с тремя маркерами может привести к меньшему остатку на одних и тех же наборах данных, чем преобразование с четырьмя хорошо распределенными маркерами. Это происходит потому, что сами маркеры могут быть переобучены при использовании меньшего количества реперных инструментов. Точность по всему набору данных повышается с увеличением количества маркеров.
Количественная точность метода зависит от конкретной пары используемых устройств. Рассчитанное дифференциальное преобразование между системами координат двух устройств может быть проверено следующим образом: Придерживаясь шага 4 протокола, но снова используя фантом с реперными знаками в качестве «образца». Размещение фантома в любом положении, чтобы убедиться, что он отличается от того, которое использовалось для оценки дифференциального преобразования. Также можно использовать другой фантом, подходящий для соответствующих модальностей, если он доступен. Затем применяем дифференциальное преобразование, определенное ранее (шаг 4.2.5), чтобы выровнять две модальности. Затем размещаем маркеры на изображениях из обеих модальностей в соответствии с шагом 3.2 протокола. Чтобы рассчитать остаточную величину слияния для этих маркеров, нажмите на меню «Слияние » > «Наложение регистров на подложку » > «Отображение оценки остаточного заряда».
Остаточная погрешность описывает среднее смещение сигнала и должна быть в порядке размера воксела. Пороговые значения приемлемости бетона зависят от области применения и могут зависеть от нескольких факторов, таких как жесткость и точность систем визуализации, но также могут зависеть от артефактов реконструкции изображений.
Устранение неполадок с самосогласованностью
Часто трудности с самосогласованностью возникают из-за ненадежного размещения. Распространенной ошибкой является размещение носителя в поперечном перевернутом положении. В идеале он должен быть механически введен в устройство визуализации только в одном направлении. Если это невозможно, следует добавить понятную для пользователя маркировку. Еще одной частой проблемой является возможность смещения по продольной оси, что делает осевое позиционирование ненадежным. Рекомендуется использовать распорку, которую можно прикрепить с одного конца, чтобы закрепить лежанку для мыши на месте. Нестандартные распорки, например, можно быстро и легко создать с помощью 3D-печати. Однако некоторые устройства не могут обеспечить самосогласованность при различных полях зрения. В таких случаях рекомендуется связаться с поставщиком, который должен подтвердить несовместимость и, возможно, устранить ее в будущем обновлении. В остальном метод остается надежным, если для всех сканирований, включая калибровку и производственную визуализацию, поддерживается одинаковое поле зрения.
Для некоторых производственных сканов с неправильным размещением возможно преобразование в откалиброванное положение, если различима достаточная несущая структура. Для визуализации in vivo животное под действием седативных препаратов должно оставаться в одном носителе, и создание одного носителя, который надежно помещается в оба устройства, не всегда достижимо. Часто для метода, основанного на индикаторах, используется мышиная кровать, а затем импровизированное размещение в компьютерном томографе. Например, на рисунке 5A мышиная кровать MPI была размещена поверх ложа для КТ-мыши из-за механических ограничений. Осевой уклон и возможность качения делают такое позиционирование ненадежным. В таких случаях рекомендуется спроектировать адаптер, который заменяет нижнее ложе мыши и обеспечивает блокирующую посадку. Он может, например, использовать цапфы, прикрепленные к нижней части и дополнительные отверстия в нижней части верхней мышиной кровати.
Тем не менее, ретроспективная коррекция для существующих изображений возможна, так как ложе мыши обнаруживается на КТ-изображении. Протокол требует калибровочного сканирования с последующим расчетом дифференциального преобразования наложения в подложку. Процедура аналогична, но также должна сопоставлять каждый отдельный производственный компьютерный томограф с калибровочным сканированием, используя структуры мышиного ложа в качестве реперных точек.

Рисунок 5: Поиск и устранение неполадок при размещении. (A) Ложе для мыши MPI размещается поверх подставки для мыши CT. Следовательно, положение на КТ не может быть достоверно воспроизведено. Самосогласованность может быть достигнута путем объединения каждого КТ-изображения с эталонным КТ-изображением, используемым для оценки дифференциального преобразования. (Б-Г) Упрощено до 2D. (B) Каждое производственное изображение компьютерной томографии загружается в виде наложения и регистрируется на эталонном изображении компьютерной томографии (подложке) с использованием структур мышиного ложа, видимых на компьютерной томографии. Скорректированное производственное КТ-изображение теперь согласуется с референсной КТ и может быть использовано с дифференциальным преобразованием T. (C) Наложение MPI регистрируется на референсное изображение КТ с использованием реперных маркеров фантома. (D) Собираются мультимодальные изображения. Для этого каждое изображение КТ сопоставляется с исходным положением с его индивидуальным дифференциальным преобразованием. Впоследствии наложение MPI также регистрируется в опорном положении с помощью дифференциального преобразования, которое справедливо для всех изображений устройства. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Чтобы сопоставить производственные компьютерные томографы с калибровочным сканированием, обратитесь к разделу 3 протокола, включающему следующие изменения. Для ясности описание продолжится на примере подложки КТ и наложения MPI: На шаге 3.1 загрузите калибровочный скан КТ (изображение А) в качестве подложки и корректируемый КТ-скан в качестве наложения. Используйте структуры ложа мыши MPI либо в качестве маркеров для шага 3.2, либо в качестве визуальных ориентиров для шага 3.3. Пропустите шаг 3.4, но сохраните наложение, представляющее собой скорректированный объем CT (Файл меню > Наложение > Сохранение наложения как). В открывшемся диалоговом окне введите новое имя и нажмите кнопку «Сохранить». Закройте наложение, перейдя в раздел Файл меню > Наложение > Закрытие наложения. Загрузите следующий компьютерный томограф, требующий коррекции, в качестве наложения и возобновите процедуру с шага 3.2 протокола. Концепция, лежащая в основе этого шага, проиллюстрирована на рисунке 5B.
Мышиное ложе теперь практически идентично калибровочному сканированию во всех недавно сохраненных объемах компьютерной томографии. В рамках стандартной процедуры калибровочное сканирование регистрируется на изображениях MPI с использованием дифференциального преобразования T (рис. 5C). Чтобы впоследствии объединить изображение КТ с MPI, всегда используйте скорректированный объем КТ (Рисунок 5D).
Устранение неполадок с перевернутыми изображениями и масштабированием
Представленный здесь метод регистрации предполагает достаточно точное качество изображения и регулирует только вращение и перемещение. Он не корректирует перевернутые изображения или неправильное масштабирование. Однако эти две проблемы можно решить вручную до вычисления дифференциального преобразования.
Несоответствия между форматами данных разных производителей могут привести к тому, что некоторые наборы данных, особенно в формате DICOM, будут отображаться в программном обеспечении как зеркально инвертированные. Поскольку фантомы и лежанки для мышей часто симметричны, эта проблема может быть не сразу очевидна. Обнаружение перевернутых изображений облегчается, когда сканирование содержит узнаваемые надписи в соответствующей модальности, такие как выпуклая надпись в правильной ориентации, видимой на фантоме на рисунке 3H. В примере, показанном на рисунке 6, данные КТ загружаются в качестве подложки, а данные MPI загружаются в качестве наложения. Это сканирование in vivo мыши, помещенной в мышиную кровать MPI с прикрепленными реперными маркерами. Мышиная ложе MPI расположена на верхней части мышиной ложа для μCT (рис. 6A). При соблюдении протокола и маркировке реперных точек как в подложке, так и в наложении в постоянном направлении вращения, получается явно несочетаемый результат (Рисунок 6B). Однако при ближайшем рассмотрении можно выявить проблему. Реперные точки образуют асимметричный треугольник. Наблюдая за сторонами треугольника в осевом виде (рис. 6C, D) от самой короткой до середины и самой длинной, вращение по часовой стрелке очевидно в данных КТ, в то время как вращение против часовой стрелки очевидно в данных MPI. Это демонстрирует, что одно из изображений инвертировано в сторону. В этом случае мы предполагаем, что данные КТ точны. Чтобы исправить наложение MPI, изображение переворачивается: для этого переключите выбранный слой на наложение и нажмите на Меню Редактирование > Отразить > Отразить X. Дифференциальное преобразование, рассчитанное программным обеспечением, охватывает все необходимые вращения, поэтому «Flip X» достаточно, даже если изображение кажется перевернутым в другом направлении.

Рисунок 6: Устранение неполадок при преобразовании. Данные КТ загружаются в виде подложки с размером вокселя 0,240 мм, а данные MPI в виде наложения с размером вокселя 0,249 мм. Ложе для мыши содержит реперные знаки. (A) 3D-вид неисправленного наложенного изображения. Реперные точки в подложке CT обозначены стрелками. Реперные точки в наложении MPI отображаются как сферы в таблице цветов NIH. (B) Несовпадающий результат преобразования, выполненного без соответствующих поправок. Остаток сплавления = 6,94 мм. (C) Измерение расстояний между реперными точками в CT. Вращение по часовой стрелке от самого короткого к самому длинному расстоянию. (D) Измерение расстояний между реперными точками в MPI. Вращение против часовой стрелки от самого короткого к самому длинному расстоянию. Сравнение с измерениями КТ дает коэффициент масштабирования 0,928774. (E) Исправлено наложение после перелистывания и масштабирования. (F) Преобразование с сопоставлением результатов в 3D виде. (G) Преобразование с согласованием результатов в осевом виде. Остаточное сплавление = 0,528 мм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Наборы данных с неправильными размерами вокселов также можно исправить вручную. Так как габариты фантома должны быть известны, это можно проверить на изображении. Самый простой метод – использование ребра известной длины. Нажмите [Ctrl + правая кнопка мыши] на одном конце края и, удерживая кнопку нажатой, переместите указатель мыши на другой конец края и отпустите кнопку. В последующем диалоговом окне программное обеспечение отображает длину измеренного расстояния на изображении. В примере, проиллюстрированном на рисунке 6, очевидно, что размеры не совпадают при сравнении расстояний между реперными знаками в обеих модальностях (рисунок 6C, D). Опять же, данные КТ считаются точными. Чтобы изменить масштабирование, вычисляется коэффициент масштабирования (SF). Поскольку отношение длин (CT/MPI) не является точно идентичным для каждой стороны треугольника, вычисляется среднее частное: SF = ((l1CT/l1MPI) + (l2CT/l2MPI) + (l2CT/l2MPI)) / 3.
Затем отрегулируйте размер воксела наложения, умножив каждое измерение на SF. Чтобы добиться этого, переключите выбранный слой на перекрытие и откройте меню Редактирование > Изменить размеры вокселей (Change Voxel Sizes). Вычислите каждое измерение, введите значение и нажмите кнопку ОК. Результат обеих коррекций показан на рисунке 6E. После этого оверлей регистрируется на подложке в соответствии с протоколом. Полученное выравнивание показано на рисунке 6F,G. Хотя это обеспечивает быстрое решение для коррекции существующего сканирования, мы рекомендуем откалибровать устройство обработки изображений для промышленного использования.
Ограничения
Этот метод ограничен пространственной сорегистрацией существующих объемных данных, составленных из кубических вокселей. Он не включает в себя процесс реконструкции, который вычисляет объем на основе необработанных данных, сгенерированных устройством визуализации (например, проекции при компьютерной томографии). С этим этапом связаны различные методы улучшения изображения, такие как итерационные методы20,21 и применение искусственного интеллекта21. Хотя описанный метод, в принципе, применим ко всем модальностям, которые позволяют получать 3D-изображения с кубическими вокселями, он не может быть использован для объединения 3D-данных с 2D-данными, как объемная МРТ в сочетании с 2D-инфракрасной термографией22 или флуоресцентной визуализацией, которая может быть актуальна в хирургических приложениях под визуальным контролем. Регистрация 3D-данных не корректирует искажения, подобные тем, которые возникают на МРТ-изображениях на краю катушки. Хотя это не является обязательным, оптимальные результаты достигаются при исправлении искажений в процессе реконструкции. Автоматическое преобразование также не устраняет перевернутые изображения или неправильное масштабирование. Тем не менее, эти две проблемы можно решить вручную, как описано в разделе об устранении неполадок.
Значение метода
Предлагаемый метод устраняет необходимость в реперных знаках при сканировании производства, предлагая ряд преимуществ. Это полезно для методов, для которых требуется обслуживание маркеров или частая замена. Например, большинство маркеров МРТ основаны на влаге, но со временем имеют тенденцию к высыханию, а радиоактивные маркеры ПЭТ распадаются. Устраняя необходимость в реперных знаках при сканировании в рабочей среде, можно уменьшить поле зрения, что приводит к сокращению времени сбора. Это полезно в условиях высокой пропускной способности для снижения затрат и минимизации дозы рентгеновского излучения при компьютерной томографии. Снижение дозы желательно, поскольку радиация может влиять на биологические пути подопытных животных в исследованиях продольной визуализации23.
Более того, метод не ограничен конкретными модальностями. Компромисс для такой универсальности заключается в том, что автоматизируется меньшее количество шагов. Ранее опубликованный метод объединения данных μКТ и ТФМ использует встроенные маркеры в мышиной подушке для каждого сканирования и может выполнять автоматическое обнаружение маркеров и коррекцию искажений во время реконструкции24. Другие методы устраняют необходимость в маркерах, используя сходство изображений. Хотя этот подход дает хорошие результаты, а также может корректировать искажения25, он применим только в том случае, если эти два метода обеспечивают достаточно схожие изображения. Обычно это не относится к комбинации анатомически детализированной модальности и методологии, основанной на индикаторах. Тем не менее, эти комбинации необходимы для оценки фармакокинетики таргетных агентов26, которые имеют применение в таких областях, как противоопухолевая нанотерапия 27,28.
Поскольку контроль качества в доклинических исследованиях менее строгий по сравнению с клиническим применением, несоосность комбинированных устройств визуализации является общепризнанной проблемой29. Данные, на которые влияет это смещение, могут быть улучшены ретроспективно путем сканирования фантома и определения дифференциального преобразования, что потенциально снижает затраты и минимизирует вред для животных. В дополнение к продемонстрированному методу, в котором используются реперные знаки для расчета дифференциального преобразования, которое затем применяется к производственным сканированиям, описываются и используются другие возможности слияния изображений. Обзор, который включает в себя ссылки на различные доступные программы, можно найти в Birkfellner et al.30.
В заключение можно сказать, что представленный метод предлагает эффективное решение для мультимодальной совместной регистрации изображений. Протокол легко адаптируется для различных методов визуализации, а предоставленные методы поиска и устранения неисправностей повышают устойчивость метода к типичным проблемам.