Summary
Описанный конвейер предназначен для сегментации наборов данных электронной микроскопии больше гигабайт, для извлечения морфологий из целых клеток. После реконструкции ячеек в 3D, индивидуальное программное обеспечение, разработанное вокруг индивидуальных потребностей, может быть использовано для выполнения качественного и количественного анализа непосредственно в 3D, также используя виртуальную реальность для преодоления окклюзии зрения.
Abstract
Серийное сечение и последующее изображение биологической ткани с высоким разрешением с помощью электронной микроскопии (ЭМ) позволяют сегментировать и реконструировать изображения с высоким разрешением, чтобы выявить ультраструктурные закономерности, которые не могли быть решены с помощью 2D Изображения. Действительно, последнее может привести к неправильному толкованию морфологий, как в случае митохондрий; поэтому использование 3D-моделей становится все более и более распространенным и применяется к разработке функциональных гипотез на основе морфологии. На сегодняшний день использование 3D-моделей, генерируемых из световых или электронных стеков изображений, делает качественные, визуальные оценки, а также количественную оценку, более удобной для выполнения непосредственно в 3D. Поскольку эти модели часто чрезвычайно сложны, также важно создать среду виртуальной реальности для преодоления окклюзии и полного использования 3D-структуры. Здесь подробно описано пошаговое руководство от сегментации изображений до реконструкции и анализа.
Introduction
Первая предлагаемая модель для установки электронной микроскопии, позволяющей автоматический серийный раздел и визуализации восходит к 19811; диффузии таких автоматизированных, улучшенных установк для изображения больших образцов с использованием EM увеличилось в последние десять лет2,3, и работы демонстрации впечатляющих плотных реконструкций или полной морфологии сразу же после4, 5,6,7,8,9,10.
Производство больших наборов данных возникло с необходимостью улучшения конвейеров для сегментации изображений. Программные средства для ручной сегментации серийных секций, таких как RECONSTRUCT и TrakEM211,12, были разработаны для передачи электронной микроскопии (TEM). Поскольку весь процесс может быть чрезвычайно трудоемким, эти инструменты не подходят при работе с тысячами серийных микрографов, которые могут быть автоматически генерируемыми с помощью современных автоматизированных методов серийного раздела EM (3DEM), таких как блок-лицо сканирования электронной микроскопии (SBEM)3 или сфокусированный ионный луч сканирования электронной микроскопии (FIB-SEM)2. По этой причине ученые прилагали усилия для разработки полуавтоматических инструментов, а также полностью автоматизированных инструментов для повышения эффективности сегментации. Полностью автоматизированные инструменты, основанные на машинном обучении13 или современных, неподготовленных алгоритмах классификации пикселей14,совершенствуются для использования более широким сообществом; тем не менее, сегментация все еще далека от полной надежности, и многие работы по-прежнему основаны на ручном труде, который является неэффективным с точки зрения времени сегментации, но по-прежнему обеспечивает полную надежность. Полуавтоматические инструменты, такие как ilastik15,представляют собой лучший компромисс, так как они обеспечивают немедленное считывание для сегментации, которые могут быть исправлены в некоторой степени, хотя он не обеспечивает реальную основу корректирования, и может быть интегрирована с помощью TrakEM2 параллельно16.
Крупномасштабная сегментация на сегодняшний день в основном ограничивается коннектомикой; Поэтому, компьютерные ученые больше всего заинтересованы в предоставлении рамок для комплексных визуализаций больших, аннотированных наборов данных и анализировать модели подключения, выведенные наличием синаптических контактов17,18. Тем не менее, точные 3D-реконструкции могут быть использованы для количественного морфометрического анализа, а не для качественной оценки 3D-структур. Инструменты, как NeuroMorph19,20 и гликоген агенанализа 10 были разработаны для измерения на 3D-реконструкций для длины, поверхностных областей и объемов, и на распределение облачных точек, полностью отбрасывая оригинальный стек EM8,10. Астроциты представляют собой интересный пример, потому что отсутствие визуальных подсказок или повторяющихся структурных моделей дают следователям намек на функцию отдельных структурных подразделений и последующее отсутствие адекватной онтологии астроцитических процессов 21, сделать его сложным для разработки аналитических инструментов. Одной из последних попыток был Abstractocyte22, который позволяет визуальное исследование астроцитарных процессов и вывод качественных отношений между астроцитарными процессами и невритами.
Тем не менее, удобство визуализации секционной ткани под EM происходит от того, что объем информации, скрытой в неповрежденных образцов мозга огромен и интерпретации одного раздела изображения могут преодолеть эту проблему. Плотность структур в головном мозге настолько высока, что 3D-реконструкции даже нескольких объектов, видимых сразу, сделают невозможным их визуальное различание. По этой причине мы недавно предложили использовать виртуальную реальность (VR) в качестве усовершенствованного метода наблюдения за сложными структурами. Мы фокусируемся на астроцитах23, чтобы преодолеть окклюзию (которая является блокированием видимости объекта, представляющего интерес со вторым, в 3D пространстве) и облегчить качественную оценку реконструкций, включая корректирование, а также количественные оценки объектов с использованием количества очков в пространстве. Недавно мы объединили VR визуальное исследование с использованием GLAM (гликогена полученных лактата поглощения модели), техника, чтобы визуализировать карту лактата челнока вероятность невитов, рассматривая гранулы гликогена, как светоизлучающих органов23; в частности, мы использовали VR для количественной оценки световых пиков производства GLAM.
Protocol
1. Обработка изображений с использованием Фиджи
- Откройте стек изображения, перетащив и сбросив родной файл из микроскопа, содержащего стек, или перетащив и сбросив папку, содержащую весь стек изображения, в окно программного обеспечения.
ПРИМЕЧАНИЕ: Фиджи может автоматически распознавать все стандартные форматы изображений, такие как .jpg, .tif и .png, а также запатентованную форматы файлов от поставщиков микроскопов. Хотя следующий протокол был оптимизирован для стеков изображений из 3DEM, эти шаги могут быть использованы и для наборов данных световой микроскопии. - После того, как стек открыт, перейдите к изображению В противом случае его можно ввести вручную.
- Убедитесь в том, чтобы превратить изображение в 8-битный. Нажмите на изображение и введите и выберите 8-битный.
- Если исходный стек был в различных последовательных файлов / папок, используйте Concatenate объединить их в одном стеке, выбрав изображения
- Сохранить стек, выбрав файл (rugt; Сохранить как. Он будет сохранен в виде единого файла .tif и может быть использован в качестве резервного копирования и для дальнейшей обработки.
- Если исходный стек приобретен в виде различных плиток, нанесите сшивание в TrakEM2.
- Создайте новый проект TrakEM2 с использованием новых trakEM2 (пустой).
- В Viewport графический пользовательский интерфейс (GUI), импортировать стеки, нажав на правую кнопку мыши Убедитесь в том, чтобы изменить размер холста, чтобы соответствовать весь стек, нажав на правой нажатием на кнопку
ПРИМЕЧАНИЕ: Например, если монтаж должен быть завершен с использованием четырех плиток 4096 х 4096 пикселей, размер холста должен быть не менее 8192 х 8192 пикселей. Рассмотрим сделать его немного больше, и обрезать его позже. - Накладывай общие части отдельных плиток, перетащив и сбросив их на набор слоя. Используйте верхний левый ползунок, чтобы изменить прозрачность, чтобы помочь с наложением.
- Монтаж и перестроить стеки, нажав на правую кнопку мыши , выровнять, а затем выбрать один из вариантов (см. примечание ниже).
ПРИМЕЧАНИЕ: SBEM или FIB-SEM, как правило, уже хорошо выровнены, но незначительные несоответствия могут произойти. Выравнивание слоев является автоматизированным конвейером для выравнивания z; Монтаж нескольких слоев является автоматизированным конвейером для выравнивания плиток на каждом стеке z, для всего объема; Выравнивание многослойной мозаики сочетает в себе два предыдущих варианта. Эта операция занимает много времени и зависит от случайного доступа памяти (RAM) машины. Рассмотрите возможность использования компьютера высокого класса и дайте ему работать в течение нескольких часов/дней, в зависимости от размера стека. - Наконец, экспортировать изображения стеки и сохранить их с помощью мыши правого щелчка , чтобы сделать плоское изображение, а затем убедитесь, что выбрать первое последнее изображение в выпадающих меню Start and End.
- Использование встроенных функций TrakEM2, сегментных структур, представляющих интерес, если это необходимо.
- В графическом интерфейсе TrakEM2, правой кнопкой мыши на что-нибудь под окном шаблона и выберите Добавить нового ребенка
- Перетащите и падение все, что в верхней части папки под объектами проекта,и один все появится там.
- Перетащите и удалите список области из шаблона во все, что находится под объектами проекта.
- На просмотре стека изображений выберите пространство с курсором. Список области появится с уникальным идентификационным номером. Выберите инструмент для кисти сверху (внизу справа) и используйте мышь, чтобы сегментировать структуру, заполнив ее цитозол, по всему стеку z.
- Экспорт сегментированной маски, которые будут использоваться в ilastik в качестве семян для резьбы по правой щелкнув либо на объекте списка области в списке пространства, или на маске в viewport, и выберите Экспорт
- В зависимости от разрешения, необходимого для дальнейших реконструкций, если это возможно, уменьшить размер пикселя стек изображения путем прошения, учитывая требования к памяти программного обеспечения, которое будет использоваться для сегментации и реконструкции. Используйте изображение (ru) и отрегулируйте размер.
ПРИМЕЧАНИЕ: ilastik обрабатывает стопки до 500 пикселей на xy хорошо. Кроме того, downsampling уменьшит разрешение стека; поэтому примите во внимание минимальный размер, при котором объект все еще кажется узнаваемым и, таким образом, может быть сегментирован. - Для повышения контрастности и помощи сегментации фильтр нерезкой маски может быть применен, чтобы сделать мембраны более четкими. Использование процесса (rugt; Фильтр) и нерезкая маска.
- Экспорт изображения стек в качестве одного изображения для дальнейшей обработки в сегментации программного обеспечения, (например, ilastik), используя файл Последовательность изображений и выберите формат .tif.
2. Сегментация (полуавтоматизированная) и реконструкция с использованием иластика 1.3.2
- В главном GUI ilastik выберите модуль резьбы.
- Загрузите стек изображения с помощью Добавить новые йgt; Добавить один 3D/4D объем из последовательности.
- Выберите цельный каталог и выберите папку, содержащую стек изображения, сохраненную в виде отдельных файлов. В нижней части нового окна, где присутствуют варианты загрузки изображений, убедитесь, что вы не смогут сохранить выбранный .
- Для следующих шагов, все операции и кнопки можно найти на левой стороне основного графического интерфейса программного обеспечения. Под вкладкой Preprocessing используйте уже проверенные стандартные параметры. Используйте яркие линии (фильтры хребта) и держите шкалу фильтра на уровне 1.600. Этот параметр может быть изменен после этого.
- После завершения предварительной обработки выберите следующую страницу в меню выпадающих модулей маркировки. Один объект и один фон присутствуют по умолчанию.
-
Выберите семя объекта, нажав на него, и нарисуйте линию поверх структуры интереса; затем выберите фоновое семя и нарисуйте одну или несколько линий за пределами объекта, которые будут реконструированы. Затем нажмите на сегмент и подождите.
ПРИМЕЧАНИЕ: В зависимости от мощности компьютера и размера стека, сегментация может занять от нескольких секунд до нескольких часов. Как только это будет сделано, полупрозрачная маска, подчеркивающая сегментацию, должна появиться поверх сегментированной структуры.- Прокрутите стек, чтобы проверить сегментацию. Сегментация может быть неточной и не точно следовать структуре интереса или выплескиваться из нее. Исправьте любые побочные эффекты, разместив фоновое семя на пролитой сегментации и добавьте семя объекта над нереконструироваированным сегментом объекта интереса.
- Если сегментация все еще неверна, попробуйте изменить с параметром Bias, который увеличит или уменьшит количество неопределенных классифицированных пикселей, как принято. Его значение составляет 0,95 по умолчанию; уменьшить его, чтобы ограничить любой побочный эффект (обычно не менее 0,9) или увеличить, если сегментация слишком консервативна (до 1).
- Другая возможность заключается в том, чтобы вернуться к шагу 2.4 (нажав на Preprocessing) и изменить размер фильтра; увеличение значения (например, до 2) сведет к минимуму шумоизоляцию соли и перца, но также сделает мембраны более размытыми, а мелкие детали более трудно обнаружить. Это может ограничить побочные эффекты.
- Повторяй столько, сколько необходимо, до тех пор, как все желаемые объекты были сегментированы. После завершения объекта нажмите на объект Сохранить текущийобъект ниже сегмента. Появятся два новых семена, чтобы начать сегментацию нового объекта.
- Извлекайте поверхностные сетки сразу же, как .obj файлы, нажав на Экспорт все сетки.
- Если требуется дальнейшее корректирование, сегментация может быть извлечена в виде бинарных масок. Выберите маску для ее экспорта, нажав объекты Browse; затем, право-нажмите на сегментации , экспорт, а затем, в соответствии с выходом файл информации, выберите TIF последовательность в качестве формата.
3. Проверевщина/сегментация (руководство) в TrakEM2 (Фиджи)
- Загрузите стек изображения и создайте новый проект TrekEM2 в каждом шаге 1.6.1.
- Импортируйте маски, которые нуждаются в корректуру, используя метки импорта опции в качестве arealists,доступные в том же меню импорта, используемом для импорта стека изображений.
- Выберите список областей, импортируемых в пространстве и используйте инструмент Brush для анализа сегментации.
- Визуализируйте модель в 3D, нажав на правой нажав на список области В следующем окне с просьбой о номере повторного образца более высокое значение будет генерировать сетку с более низким разрешением.
ПРИМЕЧАНИЕ: В зависимости от размера объекта, рассмотреть возможность использования значения между 4 и 6, который обычно дает лучший компромисс между разрешением и морфологических деталей. - Экспорт 3D сетки, как wavefront .obj, выбрав из меню Файл (gt; Экспортные поверхности)
4. 3D-анализ
- Откройте Blender. Для следующих шагов, убедитесь, что установить набор инструментов NeuroMorph (доступен в доступном для https://neuromorph.epfl.ch/index.html) и набор анализа гликогена (доступен в https://github.com/daniJb/glyco-analysis).
- Импортируйте объекты с помощью импорта партии NeuroMorph, нажав на объекты импорта в меню «Сцена», чтобы импортировать сразу несколько объектов. Убедитесь в том, чтобы активировать Использование remesh и гладкой затенения.
ПРИМЕЧАНИЕ: Не рекомендуется нажимать на remesh Finalize, если есть неопределенность относительно первоначального размера объекта. Глубина дерева импорта в значении 7 (по умолчанию) обычно хороша для поддержания приемлемого разрешения и морфологии объекта. - Выберите интересующий объект из аутлайнера и измените глубину octree функции ремеша в меню Modifiers iteratively, чтобы свести к минимуму количество головоретов и избежать потери деталей в разрешении и правильной морфологии. При изменении глубины octree, сетка на главном GUI будет меняться соответствующим образом. После завершения, нажмите на Apply для завершения процесса.
ПРИМЕЧАНИЕ: Значения вокруг 4, как правило, хороши для небольших объектов (таких как постсинаптическая плотность), значения около 7 для более крупных (например, длинные аксоны или дендриты), и значения около 8 или 9 для полной клеточной морфологии, где детали различных резолюций должны быть Поддерживается. - Используйте взаимодействие стека стека изображения изображения изображения изображения на левой панели, под меню NeuroMorph, для загрузки стека изображения. Убедитесь в том, чтобы ввести физический размер стека изображений для x, y, и x (в микронах или нанометрах, в зависимости от единиц сетки) и выберите путь стека, нажав на Источник. X и Y являются ортогоналые плоскости; они не являются обязательными и будут загружены только в том случае, если пользователь вставляет допустимый путь.
- Затем выберите сетку на viewport, нажав на него правой кнопкой мыши, введите режим отображения, нажав Tab,выберите один (или более) вершины с помощью мыши правый щелчок, и, наконец, нажмите на Показать изображение на вершине. Один (или более) плоскости разреза (ы) с микрографом появится наложенный на верхней части сетки.
- Выберите плоскость разреза, нажав на нее правой кнопкой мыши, нажмите Ctrl ипрокрутите 3D-модель с помощью прокрутки мыши. Это также может быть использовано в качестве метода корректура.
- Используйте инструменты измерения для количественной оценки поверхностных участков, объемов и длин. Эти операции более подробно описаны Jorstad et al.19 и на веб-сайте NeuroMorph24.
- Используйте инструмент анализа гликогена для количественной оценки близости гликогена к шипам и бутонам. Операции задокументированы более подробно в предыдущей публикации10 и в хранилище анализа гликогена25.
- Импортируйте объекты с помощью импорта партии NeuroMorph, нажав на объекты импорта в меню «Сцена», чтобы импортировать сразу несколько объектов. Убедитесь в том, чтобы активировать Использование remesh и гладкой затенения.
- Выполнить GLAM23. Код, исполняемый и некоторые тестовые файлы доступны в репозитории GLAM26.
- Подготовьте два файла геометрии в формате .ply: один исходный файл, содержащий гранулы гликогена, и один целевой файл, содержащий поверхности морфологии.
- Подготовьте три файла colormap .ascii (каждая строка, содержащая t'norm (0..1) R (0..255) G (0..255) B (0..255)) для представления локальных значений поглощения, пиковых значений и средних значений поглощения.
- Выполните значение GLAM с помощью файлов геометрии (шаг 4.2.1) и colormap (шаг 4.2.2), установив радиус влияния (в микронах), максимально ожидаемое значение поглощения и нормализованный порог для кластеризации пиков поглощения. Для получения информации о других параметрах выполните сценарий с опцией -справка.
- Экспортировать результаты как файлы .ply или .obj: целевые объекты, отображаемые с значениями GLAM, пиковые маркеры поглощения, представленные в виде цветных сфер, и целевые объекты, закодированные по отношению к среднему значению поглощения.
- Открытое взаимодействие VR данных. Взаимодействуют VR Data в общедоступном репозитории27.
- Импортные сетки, которые должны быть визуализированы, следуя инструкциям в меню VR. Убедитесь в том, чтобы импортировать файлы .obj, вычисленные в шаге 4.2.1, в случае необходимости анализа GLAM.
Representative Results
Используя представленную выше процедуру, мы показываем результаты на двух стеках изображений разных размеров, чтобы продемонстрировать, как гибкость инструментов позволяет масштабировать процедуру до больших наборов данных. В данном случае, два 3DEM наборы данных (i) P14 крысы, соматосенсорной коры, слой VI, 100 мкм х 100 мкм х 76,4 мкм4 и (ii) P60 крысы, гиппокамп CA1, 7,07 мкм х 6,75 мкм х 4,733 м км10.
Шаги предварительной обработки(рисунок 1) могут быть выполнены одинаково для обоих наборов данных, просто принимая во внимание, что больший набор данных, такой как первый стек, который составляет 25 ГБ, требует более эффективного оборудования для обработки большой визуализации данных и обработки . Второй стек составляет всего 1 ГБ, с совершенно изотропным размером вокселя.
Размер данных может не быть напрямую связан с полем зрения (FOV), а не с разрешением самого стека, которое зависит от максимального размера пикселей датчика микроскопа и увеличения стека. В любом случае, логически, более крупные FOV, вероятно, занимают больше физического пространства по сравнению с меньшими FOVs, если они приобретены в том же разрешении.
После того, как стек изображения импортируется, как указано в разделе 1 протокола, в программном обеспечении Фиджи(рисунок 1A), научный релиз ImageJ12, один важный момент, чтобы убедиться, что формат изображения 8-битный(рисунок 1B). Это потому, что многие приобретения программного обеспечения различных производителей микроскопических компаний генерировать свой собственный формат файла в 16-битных для хранения метаданных, имеющих отношение к информации о процессе приобретения (т.е. размер пикселей, толщина, ток / напряжение электронный луч, камерное давление) вместе со стеком изображения. Такие корректировки позволяют ученым сохранить память, так как дополнительные 8-битные, содержащие метаданные, не влияют на изображения. Вторым важным параметром для проверки является размер вокселя, который затем позволяет проводить реконструкцию после сегментации в правильной шкале (микрометры или нанометры; Рисунок 1B).
Стеки могут нуждаться в перестройке и/или сшивании, если они были приобретены с помощью плитки; эти операции могут быть выполнены в TrakEM2(Рисунок 2A), хотя в отношении перестройки, автоматизированные методы 3DEM, такие как FIB-SEM или 3View, как правило, хорошо перестроены.
Последний шаг требует фильтрации и, возможно, сниза стека, в зависимости от того, какие объекты необходимо реконструировать и влияет ли проба на распознавание реконструированных объектов. Например, для более крупной стек (соматосенсорной коры крыс P14) невозможно было скомпрометировать разрешение в интересах эффективности реконструкции, в то время как для меньшего стека (гиппокампа CA1 крыс P60) это было возможно сделать потому что резолюция была намного выше того, что было необходимо для реконструкции наименьших объектов. Наконец, использование нерезкой маски усиливает разницу между мембранами и фоном, делая его благоприятным для реконструкции программного обеспечения, как ilastik, который использует градиенты для предварительной оценки границ.
После обработки изображений, реконструкция может быть выполнена либо вручную с помощью TrakEM2, или полуавтоматически с помощью ilastik(рисунок 2C). Набор данных, как меньше ежеперечисленных здесь (ii), которые могут быть downsampled вписаться в память, может быть полностью сегментирован с помощью ilastik (Рисунок 2B) для получения плотной реконструкции. В случае с первым набором данных, перечисленным здесь (i), нам удалось загрузить и предварительно обработать весь набор данных с помощью рабочей станции Linux с 500 ГБ оперативной памяти. Разреженный сегментации 16 полных морфологии был получен с гибридным трубопроводом, путем извлечения грубой сегментации, которая была вручную корректор с помощью TrakEM2.
3D-анализ таких функций, как поверхностные области, объемы или распределение внутриклеточного гликогена, может быть выполнен в среде Blender(рисунок 3)с использованием пользовательских кодов, таких как NeuroMorph19 или гликогенный анализ10.
В случае наборов данных, содержащих гранулы гликогена, анализ их распределения можно сделать с помощью GLAM, кода СЗ, который будет генерировать цветовые карты с областью влияния непосредственно на сетке.
Наконец, такие сложные наборы данных могут быть визуализированы и проанализированы с помощью VR, что оказалось полезным для анализа наборов данных с определенным окклюзионным представлением (рисунок 4). Например, пики, выведенные из карт GLAM, были легко выведены визуально из дендритов во втором наборе данных, обсуждаемом здесь.
Рисунок 1: Обработка изображений и подготовка к сегментации изображений. ()Главный графический интерфейс Фиджи. (b)Пример сложенных изображений из набора данных (i), обсуждаемых в репрезентативных результатах. Панель справа показывает свойства, позволяющие пользователю установить размер вокселя. (c)Пример файлера и операции повторного размера, применяемый к одному изображению. Панели справа показывают увеличения от центра изображения. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 2: Сегментация и реконструкция с использованием TrakEM2 и ilastik. ( a ) TrakEM2 GUI с объектами, вручную сегментированными (красным цветом). (b)Экспортируемая маска из панели a может быть использована в качестве ввода (семени) для(c)полуавтоматической сегментации (резьба). Из иластика маски (красные) можно экспортировать в TrakEM2 для ручного корректура. (d)Маски могут быть затем экспортированы в качестве 3D треугольных сетки, чтобы выявить реконструированные структуры. В этом примере с помощью этого процесса были реконструированы четыре нейрона, астроциты, микроглии и перициты из набора данных (i) (обсуждаемые в репрезентативных результатах). Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 3: 3D-анализ реконструированных морфологий с использованием индивидуальных инструментов. ( a ) Изотропный объем изображения из набора данных FIB-SEM (ii) (как обсущено в репрезентативных результатах). (б)Плотная реконструкция из панели a. Серые аксоны; зеленый и астроцитарный процесс; синие и дендриты. (c)Микрограф, показывающий примеры целевых показателей для количественных показателей, таких как синапсы (набор данных (i)) и астроцитарные гранулы гликогена (ii)) в правильных увеличениях. (d)Маска из панели c, показывающая распределение гранул гликогена вокруг синапсов. (e)Количественная оценка распределения гликогена из набора данных из панели c,с использованием инструментария анализа гликогена от Blender. Бары ошибок указывают на стандартные ошибки. N 4 145 гранул гликогена. (f) Графическая иллюстрация ввода и вывода визуализации GLAM. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 4: Анализ в VR. ()Пользователь, носящий VR-гарнитуру во время работы над(b)плотной реконструкцией из набора данных FIB-SEM (ii) (как это обсуждалось в репрезентативных результатах). (c) Погружение VR сцены из подмножества невритов из панели b. Зеленый лазер указывает на пик GLAM. (d)Пример анализа из ПИКА GLAM рассчитывает в VR. N и 3 мышей на каждый бар. Анализ FIB-SEM из предыдущей публикации28. Бары ошибок указывают на стандартные ошибки; р-л; 0,1, в одну сторону ANOVA. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Discussion
Представленный здесь метод является полезным пошаговоц-гидом для сегментации и 3D-реконструкции многомасштабного набора данных EM, независимо от того, являются ли они получены из методов визуализации высокого разрешения, таких как FIB-SEM, или других автоматизированных методов последовательного секций и визуализации. FIB-SEM имеет преимущество потенциально достижения идеальной изотропной в размере вокселя путем резки разделов, как тонкие, как 5 нм с помощью сфокусированного ионного луча, его FOV может быть ограничено 15-20 мкм из-за побочных артефактов, которые, возможно, из-за осаждения вырезанной ткани, если FO V превышает это значение. Таких артефактов можно избежать с помощью других методов, таких как SBEM, который использует алмазный нож, чтобы сократить серийные разделы внутри микроскопа камеры. В этом последнем случае разрешение z может быть около 20 нм в лучшем случае (обычно, 50 нм), но FOV может быть больше, хотя разрешение пикселей должно быть скомпрометировано для обширного региона, интересующего. Одним из решений для преодоления таких ограничений (увеличение по отношению к FOV) является разделение региона, интересуемого плиткой, и приобретение каждого из них в более высоком разрешении. Мы показали здесь результаты как стек-набор sBEM (i) в репрезентативных результатах, так и набор данных FIB-SEM (ii) в репрезентативных результатах.
По мере того, как поколение все больших и больших наборов данных становится все более распространенным явлением, прилагаются к умножению усилий по созданию инструментов для классификации пикселей и автоматической сегментации изображений; тем не менее, на сегодняшний день ни одно программное обеспечение не доказало надежность, сравнимую с достоверностью человеческих корректуру, которая, следовательно, по-прежнему необходима, независимо от того, насколько это отнимает много времени. Как правило, небольшие наборы данных, которые могут быть сокращены, как в случае набора данных (ii), могут быть плотно реконструированы одним экспертным пользователем в течение недели, включая время корректура.
Представленный здесь протокол включает в себя использование трех программ, в частности: Фиджи (версия 2.0.0-rc-65/1.65b), ilastik (версия 1.3.2 rc2) и Blender (2.79), которые являются открытым исходным кодом и многоплатформенными программами и загружаются бесплатно. Фиджи является выпуск ImageJ, питание от плагинов для биологического анализа изображений. Он имеет надежную архитектуру программного обеспечения и предлагается, как это общая платформа для ученых жизни и включает в себя TrakEM2, один из первых и наиболее широко используемых плагинов для сегментации изображений. Одной из проблем, с которой сталкиваются многие пользователи в последнее время, является переход от Java 6 к Java 8, который создает проблемы совместимости; поэтому мы предлагаем воздержаться от обновления до Java 8, если это возможно, чтобы Фиджи могли нормально работать. ilastik является мощным программным обеспечением, обеспечивающим ряд рамок для классификации пикселей, каждый из которых документирован и объяснен на их веб-сайте. Модуль резьбы, используемый для полуавтоматической сегментации стеков EM, удобен, так как экономит много времени, позволяя ученым сократить время, затрачиваемые на ручную работу, от нескольких месяцев до нескольких дней для опытного пользователя, так как одним щелчком мыши может быть весь нейрит сегментированных в секундах. Этап предварительной обработки очень интенсивный с аппаратной точки зрения, и очень большие наборы данных, такие как представленный здесь стек SBEM, который составлял 26 ГБ, требуют своеобразных стратегий, чтобы вписаться в память, учитывая, что можно было бы получить большой набор данных, потому что не может компромиссное поле зрения и разрешения. Таким образом, в этом случае снижение выборки может оказаться неподходящим решением. Последний выпуск программного обеспечения может сделать предварительную обработку в течение нескольких часов с мощной рабочей станцией Linux, но сегментация займет несколько минут, и прокрутка через стек будет по-прежнему относительно медленно. Мы по-прежнему используем этот метод для первой, грубой сегментации и корректироводирования с помощью TrakEM2. Наконец, Blender — это программное обеспечение для 3D-моделирования с мощным 3D-релизывающим движком, который можно настроить с помощью скриптов python, которые могут быть встроены в основной графический интерфейс в качестве дополнений, таких как NeuroMorph и анализ гликогена. Гибкость этого программного обеспечения связана с недостатком, что, в отличие от Фиджи, например, он не предназначен для онлайн визуализации больших наборов данных; поэтому визуализация и навигация по большим сеткам (превышающая 1 ГБ) может быть медленной и неэффективной. Из-за этого, это всегда целесообразно выбрать методы, которые уменьшают сложность сетки, но осторожны, чтобы не нарушить первоначальную морфологию структуры интересов. Функция remesh пригодится и является встроенной функцией инструмента импорта партии NeuroMorph. Проблема с этой функцией заключается в том, что, в зависимости от количества головокружений исходной сетки, значение глубины octree, которое связано с окончательным разрешением, должно быть соответствующим образом изменено. Небольшие объекты могут быть remeshed с небольшой глубиной octree (например, 4), но то же значение может нарушить морфологию крупных объектов, которая нуждается в больших значениях (6 в лучшем случае, до 8 или даже 9 для очень большой сетки, такие как полная ячейка). Целесообразно сделать этот процесс итеративным и проверить различные глубины octree, если размер объекта не ясен.
Как упоминалось ранее, один аспект, который должен быть принят во внимание, это вычислительная мощность, которая будет посвящена реконструкции и анализу, связанные с программным обеспечением, которое используется. Все операции, указанные в репрезентативных результатах данной рукописи, были получены с помощью MacPro, оснащенного картой AMD FirePro D500 Graphics, 64 ГБ оперативной памяти и процессором Intel Xeon E5 с 8 ядрами. Фиджи имеет хорошую архитектуру программного обеспечения для обработки больших наборов данных; Поэтому рекомендуется использовать ноутбук с хорошей аппаратной производительностью, такой как MacBook Pro с процессором Intel i7 с 2,5 ГГц и 16 ГБ оперативной памяти. программное обеспечение ilastik является более требовательным с точки зрения аппаратных ресурсов, в частности, на этапе предварительной обработки. Хотя downsampling стек изображения является хорошим трюком, чтобы ограничить аппаратные запросы от программного обеспечения и позволяет пользователю обрабатывать стек с ноутбуком (как правило, если он ниже 500 пикселей в х,у,z), мы предлагаем использовать высокого класса компьютер для запуска этого программного обеспечения гладко. Мы используем рабочую станцию, оснащенную процессором Intel Xeon Gold 6150 с 16 ядрами и 500 ГБ оперативной памяти.
При точной 3D-реконструкции ученые могут отказаться от оригинальных микрографов и работать непосредственно на 3D-моделях для извлечения полезных морфометрических данных для сравнения клеток одного и того же типа, а также различных типов клеток и использования VR для качественные и количественные оценки морфологии. В частности, использование последнего оказалось полезным в случае анализа плотных или сложных морфологий, которые представляют собой визуальные окклюзии (т.е. блокировка зрения объекта, интересуемого в 3D пространстве, второго, размещенного между наблюдателем и фи rst объекта), что затрудняет их представление и анализ в 3D. В представленном примере опытный пользователь занял около 4 непоследовательных часов, чтобы наблюдать за наборами данных и считать объекты. Время, затрачиваемые на анализ VR может варьироваться, так как такие аспекты, как VR-болезнь (которая может в некоторой степени быть связана с автомобильной болезнью) могут оказывать негативное влияние на пользовательский опыт; в этом случае пользователь может предпочесть другие инструменты анализа и ограничить свое время, посвященное VR.
Наконец, все эти шаги могут быть применены к другим микроскопии и не-EM методы, которые генерируют образ стеки. EM генерирует изображения, которые, в общем, являются сложными для обработки и сегмента, по сравнению, например, с флуоресценцией микроскопии, где что-то сопоставимо с бинарной маской (сигнал против черного фона), что в принципе может быть легко оказана в 3D для дальнейшей обработки, часто нуждается в рассмотрении.
Disclosures
Авторам нечего раскрывать.
Acknowledgments
Эта работа была поддержана Королевским Университетом Науки и Технологии (KAUST) Конкурсные исследовательские гранты (CRG) Грант "KAUST-BBP Альянс для интегративного моделирования метаболизма энергии мозга" в PJM.
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C.
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
