Кросс-культурная адаптация и психометрическая валидация структурированного интервью для психиатрической оценки

Краткое содержание

Целью данной работы является предоставление подробного протокола для проведения культурной адаптации и психометрической валидации структурированного интервью для оценки тяжести симптомов конкретного психического расстройства. Представлены эмпирически обоснованные процедуры, начиная с выбора меры и детализации экспериментальных процедур и статистического анализа.

Аннотация

Психические расстройства являются существенной причиной длительной инвалидности и смертности. Несмотря на то, что лечение доступно, точность диагностики имеет решающее значение для обеспечения адекватного лечения, основанного на фактических данных, и разработки новых методов лечения. Для информирования диагностического процесса во время клинических интервью настоятельно рекомендуется использовать валидированные меры оценки, включая анкеты самоотчета и структурированные интервью. Тем не менее, такие инструменты должны обладать превосходными психометрическими свойствами, особенно в отношении надежности и валидности, чтобы обеспечить точные и интерпретируемые данные для каждого человека. Кроме того, применение инструмента в новой стране, контексте или на новом языке требует формальной культурной адаптации. Этот процесс является обязательным для обеспечения того, чтобы результаты адаптированной версии были эквивалентны результатам исходного вопросника.

В этой статье мы описываем подробный протокол культурной адаптации и всестороннюю психометрическую валидацию психометрического инструмента. В частности, мы описываем шаги по выбору измерения, проведению экспериментальных процедур и выполнению статистического анализа, необходимого для установления психометрических свойств инструмента, включая надежность, конструктную валидность и критериальную валидность для диагностики психического расстройства. Наша основная цель – представить прозрачный, стандартизированный метод культурной адаптации и валидации психометрических инструментов. Такая процедура помогает свести к минимуму искажающие факторы и нежелательную изменчивость в будущих приложениях и исследованиях. Мы ожидаем, что этот протокол, включающий в себя ряд эмпирически подтвержденных методов, будет полезен в исследовательских условиях для культурной адаптации психометрических инструментов для психиатрической оценки.

Введение

Всемирная организация здравоохранения (ВОЗ) определяет психические расстройства как комбинацию аномальных мыслей, восприятий, эмоций, поведения и межличностных отношений¹. Эти состояния представляют собой существенную причину длительной нетрудоспособности и смертности². Широкий спектр этих расстройств включает большое депрессивное расстройство, обсессивно-компульсивное расстройство (ОКР), генерализованное тревожное расстройство и биполярное расстройство^. Несмотря на то, что для каждого из этих психических расстройств существуют варианты лечения, точность диагноза имеет решающее значение для обеспечения адекватного лечения, основанного на фактических данных⁴.

Что касается диагностической оценки, то в некоторых руководствах, таких как рекомендации Национального института здоровья и клинического мастерства, рекомендуется использовать валидированные меры^{оценки, относящиеся} к оцениваемому расстройству, чтобы предоставить дополнительную информацию для клинициста. Существует несколько инструментов для лечения различных психических расстройств⁷, разработанных для скрининга, диагностики и оценки тяжести симптомов или реакции на лечение ^8,9. Однако, прежде чем инструмент будет признан адекватным, он должен предложить точные, достоверные и интерпретируемые данные для популяции, подлежащей оценке10. Важно отметить, что качество информации о конкретном человеке зависит от психометрических^{свойств используемого инструмента}. Чтобы уменьшить систематическую ошибку в процессе тестирования, от применения до интерпретации результатов, психологические меры должны быть стандартизированы^. Это послужило основной причиной создания Стандартов образовательного и психологического тестирования в качестве основы для оценки тестов, практики тестирования и^{влияния использования тестов}. Не менее важным является тот факт, что большинство инструментов были разработаны в англоязычных^{странах13}, что делает необходимой культурную и языковую адаптацию до использования в новой стране, культуре и/или языке, чтобы достичь эквивалентности между оригинальной (исходной) и новой адаптированной (целевой) версиями вопросника¹⁴.

Когда установленный инструмент недоступен на определенном языке или в определенной культуре, исследователи сталкиваются с выбором между двумя основными стратегиями: разработка нового, специфичного для конкретного контекста инструмента или проведение кросс-культурной адаптации существующей, хорошо проверенной меры¹⁵. В то время как разработка нового инструмента может обеспечить максимальную культурную специфику, это чрезвычайно ресурсоемкий и трудоемкий процесс, который может занять¹⁶ лет. В отличие от этого, адаптация установленного инструмента «золотого стандарта» дает явные преимущества. Этот подход часто является более эффективным и, что особенно важно, позволяет проводить кросс-культурное сравнение результатов из разных групп населения, что является основной целью адаптации мер, а не создания новых¹⁷.

Международная тестовая комиссия разработала руководство по межкультурному переводу и адаптации психологических инструментов¹⁷. Перевод можно рассматривать как первый этап адаптационного процесса¹⁸, и он может быть проведен с использованием одного или обоих из двух наиболее популярных методов тестового перевода: (а) перевода и обратного перевода или (б) двух независимых переводов, которые сравниваются третьим^лицом19. Процесс культурной адаптации требует, чтобы, в дополнение к точному переводу, был проведен процесс адаптации, направленный на максимизацию семантической, идиоматической, эмпирической и концептуальной эквивалентности между исходной мерой и теми, которые были разработаны^{на ее основе.} Наконец, психометрические свойства переведенного инструмента должны быть оценены с целью сравнения их с исходным измерением на основном языке^. В частности, важно оценить надежность и валидность ^8,9,21, гарантируя, соответственно, что прибор дает последовательное измерение и что он измеряет предполагаемую конструкцию²².

Надежность относится к воспроизводимости результата теста, полученного в разное время, в разных условиях или разными интервьюерами, в отношении согласованности, стабильности, эквивалентности и однородности 23,24,25. Он может быть оценен с помощью нескольких методов, включая оценку тест-ретест, альтернативные формы, надежность с разделением пополам, а также внутреннюю согласованность ^8,22,26, определяя, являются ли измерения достаточно последовательными и свободными^{от погрешности} измерений8. Хотя ненадежный инструмент не может быть действительным, надежный инструмент иногда может быть^{недействительным10}. Валидность рассматривается в соответствии с тремя ^{категориями 27,28}, а именно: содержательная валидность, конструктная валидность и критериальная валидность. Понятие содержательной валидности относится к той степени, в которой тест адекватно отбирает измерение, для измерения которого он предназначен²², в то время как конструктная валидность, включая сходящуюся и дискриминантную валидность (иногда называемую дивергентной валидностью²⁹), представляет степень, в которой дисперсия измерения связана с дисперсией лежащей в его основе конструкции^{30. 31}. Критериальная валидность основана на соотношении между баллами теста⁹ и должна оцениваться с использованием другого показателя того же конструкта, в идеале широко принятого показателя, который считается золотым стандартом ^8,28. Эта категория валидности особенно важна для понимания того, может ли показатель быть использован для прогнозирования и/или принятия решений в отношении пациентов²⁵, что имеет место при постановке диагноза.

Многочисленные рекомендации по кросс-культурной адаптации психометрических инструментов были опубликованы, чтобы помочь исследователям в этом сложном^{процессе.} Тем не менее, систематические обзоры этой литературы выявили отсутствие единого, унифицированного консенсуса относительно наилучшей^{методологии для} подражания. Кроме того, многие существующие руководства, хотя и являются ценными, могут быть сосредоточены больше на первоначальном лингвистическом переводе, чем на столь же важной последующей психометрической валидации, необходимой для обеспечения этически обоснованности инструмента для клинического^{использования.} Это создает потребность в подробном, воспроизводимом протоколе, который объединяет как адаптацию, так и всестороннюю фазу проверки в единую пошаговую структуру.

Таким образом, стандартизированные исследовательские практики, ориентированные на валидацию психометрических показателей, имеют важное значение. Метод, описанный в данной статье, предоставит исследователям и клиницистам подробный протокол для выполнения культурной адаптации психометрической меры и, в частности, для оценки критериальной валидности для диагностики психического расстройства. Чтобы помочь читателям оценить его применимость и обеспечить воспроизводимость, протокол включает ключевые практические детали, такие как соображения по размеру выборки, обоснование времени администрирования нескольких сеансов и обсуждение известных ограничений. Для этого мы будем использовать в качестве примера валидационное исследование европейской португальской шкалы обсессивно-компульсивных состояний Йельского университета (PY-BOCS-II)³⁴, в котором аналогичный протокол был использован для уточнения факторной структуры и критериальной валидности PY-BOCS-II для диагностики ОКР у взрослых. Таким образом, этот протокол также может быть использован для будущих валидационных исследований Y-BOCS-II в других контекстах или на других языках.

Протокол

Описанные здесь процедуры были разработаны для сбора данных, описанных Кастро-Родригесом и ^др.34. Протокол был подготовлен в соответствии с Хельсинкской декларацией, и участники были проинформированы о возможности выхода из исследования в любое время. Он был рассмотрен и одобрен Комитетами по этике Фонда Шампалимо (одобрение выдано 22 октября 2014 года) и Centro Hospitalar Psiquiátrico de Lisboa (одобрено 14 ноября 2014 года). Использование настоящего протокола для других проектов или в других местах должно осуществляться только после одобрения местными комитетами по этике и/или другими компетентными органами в этом месте. Для иллюстрации некоторых этапов приводятся конкретные примеры адаптации Y-BOCS-II³⁴ на португальском языке, а также даются конкретные инструкции по валидации Y-BOCS-II для других языков/контекстов.

1. Выбор шкалы интересов

1. Определите интересующую конструкцию и диагностику. Во-первых, четко сформулируйте конкретную клиническую конструкцию, подлежащую оценке. Это может быть широкая диагностическая категория (например, ОКР) или конкретное измерение в ней (например, тяжесть симптомов). Это определение будет направлять весь процесс адаптации и валидации.
   ПРИМЕЧАНИЕ: Кастро-Родригес и ^др.34 интересовались тяжестью симптомов и диагностикой ОКР.
2. Выбрать меру с адекватными психометрическими свойствами для изучения интересующего конструкта, в идеале после проведения обзора литературы, не только для определения меры, но и для подтверждения того, что планируемая работа не является избыточной с предыдущими публикациями. Например, как в исследовании Castro-Rodrigues et ^al.34, для оценки ОКР выбирайте Y-BOCS-II³⁵, так как он признан во всем мире в качестве золотого стандарта для этой цели.
   ПРИМЕЧАНИЕ: Y-BOCS-II³⁵, интервью для взрослых, проводимое клиницистом, позволяет детально оценить ОКР. Инструмент состоит из двух основных частей: контрольного списка из 67 пунктов для выявления и классификации текущих и прошлых навязчивых идей, компульсий и избегающего поведения, а также шкалы тяжести из 10 пунктов для оценки тяжести этих симптомов.
3. Получите разрешение на адаптацию шкалы. Определение авторов и владельца авторских прав на оригинальный документ. Свяжитесь с ними, чтобы официально запросить разрешение на перевод и культурную адаптацию инструмента в исследовательских целях. Как и в случае с Y-BOCS-II³⁴, убедитесь, что это разрешение предоставлено, прежде чем начать процесс перевода.

2. Выбор других измерений для оценки психометрических свойств шкалы

1. Выберите меру для валидности критерия. Чтобы установить критериальную валидность диагноза, выберите меру, которая считается золотым стандартом (если таковая имеется) для различения участников с интересующим диагнозом и без него. Чтобы последовать примеру Кастро-Родригеса и ^др.34, используйте для этой цели подшкалу ОКР Структурированного клинического интервью для Диагностического и статистического руководства по психическим расстройствам DSM-IV, 4-е издание (DSM-IV) (SCID-OCD)^36,37.
   ПРИМЕЧАНИЕ: Подшкала ОКР Структурированного клинического интервью для Диагностического и статистического руководства по психическим расстройствам DSM-IV, 4-е издание (DSM-IV) (SCID-OCD)^36,37, представляет собой полуструктурированное интервью, позволяющее диагностировать текущее ОКР в соответствии с критериями DSM-IV.
2. Выберите меру для оценки коморбидности и выявления наличия критериев психиатрической изоляции (подробнее см. ниже). Выберите структурированное психиатрическое интервью, которое охватывает ряд диагнозов. Чтобы следовать предыдущему примеру³⁴, используйте Mini-International Neuropsychiatric Interview (MINI)³⁸, краткое структурированное клиническое интервью, основанное на быстром скрининге диагностических критериев DSM-IV.
   ПРИМЕЧАНИЕ: Разделенный на 15 модулей, MINI позволяет выявлять большое депрессивное расстройство, дистимию, риск самоубийства, маниакальные и гипоманиакальные эпизоды, паническое расстройство, агорафобию, социальную фобию, генерализованное тревожное расстройство, обсессивно-компульсивное расстройство, посттравматическое стрессовое расстройство, злоупотребление алкоголем или зависимость, психотические расстройства, нервную анорексию и нервную булимию.
3. Выберите меру для дискриминантной валидности. Выберите по крайней мере один инструмент, который измеряет конструкцию, не связанную напрямую с конструкцией, оцениваемой по шкале, которая будет валидирована. Как описано ранее³⁴, для валидации Y-BOCS-II используйте два инструмента самоотчета: опросник депрессии Бека (BDI-II)^39,40, опросник из 21 пункта, который оценивает тяжесть симптомов депрессии, возникших за последние 15 дней; и Опросник тревожности State-Trait - Form Y (STAI-Y)^41,42, инструмент скрининга самоотчетов из 40 пунктов, разработанный для измерения тяжести симптомов тревоги.
   ПРИМЕЧАНИЕ: Дискриминантная валидность может быть оценена с помощью двух различных подходов: (1) тестирование на основе несвязанных конструктов, где ожидаются незначимые или очень низкие^{корреляции43}, как показано в данной методологии с BDI-II и STAI-Y; или (2) тестирование теоретически противоположных конструкций, где можно было бы ожидать значительных отрицательных корреляций²⁹. Хотя оба подхода методологически обоснованы, в настоящем исследовании был выбран первый подход.
4. Выберите меру сходимости. Используйте инструмент, который измеряет ту же концепцию проверяемой шкалы. Следуя предыдущему примеру³⁴, используйте инструмент, позволяющий оценить симптомы ОКР, такой как пересмотренный Опросник обсессивно-компульсивных состояний (OCI-R)⁴⁴.
   ПРИМЕЧАНИЕ: OCI-R представляет собой показатель из 18 пунктов, состоящий из шести подшкал, которые охватывают весь спектр симптомов ОКР в различных условиях.
5. Убедитесь, что все выбранные вторичные меры надежны и действительны.
   Примечание: Важно, чтобы инструменты, выбранные для оценки психометрических свойств первичного измерения, сами по себе были хорошо зарекомендовавшими себя инструментами с ранее продемонстрированной надежностью и валидностью^.

3. Перевод и культурная адаптация основного инструмента

1. Выполните технику обратного перевода¹⁹ для обеспечения лингвистической и семантической эквивалентности между исходным и новым вариантами шкалы.
   1. Выполните прямой перевод.
      1. Наймите переводчиков. Выберите как минимум двух независимых переводчиков. Убедитесь, что они являются двуязычными экспертами в соответствующей клинической области (например, психиатрами или психологами), являются носителями языка, на котором говорят в стране, где будет проводиться исследование, и имеют опыт работы с измеряемой клинической конструкцией.
      2. Поручите каждому специалисту выполнить самостоятельный прямой перевод шкалы с исходного варианта на новый язык.
      3. Синтезируйте и создайте консенсусную прямую трансляцию. Поручите двум переводчикам сравнить свои версии и совместно прийти к единому консенсусному переводу. Если возникают разногласия, которые не могут быть разрешены между парой, привлеките третьего независимого двуязычного эксперта, который будет выступать в качестве решающего фактора и способствовать окончательному консенсусу.
   2. Выполните обратный перевод.
      1. Нанимайте новых переводчиков. Выберите как минимум двух новых двуязычных переводчиков, которые являются носителями исходного языка меры (например, английского). Убедитесь, что они не были вовлечены в процесс прямого перевода, чтобы гарантировать беспристрастный обратный перевод.
      2. Поручите каждому переводчику самостоятельно перевести согласованный прямой перевод (из шага 3.1.2.1) обратно на исходный язык шкалы.
      3. Добейтесь консенсуса по обратному переводу, попросив двух независимых обратных переводчиков сравнить и согласовать свои версии.
   3. Отправьте обратный перевод на рецензирование автора. Отправьте согласованный обратный перевод (с шага 3.1.2.3) авторам оригинальной версии инструмента. Попросите их проверить его на предмет концептуальной и семантической эквивалентности по сравнению с оригинальной версией и предоставить комментарии по любым несоответствиям.
   4. Согласуйте и доработайте адаптированный инструмент. Попросите команду первоначального перевода сравнить согласованный обратный перевод с их согласованным прямым переводом (из шага 3.1.1.3). На основе этого сравнения и после учета комментариев авторов оригинальной версии инструмента внести окончательные коррективы в форвардный перевод для создания предпилотной версии адаптированного инструмента.
2. Пилотное тестирование адаптированного прибора
   1. Ввести предварительную пилотную версию инструмента на небольшой выборке, состоящей не менее чем из 10 участников, репрезентативных для целевой популяции (например, пациентов с интересующим диагнозом).
   2. Проведите полуструктурированные когнитивные интервью с каждым участником сразу после введения. Используйте стандартизированное руководство, чтобы получить качественную обратную связь о ясности, понятности, культурном соответствии, продолжительности, когнитивных усилиях и любых трудностях, возникших во время его выполнения.
   3. Систематически изучайте все отзывы как участников, так и интервьюеров. Убедитесь, что исследовательская группа обсуждает эти входные данные, чтобы выявить любые повторяющиеся проблемы или практические предложения относительно длины прибора, ясности его элементов и практичности его формата.
   4. Используйте материалы этого обзора для внесения окончательных корректировок, основанных на фактических данных, тем самым создав окончательную версию адаптированного инструмента.

4. Отбор и набор участников

1. Определите различные группы для набора участников. Для всесторонней валидации наберите участников в три разные группы в соответствии со следующими критериями включения:
   1. Группа А (Группа первичного диагноза): набрать участников с интересующим вас психиатрическим диагнозом (например, пациенты с ОКР)
   2. Группа B (группа клинического контроля): набор участников с другими психиатрическими диагнозами, имеющими отношение к дифференциальной диагностике (например, расстройства настроения или тревожные расстройства)
   3. Группа C (здоровая контрольная группа): Набирайте здоровых добровольцев без текущих психических расстройств.
2. Определите критерии включения и исключения.
   1. Определите общие критерии включения. Укажите критерии, которым должны соответствовать все участники во всех группах. Убедитесь, что все участники являются носителями языка, на котором говорят в стране, где будет проводиться исследование, и не имеют условий или характеристик, которые ставят под угрозу результаты исследования.
   2. Определите общие критерии исключения. Перечислите критерии, которые приведут к исключению любого участника, независимо от его группы. Следуя примеру Кастро-Родригеса и ^др.34 для валидации такого психиатрического инструмента, как Y-BOCS-II, исключите лиц с любым из следующего: активные медицинские или конкретно неврологические заболевания, такие как клинически значимое структурное поражение центральной нервной системы; острый нервно-психический эпизод, требующий госпитализации; анамнез или клинические признаки хронического психоза, деменции, нарушений развития, связанных с низким коэффициентом интеллекта, или любой другой формы когнитивных нарушений; текущее злоупотребление психоактивными веществами или алкоголем или зависимость; а также неграмотность или неспособность понять инструкции исследования.
   3. Определите критерии включения и исключения для конкретной группы.
      1. Для группы А (группа первичного диагноза) определите первичный критерий включения как подтвержденный диагноз интересующего расстройства (например, ОКР), определенный с помощью диагностического интервью золотого стандарта. Как правило, для этой группы не требуется никаких дополнительных критериев исключения, помимо общих, определенных на предыдущем шаге (4.2.2).
      2. Для группы B (клинический контроль) определите первичный критерий включения как подтвержденный диагноз соответствующего психического расстройства, отличного от того, которое представляет основной интерес (например, расстройство настроения или тревожное расстройство). Основным критерием исключения для этой группы является диагноз интересующего расстройства (например, ОКР).
      3. Для группы С (здоровые контрольные группы) определите первичный критерий включения как отсутствие какого-либо текущего или прошлого психиатрического диагноза и подтвердите это с помощью скринингового интервью. Следовательно, первичным критерием исключения являются любые доказательства наличия в настоящее время или в прошлом диагностированного психического расстройства.
3. Определите необходимый размер выборки.
   1. Проведите априорный анализ мощности для определения оптимального размера выборки. Используйте программное обеспечение, такое как G*Power, для расчета требуемого размера выборки на основе запланированных статистических тестов (например, корреляций, t-тестов), желаемой мощности (обычно ≥ 0,80), альфа-уровня (например, 0,05) и ожидаемого размера эффекта на основе предыдущей литературы⁴⁵.
      Примечание: Это наиболее строгий метод, позволяющий убедиться, что исследование обладает достаточной статистической мощностью для выявления ожидаемых эффектов.
   2. Убедитесь, что размер выборки достаточен для факторного анализа. Хотя не существует единого правила, которое работало бы для всех сценариев, используйте установленные рекомендации для принятия решения. Одним из распространенных подходов является соотношение участников и элементов, при этом^{часто рекомендуется использовать} эмпирическое правило не менее 10 участников на каждый элемент шкалы. Тем не менее, убедитесь, что окончательный размер выборки настолько велик, насколько позволяют ресурсы, так как большие выборки приводят к снижению погрешностей измерений и более стабильным факторным решениям⁴⁶.
4. Определите параметры набора.
   1. Для групп А (Первичный диагноз) и В (Клинический контроль) набирайте участников из адекватных клинических условий для интересующего диагноза, например, из амбулаторной психиатрической клиники, где регулярно оцениваются пациенты, подходящие для исследования.
   2. Для группы C (здоровый контроль) набирайте участников с помощью рекламы в общественных местах, которые могут охватить те же группы населения и сообщества, к которым принадлежат пациенты.
5. Внедрите процедуры набора персонала для каждой группы. Для групп А и В проинструктируйте клиницистов, сотрудничающих с исследованием, по выявлению и набору пациентов с диагнозом расстройств, представляющих интерес и желающих принять участие в исследовании. В качестве альтернативы можно случайным образом идентифицировать пациентов с интересующими диагнозами среди баз данных пациентов с кодированием диагнозов для последующего набора лично или по телефону.
6. Отсеивайте и планируйте потенциальных участников. Свяжитесь с потенциальными участниками по телефону и, если они сохраняют намерение участвовать в исследовании, определите идентификационный код участника и назначьте первую встречу.

5. Подготовка и применение тестовой батареи

1. Получите информированное согласие участника.
   1. Проинструктируйте оценивающего сначала оценить способность участника дать согласие, особенно в отношении участников с умеренными и тяжелыми психическими симптомами. Для этого оцените способность участника понимать, ценить и рассуждать на основе изучаемой информации.
      ПРИМЕЧАНИЕ: Существуют стандартизированные инструменты для оценки способности к принятию решений, такие как Инструмент оценки компетентности Макартура (MacCAT), хорошо зарекомендовавший себя инструмент для этой цели в популяциях с психическими расстройствами^47,48.
   2. Если считается, что участник не в состоянии полностью понять предоставленную информацию, убедитесь, что форма согласия подписана его законным представителем, если это предусмотрено протоколом и одобрено комитетом по этике.
2. Стандартизируйте среду оценки. Всегда проводите сеансы оценки индивидуально в тихой и уединенной комнате, чтобы свести к минимуму отвлекающие факторы и обеспечить конфиденциальность. Убедитесь, что каждый сеанс длится примерно 60-120 минут, в зависимости от клинической сложности участника.
3. Используйте батарею для первоначальной оценки. После получения информированного согласия поручить оценщику (оценщику А) провести клиническую анкету для оценки критериев включения и исключения, а также для сбора другой информации, представляющей интерес. Если соответствие критериям подтверждено, введите психометрические инструменты в следующем порядке: скрининговый инструмент (например, MINI), диагностический инструмент (например, SCID-IV), другие инструменты (например, STAI, BDI, COI/OCI-R).
4. Обеспечьте исключение участников во время оценивания. Если критерии исключения будут выявлены в любой момент, исключите участника, поблагодарите его за уделенное время и не собирайте дополнительные данные.
5. Используйте первичный инструмент с помощью слепого оценщика для оценки валидности критерия. Чтобы предотвратить загрязнение по критерию, поручите другому, слепому оценщику (оценщику В) ввести первичный инструмент. Проведите эту оценку на той же сессии или на второй сессии оценки не более чем через 1 неделю после первой. Убедитесь, что второй оценщик не видит результатов первого сеанса, в частности, диагностического статуса участника, выполнив следующие процедуры:
   1. Назначьте все задачи по планированию и обработке данных члену исследовательской группы, который не проводит оценку.
   2. Проинструктируйте двух оценщиков не общаться об участниках.
   3. Предоставьте оценщику B только идентификационный код участника, обеспечив отсутствие доступа к данным из первого сеанса.
6. Оценивайте надежность между оценщиками. Для подвыборки или всех участников проинструктируйте двух разных оценщиков ввести первичный инструмент в отдельных сеансах, в идеале в один и тот же день и не более 48-часового интервала, при этом порядок оценивающих участников должен быть уравновешен^{между 30,43}. Сравните баллы, полученные по отдельности двумя оценщиками. Высокий уровень совпадения между этими оценками указывает на хорошую надежность между оценщиками.
7. Оценка надежности повторных тестов. Чтобы оценить временную стабильность, повторно вводите первичный инструмент (например, Y-BOCS-II) через достаточный интервал, обычно 4 недели, подвыборке или всем участникам.

6. Статистический анализ

1. Подготовьте данные для анализа. Используйте статистический программный комплекс (см. Таблицу материалов) для выполнения анализа психометрических свойств.
2. Расчет описательной статистики. Для всех социально-демографических, клинических и психометрических данных рассчитайте описательную статистику, средства отчетности и стандартные отклонения для непрерывных переменных и частоты для категориальных переменных.
3. Сравните характеристики группы.
   1. Выполните независимые выборочные t-тесты для сравнения непрерывных переменных (например, возраста, образования, баллов по изучаемой шкале и баллов по другим психометрическим показателям) в различных группах участников.
   2. Выполните критерий хи-квадрат (χ2) для сравнения категориальных переменных, таких как пол.
   3. Установите уровень значимости априори на уровне p < 0,05 для всех сравнений.
4. Оценка надежности прибора
   1. Вычислите α Кронбаха и Ω McDonald's для шкалы и любых подшкал для оценки внутренней согласованности. В качестве гипотезы определите приемлемую внутреннюю согласованность как значение Ω Cronbach's α или McDonald's ≥ 0,70, в соответствии с установленными рекомендациями¹⁵.
   2. Рассчитайте внутриклассовый коэффициент корреляции (ICC), используя данные тестовых и повторных тестовых оценок, чтобы оценить временную стабильность с использованием корреляции Пирсона. Определите хорошую надежность тест-ретест как значение ICC ≥ 0,75, что считается сильным уровнем согласия¹⁵.
   3. Рассчитайте надежность между оценщиками. Используя баллы по основному инструменту, полученные от двух независимых оценщиков (шаг 5.5), рассчитайте внутриклассовый коэффициент корреляции (ICC) для оценки надежности между оценщиками. Значение ICC ≥ 0,75 считается свидетельством хорошего согласия между оценщиками.
5. Оцените достоверность инструмента.
   1. Оценка размерности с помощью факторного анализа.
      ПРИМЕЧАНИЕ: Выбор метода зависит от имеющихся доказательств структуры прибора.
      1. Если факторная структура прибора еще не устоялась, проведите исследовательский факторный анализ, сначала оценив пригодность данных для факторного анализа с использованием таких мер, как мера адекватности выборки Кайзера-Мейера-Олкина (KMO) и критерий сферичности Бартлетта. Определение приемлемой адекватности выборки априори (например, КМО > 0,60) и требование значительного теста Бартлетта (p < 0,05)⁴⁶. Для элементов с порядковыми шкалами ответа (например, шкалы типа Лайкерта) убедитесь, что анализ проводится на полихорической корреляционной матрице с использованием такого метода, как факторизация главной оси с косым вращением, чтобы исследовать лежащую в основе размерность элементов. Чтобы определить количество факторов, которые необходимо сохранить, используйте несколько критериев, таких как критерий Кайзера (собственные значения > 1) и изучение участка осыпи⁴⁶.
      2. Если вы адаптируете инструмент, который уже имеет устоявшуюся факторную структуру, проведите подтверждающий факторный анализ (CFA), чтобы формально проверить, сохраняется ли исходная, устоявшаяся структура в новой адаптированной версии. Для порядковых данных используйте соответствующий метод оценки, такой как диагонально взвешенный метод наименьших квадратов (DWLS)⁴⁹. В качестве гипотезы необходимо априори определить приемлемое соответствие модели на основе установленных критериев, таких как индекс сравнительного соответствия (CFI) ≥ 0,95, индекс Такера-Льюиса (TLI) ≥ 0,95 и среднеквадратичная ошибка аппроксимации (RMSEA) ≤ 0,06. Оцените соответствие модели следующим критериям⁵⁰.
         ПРИМЕЧАНИЕ: Выполнение CFA особенно полезно для изучения того, хорошо ли гипотетическая структура исходного инструмента вписывается в новый культурный контекст.
   2. Оцените конструктную валидность.
      1. Рассчитайте коэффициенты корреляции Пирсона, чтобы изучить баллы первичных инструментов и баллы измерений, выбранных на предмет сходящейся и дискриминантной валидности.
      2. Чтобы установить сходящуюся валидность, выдвиньте гипотезу о значимой и сильной положительной корреляции с показателями, оценивающими аналогичную конструкцию.
         ПРИМЕЧАНИЕ: Например, ожидалось, что общий балл PY-BOCS-II³⁴ будет сильно коррелировать с общим баллом COI.
      3. Чтобы установить дискриминантную валидность, выдвиньте гипотезу о значительно более слабых корреляциях с мерами, оценивающими конструкции, отличные от тех, которые были обнаружены для сходящейся валидности. Чтобы следовать примеру валидации PY-BOCS-II, описанной ранее³⁴, протестируйте несвязанные конструкции, где ожидаются незначимые или очень низкие корреляции, сравнивая баллы с показателями депрессии (BDI-II) и тревоги (STAI).
         Примечание: Это также можно оценить, проверив теоретически противоположные конструкции, где можно ожидать значительных отрицательных корреляций.
6. Определите критериальную валидность для постановки диагноза.
   1. Выдвиньте гипотезу о том, что прибор будет точно различать участников с интересующим диагнозом и без него.
   2. В качестве референтного критерия используйте диагностический статус, определенный выбранным золотым стандартом (например, SCID-OCD).
   3. Сгенерируйте кривую рабочих характеристик приемника (ROC) для изучения взаимосвязи между баллами по показателю интереса и диагностическим статусом.
   4. Рассчитайте площадь под кривой (AUC) для количественной оценки общей точности диагностики. Для руководства интерпретацией определите критерии эффективности априори на основе установленных условностей⁵¹, таких как: значения AUC > 0,90 как отлично, ≥ 0,80 как хорошо и ≥ 0,70 как удовлетворительно.
   5. Определите оптимальное пороговое значение для балла, полученного в исследуемом измерении. Определите балл на приборе, который обеспечивает наилучший возможный баланс между чувствительностью и специфичностью для предполагаемой диагностической цели. Распространенным методом является выбор значения, которое максимизирует индекс Юдена (Чувствительность + Специфичность - 1)⁵².

Результаты

Несмотря на статус золотого стандарта и всестороннюю структуру, критериальная валидность Y-BOCS-II³⁵ для диагностических целей не была надежно установлена в литературе на момент проведения исследования. Таким образом, данный протокол был направлен на устранение этого общего пробела при одновременном проведении необходимой культурной адаптации для Португалии. В данном разделе представлены репрезентативные данные валидационного исследования PY-BOCS-II³⁴ , с разрешения авторов. Результаты представлены в двух частях. Во-первых, мы обобщаем качественные результаты этапа пилотных испытаний, которые легли в основу окончательной версии прибора. Во-вторых, представлены количественные результаты относительно его критериальной валидности.

Процесс культурной адаптации включал в себя пилотный тест с пациентами, за которым последовали когнитивные интервью с подведением итогов для оценки ясности и понятности адаптированного инструмента³⁴. В то время как большинство участников сочли инструкции понятными, качественные отзывы выявили несколько ключевых областей для доработки. По словам пациентов, проблемы включали в себя длину инструмента, дискомфорт от некоторых примеров (о которых сообщил один участник) и сложность количественной оценки среднего ежедневного времени, затрачиваемого на симптомы из-за их эпизодического характера. Интервьюеры, участвовавшие в этом процессе, также дали критические отзывы, отметив, что некоторые вопросы не были заданы гладко, и указали на практические проблемы форматирования, такие как нехватка места для заметок и необходимость повторения заголовков на каждой странице. Эти отзывы привели к корректировкам, включая незначительные изменения в формулировках и форматировании, чтобы создать окончательную версию инструмента, используемого для широкомасштабной валидации.

Для анализа критериальной валидности мы набрали небольшую выборку пациентов с диагнозом ОКР (n = 20) или расстройство настроения или тревожное расстройство (n = 18), а PY-BOCS-II проводился исследователем, не имеющим представления о диагностическом статусе и результатах других психометрических тестов, чтобы избежать критериального загрязнения. Кривые рабочих характеристик приемника (ROC) были созданы для оценки валидности критериев с использованием SCID-OCD в качестве золотого стандарта для различения участников с ОКР и участников с другими диагнозами. На рисунке 1 показана кривая ROC для дискриминации между пациентами с ОКР или другим расстройством настроения и тревоги, оцененная слепым образом. Была получена площадь под кривой (AUC) 0,93 (95% доверительный интервал [ДИ]: 0,84-1,00), а дальнейший анализ значений ROC-кривой показал, что суммарный балл PY-BOCS-II в 13 баллов при использовании в качестве порогового значения для диагностики правильно идентифицировал ОКР с чувствительностью 90% и специфичностью 94%. Учитывая скромный размер выборки и набор случаев, эти оценки точности должны быть воспроизведены в более крупных когортах для подтверждения обобщаемости.

Рисунок 1: Кривая рабочих характеристик приемника для диагностической точности PY-BOCS-II при выявлении ОКР. Этот анализ включает данные пациентов, которые прошли слепую оценку, включая группу с ОКР (n = 20) и группу с расстройствами настроения и тревожными расстройствами (n = 18). График отображает чувствительность (истинно положительную частоту) в зависимости от 1-специфичности (частота ложноположительных результатов) по всем возможным пороговым показателям PY-BOCS-II. ТКИН-ОКР был использован в качестве золотого стандарта диагностического инструмента. Сокращения: AUC, Площадь под кривой; ОКР, обсессивно-компульсивное расстройство; PY-BOCS-II, португальская шкала обсессивно-компульсивных состояний Йельского университета-Брауна-II; ROC, Рабочая характеристика ресивера. Эта цифра была изменена по Castro-Rodrigues et ^al.34. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Обсуждение

В данной статье мы описываем подробный протокол культурной адаптации и всесторонней психометрической валидации психиатрического диагностического инструмента. Протокол начинается с выбора меры, а затем подробно описываются необходимые экспериментальные процедуры и статистические анализы. Основная цель протокола состоит в том, чтобы представить четкую и стандартизированную пошаговую процедуру для адаптации и валидации психологического показателя, а именно Y-BOCS-II³⁴, тем самым минимизируя искажающие факторы и нежелательную вариабельность в клиническом и исследовательском использовании. Методы сосредоточены на культурной адаптации и психометрическом анализе, включая критериальную валидность, которые имеют важное значение при использовании инструмента в новой стране или контексте с диагностическим намерением 13,17,19.

Y-BOCS-II³⁴, интервью для взрослых, проводимое клиницистом, позволяет детально оценить ОКР. Инструмент состоит из двух основных частей: контрольного списка из 67 пунктов для выявления и классификации текущих и прошлых навязчивых идей, компульсий и избегающего поведения, а также шкалы тяжести из 10 пунктов для оценки тяжести этих симптомов. Несмотря на его статус золотого стандарта и всеобъемлющую структуру, его критериальная валидность для диагностических целей не была надежно установлена в литературе на момент проведения исследования. Таким образом, протокол был направлен на устранение этого более широкого разрыва при одновременном проведении необходимой культурной адаптации для Португалии.

Важнейшим этапом протокола является строгая процедура культурной адаптации, выполняемая в соответствии с существующими рекомендациями и научно обоснованными стандартами. Не менее важно сохранять слепоту оценщика к диагностическому статусу при применении психометрических показателей, поскольку знание диагноза может искажать результаты и ставить под угрозу оценки диагностической точности^53,54. Это особенно актуально для структурированных интервью, как в нашем примере³⁴. Несмотря на то, что соблюдение этих шагов имеет важное значение, некоторые характеристики могут варьироваться в зависимости от исследования (например, размер выборки, распределение элементов, контекст измерения и достижимость конструкции)^55. Кроме того, качественное пилотное тестирование с использованием полуструктурированного когнитивного анализа с помощью стандартизированного руководства и группового анализа повторяющихся тем дает практические данные для уточнения (см. этапы протокола 3.2.2-3.2.4). В ходе адаптации пункта 44 был выявлен практический пример: замена слова «супруг» на «член семьи» обеспечила учет в документе приемлемых в культурном отношении целей поиска заверений в португальском контексте³⁴.

Помимо качества перевода и ослепления, всесторонняя валидация требует принципиальной количественной оценки надежности (внутренней согласованности и стабильности тест-ретеста), конструктной валидности (например, факторной структуры) и критериальной валидности в соответствии с внешним золотым^{стандартом15} в соответствии с установленными принципами и международными рекомендациями, такими как COSMIN⁵⁹. Например, для конструктной валидности теста PY-BOCS-II³⁴ конвергентная валидность была изучена в сравнении с Коимбрским обсессивно-компульсивным опросником (COI; Inventário Obsessivo de Coimbra)⁵⁶, португальский показатель самооценки с субшкалами «частота» и «эмоциональный стресс». В то время как общие рекомендации по межкультурной адаптации предлагают полезную основу³², такие проблемы, как слишком буквальный перевод и ограниченное участие заинтересованных сторон, могут поставить под угрозу действительность окончательного^{документа57}. В отсутствие единой консенсусной методологии³³ настоящий протокол обеспечивает прозрачную пошаговую структуру. Его преимущества включают обязательное качественное пилотное тестирование на целевой популяции и оценку методом слепой оценки для минимизации контаминации по критерию⁵³, наряду с четкими указаниями по всесторонней психометрической валидации для обеспечения клинической этики¹⁹. Проводя различие между адаптацией и валидацией³³, протокол разработан таким образом, чтобы получить психометрически обоснованный инструмент.

Методология была успешно применена в исследовании Castro-Rodrigues et ^al.34 для оценки критериальной валидности интервью, проводимого клиницистом PY-BOCS-II для диагностики ОКР. Однако эта система применима и к другим форматам (например, к шкалам самоотчетности и скрининговым анкетам). Для этих мер качественное пилотное тестирование имеет первостепенное значение для обеспечения однозначного понимания элементов в
Отсутствие врача⁵⁸. Действительно, мы использовали вариации этих методов для других измерений и целей: шкала силы питания⁶⁰ и шкала пищевой зависимости^{Йельского университета 61} (надежность и конструктная валидность), а также инструменты в условиях онкологии⁶². Lemos et ^al.63 адаптировали шкалу воспринимаемой способности справляться с травмой, а Almeida et ^al.64 адаптировали опросник семейной устойчивости - краткая форма (FaRE-SF-P), оба из которых включают Ω McDonald's вместе с α Кронбаха для получения надежных оценок внутренней согласованности, особенно когда тау-эквивалентность не соблюдается⁶⁵. Этот последовательный методологический подход поддерживает эффективную разработку всеобъемлющей психометрической системы в данной популяции.

Наш протокол критериальной валидности также оказался эффективным в клинических контекстах. Для контрольного перечня гипомании-32 (HCL-32)⁶⁶ был использован аналогичный протокол валидации, но с упрощенным процессом адаптации, поскольку мера уже была доступна на португальском языке (бразильский вариант), а не на европейском португальском^{языке 67}. В дизайне этого проекта акцент делался на использовании скрининга в контексте расстройств биполярного спектра, а не на диагностическом подтверждении. Совсем недавно Almeida et ^al.68 оценили критериальную валидность BDI-II для измерения тяжести депрессии у пациентов с раком, подчеркнув, как наложение соматических симптомов может повлиять на точность диагностики.

Эти приложения иллюстрируют адаптивность протокола по типам измерений (структурированные интервью, самоотчеты), конструктотам (психиатрические симптомы, конструкты, связанные с аппетитом, симптомы настроения, совладание, устойчивость семьи) и предполагаемому использованию (диагностика, скрининг, тяжесть, психологические ресурсы). При наличии соответствующих корректировок для решения проблем, специфичных для конструктов или популяций, протокол может быть распространен на широкомасштабный скрининг в первичной медико-санитарной помощи и на различные психиатрические диагнозы. Это также актуально для уязвимых групп населения, где на валидность могут влиять факторы развития, когнитивные или социальные факторы, а также для цифрового здравоохранения, где мобильные оценки и цифровая терапия требуют валидации с учетом культурных особенностей.

Те, кто внедряет этот протокол, могут столкнуться с практическими проблемами. Во время перевода, если достижение консенсуса затруднено, рекомендуется привлекать старшего независимого медиатора⁶⁹. Медленный набор персонала в одном месте может быть смягчен за счет многоцентрового сотрудничества⁷⁰. Для культурно специфичного контента концептуальная адаптация должна иметь приоритет над буквальным переводом, за которым следует тщательное пилотное тестирование^14,58. Этические гарантии также имеют решающее значение: оценка способности дать согласие, использование юридически уполномоченного представителя, когда это уместно, и использование стандартизированных инструментов (например, MacCAT) могут способствовать информированному участию лиц с умеренными и тяжелыми^{симптомами.}

К ограничениям относится ресурсоемкость протокола (время, финансирование, двуязычные эксперты, обученные оценщики), что может поставить под сомнение его осуществимость в условиях ограниченных ресурсов. Валидация критериев в дальнейшем зависит от наличия устоявшегося золотого стандарта в целевой культуре. Когда такой ориентир отсутствует, консенсусный диагноз, поставленный независимыми экспертами, является жизнеспособной, хотя и требовательной альтернативой.

В заключение следует отметить, что этот протокол сочетает в себе несколько эмпирически подтвержденных методов для культурной адаптации и валидации психометрических инструментов для диагностического использования в психиатрии. Его успешное применение в различных инструментах показывает его полезность в создании психометрически обоснованных инструментов для клинических и исследовательских условий в различных культурных и языковых контекстах.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
<Сильный>Софт
G*Power	Faul, F., и др.	www.gpower.hhu.de / Faul и др. (2007)	Программное обеспечение для априорного статистического анализа мощности с целью определения размера выборки.
Статистика IBM SPSS для Windows, версия 25.0.	Международные бизнес-машины (IBM)	IBM SPSS Statistics Corp. Выпущено в 2017 году	Статистическое программное обеспечение для проведения статистического анализа
Статистическое программное обеспечение JASP	Команда JASP	Версия 0.95	Программное обеспечение с открытым исходным кодом, используемое для подтверждающего факторного анализа.
Microsoft Excel	Microsoft	Личная информация Office 365	Полезно создать временную базу данных потенциальных участников
Microsoft Word	Microsoft	Личная информация Office 365	Удобно для написания информированного согласия и содержания исследования
Randomg.org	https://www.random.org	Не применимо	Важно для процесса рандомизации
<Сильный>Интервью и интервью Психометрические инструменты< сильные>
Инвентаризация депрессии Бек-II (BDI-II)	Пирсон	Beck и др. (1996), Руководство по BDI-II	Инструмент самооценки дискриминантной валидности (депрессия).
Мини-международное нейропсихиатрическое интервью (MINI)	Шихан, Д.В. и др.	Шихан и др. (1998), Психиатрия Дж. Клин	Краткое интервью для оценки на наличие сопутствующих расстройств и критериев исключения.
Инвентаризация тревоги по состоянию и признакам — Форма Y (STAI-Y)	Сад разума	Спилбергер, К.Д. (1983), Руководство по STAI	Инструмент самооценки дискриминантной валидности (тревожности).
Структурированное клиническое интервью для подшкалы DSM-IV, OCD (SCID-OCD)	Американская психиатрическая пресса	Фёрст и др. (2002), SCID-I/P	Собеседование золотого стандарта для критериума диагноза ОКР.
Шкала обсессивно-компульсивной системы Йель-Браун — Второе издание (Y-BOCS-II)	Гудман, В.К. и др.	Storch и др. (2010), Psychol Assessment	Основной инструмент протокола адаптации и валидации.
<сильный>Учебные документы и исследования Другие материалы< прочные>
Форма информированного согласия	Разработано для исследования	Недоступно	Документ с описанием процедур исследования, подписанный всеми участниками.
Бумага, принтер, карандаш	Н/Д	Н/Д	Для печати и заполнения физических копий оценок.
Полуструктурированное руководство по когнитивному дебрифингу	Н/Д	Доступно от авторов по запросу	Стандартизированное руководство, используемое во время пилотного испытания для сбора качественной обратной связи по адаптированному прибору.
Телефон	Н/Д	Н/Д	Связываться, отбирать и планировать участников.