Summary
El objetivo del protocolo es detallar cómo recoger los datos de vídeo para su uso en el laboratorio; Cómo registrar los datos de seguimiento ocular de los participantes que analizan los datos y cómo analizar eficientemente el contenido de los videos que estaban buscando utilizando una técnica de aprendizaje automático.
Abstract
A medida que las personas viven cada vez más en las ciudades, los métodos para estudiar sus movimientos cotidianos y los datos que se pueden recopilar se vuelven importantes y valiosos. Se sabe que la informática de seguimiento ocular se conecta a una variedad de sentimientos, condiciones de salud, Estados mentales y acciones. Pero debido a que la visión es el resultado de movimientos oculares constantes, burlarse de lo que es importante de lo que es el ruido es complejo y consume muchos datos. Además, un desafío importante es el control de lo que la gente mira en comparación con lo que se les presenta.
A continuación se presenta una metodología para combinar y analizar el seguimiento ocular en un vídeo de una escena natural y compleja con una técnica de aprendizaje automático para analizar el contenido del vídeo. En el protocolo nos centramos en el análisis de datos de vídeos filmados, cómo se puede utilizar mejor un vídeo para registrar los datos de seguimiento ocular de los participantes y, lo que es más importante, cómo se puede analizar el contenido del vídeo y combinarlo con los datos de seguimiento ocular. Presentamos un breve resumen de los resultados y un análisis del potencial del método para estudios posteriores en entornos complejos.
Introduction
Nuestras experiencias cotidianas de ambientes urbanos impactan enormemente en nuestra salud y bienestar. Nuestro bienestar puede depender de la cantidad de espacios verdes que vemos y experimentamos1,2,3, y estas vistas se pueden cuantificar utilizando equipos de seguimiento ocular para guiar la toma de decisiones sobre el diseño de parques. Sin embargo, surge un problema con el volumen de datos de seguimiento ocular que se genera y que hace sentido de estos datos. Como el equipo para la grabación de datos de mirada en un laboratorio o entorno natural se vuelve más fácil de usar y más potente, los investigadores deben considerar cómo podemos recopilar y analizar datos válidamente para ayudar con las preguntas de toma de decisiones.
Hasta ahora, una gran cantidad de investigación de seguimiento ocular ha utilizado fotografías en una encuesta o configuración de laboratorio4. Si bien esta metodología permite una gran cantidad de reproducibilidad y control sobre los resultados, es incapaz de tomar ventaja de los últimos avances en la tecnología de seguimiento ocular que incluyen el uso de vídeo y Wearables móviles rastreadores de ojos. Además, argumentaremos que el acto de caminar y relajarse es necesariamente dinámico, especialmente cuando se orienta hacia una tarea como el señalización5. Por lo tanto, una comprensión totalmente científica de estos ajustes debe tener lugar fuera del laboratorio. Sin embargo, por el momento, el seguimiento ocular en un entorno naturalista de la vida real hace que comparar la experiencia entre sujetos sea muy difícil. Por ejemplo, si quisiéramos comparar si un encuestado mira los árboles más que otro, ¿cómo podríamos controlar por el hecho de que su punto de vista estaría cambiando constantemente en comparación con otros o que su cabeza podría haber cambiado. El análisis detallado en estas condiciones es casi imposible con las técnicas de análisis actuales. Argumentábamos que es importante controlar las áreas de visualización disponibles para el individuo que se estudia y en el análisis para poder tener en cuenta la escena total que se está viendo en un momento determinado.
Hay un conjunto de teorías que vinculan los niveles de estrés y las percepciones de seguridad a las vistas del paisaje y las medidas bien evolucionados del estrés6,7. También ha habido un rápido aumento en la sofisticación de los equipos de seguimiento ocular para medir la mirada8. El seguimiento ocular es importante porque los movimientos oculares involuntarios pueden estar conectados de forma más fiable a las preferencias, el estrés y otras medidas tradicionales que las encuestas y las pruebas fisiológicas intrusivas, como los niveles de cortisol salival. El objetivo de esta investigación es desarrollar herramientas que permitan una medición más precisa de los datos de seguimiento ocular aplicados a entornos más naturalistas, a fin de proporcionar más evidencia o refutar teorías del paisaje de larga data que han informado el diseño del parque para Décadas.
El objetivo de este proyecto es desarrollar y probar una novedosa técnica de análisis que pueda generar datos de seguimiento ocular relevantes para diferentes videos de simulaciones de paseo en el parque. Nuestro trabajo reportado aquí y en otros lugares9 representa un punto medio entre la configuración naturalista de un sistema de seguimiento ocular completamente móvil y los estudios fotográficos basados en el laboratorio mencionados anteriormente. En particular, nos concentramos en el uso de videos como material de estímulo, explorando cómo este material puede ser utilizado para probar la cantidad de fascinación que los diferentes parques generan en la ciudad de Melbourne. Nuestro trabajo se basa en la suposición de que el análisis detallado de los videos es un paso necesario para romper antes de emprender una evaluación más completa y naturalista del potencial de los parques para proporcionar restauración del estrés.
En este estudio, empleamos un rastreador de ojos de escritorio con videos de caminatas a través de parques urbanos y pedimos a los participantes que se imaginen que estaban tomando un relajante paseo por un parque. Describimos un método para permitir la cantidad de tiempo que los participantes pasaron mirando diferentes objetos para ser comparables entre los parques. Los estudios de escritorio son generalmente más fáciles de controlar en comparación con los estudios de ET móviles y permiten el análisis comparativo de cada asignatura.
El software de seguimiento ocular estándar utiliza una herramienta de área de interés manual en la que un operador puede dibujar manualmente los límites alrededor de los objetos de interés en cada escena. Esto permite la cantidad de tiempo que los participantes pasaron mirando a diferentes objetos para ser contados automáticamente. Para los datos de vídeo, este proceso es intensivo en mano de obra y está sujeto a la subjetividad y error del operador. En versiones posteriores del software de análisis de seguimiento ocular, los AOIs pueden rastrear automáticamente objetos entre fotogramas cuando tienen el mismo tamaño en el vídeo. Esto es una mejora, sin embargo, esto sólo está destinado a ser utilizado para un pequeño número de estímulos en cada imagen y cada imagen debe ser comprobado y confirmado.
El etiquetado manual de objetos en una imagen es común y está soportado por un software de edición de imágenes como GNU Image Manipulprogram (GIMP). Dado que 1 s produce 30 fotogramas o imágenes, el etiquetado manual de los vídeos es poco práctico. Además, el etiquetado de AOI dibujando polígonos vectoriales alrededor del borde de objetos complejos, como los toldos de árboles, consume mucho tiempo. Por último, aunque es posible calcular el tamaño de los objetos en un campo de visión mediante el etiquetado vectorial, esta característica no está disponible actualmente.
El método que se informa a continuación se ocupa de estas limitaciones. Este estudio empleó el etiquetado automático de objetos. Esto es posible utilizando una técnica de procesamiento de imágenes conocida como etiquetado semántico, en la que cada píxel de cada fotograma del vídeo tiene asignada una etiqueta que indica una clase de objeto. El aprendizaje automático se utiliza para derivar clasificadores de píxeles para cada clase de objeto de interés. Estos clasificadores proporcionan una etiqueta probabilística para cada píxel (conocido como potencialidades unarias), que luego se refinan en un proceso de optimización posterior para lograr la salida etiquetada final. Estos clasificadores aprenden los límites de las decisiones estadísticas entre cada clase de objeto en el espacio de las entidades extraídas de la imagen, incluida la textura, el histograma de las orientaciones de borde, los valores de color RGB y las coordenadas de imagen normalizadas. Una técnica apropiada para esto se implementa en la caja de herramientas de aprendizaje máquina de DARWIN10 y se describe a continuación.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
La aprobación ética de este proyecto fue dada por el Comité de ética de la Universidad Católica Australiana-número de aprobación #201500036E. Esto garantizaba el consentimiento informado de todos los participantes y todos los participantes participaban voluntariamente, y que los datos de los participantes seguían siendo anónimos y confidenciales. Además, se dio la aprobación debido al método y equipo que cumplen con las normas australianas de seguridad.
1. filmación de escenas urbanas que pueden ser utilizadas en un estudio de seguimiento ocular
- Utilice una cámara de video digital de alta calidad conectada a un cardán para crear un video simulado "caminando" o "sentado".
- Grabe la película con movimientos fluidos suaves en resolución 4k a 25 fps y guárdela en 1920 x 1080 HD.
- Utilice una compañía de filmación profesional para producir películas digitales si no está familiarizado con esto o carece de acceso a los equipos.
- Dispara película en una sola toma, a una única longitud en todos los videos con rutas y características predefinidas precisas.
Nota: detalles de vídeo de ejemplo: cada película de paseo simulada era de 3 min 50 s de largo y cada película sentada simulada era de 1 minuto de duración. Para ambos videos en este estudio, los videos empezaron con una escalera de subida corta que conduce a un camino. El camino fue seguido por exactamente 1 min 30 s y luego la cámara se detuvo y se deshizo a la izquierda para 45-60 grados y se detuvo durante 15 segundos. La cámara continuó a lo largo del camino de caminata hasta que la marca de 3 min 25 s, con la izquierda de 40-70 grados durante 15 segundos, continuó a lo largo del camino hasta la marca de 3 min 50 s, luego se desvaneció a negro. - Asegúrese de que las películas son comparables, en otras palabras, no introducen datos de la mirada novedosa de diferentes trayectorias de caminata o movimiento de la cámara. Se tomó una película de cada paseo, dos en total.
- Como los movimientos oculares se ven afectados por el sonido, grabar un archivo de sonidos de parques urbanos genéricos de uno de los paseos para la misma longitud del video sin interrupciones de ruidos fuertes repentinos fuera del parque (por ejemplo, alarmas de coche). Esto se puede reproducir en lugar de la banda sonora existente de ambos videos para que el impacto visual del video se pueda aislar.
Nota: el movimiento excesivo de vehículos y otros objetos puede afectar los movimientos oculares y sesgar los resultados. Si se produce alguna de estas intrusiones, la película puede reproducirse a los participantes, pero es posible que sea necesario excluir los fotogramas del análisis. - Si está interesado en diferentes actividades en un paseo, como caminar y luego sentarse en un banco, guardar o editar las escenas de sentarse y caminar como archivos separados con el fin de probarlos de forma independiente.
2. configuración y calibración del escritorio del equipo de seguimiento ocular
- Mostrar las secuencias filmadas a los individuos en una habitación donde la luz natural puede ser excluida para evitar reflejos en la pantalla. Muéstralos en una pantalla tan grande como sea posible para ocupar la mayor parte del campo visual, evitando así distracciones desde fuera del campo de visión. Una pantalla panorámica (16:9) monitor de PC (22 pulgadas) con los participantes a aproximadamente 60 cm de distancia del Screen es un estándar aceptable.
- Realice una calibración en la pantalla de cada participante utilizando la herramienta de calibración incorporada en el software de seguimiento ocular. Requiere que los participantes miren una pelota roja moviéndose alrededor de la pantalla como parte de esto y parando en 5 puntos de calibración clave.
- Durante la calibración observar a los participantes y asegurarse de que no están moviendo la cabeza, así. Si están demasiado cerca de la pantalla y la pantalla es muy grande esto puede ser un problema. Ajuste la distancia desde la pantalla en consecuencia.
- Edita cada película para tener una cruz blanca situada en la esquina superior izquierda de los primeros fotogramas del video. Esto se puede hacer utilizando un software de edición de vídeo. Mostrar esta pantalla durante 3 segundos, a continuación, comenzar a jugar el paseo. Esto es para comprobar la calibración de seguimiento ocular y para garantizar que los tiempos de recopilación de datos de seguimiento ocular podrían coincidir con números de fotograma individuales.
3. reclutamiento y ética
- Utilizar una empresa profesional de reclutamiento de investigación para asegurar una propagación de diferentes géneros, edades y ocupaciones entre la muestra o reclutar en el sitio de entre el estudiante y el cuerpo del personal.
- Participantes de la pantalla para afecciones oculares o neurológicas conocidas y/o lesiones. Se les debe pedir si están tomando medicamentos que se sabe que afectan los movimientos oculares (p. ej. , benzodiazepinas).
- Llevar a cabo pruebas de lectura de visión y una prueba de desplazamiento del movimiento del ojo de la antorcha para demostrar que tienen excursiones de movimiento ocular completo.
- Los participantes de la encuesta sobre su edad, género y frecuencia de uso del parque.
4. configuración experimental del participante
- Pida a los participantes que se imaginen que necesitan restauración. Usa una frase que les permita imaginar el contexto del video de seguimiento ocular utilizado como: "Imagina que es mediodía y caminas solo en Melbourne. Usted está mentalmente cansado de la intensa concentración en el trabajo y está buscando un lugar para ir a caminar, sentarse y descansar por un rato, antes de volver al trabajo '.
- Sentarse a los participantes cómodamente delante de la pantalla de la computadora a una distancia de 60 – 65 cm para ver las películas.
- El uso de un programa de hoja de cálculo ordena las películas aleatoriamente antes de jugar delante de los participantes.
- Utilice los altavoces para reproducir el mismo audio para todas las películas.
- Registre la trayectoria de la mirada de los participantes utilizando un sistema de seguimiento ocular de escritorio. Monte el dispositivo de seguimiento ocular del escritorio según las instrucciones del fabricante. Esto podría estar justo debajo de la pantalla en una tabla, o podría recortar al borde de la pantalla, en la parte superior, por ejemplo.
- Utilice una unidad de seguimiento ocular que tenga una frecuencia de muestreo de 120 Hz y una precisión de 0,50 °, lo que permite una gran libertad de movimientos de la cabeza permitiendo la grabación durante los movimientos naturales de la cabeza. Un rastreador de ojos de menor frecuencia también es aceptable. A 57,3 cm, 1 ° de ángulo visual equivale a ~ 1 cm en la pantalla.
- Permita a los participantes ver el metraje en un monitor en alta definición.
- Registre los movimientos oculares utilizando el software de rastreo de ojos
- Emplear un filtro de fijación para convertir los datos de muestra de ojo crudo para su análisis. En el menú principal, haga clic en herramientas ≫ configuración. Seleccione la pestaña filtros de fijación . Seleccione el filtro de fijación según las especificaciones del fabricante sobre el mejor tipo de filtro para agregar los datos de seguimiento ocular sin procesar a las fijaciones.
- Si graba datos de seguimiento ocular utilizando varias películas, dé descansos entre sesiones de grabación siempre que los participantes lo soliciten.
5. conectando los parques vistos a las impresiones de los videos
- Compare la medida en que las personas vieron los objetos y sus opiniones de los videos pidiendo a los participantes que calificaría cada uno de los parques en una escala de 1 – 10, en primer lugar si sentían que podrían descansar y recuperarse en ese entorno (1 , no mucho, a 10, mucho) y en segundo lugar lo mucho que les gustó el parque (1, no mucho, a 10, mucho).
- Pregunte a los participantes si utilizarían el parque para relajarse o aliviar el estrés (y/N) y si reconocieron el parque que estaban mirando (Y/N) para controlar el impacto potencial de una asociación previa con el parque.
- Anote las respuestas cortas de respuesta de los participantes para explicar sus impresiones usando una grabadora de voz y luego transcribir estas.
6. análisis automático de vídeo para la extracción de área de interés
- Selección de AOIs
- Elija los artículos que son de interés para los diseñadores de parques, diseñadores urbanos, planificadores o arquitectos, tales como árboles, arbustos, señales, edificios, césped, senderos, escalones, etc.
- Para un rendimiento óptimo y requisitos mínimos de formación (se explica más adelante), utilice elementos que sean fácilmente distinguibles visualmente entre sí a simple vista, y/o que ocupen sistemáticamente diferentes regiones de cada fotograma de vídeo. En general, los ejemplos de formación suficientes que representan diferencias visualmente distintivas de cada AOI deben ser suficientes para un rendimiento robusto.
- Clasificadores de entrenamiento para la extracción AOI
- Selección de los marcos de entrenamiento a utilizar, número y justificación
- Elija un número adecuado de marcos de formación (en adelante, el conjunto de formación). No hay un número fijo que sea apropiado.
Nota: los fotogramas deben proporcionar una cobertura suficiente del rango de apariencia visual de cada clase de objeto (es decir, los objetos que se etiquetarán) a lo largo del vídeo. Por ejemplo, 40 fotogramas de una secuencia de vídeo de fotograma 15.000 que representa una escena de un solo parque se encontraron para lograr suficiente precisión. Si una secuencia contiene una variación significativa a lo largo de entonces más tramas pueden ser requeridas. - Considere el contenido del fotograma al elegir los fotogramas de entrenamiento. Estos incluyen: iluminación, formas con respecto a lo que está siendo clasificado (por ejemplo, no sólo un tipo de árbol, sino un rango de tipos de árboles, su posición en la imagen, la forma en que se encienden, etc.), la textura y el color.
- Considere también el número de fotogramas que se incluirán. En concreto, la longitud y la variación de las condiciones visuales expuestas en el vídeo que se está analizando, así como el número de clases de objeto para identificar, y la frecuencia de su apariencia.
- Elija un número adecuado de marcos de formación (en adelante, el conjunto de formación). No hay un número fijo que sea apropiado.
- Etiquetado de píxeles manual para los marcos de entrenamiento
Nota: el etiquetado manual de los cuadros de entrenamiento asociará los píxeles con las clases de objeto de interés.- Etiquetado de píxeles de los marcos de entrenamiento
- A su vez, abra cada fotograma de entrenamiento del vídeo en el software de edición de imágenes.
- Para cada fotograma de entrenamiento del vídeo, superponga una capa de imagen transparente en la imagen cargada para etiquetarlas y cree una paleta de colores, proporcionando un color para cada clase de objeto de interés (es decir, AOI).
- Asegúrese de que la paleta de colores y la asignación de color a las clases de objeto sea la misma durante todo el proceso de etiquetado.
- Seleccione el color del AOI de muestra.
- Áreas de color de AOIs de muestra seleccionando, con un clic del ratón y arrastrando, píxeles dentro del área para "colorear" usando la opción de paleta apropiada.
Nota: es posible colorear objetos grandes de forma imprecisa. Sin embargo, para objetos estrechos/pequeños de sólo unos pocos píxeles de ancho, tenga mayor cuidado para asegurarse de que el etiquetado manual captura con precisión el aspecto visual del objeto. - Una vez finalizado el etiquetado de un fotograma, exporte la capa superpuesta como un archivo de imagen independiente. Asegúrese de que el nombre del archivo base coincida con el nombre del archivo base de marco original, pero con una "c" anexa al final. Por ejemplo, si el nombre de archivo de fotograma original era "1234. png", el fichero de capa etiquetada debería ser "1234c. png".
- Asegúrese de que todas las imágenes etiquetadas se almacenan en una sola carpeta.
-
Etiquetado de píxeles de marcos de validación
Nota: para validar cuantitativamente la precisión del clasificador entrenado, se debe crear un conjunto adicional de fotogramas etiquetados.- Seleccione fotogramas de la secuencia de vídeo original que no haya elegido para incluirse en el conjunto de entrenamiento. Para un video de 5 minutos, estos no necesitan ser más de 20 fotogramas, pero deben ser muestreados uniformemente a través de la secuencia de video para asegurar la cobertura suficiente.
- Etiquetar píxeles en cada fotograma utilizando el mismo procedimiento que se describe para preparar los fotogramas de entrenamiento (6.2.2). Sin embargo, esta vez será lo más preciso y exhaustivo posible con el etiquetado, ya que se utilizará como una comparación de la verdad en el terreno.
- Cuando se complete el etiquetado de un fotograma, utilice la misma Convención de nomenclatura que para el entrenamiento, sin embargo, asegúrese de que los archivos se guarden en una carpeta de marcos de validación independiente.
- Etiquetado de píxeles de los marcos de entrenamiento
- El etiquetado automático de píxeles de la secuencia de vídeo
- Descargue la biblioteca de software de DARWIN desde http://drwn.anu.edu.au.
Nota: el sistema descrito en este documento se implementó dentro de un entorno Linux, por lo que la versión de Linux de DARWIN debe ser descargada e instalada, siguiendo las instrucciones del sitio Web. - Inicie la GUI de Darwin
- En el Darwin GUI, haga clic en las etiquetas de entrenamientode la carga.
- Con el cuadro de diálogo del explorador de archivos que aparece, seleccione la carpeta que contiene las imágenes de entrenamiento etiquetadas para la secuencia de vídeo correspondiente.
- Haga clic en cargar fotogramas de vídeo y siga el mismo procedimiento que 6.2.3.2 para seleccionar la carpeta que contiene todos los fotogramas originales de la secuencia de vídeo. Esto debe ser una carpeta de imágenes, en la que cada nombre de archivo de fotograma es el número de ese fotograma en la secuencia de vídeo (por ejemplo, el fotograma 1234 se denominaría 1234. png)
- Haga clic en el botón Train . El algoritmo examinará ahora cada fotograma de entrenamiento etiquetado y aprenderá un modelo de apariencia para clasificar los píxeles en cualquiera de las clases de objeto de interés especificadas.
- Descargue la biblioteca de software de DARWIN desde http://drwn.anu.edu.au.
- Validar el clasificador entrenado
- Una vez completado el entrenamiento, haga clic en el botón validar entrenamiento .
- Mediante el cuadro de diálogo explorador de archivos, seleccione la carpeta que contiene todas las imágenes de validación etiquetadas para la secuencia de vídeo correspondiente. El clasificador entrenado se utilizará ahora para clasificar los píxeles en cada uno de los fotogramas a los que se hace referencia en el conjunto de validación. Compare esto con las etiquetas de la verdad del terreno proporcionadas en la carpeta de validación.
Nota: una vez completada, la GUI mostrará las estadísticas de precisión, incluyendo el porcentaje de píxeles etiquetados correctamente para cada fotograma en el conjunto de validación, así como en todo el conjunto de validación. - Para validar visualmente las etiquetas generadas, haga clic en el botón de validación visual . Si se hace clic, cada imagen etiquetada generada se muestra junto al marco de validación original.
Nota: esto puede ser instructivo para identificar dónde se están produciendo mis clasificaciones en el objeto. Por ejemplo, la inspección visual puede indicar que los errores se producen sistemáticamente en una parte determinada de una clase de objeto, lo que sugiere que se requiera un etiquetado mejorado en el conjunto de entrenamiento. Alternativamente, la inspección puede mostrar que los errores ocurren sólo en un momento determinado en el video, sugiriendo más ejemplos de entrenamiento son requeridos de ese período de tiempo en el video. - Si la precisión observada en la validación cuantitativa o cualitativa cae por debajo de los niveles aceptables, incluya más ejemplos de formación. En este caso, repita todos los pasos de la versión 6.2.2 para incluir fotogramas de entrenamiento adicionales, vuelva a entrenar el clasificador siguiendo los pasos de la 6.2.3 y vuelva a validar los siguientes pasos en la versión 6.2.4.
- El etiquetado de píxeles de vídeo
- Una vez completada la fase de entrenamiento y validación del clasificador, haga clic en etiquetar marcos en la GUI de Darwin para iniciar el etiquetado completo de todos los fotogramas de la secuencia de vídeo con el clasificador entrenado.
- Siga el mensaje para seleccionar una carpeta de destino para todos los fotogramas de salida, que será en forma de imágenes etiquetadas utilizando la misma paleta de colores que se utiliza en el entrenamiento.
- Selección de los marcos de entrenamiento a utilizar, número y justificación
7. registrar los datos de seguimiento ocular en el contenido de vídeo
- En el software de seguimiento de ojos, haga clic en archivo ≫ exportar... Exporte el archivo de seguimiento ocular como un archivo CSV.
- Abra el archivo en un programa de hoja de cálculo.
- A partir de la secuencia de vídeo, identifique la hora a la que desaparece la cruz blanca en la parte superior izquierda del marco (véase 2,3). Utilice este tiempo para identificar el seguimiento ocular utilizando la columna correspondiente en el resultado de seguimiento ocular. Este es el inicio de la recopilación de datos de seguimiento ocular.
- Agregue una columna a los datos de seguimiento ocular.
- El uso de esta nueva etiqueta de columna cada fila o punto de datos de seguimiento ocular con un número de fotograma a partir del número 1.
8. mostrando la cantidad de tiempo que los participantes examinaron diferentes clases de objetos en los videos
Nota: debido al enorme tamaño de los datos de seguimiento ocular, el lenguaje de programación Python se utiliza mejor para los pasos a través de 8,4, aunque también se puede utilizar un programa de procesamiento de datos.
- Utilizando el código Python incluido, calcule la cantidad de superposición entre los objetos de interés y el tiempo y la frecuencia de fijación de seguimiento ocular.
- Sume estos datos para comprender la cantidad de tiempo que los participantes pasaron mirando a diferentes objetos.
- Emplee un histograma para mostrar la cantidad total de tiempo que los objetos ocuparon la pantalla.
- Compare esto con la cantidad de tiempo total que los participantes miraron a diferentes objetos.
- Para producir un mapa térmico en el software de seguimiento ocular, haga clic en uno de los vídeos del paseo del parque utilizando la casilla de verificación.
- Haga clic en la pestaña mapa térmico .
- Ajuste el color y otras características del mapa térmico como desee utilizando las variables de ' recuento ' (número total de fijaciones realizadas en la ventana de tiempo), ' duración absoluta ' (duración de la fijación acumulada) y ' duración relativa ' (la cantidad de tiempo que pasa mirando un objeto dividido por la cantidad de tiempo que se dedica a mirar una escena).
- Exporte la imagen o el vídeo que incluye el mapa de calor como archivo JPEG o archivo de vídeo.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
La figura 1 y la figura 2 muestran el resultado de tomar todos los datos de seguimiento ocular para todo el vídeo en todos los participantes y producir un mapa de calor; Este es el enfoque estándar disponible en los paquetes de software de seguimiento ocular. Comparando la figura 1 y la figura 2 es posible identificar que en promedio los participantes escaneados a izquierda y derecha en la coordenada x del vídeo en la figura 1 en comparación con la figura 2, que muestra una forma redondeada. Esto se debe a que la figura 1 tenía elementos más horizontales a lo largo del vídeo en comparación con el parque de la figura 2. La imagen detrás del mapa de calor es un solo fotograma y no representa adecuadamente el contenido completo del vídeo.
El sistema de seguimiento ocular de escritorio y el software solo cuenta los resultados donde ambos ojos pueden estar ubicados al mismo tiempo. En otras palabras, si uno o ambos ojos no pueden ser localizados los datos se cuentan como perdidos. En nuestro caso, los datos de seguimiento ocular fueron capturados por > 80% de las veces.
La figura 3 y la figura 4 muestran el resultado de usar el protocolo y el uso del aprendizaje automático para analizar el contenido de los videos. La figura 3 muestra la densa vegetación de los jardines de Fitzroy en comparación con la vegetación relativamente escasa del parque real (figura 4). En este último, más cielo es visible, más de las escenas están dominadas por la vegetación de arbustos. La figura 5 muestra el% de tiempo de fijación en los diferentes objetos durante el transcurso del vídeo para uno de los participantes. Muestra que aunque la ruta es claramente visible durante el transcurso del video, el participante sólo mira esta característica ocasionalmente pero en puntos clave. Del mismo modo, como se muestra en la figura 6 , aunque una pequeña fracción del contenido del vídeo en Royal Park pertenece a objetos artificiales, el participante en el estudio examina estas características en una medida relativamente grande.
Los hallazgos en la figura3, figura 4, figura 5y figura 6 se pueden resumir en la figura 7 y figura 8 para todos los 39 participantes cuyos datos se utilizaron en este estudio. La figura 7 muestra el tiempo de permanencia de todos los participantes al mirar los objetos a lo largo de la longitud del vídeo. En la figura 8 se muestran los mismos datos divididos por la cantidad de tiempo y espacio que ocupan estos diferentes objetos en el vídeo. Un valor de 1 indica que el tiempo de permanencia puede ser contabilizado por la cantidad de objeto en el vídeo. La figura 7 muestra que los objetos artificiales, como las farolas y los bancos, se encuentran en mayor medida en comparación con otros objetos (> 1). La figura 7 también muestra que los objetos que eran menos pertinentes, como el cielo en ambas imágenes, se veían comparativamente menos (< 1).
Figura 1: mapa de calor de ejemplo que se produce para todo el vídeo de uno de los parques. Esto muestra dónde se encontraba la mayoría de las pistas oculares. Tenga en cuenta la forma horizontal del mapa de calor debido a la dominancia de los elementos horizontales en el vídeo. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 2: mapa de calor de ejemplo que se produce para todo el vídeo de otro de los parques. Tenga en cuenta la forma más redondeada debido a la presencia de elementos verticales y horizontales en el video. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 3: histograma del contenido en el vídeo de los jardines Fitzroy analizados utilizando la técnica de aprendizaje automático. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 4: histograma del contenido en el vídeo de Royal Park analizado utilizando la técnica de aprendizaje automático. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 5: tiempo de fijación de seguimiento ocular que se dedica a mirar objetos en los jardines Fitzroy. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 6: tiempo de fijación de seguimiento ocular que se dedica a mirar objetos en Royal Park. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 7: el seguimiento de los ojos agregados tiempos de permanencia para todos los participantes y objetos para ambos parques. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Figura 8: el seguimiento de los ojos agregados tiempos de permanencia en relación con el contenido de todos los participantes y objetos para ambos parques. Por favor, haga clic aquí para ver una versión más grande de esta figura.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
En general, en los paquetes de software estándar para el análisis de los datos de seguimiento ocular, se utiliza un vector AOI. Incluso para una sola imagen fija, el tamaño del vector no se puede medir fácilmente. Además, incluir todos los AOIs en una imagen y calcular las cantidades relativas de AOIs es laborioso. Es casi imposible hacer esto manualmente en un video sin una técnica de aprendizaje automático como el descrito. Esta fue una declaración relativamente simple que infiera una situación de visualización libre. Un escenario mucho más preciso puede ser utilizado y diferentes descripciones de escenarios antes de que el mismo estímulo también puede afectar los movimientos oculares11.
Nuestra investigación utilizó un método para clasificar con precisión los objetos en un vídeo y analizar la medida en que éstos eran visibles para el ojo. El método representa un medio de contabilización de la medida en que los movimientos oculares están vinculados a objetos de interés. Esto permite la medida en que los objetos de interés están presentes en un campo de visión para ser controlados al comparar el seguimiento ocular de diferentes sujetos con un dispositivo móvil de seguimiento ocular, o diferentes ubicaciones cuando se utiliza un sistema basado en escritorio. Las consideraciones que pueden afectar a la clasificación automática de objetos utilizando el aprendizaje automático que empleamos incluyen iluminación, formas con respecto a lo que está siendo clasificado (por ejemplo , no sólo un tipo de árbol, sino una gama de tipos de árboles, su posición en el imagen, la forma en que se encienden, etc.), la textura y el color. Las consideraciones sobre el número de fotogramas incluyen la longitud y la variación de las condiciones visuales expuestas en el vídeo que se está analizando, así como el número de clases de objeto a identificar y la frecuencia de su apariencia. Los fotogramas cambian cada 1/25 segundos, pero el seguimiento ocular con el software se produce en 1/120 (120 Hz). Por esta razón los datos de seguimiento ocular se recopilarán a 4,8 veces la tasa a la que aparece una nueva trama. No es posible etiquetar completamente con precisión, pero el etiquetado de los marcos debe cambiar cada 5 veces. Por ejemplo, los datos de seguimiento ocular durante 99 a 101 s se han considerado para el fotograma del segundo 100 del vídeo.
Una ventaja significativa de los paquetes de seguimiento ocular actuales es que están configurados para permitir a los usuarios revisar una película de sus propias fijaciones y rutas de seguimiento de los ojos y describir por qué miraron ciertos objetos. Esto da como resultado un conjunto de datos cualitativos que puede revelar por qué los sujetos individuales piensan que han mirado ciertos objetos. Una extensión del proyecto sería también mostrarles la cantidad de tiempo que pasaron mirando los objetos en diferentes momentos en relación con el contenido, por ejemplo, la información de la figura 8. Sin embargo, hacer esto controlando el número de objetos en una escena lo suficientemente rápido no es actualmente posible.
Por ejemplo, se podría pedir a los participantes que contemplen sus propios caminos de mirada que se habían grabado y que describieran por qué habían examinado los objetos particulares12. En nuestro caso, al final de cada película se pidió a los participantes que calificaría cada uno de los parques en una escala de 1-10, en primer lugar si sentían que serían capaces de descansar y recuperarse en ese entorno (1, no mucho, a 10, mucho) y en segundo lugar cuánto les gustó el Parque (1, no mucho, a 10, mucho).
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Ninguno
Acknowledgments
Este trabajo fue apoyado financieramente por la ciudad de Melbourne y parcialmente por ARC DP 150103135. Nos gustaría agradecer a Eamonn Fennessy por su Consejo y enfoque colaborativo. Con especial agradecimiento a los asistentes investigadores Isabelle Janecki y Ethan Chen quienes también ayudaron a recopilar y analizar estos datos. Todos los errores siguen siendo los autores.
Materials
| Name | Company | Catalog Number | Comments |
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being? International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. aD., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan's Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. Eye Tracking Methodology: Theory and Practice. , 3rd ed, Springer International Publishing. London. (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks? Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. Eye Tracking the User Experience: A Practical Guide to Research. , Rosenfeld, New York. (2013).
