Name: Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim (Wideo) | JoVE Journal
Uploaded: 2019-05-07T12:30:00.000+00:00
Duration: 8 min 25 s
Description: Poznaj metodę łączenia śledzenia ruchu gałek ocznych z analizą treści wideo przy użyciu uczenia maszynowego. Technika ta umożliwia zautomatyzowaną i szczegółową analizę danych wizualnych w badaniach nad uwagą.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Ta praca była wspierana finansowo przez miasto Melbourne i częściowo przez ARC DP 150103135. Chcielibyśmy podziękować Eamonnowi Fennessy'emu za jego rady i podejście oparte na współpracy. Szczególne podziękowania należą się asystentom badaczy Isabelle Janecki i Ethanowi Chenowi, którzy również pomogli zebrać i przeanalizować te dane. Wszystkie błędy pozostają autorami.

Etyczna aprobata dla tego projektu została udzielona przez komisję etyki Australijskiego Uniwersytetu Katolickiego - numer zatwierdzenia #201500036E. Zapewniło to, że uzyskano świadomą zgodę od wszystkich uczestników i wszyscy uczestnicy uczestniczyli dobrowolnie, a dane uczestników pozostały anonimowe i poufne. Ponadto aprobata została udzielona ze względu na metodę i sprzęt spełniający australijskie normy, przepisy bezpieczeństwa.
1. Filmowanie scen miejskich, które mogą być wykorzystane w badaniu eye-trackingowym
<ol>
	<li>Użyj wysokiej jakości cyfrowej kamery wideo podłączonej do gimbala, aby stworzyć symulowany film "chodzenia" lub "siedzenia".</li>
	<li>Nagraj film z płynnymi ruchami w rozdzielczości 4k przy 25 kl./s i zapisz go w rozdzielczości 1920 x 1080 HD.</li>
	<li>Skorzystaj z profesjonalnej firmy filmowej do produkcji filmów cyfrowych, jeśli nie jesteś z tym zaznajomiony lub nie masz dostępu do sprzętu.</li>
	<li>Nakręć film w jednym ujęciu, do jednej długości we wszystkich filmach z precyzyjnymi, predefiniowanymi trasami i charakterystykami. 
	UWAGA: Przykładowe szczegóły filmu: Każdy film z symulowanego spaceru trwał 3 minuty i 50 s, a każdy film z symulowanym siedzeniem trwał 1 minutę. W przypadku obu filmów w tym badaniu, filmy zaczynały się od krótkiego wspinania się po schodach prowadzących do ścieżki. Ścieżka była śledzona dokładnie przez 1 min 30 s, a następnie kamera zatrzymała się i obróciła w lewo o 45-60 stopni i zatrzymała się na 15 sekund. Następnie kamera kontynuowała podążanie ścieżką do znaku 3 min 25 s, obracała się w lewo o 40-70 stopni przez 15 sekund, kontynuowała wzdłuż ścieżki do znaku 3 min 50 s, a następnie blakła do czerni.</li>
	<li>Upewnij się, że filmy są porównywalne, innymi słowy, nie wprowadzają nowych danych dotyczących spojrzenia z różnych trajektorii chodzenia lub ruchu kamery. Z każdego spaceru nakręcono jeden film, w sumie dwa.</li>
	<li>Ponieważ dźwięk ma wpływ na ruchy gałek ocznych, nagraj plik z ogólnymi dźwiękami parku miejskiego z jednego ze spacerów przez tę samą długość filmu, bez przerw spowodowanych nagłymi głośnymi dźwiękami poza parkiem (np. alarmami samochodowymi). Można ją odtworzyć zamiast istniejącej ścieżki dźwiękowej z obu filmów, dzięki czemu można odizolować efekt wizualny filmu. 
	UWAGA: Nadmierny ruch pojazdów i innych obiektów może wpływać na ruchy gałek ocznych i zniekształcać wyniki. Jeśli dojdzie do któregoś z tych wtargnięć, film może zostać odtworzony uczestnikom, ale może być konieczne wykluczenie klatek z analizy.</li>
	<li>Jeśli interesują Cię różne czynności podczas spaceru, takie jak chodzenie, a następnie siedzenie na ławce, zapisz lub edytuj sceny siedzenia i chodzenia jako osobne pliki, aby przetestować je niezależnie.</li>
</ol>
2. Konfiguracja i kalibracja sprzętu do śledzenia ruchu gałek ocznych
<ol>
	<li>Pokaż nakręcone sekwencje osobom w pomieszczeniu, w którym można wykluczyć naturalne światło, aby uniknąć odbić na ekranie. Pokaż im go na jak największym ekranie, aby zająć jak najwięcej pola widzenia, unikając w ten sposób rozpraszania uwagi spoza pola widzenia. Panoramiczny (16:9) monitor PC (22 cale) z uczestnikami oddalonymi od ekranu o około 60 cm jest akceptowalnym standardem.</li>
	<li>Wykonaj kalibrację na ekranie dla każdego uczestnika za pomocą wbudowanego narzędzia do kalibracji w oprogramowaniu do śledzenia ruchu gałek ocznych. Wymagaj od uczestników, aby w ramach tego spojrzeli na czerwoną kulę poruszającą się po ekranie i zatrzymującą się w 5 kluczowych punktach kalibracji.</li>
	<li>Podczas kalibracji obserwuj uczestników i upewnij się, że oni również nie poruszają głową. Jeśli znajdują się zbyt blisko ekranu, a ekran jest bardzo duży, może to stanowić problem. Dostosuj odpowiednio odległość od ekranu.</li>
	<li>Edytuj każdy film tak, aby w lewym górnym rogu wczesnych klatek filmu znajdował się biały krzyżyk. Można to zrobić za pomocą oprogramowania do edycji wideo. Pokaż ten ekran przez 3 sekundy, a następnie rozpocznij odtwarzanie spaceru. Ma to na celu sprawdzenie kalibracji śledzenia ruchu gałek ocznych i upewnienie się, że czasy zbierania danych ze śledzenia ruchu gałek ocznych można dopasować do numerów poszczególnych klatek.</li>
</ol>
3. Rekrutacja i etyka
<ol>
	<li>Skorzystaj z profesjonalnej firmy zajmującej się rekrutacją badawczą, aby zapewnić rozproszenie różnych płci, wieku i zawodów w próbie lub zrekrutuj na miejscu spośród studentów i pracowników.</li>
	<li>Przebadaj uczestników pod kątem znanych schorzeń i/lub urazów ocznych lub neurologicznych. Należy ich zapytać, czy przyjmują leki, o których wiadomo, że wpływają na ruchy gałek ocznych (np. benzodiazepiny).</li>
	<li>Przeprowadź testy czytania z bliska i test wychylenia ruchu gałek ocznych z latarką długopisową, aby wykazać, że mają pełne wycieczki ruchu gałek ocznych.</li>
	<li>Przeprowadź ankietę wśród uczestników na temat ich wieku, płci i częstotliwości korzystania z parku.</li>
</ol>
4. Konfiguracja eksperymentalna uczestnika
<ol>
	<li>Poproś uczestników, aby wyobrazili sobie, że potrzebują odnowy. Użyj zdania, które pozwoli im wyobrazić sobie kontekst użytego filmu ze śledzeniem ruchu gałek ocznych, np.: "Wyobraź sobie, że jest południe i idziesz samotnie po Melbourne. Jesteś zmęczony psychicznie intensywną koncentracją w pracy i szukasz miejsca, w którym mógłbyś pójść na spacer, usiąść i chwilę odpocząć przed powrotem do pracy".</li>
	<li>Posadź uczestników wygodnie przed ekranem komputera w odległości 60–65 cm, aby oglądać filmy.</li>
	<li>Korzystając z arkusza kalkulacyjnego, uporządkuj filmy losowo przed odtworzeniem przed uczestnikami.</li>
	<li>Użyj głośników, aby odtworzyć ten sam dźwięk we wszystkich filmach.</li>
	<li>Rejestruj trajektorię wzroku uczestników za pomocą stacjonarnego systemu śledzenia wzroku. Zamontuj stacjonarne urządzenie śledzące ruch gałek ocznych zgodnie z instrukcjami producenta. Może to znajdować się tuż pod ekranem na stole lub może przypiąć się do krawędzi ekranu, na przykład na górze.</li>
	<li>Użyj jednostki śledzącej ruch gałek ocznych o częstotliwości próbkowania 120 Hz i dokładności 0,50°, co zapewnia dużą swobodę ruchów głowy, umożliwiając nagrywanie podczas naturalnych ruchów głowy. Dopuszczalne jest również urządzenie do śledzenia wzroku o niższej częstotliwości. Przy 57,3 cm kąt widzenia 1° odpowiada ~1 cm na ekranie.</li>
	<li>Pozwól uczestnikom oglądać materiał filmowy na monitorze w wysokiej rozdzielczości.</li>
	<li>Rejestruj ruchy gałek ocznych za pomocą oprogramowania do śledzenia ruchu gałek ocznych</li>
	<li>Zastosuj filtr fiksacyjny, aby przekonwertować surowe dane próbki oka do analizy. W menu głównym kliknij Narzędzia > Ustawienia. Wybierz kartę Filtry fiksacji. Wybierz filtr fiksacji zgodnie ze specyfikacjami producenta dotyczącymi najlepszego typu filtra, aby zagregować surowe dane śledzenia ruchu gałek ocznych w fiksacje.</li>
	<li>Jeśli rejestrujesz dane śledzenia ruchu gałek ocznych za pomocą wielu filmów, rób przerwy między sesjami nagraniowymi, gdy uczestnicy o to poproszą.</li>
</ol>
5. Łączenie oglądanych parków z wyświetleniami filmów
<ol>
	<li>Porównaj zakres, w jakim ludzie oglądali obiekty i ich opinie na temat filmów, prosząc uczestników o ocenę każdego z parków w skali od 1 do 10, po pierwsze, czy czuli, że będą w stanie odpocząć i zregenerować się w tym środowisku (1, niewiele, do 10, bardzo), a po drugie, jak bardzo podobał im się park (1, nie bardzo, do 10, bardzo dużo).</li>
	<li>Zapytaj uczestników, czy skorzystaliby z parku, aby się zrelaksować lub złagodzić stres (T/N) i czy rozpoznali park, na który patrzyli (T/N), aby kontrolować potencjalny wpływ wcześniejszego związku z parkiem.</li>
	<li>Nagraj krótkie odpowiedzi uczestników, aby wyjaśnić swoje wrażenia za pomocą dyktafonu, a następnie dokonaj ich transkrypcji.</li>
</ol>
6. Automatyczna analiza wideo do ekstrakcji obszaru zainteresowania
<ol>
	<li>Wybór AOI 
	<ol>
		<li>Wybierz elementy, które są interesujące dla projektantów parków, urbanistów, planistów lub architektów, takie jak drzewa, krzewy, drogowskazy, budynki, murawy, ścieżki, schody itp.</li>
		<li>Aby uzyskać optymalną wydajność i minimalne wymagania szkoleniowe (omówione poniżej), używaj elementów, które są łatwo odróżnialne od siebie gołym okiem i/lub konsekwentnie zajmują różne obszary każdej klatki wideo. Ogólnie rzecz biorąc, wystarczająca liczba przykładów szkoleniowych przedstawiających wizualnie wyróżniające różnice w każdym obszarze zainteresowania powinna być wystarczająca do uzyskania solidnych wyników.</li>
	</ol>
	</li>
	<li>Szkolenie klasyfikatorów do ekstrakcji AOI
	<ol>
		<li>Wybór ram treningowych, które mają być zastosowane, liczba i uzasadnienie
		<ol>
			<li>Wybierz odpowiednią liczbę ramek treningowych (zwanych dalej Zestawem Treningowym). Nie ma ustalonej liczby, która byłaby odpowiednia. 
			UWAGA: Klatki muszą w wystarczającym stopniu pokrywać zakres wyglądu każdej klasy obiektów (tj. obiektów, które mają być oznaczone) w całym filmie. Na przykład 40 z 15 000 klatek sekwencji wideo przedstawiających pojedynczą scenę w parku okazało się osiągać wystarczającą dokładność. Jeśli sekwencja zawiera znaczne różnice, może być wymagane więcej klatek.</li>
			<li>Przy wyborze ramek treningowych należy wziąć pod uwagę zawartość ramki. Należą do nich: oświetlenie, kształty w odniesieniu do tego, co jest klasyfikowane (np. nie tylko jeden rodzaj drzewa, ale szereg rodzajów drzew, ich położenie na obrazie, sposób oświetlenia itp.), tekstura i kolor.</li>
			<li>Weź również pod uwagę liczbę ramek, które mają zostać uwzględnione. W szczególności długość i zmienność warunków wizualnych wyświetlanych w analizowanym filmie, a także liczba klas obiektów do zidentyfikowania oraz częstotliwość ich pojawiania się.</li>
		</ol>
		</li>
		<li>Ręczne oznaczanie pikseli dla ramek treningowych 
		UWAGA: Ręczne oznaczanie ramek treningowych spowoduje powiązanie pikseli z interesującymi klasami obiektów.
		<ol>
			<li>Oznaczanie pikselami ramek treningowych
			<ol>
				<li>Z kolei otwórz każdą klatkę treningową z filmu w oprogramowaniu do edycji obrazu.</li>
				<li>Dla każdej klatki treningowej z filmu nałóż przezroczystą warstwę obrazu na załadowany obraz w celu oznaczenia i utwórz paletę kolorów, zapewniając jeden kolor dla każdej danej klasy obiektów (tj. AOI).</li>
				<li>Upewnij się, że paleta kolorów i odwzorowanie kolorów na klasy obiektów są takie same w całym procesie etykietowania.</li>
				<li>Wybierz kolor dla przykładowego AOI.</li>
				<li>Koloruj regiony przykładowych obszarów zainteresowania poprzez zaznaczanie, kliknięciem myszy i przeciąganiem, pikseli w obszarze do "pokolorowania" przy użyciu odpowiedniej palety. 
				UWAGA: Możliwe jest nieprecyzyjne kolorowanie dużych obiektów. Jednak w przypadku wąskich/małych obiektów o szerokości zaledwie kilku pikseli należy zwrócić większą uwagę na to, aby ręczne etykietowanie dokładnie oddawało wygląd obiektu.</li>
				<li>Po zakończeniu opisywania klatki wyeksportuj nałożoną warstwę jako osobny plik obrazu. Upewnij się, że nazwa pliku podstawowego jest zgodna z oryginalną nazwą pliku podstawowego ramki, ale z literą "c" dołączoną na końcu. Na przykład, jeśli oryginalna nazwa pliku klatki to "1234.png", nazwa pliku warstwy oznaczona etykietą powinna brzmieć "1234c.png".</li>
				<li>Upewnij się, że wszystkie obrazy oznaczone etykietami są przechowywane w jednym folderze.</li>
			</ol>
			</li>
			<li>Oznaczanie pikseli ramek walidacji 
			UWAGA: Aby ilościowo zweryfikować dokładność wytrenowanego klasyfikatora, należy utworzyć dodatkowy zestaw ramek oznaczonych etykietami.
			<ol>
				<li>Wybierz klatki z oryginalnej sekwencji wideo, które nie zostały jeszcze wybrane do uwzględnienia w zestawie treningowym. W przypadku 5-minutowego filmu nie muszą one być dłuższe niż 20 klatek, ale powinny być próbkowane równomiernie z całej sekwencji wideo, aby zapewnić wystarczające pokrycie.</li>
				<li>Oznacz piksele w każdej klatce, korzystając z tej samej procedury, która została opisana w przypadku przygotowania ramek treningowych (6.2.2). Tym razem jednak należy jak najbardziej precyzyjnie i wyczerpująco podporządkować sobie etykietowanie, ponieważ zostanie ono wykorzystane jako porównanie prawdy podstawowej.</li>
				<li>Po zakończeniu etykietowania ramki użyj tej samej konwencji nazewnictwa, co w przypadku trenowania, jednak upewnij się, że pliki są zapisywane w osobnym folderze ramek walidacji.</li>
			</ol>
			</li>
		</ol>
		</li>
		<li>Automatyczne oznaczanie pikseli sekwencji wideo
		<ol>
			<li>Pobierz bibliotekę oprogramowania DARWIN ze strony http://drwn.anu.edu.au. 
			UWAGA: System opisany w tym artykule został zaimplementowany w środowisku Linux, dlatego wersję linuksową DARWIN należy pobrać i zainstalować, postępując zgodnie z instrukcjami na stronie internetowej.</li>
			<li>Uruchom graficzny interfejs użytkownika Darwina</li>
			<li>W graficznym interfejsie użytkownika Darwin kliknij pozycję Załaduj etykiety treningowe.</li>
			<li>Korzystając z wyświetlonego okna dialogowego eksploratora plików, wybierz folder zawierający obrazy treningowe oznaczone etykietami dla odpowiedniej sekwencji wideo.</li>
			<li>Kliknij Załaduj klatki wideo i postępuj zgodnie z tą samą procedurą, co w wersji 6.2.3.2, aby wybrać folder zawierający wszystkie oryginalne klatki sekwencji wideo. Powinien to być folder obrazów, w którym nazwa pliku każdej klatki to numer tej klatki w sekwencji wideo (np. klatka 1234 będzie miała nazwę 1234.png)</li>
			<li>Kliknij przycisk Trenuj. Algorytm będzie teraz badał każdą oznaczoną klatkę treningową i uczył się modelu wyglądu w celu klasyfikowania pikseli do dowolnej z określonych klas obiektów.</li>
		</ol>
		</li>
		<li>Weryfikowanie wytrenowanego klasyfikatora
		<ol>
			<li>Po zakończeniu trenowania kliknij przycisk Weryfikuj szkolenie.</li>
			<li>Korzystając z okna dialogowego eksploratora plików, wybierz folder zawierający wszystkie obrazy sprawdzania poprawności oznaczone etykietami dla odpowiedniej sekwencji wideo. Wytrenowany klasyfikator będzie teraz używany do klasyfikowania pikseli w każdej z ramek, do których odwołuje się zestaw walidacji. Porównaj to z podstawowymi etykietami prawdy podanymi w folderze walidacji. 
			UWAGA: Po zakończeniu graficzny interfejs użytkownika wyświetli statystyki dokładności, w tym procent pikseli poprawnie oznaczonych dla każdej klatki w zestawie walidacji, a także w całym zestawie walidacji.</li>
			<li>Aby wizualnie zweryfikować wygenerowane etykiety, kliknij przycisk Walidacja wizualna. Jeśli zostanie kliknięty, każdy wygenerowany obraz z etykietą jest wyświetlany obok oryginalnej ramki sprawdzania poprawności. 
			UWAGA: Może to być pomocne w identyfikowaniu, gdzie występują błędne klasyfikacje obiektu. Na przykład inspekcja wzrokowa może wskazać, że błędy są stale występujące w określonej części klasy obiektów, co sugeruje, że wymagane jest ulepszone etykietowanie w zestawie treningowym. Alternatywnie inspekcja może wykazać, że błędy występują tylko w określonym punkcie czasowym filmu, co sugeruje, że wymagane jest więcej przykładów szkoleniowych z tego okresu w filmie.</li>
			<li>Jeśli dokładność zaobserwowana w walidacji ilościowej lub jakościowej spadnie poniżej akceptowalnego poziomu, należy dołączyć dalsze przykłady szkoleniowe. W takim przypadku powtórz wszystkie kroki z 6.2.2, aby uwzględnić dodatkowe ramki treningowe, ponownie wytrenuj klasyfikator zgodnie z krokami w 6.2.3 i ponownie zweryfikuj kolejne kroki w 6.2.4.</li>
		</ol>
		</li>
		<li>Oznaczanie pikseli wideo
		<ol>
			<li>Po zakończeniu fazy trenowania i walidacji klasyfikatora kliknij przycisk Oznacz klatki w graficznym interfejsie użytkownika Darwin, aby rozpocząć pełne etykietowanie wszystkich klatek w sekwencji wideo przy użyciu wytrenowanego klasyfikatora.</li>
			<li>Postępuj zgodnie z instrukcjami, aby wybrać folder docelowy dla wszystkich ramek wyjściowych, które będą miały postać obrazów oznaczonych etykietami przy użyciu tej samej palety kolorów, która jest używana podczas trenowania.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>
7. Rejestrowanie danych śledzenia ruchu gałek ocznych w treści wideo
<ol>
	<li>W oprogramowaniu do śledzenia ruchu gałek ocznych kliknij Plik > Eksportuj... Wyeksportuj plik śledzenia ruchu gałek ocznych jako plik CSV.</li>
	<li>Otwórz plik w programie do obsługi arkuszy kalkulacyjnych.</li>
	<li>Na podstawie sekwencji wideo określ czas, w którym znika biały krzyżyk w lewym górnym rogu kadru (patrz 2.3). Wykorzystaj ten czas, aby zidentyfikować śledzenie ruchu gałek ocznych za pomocą odpowiedniej kolumny w wyniku śledzenia ruchu gałek ocznych. Jest to początek zbierania danych ze śledzenia ruchu gałek ocznych.</li>
	<li>Dodaj kolumnę do danych śledzenia ruchu gałek ocznych.</li>
	<li>Korzystając z tej nowej kolumny, oznacz każdy wiersz lub punkt danych śledzenia ruchu gałek ocznych numerem klatki zaczynającym się od cyfry 1.</li>
</ol>
8. Wyświetlanie czasu, w którym uczestnicy badali różne klasy obiektów w filmach
UWAGA: Ze względu na ogromny rozmiar danych śledzenia wzroku, język programowania Python jest lepiej używany do kroków do wersji 8.4, chociaż można również użyć programu do przetwarzania danych.
<ol>
	<li>Korzystając z dołączonego kodu Pythona, oblicz stopień nakładania się obiektów zainteresowania oraz czas i częstotliwość fiksacji śledzenia wzroku.</li>
	<li>Zsumuj te dane, aby zrozumieć, ile czasu uczestnicy spędzili na oglądaniu różnych obiektów.</li>
	<li>Użyj histogramu, aby pokazać całkowity czas, przez jaki obiekty zajmowały ekran.</li>
	<li>Porównaj to z całkowitą ilością czasu, w którym uczestnicy patrzyli na różne obiekty.</li>
	<li>Aby utworzyć mapę cieplną w oprogramowaniu do śledzenia ruchu gałek ocznych, kliknij jeden z filmów ze spaceru po parku, zaznaczając pole.</li>
	<li>Kliknij kartę Mapa skupień.</li>
	<li>Dostosuj kolor i inne cechy mapy skupień zgodnie z potrzebami, korzystając ze zmiennych "Liczba" (łączna liczba fiksacji wykonanych w oknie czasowym), "Bezwzględny czas trwania" (skumulowany czas trwania fiksacji) i "Względny czas trwania" (ilość czasu spędzonego na patrzeniu na obiekt podzielona przez ilość czasu spędzonego na patrzeniu na scenę).</li>
	<li>Wyeksportuj obraz lub film zawierający mapę skupień jako plik JPEG lub plik wideo.</li>
</ol>

<ol><li>Patrik, P., Stigsdotter, U. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+relation+between+perceived+sensory+dimensions+of+urban+green+space+and+stress+restoration%5BTitle%5D)+AND+%22Landscape+and+Urban+Planning%22%5BJournal%5D)">The relation between perceived sensory dimensions of urban green space and stress restoration.</a> Landscape and Urban Planning. 94 (3-4), 264-275 (2010).</li>
<li>Bjørn, G., Patil, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Biophilia%3A+does+visual+contact+with+nature+impact+on+health+and+well-being%3F%5BTitle%5D)+AND+%22International+Journal+of+Environmental+Research+and+Public+Health%22%5BJournal%5D)">Biophilia: does visual contact with nature impact on health and well-being?</a> International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).</li>
<li>Velarde, M. aD., Fry, G., Tveit, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Health+effects+of+viewing+landscapes-Landscape+types+in+environmental+psychology%5BTitle%5D)+AND+%22Urban+Forestry+%26+Urban+Greening%22%5BJournal%5D)">Health effects of viewing landscapes-Landscape types in environmental psychology.</a> Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).</li>
<li>Polat, A. T., Ahmet, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relationships+between+the+visual+preferences+of+urban+recreation+area+users+and+various+landscape+design+elements%5BTitle%5D)+AND+%22Urban+Forestry+%26+Urban+Greening%22%5BJournal%5D)">Relationships between the visual preferences of urban recreation area users and various landscape design elements.</a> Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).</li>
<li>Peter, P., Giannopoulos, I., Raubal, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Where+am+I%3F+Investigating+map+matching+during+self-localization+with+mobile+eye+tracking+in+an+urban+environment%5BTitle%5D)+AND+%22Transactions+in+GIS%22%5BJournal%5D)">Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment.</a> Transactions in GIS. 18 (5), 660-686 (2014).</li>
<li>Berto, R., Massaccesi, S., Pasini, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Do+Eye+Movements+Measured+across+High+and+Low+Fascination+Photographs+Differ%3F+Addressing+Kaplan%27s+Fascination+Hypothesis%5BTitle%5D)+AND+%22Journal+of+Environmental+Psychology%22%5BJournal%5D)">Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan's Fascination Hypothesis.</a> Journal of Environmental Psychology. 28 (2), 185-191 (2008).</li>
<li>Kaplan, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+restorative+benefits+of+nature%3A+Towards+an+integrative+framework%5BTitle%5D)+AND+%22Journal+of+Environmental+Psychology%22%5BJournal%5D)">The restorative benefits of nature: Towards an integrative framework.</a> Journal of Environmental Psychology. 15, 169-182 (1995).</li>
<li>Duchowski, A. T. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+AT+%22Eye+Tracking+Methodology%3A+Theory+and+Practice%22">Eye Tracking Methodology: Theory and Practice</a>. , 3rd ed, Springer International Publishing. London. (2017).</li>
<li>Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+eye-catching+are+natural+features+when+walking+through+a+park%3F+Eye-+tracking+responses+to+videos+of+walks%3F%5BTitle%5D)+AND+%22Urban+Forestry+and+Urban+Greening%22%5BJournal%5D)">How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?</a> Urban Forestry and Urban Greening. 31, 67-78 (2018).</li>
<li>Gould, S. D. A. R. W. I. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Framework+for+Machine+Learning+and+Computer+Vision+Research+and+Development%5BTitle%5D)+AND+%22Journal+of+Machine+Learning+Research%22%5BJournal%5D)">A Framework for Machine Learning and Computer Vision Research and Development.</a> Journal of Machine Learning Research. (Dec), 3533-3537 (2012).</li>
<li>Richardson, D., Matlock, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+integration+of+figurative+language+and+static+depictions%3A+an+eye+movement+study+of+fictive+motion%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The integration of figurative language and static depictions: an eye movement study of fictive motion.</a> Cognition. 102 (1), 129-138 (2007).</li>
<li>Bojko, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBojko%2C+A+%22Eye+Tracking+the+User+Experience%3A+A+Practical+Guide+to+Research%22">Eye Tracking the User Experience: A Practical Guide to Research</a>. , Rosenfeld, New York. (2013).</li>
</ol>

Ogólnie rzecz biorąc, w standardowych pakietach oprogramowania do analizy danych śledzenia ruchu gałek ocznych stosuje się wektorowy AOI. Nawet w przypadku pojedynczego zdjęcia nie można łatwo zmierzyć rozmiaru wektora. Co więcej, uwzględnienie wszystkich AOI na obrazie i obliczenie względnych ilości AOI jest pracochłonne. Jest prawie niemożliwe, aby zrobić to ręcznie na filmie bez techniki uczenia maszynowego, takiej jak opisana. Było to stosunkowo proste stwierdzenie, które sugeruje sytuację swobodnego oglądania. Można...

Nasze codzienne doświadczenia w środowisku miejskim mają ogromny wpływ na nasze zdrowie i samopoczucie. Nasze samopoczucie może zależeć od ilości terenów zielonych, które oglądamy i których doświadczamy1,2,3, a widoki te można określić ilościowo za pomocą sprzętu do śledzenia ruchu gałek ocznych, aby pomóc w podejmowaniu decyzji dotyczących projektu parku. Pojawia się jednak problem z ilością generowanych danych śledzenia ruchu gałek ocznych i nadawaniem sensu tym danym. W miarę jak sprzęt do rejestrowania danych dotyczących spojrzenia w laboratorium lub na łonie natury staje się łatwiejszy w użyciu i bardziej wydajny, naukowcy muszą zastanowić się, w jaki sposób możemy prawidłowo zbierać i analizować dane, aby pomóc w podejmowaniu pytań.
Do tej pory, wiele badań nad śledzeniem ruchu gałek ocznych wykorzystywało zdjęcia w warunkach ankietowych lub laboratoryjnych4. Chociaż metodologia ta pozwala na dużą powtarzalność i kontrolę nad wynikami, nie jest w stanie wykorzystać najnowszych osiągnięć w technologii śledzenia ruchu gałek ocznych, które obejmują wykorzystanie wideo i mobilnych urządzeń śledzących ruch gałek ocznych. Co więcej, twierdzimy, że akt chodzenia i relaksowania się jest z konieczności dynamiczny, szczególnie gdy jest zorientowany na zadanie takie jak odnajdywanie drogi5. W związku z tym w pełni naukowe zrozumienie tych ustawień powinno odbywać się poza laboratorium. Jednak w tej chwili śledzenie ruchu gałek ocznych w rzeczywistych naturalistycznych warunkach sprawia, że porównywanie doświadczeń między obiektami jest bardzo trudne. Na przykład, gdybyśmy chcieli porównać, czy jeden respondent patrzy na drzewa częściej niż inny, w jaki sposób moglibyśmy kontrolować fakt, że jego punkt widzenia będzie się stale zmieniał w porównaniu z innymi lub że jego głowa mogła się odwrócić. Szczegółowa analiza w tych warunkach jest prawie niemożliwa przy obecnych technikach analizy. Uważamy, że ważne jest, aby kontrolować obszary widzenia dostępne dla badanej osoby, a w analizie móc uwzględnić całą scenę oglądaną w dowolnym momencie.
Istnieje zestaw teorii łączących poziomy stresu i postrzeganie bezpieczeństwa z widokami krajobrazu i dobrze rozwiniętymi miarami stresu6,7. Nastąpił również gwałtowny wzrost zaawansowania sprzętu do śledzenia ruchu gałek ocznych do pomiaru gaze8. Śledzenie ruchu gałek ocznych jest ważne, ponieważ mimowolne ruchy gałek ocznych mogą być bardziej wiarygodnie związane z preferencjami, stresem i innymi tradycyjnymi pomiarami niż badania i natrętne, fizjologiczne testy, takie jak poziom kortyzolu w ślinie. Celem tych badań jest opracowanie narzędzi, które umożliwią bardziej precyzyjny pomiar danych ze śledzenia ruchu gałek ocznych w bardziej naturalistycznych warunkach, tak aby dostarczyć dalszych dowodów lub obalić wieloletnie teorie krajobrazu, które od dziesięcioleci wpływają na projektowanie parków.
Celem tego projektu jest opracowanie i przetestowanie nowatorskiej techniki analizy, która może generować odpowiednie dane śledzenia ruchu gałek ocznych dla różnych filmów z symulacji spacerów po parku. Nasza praca opisana tutaj i gdzie indziej9 stanowi punkt pośredni między naturalistyczną scenerią w pełni mobilnego systemu śledzenia ruchu gałek ocznych a laboratoryjnymi studiami fotograficznymi, o których mowa powyżej. W szczególności koncentrujemy się na wykorzystaniu filmów jako materiału stymulacyjnego, badając, w jaki sposób można wykorzystać ten materiał do testowania ilości fascynacji, jaką generują różne parki w Melbourne. Nasza praca opiera się na założeniu, że szczegółowa analiza filmów wideo jest niezbędnym krokiem do naruszenia przed podjęciem pełniejszej, bardziej naturalistycznej oceny potencjału parków do zapewnienia odbudowy po stresie.
W tym badaniu użyliśmy stacjonarnego eye-trackera z filmami ze spacerów po miejskich parkach i poprosiliśmy uczestników, aby wyobrazili sobie, że wybierają się na relaksujący spacer po parku. Opisujemy metodę, dzięki której ilość czasu, jaką uczestnicy spędzili na oglądaniu różnych obiektów, jest porównywalna między parkami. Badania stacjonarne są na ogół łatwiejsze do kontrolowania w porównaniu z mobilnymi badaniami ET i umożliwiają analizę porównawczą każdego przedmiotu.
Standardowe oprogramowanie do śledzenia ruchu gałek ocznych wykorzystuje narzędzie do ręcznego wyznaczania obszarów zainteresowania, w którym operator może ręcznie rysować granice wokół interesujących obiektów w każdej scenie. Dzięki temu czas spędzony przez uczestników na patrzeniu na różne obiekty może być automatycznie zliczany. W przypadku danych wideo proces ten jest pracochłonny i podlega subiektywności operatora oraz błędom. W późniejszych wersjach oprogramowania do analizy ruchu gałek ocznych AOI mogą automatycznie śledzić obiekty w różnych klatkach, gdy mają one ten sam rozmiar w filmie. Jest to ulepszenie, jednak jest ono przeznaczone do użycia tylko dla niewielkiej liczby bodźców na każdym obrazie, a każdy obraz musi zostać sprawdzony i potwierdzony.
Ręczne oznaczanie obiektów na obrazie jest powszechne i obsługiwane przez oprogramowanie do edycji obrazów, takie jak GNU Image Manipulation Program (GIMP). Biorąc pod uwagę, że 1 s tworzy 30 klatek lub obrazów, ręczne oznaczanie filmów jest niepraktyczne. Ponadto oznaczanie AOI poprzez rysowanie wielokątów wektorowych wokół krawędzi złożonych obiektów, takich jak korony drzew, jest bardzo czasochłonne. Wreszcie, chociaż możliwe jest obliczenie rozmiaru obiektów w polu widzenia za pomocą etykietowania wektorowego, funkcja ta nie jest obecnie dostępna.
Metoda, którą opisujemy poniżej, radzi sobie z tymi ograniczeniami. W badaniu wykorzystano automatyczne znakowanie obiektów. Jest to możliwe dzięki technice przetwarzania obrazu znanej jako etykietowanie semantyczne, w której każdemu pikselowi w każdej klatce wideo przypisywana jest etykieta wskazująca klasę obiektu. Uczenie maszynowe służy do wyprowadzania klasyfikatorów pikseli dla każdej klasy obiektów będących przedmiotem zainteresowania. Klasyfikatory te zapewniają probabilistyczną etykietę dla każdego piksela (znaną jako potencjały jednoargumentowe), które są następnie udoskonalane w kolejnym procesie optymalizacji, aby osiągnąć ostateczny oznaczony wynik. Te klasyfikatory uczą się granic decyzji statystycznych między poszczególnymi klasami obiektów w przestrzeni cech wyodrębnionych z obrazu, w tym tekstury, histogramu orientacji krawędzi, wartości kolorów RGB i znormalizowanych współrzędnych obrazu. Odpowiednia technika do tego jest zaimplementowana w narzędziu uczenia maszynowego DARWIN10 i jest opisana poniżej.

<table><tbody><tr><td>Obiektyw 12 mm</td><td>Obiektyw Olympus</td><td></td><td>Panasonic</td></tr><tr><td>GH4&nbsp;</td><td>Kamera wideo</td> <td>Panasonic</td><td></td></tr><tr><td>Tobii Studio w wersji (2.1.14)&nbsp; &nbsp;</td><td>Tobii</td><td></td><td>Software</td></tr><tr><td>Tobii x120 biurkowy eye-tracker</td> Tobii <td>Eye-tracker</td> <td>Tobii</td><td></td></tr></tbody></table>

Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment

Ponieważ ludzie coraz częściej mieszkają w miastach, metody badania ich codziennych ruchów i danych, które można zbierać, stają się ważne i cenne. Wiadomo, że informatyka śledząca ruch gałek ocznych łączy się z szeregiem uczuć, warunków zdrowotnych, stanów psychicznych i działań. Ponieważ jednak widzenie jest wynikiem ciągłych ruchów gałek ocznych, oddzielanie tego, co ważne, od tego, co jest szumem, jest skomplikowane i wymaga dużej ilości danych. Co więcej, poważnym wyzwaniem jest kontrolowanie tego, na co ludzie patrzą, w porównaniu z tym, co jest im prezentowane.
Poniżej przedstawiono metodologię łączenia i analizowania śledzenia ruchu gałek ocznych na filmie przedstawiającym naturalną i złożoną scenę z techniką uczenia maszynowego do analizy treści wideo. W protokole skupiamy się na analizie danych z nakręconych filmów, w jaki sposób wideo może być najlepiej wykorzystane do rejestrowania danych śledzenia ruchu gałek ocznych uczestników, a co ważne, w jaki sposób treść filmu może być analizowana i łączona z danymi śledzenia wzroku. Przedstawiamy krótkie podsumowanie wyników oraz dyskusję na temat potencjału metody do dalszych badań w złożonych środowiskach.

Rycina 1 i Rysunek 2 przedstawienie wyniku uzyskanego poprzez zestawienie wszystkich danych eye-trackingowych z całego filmu dla wszystkich uczestników i wygenerowanie mapy ciepła; jest to standardowe podejście dostępne w pakietach oprogramowania do eye-trackingu. Poprzez porównanie Rycina 1 i Rycina 2 można stwierdzić, że uczestnicy skanowali wzrokiem średnio lewą i prawą stronę wzd...

Celem protokołu jest szczegółowe opisanie, jak zbierać dane wideo do wykorzystania w laboratorium; jak rejestrować dane śledzenia ruchu gałek ocznych uczestników oglądających dane i jak efektywnie analizować zawartość filmów, które oglądali, używając techniki uczenia maszynowego.

As individuals increasingly live in cities, methods to study their everyday movements and the data that can be collected becomes important and valuable. ...

Wiele badań eyetrackingowych opiera się na złożonych bodźcach wideo i rzeczywistych ustawieniach, co sprawia, że analiza danych jest bardzo złożona. Ta technika analizy pozwala na znacznie bogatsze i zautomatyzowane podejście do analizy danych opartych na wideo niż obecnie dostępne metody, co prowadzi do bogatszej ekstrakcji bardziej złożonych danych. Metoda ta może być stosowana w wielu różnych aplikacjach do śledzenia ruchu gałek ocznych, szczególnie w sytuacjach rzeczywistych lub tych, które wykorzystują wideo jako bodziec.Badania krajobrazu opierały się na zrozumieniu, jak ludzie reagują na różne bodźce wzrokowe. Technika ta, w połączeniu ze śledzeniem ruchu gałek ocznych, może być wykorzystana do przetestowania tych założeń. W przypadku tego typu badań podejście zespołowe jest niezbędne, ponieważ istnieje wiele aspektów, które wymagają wkładu i rozważenia na wysokim poziomie.Procedurę zademonstruje mi mój doktorant Andrew Treller. Sekwencje filmowe powinny być wyświetlane w laboratorium śledzenia ruchu gałek ocznych, w którym dostępne jest naturalne światło, ale które można kontrolować, aby uniknąć odbić na ekranie na jak największym ekranie, aby zająć jak największą część pola widzenia, unikając w ten sposób rozpraszania uwagi spoza pola widzenia. Po umieszczeniu uczestnika w odległości 60-65 centymetrów od ekranu, poproś go, aby wyobraził sobie, że potrzebuje przywrócenia, używając zdania, które pozwala uczestnikowi wyobrazić sobie w kontekście filmu ze śledzeniem ruchu gałek ocznych.Następnie odtwarzaj filmy dla uczestnika w ustalonej kolejności losowej za pomocą stacjonarnego urządzenia śledzącego ruch gałek ocznych, aby rejestrować ruchy gałek ocznych uczestnika podczas każdego filmu. Aby zaprojektować obszar zainteresowania, wybierz elementy, które są interesujące dla badania, takie jak drzewa, krzewy, drogowskazy, budynki, ścieżki, stopnie. Aby uzyskać optymalną wydajność i minimalne wymagania treningowe, używaj elementów, które są łatwo wizualnie odróżnialne od siebie gołym okiem i/lub które konsekwentnie zajmują różne obszary każdej klatki wideo.Ogólnie rzecz biorąc, dołączenie wystarczającej liczby przykładów szkoleniowych przedstawiających wizualnie rozróżniające różnice w każdym obszarze zainteresowania powinno wystarczyć do uzyskania solidnej wydajności. Gdy wszystkie elementy zostaną zmodyfikowane, wybierz odpowiednią liczbę klatek treningowych, które będą składać się na zestaw treningowy. Nie ma ustalonej liczby, która byłaby odpowiednia.Następnie otwórz każdą klatkę treningową z filmu w oprogramowaniu do edycji obrazu i dla każdej klatki nałóż przezroczystą warstwę obrazu na załadowany obraz w celu etykietowania i utwórz paletę kolorów zapewniającą jeden kolor dla każdej danej klasy obiektów zainteresowania. Aby wybrać kolor dla obszaru zainteresowania próbki, kliknij i przeciągnij piksele w obszarze, aby pokolorować obszar próbki przy użyciu odpowiedniej palety. Po zakończeniu etykietowania ramki wyeksportuj nałożoną warstwę jako oddzielny plik obrazu, upewniając się, że nazwa pliku podstawowego jest zgodna z oryginalną nazwą pliku podstawowego ramki, ale z dołączonym znakiem C na końcu.Aby ilościowo zweryfikować dokładność wytrenowanego klasyfikatora, wybierz klatki z oryginalnej sekwencji wideo, które nie zostały jeszcze wybrane do uwzględnienia w zestawie treningowym, i oznacz piksele w każdej klatce jako właśnie pokazane, aby klatki treningowe były tak precyzyjne i wszechstronne, jak to tylko możliwe. Po zakończeniu etykietowania ramki użyj tej samej konwencji nazewnictwa, co w przypadku trenowania, zapisując pliki w osobnym folderze ramek walidacji. Aby automatycznie oznaczyć sekwencję wideo pikselami, uruchom graficzny interfejs użytkownika Darwin i kliknij przycisk Załaduj etykiety treningowe.Aby skonfigurować graficzny interfejs użytkownika do trenowania i etykietowania, wybierz pozycję Utwórz projekt i nadaj projektowi nazwę za pomocą wyskakującego okna dialogowego. Wybierz folder zawierający wszystkie oryginalne klatki sekwencji wideo w wyskakującym okienku. Korzystając z wyskakującego okna dialogowego eksploratora plików, wybierz folder zawierający obrazy treningowe oznaczone etykietami dla odpowiedniej sekwencji wideo.W oknie dialogowym eksploratora plików wybierz folder zawierający wszystkie obrazy weryfikacyjne oznaczone etykietami dla odpowiedniej sekwencji wideo. Postępuj zgodnie z monitem, aby wybrać folder docelowy dla wszystkich ramek wyjściowych, które będą miały postać obrazów oznaczonych etykietami przy użyciu tej samej palety kolorów, która była używana podczas trenowania. Korzystając z wyskakującego okna dialogowego, w obszarze obszary zainteresowania, wprowadź obszary zainteresowania do oznaczenia, w tym wartości czerwone/zielone/niebieskie używane do oznaczania każdego regionu w przykładach trenowania.Algorytm zbada każdą oznaczoną klatkę treningową i nauczy się modelu wyglądu w celu sklasyfikowania pikseli do dowolnej z określonych klas obiektów. Po zakończeniu trenowania kliknij przycisk Weryfikuj szkolenie. W oknie dialogowym eksploratora plików wybierz folder zawierający wszystkie obrazy weryfikacyjne oznaczone etykietami dla odpowiedniej sekwencji wideo.Aby wizualnie zweryfikować wygenerowane etykiety, kliknij pozycję Walidacja wizualna. Każdy wygenerowany obraz oznaczony etykietą zostanie wyświetlony obok oryginalnej ramki walidacji. Jeśli dokładność zaobserwowana w walidacji ilościowej lub jakościowej spadnie poniżej akceptowalnych poziomów, należy dołączyć i ponownie przeszkolić dalsze przykłady szkoleniowe.Po zakończeniu faz trenowania i walidacji klasyfikatora kliknij pozycję Uruchom wnioskowanie, aby rozpocząć pełne etykietowanie wszystkich ramek w sekwencji wideo przy użyciu wytrenowanego klasyfikatora. Po zakończeniu etykietowania, co może potrwać kilka godzin, kliknij pozycję Przeglądaj dane wyjściowe, aby wyświetlić wynikowe etykiety. Większość programów do śledzenia ruchu gałek ocznych pokaże Ci, że średnio uczestnicy skanowali w lewo i w prawo współrzędną x filmu w pierwszym filmie w porównaniu z drugim filmem, dla którego mapa ciepła pokazuje bardziej okrągły kształt.Korzystając z techniki etykietowania pikseli opartej na uczeniu maszynowym opisanej w tym artykule, możemy zobaczyć więcej szczegółów. Ta graficzna reprezentacja procentowego czasu fiksacji pokazuje, że ścieżka jest wyraźnie widoczna w trakcie trwania filmu. Jednak, jak pokazuje ta liczba z danych śledzenia ruchu gałek ocznych, uczestnik patrzył na tę funkcję tylko od czasu do czasu w kluczowych punktach.Poniżej przedstawiono podsumowanie czasu przebywania wszystkich 39 uczestników tego reprezentatywnego badania podczas patrzenia na obiekty na całej długości filmu. Na tym wykresie te same dane dotyczące czasu przebywania zostały podzielone przez ilość czasu i przestrzeni zajmowanej przez różne obiekty w filmie. Wartość jeden oznacza, że czas przebywania może być uwzględniony na podstawie ilości obiektu w filmie.Na przykład obiekty, które były mniej istotne, takie jak niebo na obu obrazach, były oglądane stosunkowo rzadziej niż inne obiekty. Sztuczne obiekty, takie jak latarnie uliczne i ławki, były zamieszkane w większym stopniu niż inne obiekty naturalne. Tego rodzaju analizy mogą mieć wiele szerokich zastosowań w celu zbadania kwestii uwagi i istotności, a także mogą mieć wiele szeroko zakrojonych zastosowań w różnych obszarach badawczych.Ponieważ wykorzystanie krótkich filmów jako bodźców wizualnych staje się coraz bardziej powszechne, spodziewamy się, że technika ta stanie się bardziej popularna.

combining-eye-tracking-data-with-an-analysis-video-content-from-free

Research

JoVE Journal

Environment

Środowisko

Małe dzieci nie obserwują świata biernie, ale raczej aktywnie eksplorują i angażują się w swoje otoczenie. Protokół ten zawiera zasady przewodnie i praktyczne zalecenia dotyczące korzystania z urządzeń śledzących ruch gałek ocznych montowanych na głowie do rejestrowania dynamicznego środowiska wzrokowego niemowląt i małych dzieci oraz uwagi wzrokowej w kontekście naturalnego zachowania.

Spojrzenie w akcji: śledzenie dynamicznej uwagi wzrokowej dzieci na głowie podczas zachowań naturalistycznych

To jest jakościowa analiza porównawcza danych z danych śledzenia wzroku w pierwszych chwilach scen wideo oglądanych przez trzech uczestników: jednego z zaburzeniami ze spektrum autyzmu, jednego ze współistniejącym deficytem uwagi i nadpobudliwością psychoruchową i jednego neurotypowego kontrolnego.

Porównywanie danych ze śledzenia wzroku dzieci z wysoko funkcjonującym ASD, współwystępującym ADHD i grupy kontrolnej oglądającej filmy społecznościowe

Tutaj prezentujemy protokół do badania związku między parametrami ruchu gałek ocznych a funkcjami poznawczymi u pacjentów z chorobą Parkinsona bez demencji. W eksperymencie wykorzystano urządzenie śledzące ruch gałek ocznych do pomiaru amplitudy sakkady i czasu fiksacji w zadaniu wyszukiwania wizualnego. Następnie zmierzono korelację z wydajnością w wielodomenowych zadaniach poznawczych.

Charakterystyka związku między parametrami ruchu gałek ocznych a funkcjami poznawczymi u pacjentów z chorobą Parkinsona bez otępienia ze śledzeniem ruchu gałek ocznych

Korzystanie z czujników multimodalnych jest obiecującym sposobem na zrozumienie roli interakcji społecznych w środowisku edukacyjnym. W artykule opisano metodologię przechwytywania wspólnej uwagi wzrokowej z kolokowanych diad za pomocą mobilnych urządzeń śledzących ruch gałek ocznych.

Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

Badanie proponuje model aktywacji-dopasowania, aby zbadać, w jaki sposób samotność jest łagodzona, gdy samotna publiczność ogląda filmy z zaporą racjonalnych i emocjonalnych apeli. Protokół wykorzystuje śledzenie ruchu gałek ocznych do dokumentowania czasu trwania i fiksacji, uwzględniając stopień zadowolenia, gdy potrzeby emocjonalne są zaspokajane przez treść i zaporę.

Samotność złagodzona: śledzenie wzroku publiczności oglądającej filmy z zaporą

Obecny protokół opisuje trójwymiarowe śledzenie/ocenę ruchu, aby zobrazować zmianę ruchu szczurów po ekspozycji na symulowane środowisko nieużywania.

Kompleksowe zrozumienie zmian chodu wywołanych bezczynnością u gryzoni

Śledzenie ruchu gałek ocznych to nieinwazyjna metoda badania przetwarzania informacji. W tym artykule opisano, w jaki sposób śledzenie wzroku może być wykorzystane do badania zachowania wzroku podczas zadania awaryjnego symulacji lotu u pilotów o niskim czasie lotu (tj. &lt;350 godzin lotu).

Śledzenie ruchu gałek ocznych podczas złożonego zadania lotniczego w celu uzyskania wglądu w przetwarzanie informacji

Metodologia badała wkład wzrokowy i przedsionkowy w stabilizację spojrzenia podczas rotacji optokinetycznej i całego ciała. Stymulacje przeprowadzono poprzez badania wzrokowe, przedsionkowe i wizuo-przedwostykowe. Wzmocnienie ruchu oczu skrętne i częstotliwości oczopląsów służyły jako wskaźniki podkorowego przekazywania informacji o ruchu specyficznym dla sensorycznych do odruchowej odpowiedzi pnia mózgu w każdym badaniu.

Wykorzystanie śledzenia oczu do oceny względnego znaczenia bodźców wzrokowych i przedsionkowych dla przetwarzania ruchu podkorowego w płaszczyźnie przechylania

Przedstawiamy niskonakładowy, bezznacznikowy proces za pomocą DeepLabCut do ilościowego określania spontanicznego chodu i lokomocji u myszy poruszających się swobodnie. Ten protokół integruje nagranie wideo z jedną kamerą, bezznacznikowe śledzenie punktów anatomicznych i wyodrębnianie parametrów lokomocji przestrzenno-czasowych, zapewniając nieinwazyjne i dostępne narzędzie do analizy zachowań motorycznych bez specjalistycznego sprzętu.

Tani niskokosztowy proces bez markerów oparty na DeepLabCut do analizy spontanicznego chodu i lokomocji u myszy poruszających się swobodnie

Opisano metodę oznaczania zawartości i składu kwasów tłuszczowych w mikroalgach na podstawie mechanicznego rozbijania komórek, ekstrakcji lipidów na bazie rozpuszczalnika, transestryfikacji oraz kwantyfikacji i identyfikacji kwasów tłuszczowych za pomocą chromatografii gazowej. Wewnętrzny wzorzec tripentadekaniny służy do kompensacji ewentualnych strat podczas ekstrakcji i niepełnej transestryfikacji.

Analiza zawartości i składu kwasów tłuszczowych w mikroalgach

Poznaj metodę łączenia śledzenia ruchu gałek ocznych z analizą treści wideo przy użyciu uczenia maszynowego. Technika ta umożliwia zautomatyzowaną i szczegółową analizę danych wizualnych w badaniach nad uwagą.

Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim (Wideo) | JoVE Journal

Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim

Przeglądaj więcej filmów