Definiowanie roli języka w kategoryzacji obiektów niemowląt za pomocą paradygmatów śledzenia ruchu gałek ocznych

Summary

Tutaj prezentujemy protokół paradygmatów testów zapoznawczych, które zapewniają bezpośredni test kategoryzacji niemowląt i pomagają zdefiniować rolę języka we wczesnym uczeniu się kategorii.

Abstract

Ocena uczenia się kategorii niemowlęcej jest trudnym, ale istotnym aspektem badania funkcji poznawczych niemowląt. Stosując paradygmat testu zapoznawczego, w prosty sposób mierzymy sukces niemowląt w nauce nowej kategorii, opierając się tylko na ich zachowaniu związanym z wyglądem. Co więcej, paradygmat może bezpośrednio mierzyć wpływ różnych sygnałów słuchowych na kategoryzację niemowląt w różnym wieku. Na przykład oceniliśmy, w jaki sposób 2-latki uczą się kategorii w różnych środowiskach etykietowania: w naszym zadaniu 2-latki z powodzeniem uczyły się kategorii, gdy wszystkie wzorce były oznaczone lub pierwsze dwa przykłady były oznaczone, ale nie kategoryzowały, gdy żaden wzór nie był oznaczony lub tylko dwa ostatnie wzorce były oznaczone. Aby określić sukces niemowląt w takich zadaniach, naukowcy mogą zbadać zarówno ogólne preferencje wykazywane przez niemowlęta w każdym stanie, jak i wzorzec patrzenia niemowląt w trakcie fazy testowej, używając eye-trackera w celu dostarczenia szczegółowych danych o przebiegu czasu. W ten sposób przedstawiamy potężny paradygmat identyfikacji roli języka lub dowolnego sygnału słuchowego w uczeniu się kategorii obiektów u niemowląt.

Introduction

Kategoryzacja jest podstawowym budulcem ludzkiego poznania: zdolności kategoryzacji niemowląt pojawiają się we wczesnym okresie niemowlęctwa i stają się coraz bardziej wyrafinowane wraz z wiekiem. ^1,2,3 Badania wykazały również potężną rolę języka w kategoryzacji niemowląt: od 3 miesiąca życia niemowlęta uczą się kategorii skuteczniej, gdy wzorce kategorii są sparowane z językiem. ^4,5,6 Co więcej, pod koniec pierwszego roku życia niemowlęta są już przyzwyczajone do roli etykiet rzeczowników liczących w kategoryzacji. Łączenie przykładów kategorii ze spójną frazą etykietującą ("To jest vep!") ułatwia niemowlętom uczenie się kategorii w stosunku do zapewnienia odrębnej etykiety dla każdego przykładu ("To jest vep", "To jest dax" itp.) lub frazy nieetykietującej ("Spójrz na to."). ^7,8,9

Jednak w codziennych doświadczeniach niemowląt, zdecydowana większość przedmiotów, które napotykają, prawdopodobnie pozostanie nieopisana. Żaden opiekun nie jest w stanie oznaczyć każdego przedmiotu, który widzi niemowlę, a tym bardziej podać etykiety, które odnoszą się do każdego przedmiotu (np. "malamut", "pies", "zwierzę domowe", "zwierzę"). Prowadzi to do paradoksu: jak możemy pogodzić siłę etykiet w kategoryzacji niemowląt z ich względnym niedoborem w codziennym życiu niemowląt?

Aby odpowiedzieć na to pytanie, opracowaliśmy protokół do oceny, w jaki sposób niemowlęta uczą się kategorii w różnych środowiskach uczenia się, w tym gdy otrzymują mieszankę oznaczonych i nieoznakowanych wzorców. W szczególności sugerujemy, że otrzymanie nawet kilku oznaczonych wzorców na początku nauki może ułatwić kategoryzację - poprzez zwiększenie zdolności niemowląt do uczenia się z kolejnych, nieoznaczonych wzorców. Ta strategia polegająca na używaniu niewielkiej liczby oznaczonych przykładów jako podstawy do uczenia się na podstawie większej liczby nieoznaczonych przykładów została szeroko wdrożona w dziedzinie uczenia maszynowego, dając początek rodzinie algorytmów uczenia częściowo nadzorowanego (SSL)^10,11,12. Oczywiście wdrożone strategie uczenia się nie są identyczne u różnych typów uczniów: w uczeniu maszynowym algorytmy zazwyczaj mają do czynienia z o wiele większą liczbą przykładów, dokonują wyraźnych domysłów na temat każdego z nich i uczą się wielu kategorii jednocześnie. Niemniej jednak zarówno uczeni maszynowi, jak i niemowlęta mogą odnieść korzyści z udanej integracji zarówno oznakowanych, jak i nieoznakowanych wzorców, aby uczyć się nowych kategorii w rzadkich środowiskach etykietowania.

Nasz projekt skupia się na tym, czy 2-letnie dzieci, w trakcie przyswajania słów dla wielu nowych kategorii, są zdolne do tego rodzaju częściowo nadzorowanego uczenia się. Stosujemy standardową miarę kategoryzacji niemowląt: zadanie testowo-zapoznawcze. W tym paradygmacie 2-latki miały kontakt z serią przykładów z kategorii powieści podczas fazy zaznajamiania. Każdy egzemplarz został sparowany z innym bodźcem słuchowym, w zależności od stanu (tj. frazą etykietującą lub nieetykietującą). Następnie, podczas testu, wszystkie 2-latki zobaczyły dwa nowe obiekty prezentowane w ciszy: jeden obiekt ze znanej już kategorii, a drugi z kategorii powieści.

Jeśli 2-latkom uda się utworzyć kategorię podczas fazy zaznajamiającej, powinni rozróżnić dwa przykłady przedstawione na teście. Co ważne, ponieważ systematyczna preferencja dla nowego lub znajomego obrazu testowego odzwierciedla zdolność do ich rozróżniania, zarówno preferencje dotyczące znajomości, jak i nowości są interpretowane jako dowód udanej kategoryzacji. Zauważ, że w danym zadaniu charakter tej preferencji jest funkcją wydajności przetwarzania materiałów stymulacyjnych przez niemowlęta, przy czym preferencje dotyczące znajomości związane są z mniej wydajnym przetwarzaniem bodźców ^{4,13,14,15,16,17}. Przedstawienie fazy testowej w ciszy umożliwia bezpośrednią ocenę sukcesu niemowląt w kategoryzacji obiektów i tego, jak ten sukces zmienia się w zależności od informacji, które towarzyszyły wzorcom podczas zaznajamiania. W związku z tym paradygmat ten stanowi przekonujący test tego, jak różne typy środowisk językowych wpływają na uczenie się kategorii. Jeśli etykietowanie usprawnia uczenie się kategorii zarówno w środowiskach częściowo nadzorowanych, jak i w pełni nadzorowanych, to 2-latki w tych warunkach powinny wykazywać silniejsze preferencje testowe niż niemowlęta w innych środowiskach.

Protocol

Wszystkie opisane tutaj metody zostały zatwierdzone przez Instytucjonalną Komisję Rewizyjną Uniwersytetu Northwestern.

1. Tworzenie bodźców

UWAGA: Bodźce wizualne (patrz Rysunek 1) użyte w reprezentatywnym projekcie opisanym poniżej zostały pierwotnie opracowane przez Havy and Waxman (2016)¹⁸ i są dostępne do pobrania na https://osf.io/n6uy8/.

1. Aby utworzyć nową kategorię ciągłą, najpierw zaprojektuj parę nowatorskich obrazów cyfrowych. Następnie przekształc parę obrazów razem, używając oprogramowania (patrz np. Tabela materiałów), aby utworzyć kontinuum przykładów między dwoma oryginalnymi obrazami. Utwórz w ten sposób co najmniej dwie kategorie, tak aby jedna z nich mogła służyć jako kategoria, której należy się nauczyć, podczas gdy druga stanowiła przykład kategorii powieści dla próby testowej.
2. Wybierz przykłady zapoznawcze w równych odstępach czasu z całego kontinuum każdej poznanej kategorii (np. przykłady 0%, 20%, 40%, 60%, 80% i 100%). Wybierz odpowiednią liczbę próbek (np. sześć). Współmierne do stopnia trudności kategorii i wieku uczestników.
3. Aby utworzyć wzorce dla fazy testowej, wybierz punkty środkowe kontinuum znanej kategorii i kontinuum kategorii powieści (tj. 50% przykładu). Następnie dopasuj kolor nowego wzorca do koloru znanego wzorca za pomocą programu do manipulacji obrazem (patrz np. Tabela materiałów).
4. Nagrywaj bodźce słuchowe wytwarzane przez kobietę, dla której język angielski jest native speakerem, w dźwiękoszczelnej kabinie. Jeśli to możliwe, używaj tego samego głośnika zarówno do oznaczania fraz (np. "Spójrz na modi"), jak i zwrotów nieetykietujących (np. "Spójrz na to!").
   1. Poinstruuj mówcę, aby wypowiadał wszystkie wypowiedzi w mowie skierowanej do niemowląt lub dzieci.
   2. Wybierz wypowiedzi, które mają w przybliżeniu taką samą długość w różnych warunkach, prawdopodobnie około 1 500 ms na frazę.

2. Aparatura

1. Użyj odpowiedniego eye-trackera. Aby zebrać odpowiednie dane dotyczące śledzenia ruchu gałek ocznych do testu zapoznawczego, wystarczą najbardziej powszechnie dostępne urządzenia do śledzenia ruchu gałek ocznych: obiekty zajmują duże części ekranu, a analiza danych bada wydajność w długim oknie, a nie pojedyncze, szybko występujące ruchy gałek ocznych, takie jak sakkady.
2. Ponieważ to zadanie wymaga śledzenia ruchu gałek ocznych u niemowląt, upewnij się, że system spełnia kilka wymagań.
   1. Po pierwsze, użyj eye-trackera z trybem zdalnego śledzenia, który nie wymaga od niemowląt kładzenia główek na podbródku. Upewnij się, że eye-tracker toleruje stosunkowo duże ruchy głowy lub ponowne regulacje.
   2. Po drugie, użyj stosunkowo dużego ekranu, aby wyświetlić obrazy niemowlętom (np. 57 x 45 cm).
   3. Po trzecie, użyj wysuwanego uchwytu na ramię do eye-trackera, aby ułatwić zbieranie danych, umożliwiając badaczowi dostosowanie wysokości eye-trackera do każdego niemowlęcia.
   4. Po czwarte, spraw, aby sprzęt do śledzenia ruchu gałek ocznych nie rzucał się w oczy, skupiając uwagę niemowląt wyłącznie na ekranie wyświetlacza. Na przykład niektóre systemy integrują sprzęt śledzący ruch gałek ocznych z monitorem lub montują go bezpośrednio pod monitorem.
3. Należy pamiętać, że to zadanie można również wykonać, ręcznie kodując wysokiej jakości dane wideo dotyczące zachowania niemowląt. Podczas gdy techniki kodowania ręcznego mogą stanowić pewne wyzwanie dla korzystania z bardziej szczegółowych analiz przebiegu czasowego, dane kodowane ręcznie są całkowicie wystarczające do analiz wyglądających na zagregowane.

3. Projektowanie zadań

1. W oprogramowaniu powiązanym z eye-trackerem (patrz np. Tabela materiałów) utwórz cztery różne warunki: W pełni nadzorowany, Bez nadzoru, Częściowo nadzorowany i Odwrócony częściowo nadzorowany. Upewnij się, że te warunki są oddzielne, tak aby każde niemowlę widziało tylko jeden warunek.
2. Wygeneruj co najmniej dwie pseudolosowe sekwencje wzorców uczenia się, z ograniczeniem, że nie więcej niż dwa przykłady z tej samej strony kontinuum (0-40% lub 60-100%) mogą być wyświetlane kolejno.
3. Twórz filmy zapoznawcze, które łączą bodźce słuchowe z bodźcami wzrokowymi odpowiednio do każdego stanu.
   1. Połącz bodźce wzrokowe i słuchowe w oprogramowaniu do edycji wideo (patrz np. Tabela materiałów). Prezentuj wszystkie obrazy na tym samym tle. Ustaw początek bodźca słuchowego w odpowiednim zakresie, od 500 ms do 1,500 ms po wystąpieniu bodźca wzrokowego. Wykorzystaj to krótkie opóźnienie, aby ułatwić niemowlętom przetwarzanie ¹⁹.
   2. Na przykład w warunku W pełni nadzorowany sparuj każdy przykład zapoznania z frazą etykietowania.
   3. W warunku Bez nadzoru sparuj każdy przykład zapoznania z frazą bez etykietowania.
   4. W warunku Częściowo nadzorowany sparuj tylko dwa pierwsze przykłady w każdej kolejności z frazami etykietowania, ale resztę z frazami bez etykietowania.
   5. W przypadku warunku Odwrócony częściowo nadzorowany sparuj dwa ostatnie przykłady z frazami etykietującymi, ale pierwsze cztery z frazami nieetykietującymi (patrz Rysunek 1).
   6. Prześlij te filmy do oprogramowania do śledzenia ruchu gałek ocznych, porządkując filmy zapoznawcze zgodnie z pseudolosową kolejnością.
4. Prześlij krótką, przyciągającą uwagę (10 s lub mniej) animację wyświetlaną na środku ekranu po zapoznaniu się z nim: zapewni to, że większość niemowląt będzie patrzeć na środek ekranu, gdy rozpocznie się faza testu.
5. Na koniec dla każdej kategorii edukacyjnej zaprojektuj dwie próby testowe, z których każda będzie zawierała dwa przykłady wyświetlane obok siebie. Upewnij się, że w przypadku obu prób testowych jeden wzór będzie reprezentował punkt środkowy znanej już kategorii, podczas gdy drugi reprezentuje punkt środkowy kategorii powieści.
   1. Zrównoważ próby, tak aby położenie lewej/prawej strony nowego egzemplarza w próbie testowej było odwrócone w różnych filmach.
   2. Prześlij te próby testowe do oprogramowania do śledzenia ruchu gałek ocznych, umieszczając je po zapoznaniu się z uwagą. Zrównoważ prezentację tych prób, aby każde niemowlę miało równe szanse na zobaczenie badania testowego z lewą lub prawą powieścią.
   3. Upewnij się, że próby testowe trwają co najmniej 5 sekund, a do 20 sekund, aby dzieci, które początkowo odwracają wzrok, mogły nabrać wystarczającego wyglądu.

[Umieść tutaj rysunek 1]

4. Procedura badania

1. Zanim niemowlę pojawi się na świecie, ustaw urządzenie do śledzenia ruchu gałek ocznych.
   1. Losowo przypisz niemowlę do warunku i kolejności.
   2. Otwórz oprogramowanie do śledzenia ruchu gałek ocznych i wybierz przypisaną parę warunek/zamówienie.
   3. Teraz wprowadź numer uczestnika dla tego nagrania.
2. Po przeprowadzeniu procesu wyrażania zgody należy przyprowadzić niemowlę i opiekuna do sali monitorowania ruchu gałek ocznych. Upewnij się, że pomieszczenie jest umiarkowanie oświetlone, bez rozpraszających dekoracji na ścianach.
3. Ustaw krzesło przed eye-trackerem w odpowiedniej odległości dla używanego modelu eye-trackera. Posadź opiekuna na tym krześle, a niemowlę na kolanach opiekuna. Jeśli niemowlę nie chce siedzieć na kolanach opiekuna, może siedzieć samodzielnie lub może siedzieć w foteliku samochodowym.
4. Jeśli niemowlę siedzi na kolanach opiekuna, poinstruuj go, aby w żaden sposób nie wpływał na zachowanie niemowlęcia, ale starał się utrzymać niemowlę w centrum uwagi na kolanach opiekuna. Zapewnij opiekunom parę zaciemnionych okularów przeciwsłonecznych do noszenia, aby nie widzieli bodźców.
5. Poproś niemowlę, aby spojrzało na ekran urządzenia do śledzenia ruchu gałek ocznych; rozważ wyświetlenie angażującego obrazu lub filmu, aby przyciągnąć jego uwagę. Ustaw ekran tak, aby oczy niemowląt znajdowały się w oknie kalibracji.
6. Wykonaj procedurę kalibracji eye-trackera. Jeśli to możliwe, należy użyć kalibracji pięciopunktowej, ale prawdopodobnie wystarczające będą również mniej kompleksowe kalibracje. Niemowlęta często reagują lepiej, gdy obraz kalibracyjny jest animacją z akompaniamentem słuchowym.
7. Jeśli niemowlę przejdzie kalibrację, rozpocznij eksperyment. Jeśli nie, należy przeprowadzić ponowną kalibrację, aż się powiodą. Niemowlęta, których nie można skalibrować, są wykluczone.
8. Jeśli wiele eksperymentów jest przeprowadzanych jeden po drugim lub jeśli pojedynczy eksperyment jest dość długi, rozważ ponowną kalibrację po każdej sekcji.

5. Analiza danych

1. Użyj oprogramowania do analizy danych, aby przeprowadzić tę analizę (np. patrz Tabela materiałów).
2. Utwórz obszary zainteresowania (AOI) wokół przykładowych pozycji po lewej i prawej stronie ekranu.
3. W przypadku prób zapoznawczych należy użyć odpowiedniego AOI, aby ocenić czas, jaki niemowlęta spędziły na patrzeniu na wzór wyświetlany w każdym badaniu. Wyklucz każde niemowlę, które nie wykazuje trwałego szukania większości próbek (np. wymagaj, aby niemowlęta uczęszczały na 4 z 6 możliwych przykładów zapoznawczych przez co najmniej 25% tych prób).
4. W badaniu testowym uwzględnij tylko pierwsze 5 s skumulowanego wyglądu niemowląt. W przypadku młodszych niemowląt, w wieku od 3 do 12 miesięcy, rozważ użycie dłuższego okna, takiego jak 10 sekund skumulowanego patrzenia. Rozważ wykluczenie niemowląt, które wykazują niewystarczające długotrwałe patrzenie na test (np. gromadzą mniej niż 2,5 s patrzenia) lub które nie patrzą na oba wzorce.
5. Teraz utwórz wynik preferencji dla próby testowej każdego niemowlęcia, dzieląc ilość czasu spędzonego na patrzeniu na nowy wzór przez całkowitą ilość czasu spędzonego na patrzeniu na oba wzorce. Aby przeanalizować te proporcje, należy je najpierw przekształcić za pomocą logitu empirycznego lub pierwiastka kwadratowego arc-sin, aby nadawały się do analizy za pomocą modeli liniowych.
6. Aby przeprowadzić analizę w czasie zachowania niemowląt podczas testu, podziel dane na małe pojemniki (np. od 10 do 100 ms) i oblicz wynik preferencji w każdym pojemniku dla każdego niemowlęcia.
7. Przeprowadź analizę danych dotyczących przebiegu czasowego, sprawdzając, czy wzorzec patrzenia niemowląt podczas próby testowej różni się w zależności od stanu. Należy zauważyć, że na to pytanie może odpowiedzieć wiele form analizy, w tym analiza permutacji oparta na klastrach²⁰, jak pokazano tutaj, oraz modelowanie krzywej wzrostu. ²¹
   1. W przypadku analizy permutacji opartej na skupiskach wybierz próg wartości t, odpowiadający żądanemu poziomowi alfa (zalecany zakres alfa od 0,01 do 0,20; należy pamiętać, że ta wartość alfa nie reprezentuje ogólnego poziomu alfa testu, a jedynie poziom wymagany, aby poszczególne przedziały czasu przekroczyły próg). Zsumuj statystyki t dla każdego kolejnego przedziału czasu, który przekracza wybrany próg t; Te skumulowane statystyki t wskazują na wielkość rozbieżności między warunkami w danych.
   2. Aby ustalić, czy te rozbieżności są przypadkowe większe niż oczekiwano, wykonaj co najmniej 1000 symulacji z losowo przetasowanymi etykietami warunków. Oceń rozbieżności nieprzetasowanych danych w stosunku do tego rozkładu opartego na szansach.
      UWAGA: To właśnie porównanie pierwotnej rozbieżności z rozkładem opartym na szansie decyduje o odsetku wyników fałszywie dodatnich w analizie, a nie liczba przedziałów czasowych, w których przeprowadzono testy t, ani nawet próg wartości t wybrany dla tych początkowych testów t. W rezultacie, analiza ta stanowi konserwatywną alternatywę dla bezpośredniego raportowania wyników wielu testów t w określonych przedziałach czasowych (np. przeprowadzanie testów co 500 ms).

Results

Korzystając z powyższego protokołu, przeprowadziliśmy dwa eksperymenty²². Analizy przeprowadzono za pomocą pakietu eyetrackingR ²³, a dane i kod są dostępne na stronie https://github.com/sandylat/ssl-in-infancy. W pierwszym eksperymencie porównaliśmy stan w pełni nadzorowany (n = 24 lata, wiek M = 26,8 mies.), w którym występowały tylko oznaczone wzorce, z stanem nienadzorowanym (n = 24 _lata, wiek M =...

Discussion

W tym miejscu przedstawiamy procedurę oceny roli etykietowania w kategoryzacji. Prezentując 2-latkom realistyczną mieszankę oznaczonych i nieoznakowanych wzorców, pokazujemy, że bardzo małe dzieci są zdolne do uczenia się w częściowo nadzorowanych środowiskach, rozszerzając pracę z dorosłymi i starszymi dziećmi^24,25. Tak więc metoda ta oferuje rozwiązanie paradoksu postawionego powyżej: jeśli nawet kilka oznaczonych przykładów może zainicjować uczenie się kategor...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Final Cut Pro X	Apple	N/A	Oprogramowanie do edycji i kompozycji wideo
MorphX	Norrkross	N/A	Oprogramowanie do morfingu obrazu
PhotoShop	Adobe N	/A	Oprogramowanie do edycji obrazów
R	R Core Team	N/A	Oprogramowanie do analizy statystycznej
T60XL Eyetracker	Tobii Pro	Wycofane ze sprzedaży	Duży, montowany na ramieniu eyetracker odpowiedni do pracy z niemowlętami i dziećmi
Tobii Pro Studio	Tobii Pro	N/A	Oprogramowanie kierujące wyświetlaczem eyetrackera, zbieranie danych