Methodenartikel

Door de ogen van een hond: fMRI-decodering van naturalistische video's uit de hondencortex

9.2K weergaven

⸱

DOI:

10.3791/64442

⸱

13 september 2022

 ,  ,  , 
1Psychology Department, Emory University

In dit artikel

Samenvatting

Machine learning-algoritmen zijn getraind om patronen van hersenactiviteit te gebruiken om stimuli te "decoderen" die aan mensen worden gepresenteerd. Hier tonen we aan dat dezelfde techniek naturalistische video-inhoud uit de hersenen van twee gedomesticeerde honden kan decoderen. We zien dat decoders op basis van de acties in de video's succesvol waren bij honden.

Samenvatting

Recente ontwikkelingen met behulp van machine learning en functionele magnetische resonantie beeldvorming (fMRI) om visuele stimuli uit de menselijke en niet-menselijke cortex te decoderen, hebben geleid tot nieuwe inzichten in de aard van perceptie. Deze benadering moet echter nog substantieel worden toegepast op andere dieren dan primaten, wat vragen oproept over de aard van dergelijke representaties in het dierenrijk. Hier gebruikten we wakkere fMRI bij twee gedomesticeerde honden en twee mensen, verkregen terwijl ze elk speciaal gemaakte hondengeschikte naturalistische video's bekeken. Vervolgens hebben we een neuraal net (Ivis) getraind om de video-inhoud te classificeren op basis van in totaal 90 minuten geregistreerde hersenactiviteit van elk. We hebben zowel een objectgebaseerde classificatie getest, waarbij we probeerden categorieën zoals hond, mens en auto te onderscheiden, als een op actie gebaseerde classificatie, waarbij we probeerden categorieën zoals eten, snuffelen en praten te onderscheiden. Vergeleken met de twee menselijke proefpersonen, voor wie beide typen classifiers ver boven het toeval presteerden, waren alleen op actie gebaseerde classifiers succesvol in het decoderen van video-inhoud van de honden. Deze resultaten demonstreren de eerste bekende toepassing van machine learning om naturalistische video's uit de hersenen van een carnivoor te decoderen en suggereren dat de kijk van de hond op de wereld heel anders kan zijn dan de onze.

Inleiding

De hersenen van mensen vertonen, net als andere primaten, de verkaveling van de visuele stroom in dorsale en ventrale paden met verschillende en bekende functies - het "wat" en "waar" van objecten1. Deze wat/waar-dichotomie is al tientallen jaren een nuttige heuristiek, maar het is nu bekend dat de anatomische basis veel complexer is, waarbij veel onderzoekers de voorkeur geven aan een verkaveling op basis van herkenning versus actie ("wat" versus "hoe")2,3,4,5. Bovendien, hoewel ons begrip van de organisatie van het visuele systeem van primaten nog steeds wordt verfijnd en bediscussieerd, blijft er nog veel onbekend over hoe de hersenen van andere zoogdiersoorten visuele informatie vertegenwoordigen. Voor een deel is deze lacune het gevolg van de historische focus op een handvol soorten in de visuele neurowetenschappen. Nieuwe benaderingen van beeldvorming van de hersenen openen echter de mogelijkheid om de visuele systemen van een breder scala aan dieren niet-invasief te bestuderen, wat nieuwe inzichten kan opleveren in de organisatie van het zenuwstelsel van zoogdieren.

Honden (Canis lupus familiaris) bieden een rijke mogelijkheid om de representatie van visuele stimuli te bestuderen bij een soort die evolutionair ver van primaten staat, aangezien zij het enige dier kunnen zijn dat kan worden getraind om samen te nemen aan MRI-scans zonder dat sedatie of beperkingen nodig zijn 6,7,8. Vanwege hun co-evolutie met mensen in de afgelopen 15.000 jaar, bewonen honden ook onze omgeving en worden ze blootgesteld aan veel van de stimuli die mensen dagelijks tegenkomen, waaronder videoschermen, die de voorkeursmanier zijn om stimuli in een MRI-scanner te presenteren. Toch kunnen honden deze veelvoorkomende omgevingsstimuli verwerken op manieren die heel anders zijn dan die van mensen, wat de vraag oproept hoe hun visuele cortex is georganiseerd. Basisverschillen, zoals het ontbreken van een fovea of het zijn van een dichromat, kunnen aanzienlijke gevolgen hebben, niet alleen voor visuele waarneming op een lager niveau, maar ook voor visuele representatie op een hoger niveau. Verschillende fMRI-onderzoeken bij honden hebben het bestaan aangetoond van zowel gezichts- als objectverwerkende regio's die de algemene dorsale/ventrale stroomarchitectuur lijken te volgen die bij primaten wordt waargenomen, hoewel het onduidelijk blijft of honden per se gezichtsverwerkende regio's hebben of dat deze regio's selectief zijn voor de morfologie van het hoofd (bijv. hond versus mens)9, 10,11,12,13. Hoe dan ook, er wordt voorspeld dat de hersenen van een hond, die kleiner zijn dan de meeste primaten, minder gemodulariseerd zijn14, dus er kan meer vermenging van soorten informatie in de stromen zijn of zelfs het bevoorrechten van bepaalde soorten informatie, zoals acties. Er is bijvoorbeeld gesuggereerd dat beweging een meer in het oog springend kenmerk kan zijn in de visuele waarneming van honden dan textuur of kleur15. Bovendien, aangezien honden geen handen hebben, een van de belangrijkste manieren waarop we met de wereld omgaan, kan hun visuele verwerking, met name van objecten, heel anders zijn dan die van primaten. In lijn hiermee hebben we onlangs bewijs gevonden dat interactie met objecten via mond versus poot resulteerde in een grotere activering in objectselectieve gebieden in het hondenbrein16.

Hoewel honden in hun thuisomgeving misschien gewend zijn aan videoschermen, betekent dat niet dat ze gewend zijn om in een experimentele setting naar afbeeldingen te kijken op dezelfde manier als een mens. Het gebruik van meer naturalistische stimuli kan helpen om sommige van deze vragen op te lossen. In het afgelopen decennium hebben machine learning-algoritmen aanzienlijk succes geboekt bij het decoderen van naturalistische visuele stimuli van menselijke hersenactiviteit. Vroege successen waren gericht op het aanpassen van klassieke, geblokkeerde ontwerpen om hersenactiviteit te gebruiken om zowel de soorten stimuli die een individu zag te classificeren, als de hersennetwerken die deze representaties codeerden 17,18,19. Naarmate er krachtigere algoritmen werden ontwikkeld, met name neurale netwerken, konden complexere stimuli worden gedecodeerd, waaronder naturalistische video's20,21. Deze classificatoren, die meestal zijn getraind op neurale reacties op deze video's, generaliseren naar nieuwe stimuli, waardoor ze kunnen identificeren wat een bepaalde proefpersoon waarnam op het moment van de fMRI-respons. Bepaalde soorten acties in films kunnen bijvoorbeeld nauwkeurig worden gedecodeerd uit het menselijk brein, zoals springen en draaien, terwijl andere (bijv. slepen) dat niet kunnen. Evenzo, hoewel veel soorten objecten kunnen worden gedecodeerd uit fMRI-reacties, lijken algemene categorieën moeilijker te zijn. Hersendecodering is niet beperkt tot mensen en biedt een krachtig hulpmiddel om te begrijpen hoe informatie is georganiseerd in de hersenen van andere soorten. Analoge fMRI-experimenten met niet-menselijke primaten hebben duidelijke representaties gevonden in de temporale kwab voor dimensies van animacy en faciness/licham, wat parallel loopt met die bij mensen23.

Als een eerste stap in de richting van het begrijpen van de representaties van naturalistische visuele stimuli door honden, werd wakkere fMRI gebruikt bij twee zeer MRI-bedreven gedomesticeerde honden om corticale reacties op video's die geschikt zijn voor honden te meten. In deze studie werden naturalistische video's gebruikt vanwege hun potentieel grotere ecologische validiteit voor een hond en vanwege hun aangetoonde succes met neurale netwerken die video-inhoud toewijzen aan hondenbewegingen24. Gedurende drie afzonderlijke sessies werd 90 minuten aan fMRI-gegevens verkregen uit de reacties van elke hond op 256 unieke videoclips. Ter vergelijking: dezelfde procedure werd uitgevoerd op twee menselijke vrijwilligers. Vervolgens hebben we, met behulp van een neuraal netwerk, classificatoren getraind en getest om onderscheid te maken tussen "objecten" (bijv. mens, hond, auto) of "acties" (bijv. praten, eten, snuiven) met behulp van verschillende aantallen klassen. De doelen van deze studie waren tweeledig: 1) bepalen of naturalistische videostimuli kunnen worden gedecodeerd uit de hondencortex; en 2) zo ja, een eerste blik werpen op of de organisatie vergelijkbaar was met die van mensen.

Protocol

De hondenstudie werd goedgekeurd door de Emory University IACUC (PROTO201700572) en alle eigenaren gaven schriftelijke toestemming voor deelname van hun hond aan de studie. Onderzoeksprocedures bij mensen werden goedgekeurd door de Emory University IRB en alle deelnemers gaven schriftelijke toestemming voordat ze scanden (IRB00069592).

1. Deelnemers

  1. Selecteer de deelnemers (honden en mensen) die nog niet eerder zijn blootgesteld aan de stimuli die in het onderzoek worden gepresenteerd.
    OPMERKING: Hondendeelnemers waren twee lokale honden die door hun eigenaren werden aangeboden voor deelname aan fMRI-training en scannen in overeenstemming met de eerder beschreven7. Bhubo was een 4-jarige mannelijke Boxer-mix en Daisy was een 11-jarige vrouwelijke Boston terrier-mix. Beide honden hadden eerder deelgenomen aan verschillende fMRI-onderzoeken (Bhubo: 8 onderzoeken, Daisy: 11 onderzoeken), waarvan sommige betrekking hadden op het bekijken van visuele stimuli die op een scherm werden geprojecteerd terwijl ze in de scanner zaten. Ze werden geselecteerd vanwege hun bewezen vermogen om lange tijd in de scanner te blijven zonder te bewegen zonder hun eigenaar uit het zicht te houden. Twee mensen (een man van 34 jaar en een vrouw van 25 jaar) namen ook deel aan het onderzoek. Noch honden, noch mensen waren eerder blootgesteld aan de stimuli die in deze studie werden aangetoond.

2. Prikkels

  1. Film de video's (1920 pixels x 1440 pixels, 60 frames per seconde [fps]) gemonteerd op een draagbare stabiliserende gimbal.
    OPMERKING: In dit onderzoek zijn de video's in 2019 gefilmd in Atlanta, Georgia.
    1. Film naturalistische video's vanuit het perspectief van een "hond", waarbij de gimbal op ongeveer kniehoogte wordt gehouden. Ontwerp de video's om alledaagse scenario's in het leven van een hond vast te leggen.
      OPMERKING: Deze omvatten scènes van wandelen, voeren, spelen, mensen die interactie hebben (met elkaar en met honden), honden die met elkaar omgaan, voertuigen in beweging en niet-hondendieren (Figuur 1A; Aanvullende film 1). In sommige clips hadden de onderwerpen in de video directe interactie met de camera, bijvoorbeeld door hem te aaien, te snuffelen of ermee te spelen, terwijl in andere clips de camera werd genegeerd. Extra beeldmateriaal van herten werd verkregen uit een lokaal geplaatste cameraval (1920 pixels x 1080 pixels, 30 fps).
    2. Bewerk de video's tot 256 unieke 7 s "scènes". Elke scène beeldde een enkele gebeurtenis uit, zoals mensen die knuffelen, een hond die rent of een hert dat loopt. Wijs elke scène een uniek nummer en label toe op basis van de inhoud (zie hieronder).
  2. Bewerk de scènes tot vijf grotere compilatievideo's van elk ongeveer 6 minuten. Gebruik compilatievideo's in plaats van één lange film om een breed scala aan stimuli achter elkaar te presenteren.
    OPMERKING: Het presenteren van een breed scala aan stimuli zou moeilijk te bereiken zijn als de video's in één lange "take" zouden worden vastgelegd. Dit komt overeen met fMRI-decoderingsstudies bij mensen 20,22. Bovendien maakte het presenteren van compilaties van korte clips het gemakkelijker om een hold-out-set te creëren waarop het getrainde algoritme kon worden getest (zie sectie 7, analyses, hieronder), omdat het mogelijk was om de individuele clips uit te zetten in plaats van één lange film. Vier compilatievideo's hadden 51 unieke scènes en één had er 52. Er waren geen pauzes of lege schermen tussen de scènes.
  3. Selecteer de scènes semi-willekeurig om ervoor te zorgen dat elke video voorbeelden bevat uit alle belangrijke labelcategorieën: honden, mensen, voertuigen, niet-menselijke dieren en interacties.
    OPMERKING: Tijdens het samenstellen werden alle scènes gedownsampled naar 1920 pixels x 1080 pixels bij 30 fps om overeen te komen met de resolutie van de MRI-projector.

3. Experimenteel ontwerp

  1. Scan de deelnemers in een 3T MRI-scanner terwijl ze de compilatievideo's bekijken die worden geprojecteerd op een scherm dat aan de achterkant van de MRI-boring is gemonteerd.
  2. Speel de video's af zonder geluid.
  3. Voor honden, zorg voor een stabiele positionering van het hoofd door vooraf te trainen om hun hoofd in een op maat gemaakte kinsteun te plaatsen, gevormd naar de onderkaak vanaf het midden van de snuit tot achter de onderkaak.
    1. Bevestig de kinsteun aan een houten plank die de spoel overspant, maar voldoende ruimte laat voor de poten eronder, waardoor elke hond een "sfinx"-positie aanneemt (Figuur 1B). Er werden geen beperkingen gebruikt. Voor meer informatie over het trainingsprotocol, zie eerdere wakkere fMRI-hondenstudies7.
  4. Laat de proefpersonen deelnemen aan vijf runs per sessie, waarbij elke run bestaat uit één compilatievideo die van begin tot eind wordt bekeken, gepresenteerd in een willekeurige volgorde. Neem voor honden korte pauzes tussen elke run. Geef voedselbeloningen tijdens deze pauzes aan de hond.
  5. Laat elke proefpersoon deelnemen aan drie sessies gedurende 2 weken. Hierdoor kan de proefpersoon elk van de vijf unieke compilatievideo's drie keer bekijken, wat een totale fMRI-tijd van 90 minuten per persoon oplevert.

4. Beeldvorming

  1. Scan de hondendeelnemers volgens een protocol dat consistent is met dat van eerdere wakkere fMRI-hondenstudies 7,25.
    1. Verkrijg de functionele scans met behulp van een single-shot echo-planaire beeldvormingssequentie om volumes van 22 opeenvolgende plakjes van 2,5 mm te verkrijgen met een tussenruimte van 20% (TE = 28 ms, TR = 1.430 ms, fliphoek = 70°, 64 x 64 matrix, 2,5 mm in-plane voxelgrootte, FOV = 160 mm).
    2. Voor honden, oriënteer de plakjes dorsaal naar de hersenen met de fase-coderingsrichting van rechts naar links, terwijl honden in de MRI zitten in een "sfinx" -positie, met de nek in lijn met de hersenen. Fasecodering van rechts naar links voorkomt omhullende artefacten van de nek naar de voorkant van het hoofd. Bovendien is het belangrijkste vatbaarheidsatfact bij scanhonden afkomstig van de frontale sinus, wat resulteert in vervorming van de frontale kwab.
  2. Verkrijg voor mensen axiale plakjes met fasecodering in de anterieure-posterieure richting.
    1. Om een vergelijking met de hondenscans (dezelfde TR/TE) mogelijk te maken, gebruikt u multiband slice acquisition (CMRR, University of Minnesota) voor de mensen met een multiband versnellingsfactor van 2 (GRAPPA = 2, TE = 28 ms, TR = 1.430 ms, flip angle = 55°, 88 x 88 matrix, 2,5 mm in-plane voxels, vierenveertig plakjes van 2,5 mm met een opening van 20%).
  3. Verkrijg voor de honden ook een T2-gewogen structureel beeld van de hele hersenen voor elke deelnemer met behulp van een turbospin-echo-sequentie met isotrope voxels van 1,5 mm. Gebruik voor de menselijke deelnemers een T1-gewogen MPRAGE-sequentie met isotrope voxels van 1 mm.
    OPMERKING: In de loop van drie sessies werden voor elke deelnemer ongeveer 4.000 functionele volumes verkregen.

5. Stimulus etiketten

  1. Om een model te trainen om de inhoud van de video's te classificeren, labelt u eerst de scènes. Om dit te doen, verdeel je de 7 scènes waaruit elke compilatievideo bestaat in clips van 1,4 s. Label korte clips in plaats van individuele frames, omdat er elementen van video zijn die niet kunnen worden vastgelegd door stilstaande beelden, waarvan sommige bijzonder opvallend kunnen zijn voor honden en daarom nuttig kunnen zijn bij het decoderen, zoals beweging.
    OPMERKING: Er werd gekozen voor een cliplengte van 1,4 s omdat dit lang genoeg was om deze dynamische elementen vast te leggen en nauw overeenkwam met de TR van 1,43 s, waardoor de classificatie per volume kan worden uitgevoerd.
  2. Distribueer deze clips van 1,4 s (n = 1.280) willekeurig naar lableden om elke clip handmatig te labelen met behulp van een voorgeprogrammeerd inzendingsformulier in selectievakjesstijl.
    OPMERKING: Er zijn 94 labels gekozen om zoveel mogelijk belangrijke kenmerken van de video's te omvatten, waaronder onderwerpen (bijv. hond, mens, kat), aantal onderwerpen (1, 2, 3+), objecten (bijv. auto, fiets, speelgoed), acties (bijv. eten, snuffelen, praten), interacties (bijv. mens-mens, mens-hond) en setting (binnen, buiten), onder andere. Dit leverde een 94-dimensionale labelvector op voor elke clip (aanvullende tabel 1).
  3. Selecteer als consistentiecontrole een willekeurige subset die opnieuw moet worden gelabeld door een tweede lablid. Hier bleken labels zeer consistent te zijn tussen individuen (>95%). Voor de labels die niet consistent waren, laat de twee lableden de clip in kwestie opnieuw bekijken en tot een consensus komen over het label.
  4. Gebruik voor elke uitvoering logboekbestanden met tijdstempel om het begin van de videostimulus ten opzichte van het eerste scanvolume te bepalen.
  5. Om rekening te houden met de vertraging tussen de stimuluspresentatie en de BOLD-respons, convolueert u de labels met een dubbele gamma-hemodynamische responsfunctie (HRF) en interpoleert u naar de TR van de functionele afbeeldingen (1.430 ms) met behulp van de Python-functies numpy.convolve() en interp().
    OPMERKING: Het eindresultaat was een matrix van geconsolideerde labels op basis van het totale aantal scanvolumes voor elke deelnemer (94 labels x 3.932, 3.920, 3.939 en 3.925 volumes voor respectievelijk Daisy, Bhubo, Human 1 en Human 2).
  6. Groepeer deze labels waar nodig om macrolabels te maken voor verdere analyse. Combineer bijvoorbeeld alle gevallen van wandelen (honden uitlaten, mensen uitlaten, ezels uitlaten) om een "wandelen"-label te creëren.
  7. Om redundantie in de labelset verder te verwijderen, berekent u de variantie-inflatiefactor (VIF) voor elk label, met uitzondering van de macrolabels, die duidelijk sterk gecorreleerd zijn.
    OPMERKING: VIF is een maat voor multicollineariteit in voorspellende variabelen, berekend door elke voorspeller te regresseren ten opzichte van elke andere. Hogere VIF's duiden op meer sterk gecorreleerde voorspellers. Deze studie maakte gebruik van een VIF-drempel van 2, waardoor de 94 labels werden teruggebracht tot 52 unieke, grotendeels niet-gecorreleerde labels (aanvullende tabel 1).

6. fMRI-voorbewerking

  1. Voorverwerking omvat bewegingscorrectie, censuur en normalisatie met behulp van de AFNI-suite (NIH) en de bijbehorende functies26,27. Gebruik een twee-pass, zes parameters stijve bewegingscorrectie om de volumes uit te lijnen op een doelvolume dat representatief is voor de gemiddelde hoofdpositie van de deelnemer tijdens runs.
  2. Voer censuur uit om volumes met een verplaatsing van meer dan 1 mm tussen scans te verwijderen, evenals volumes met een uitschieter van voxelsignalen van meer dan 0,1%. Voor beide honden werd meer dan 80% van de volumes behouden na censuur, en voor mensen werd meer dan 90% behouden.
  3. Om de signaal-ruisverhouding van individuele voxels te verbeteren, voert u een milde ruimtelijke afvlakking uit met behulp van 3dmerge en een Gaussiaanse kern van 4 mm op het halve maximum over de volledige breedte.
  4. Om te controleren op het effect van visuele kenmerken op laag niveau, zoals beweging of snelheid, die kunnen verschillen afhankelijk van de stimulus, berekent u de optische stroom tussen opeenvolgende frames van videoclips22,28. Bereken de optische stroom met behulp van het Farneback-algoritme in OpenCV na downsampling naar 10 frames per seconde29.
  5. Om de bewegingsenergie in elk frame te schatten, berekent u de som van de kwadraten van de optische stroom van elke pixel en neemt u de vierkantswortel van het resultaat, waardoor de Euclidische gemiddelde optische stroom van het ene frame naar het volgende effectief wordt berekend28,30. Dit genereert tijdsverloop van bewegingsenergie voor elke compilatievideo.
  6. Proef deze opnieuw om overeen te komen met de temporele resolutie van de fMRI-gegevens, geconpliceerd met een dubbele gamma-hemodynamische responsfunctie (HRF) zoals hierboven en aaneengeschakeld om af te stemmen op de stimuluspresentatie voor elke proefpersoon.
  7. Gebruik dit tijdsverloop, samen met de bewegingsparameters die zijn gegenereerd op basis van de hierboven beschreven bewegingscorrectie, als de enige regressors naar een algemeen lineair model (GLM) geschat voor elke voxel met AFNI's 3dDeconvolve. Gebruik de residuen van dit model als invoer voor het machine learning-algoritme dat hieronder wordt beschreven.

7. Analyses

  1. Decodeer die hersengebieden die aanzienlijk bijdragen aan de classificatie van visuele stimuli, en train een model voor elke individuele deelnemer dat vervolgens kan worden gebruikt om video-inhoud te classificeren op basis van de hersengegevens van de deelnemers. Gebruik het Ivis machine learning-algoritme, een niet-lineaire methode op basis van Siamese neurale netwerken (SNN's) die succes heeft geboekt met hoogdimensionale biologische gegevens31.
    OPMERKING: SNN's bevatten twee identieke subnetwerken die worden gebruikt om de gelijkenis van invoer in gecontroleerde of niet-gecontroleerde modi te leren. Hoewel neurale netwerken in populariteit zijn gegroeid voor het decoderen van de hersenen vanwege hun over het algemeen grotere macht over lineaire methoden zoals ondersteunende vectormachines (SVM's), hebben we hier een SNN gebruikt vanwege de robuustheid ervan tegen klassenonevenwichtigheid en de behoefte aan minder voorbeelden. Vergeleken met ondersteunende vectormachines (SVM) en random forest (RF) classifiers die op dezelfde gegevens zijn getraind, ontdekten we dat Ivis succesvoller was in het classificeren van hersengegevens over meerdere labelcombinaties, zoals bepaald door verschillende statistieken, waaronder gemiddelde F1-score, precisie, herinnering en testnauwkeurigheid (zie hieronder).
  2. Converteer voor elke deelnemer de restanten van het hele brein naar een formaat dat geschikt is voor invoer in het neurale netwerk van Ivis. Koppel en maskeer de vijf runs in elk van hun drie sessies, waarbij je alleen hersenvoxels onthoudt.
  3. Maak de ruimtelijke dimensie vlak, wat resulteert in een tweedimensionale matrix van voxels in de tijd.
  4. Consecuteer de convolved labels van de video's die in elke run worden getoond, en komen dus overeen met de fMRI-runs.
  5. Censureer zowel de fMRI-gegevens als de bijbehorende labels op basis van de volumes die in de voorverwerking zijn gemarkeerd.
  6. Selecteer de doellabels die moeten worden gedecodeerd - hierna "klassen" genoemd - en bewaar alleen die volumes die deze klassen bevatten. Behandel klassen voor de eenvoud als elkaar uitsluitend en neem geen volumes op die tot meerdere klassen behoren voor decodering, zodat er alleen pure voorbeelden overblijven.
  7. Splits de gegevens op in trainings- en testsets. Gebruik een vijfvoudige splitsing, waarbij u willekeurig 20% van de scènes selecteert om als testset te fungeren.
    OPMERKING: Dit betekende dat, als een bepaalde scène werd geselecteerd voor de testset, alle clips en functionele volumes die tijdens deze scène waren verkregen, uit de trainingsset werden gehaald. Als de splitsing onafhankelijk van de scène was uitgevoerd, zouden volumes van dezelfde scène zowel in de trainingsset als in de testset zijn verschenen, en zou de classificator ze alleen maar aan die specifieke scène hebben hoeven koppelen om ze met succes te classificeren. Om uitgehouden volumes van nieuwe scènes correct te classificeren, moest de classificator ze echter koppelen aan een meer algemene, scène-onafhankelijke klasse. Dit was een robuustere test van de generaliseerbaarheid van het succes van de classifier in vergelijking met het uithouden van individuele clips.
  8. Breng de trainingsset in evenwicht door het aantal volumes in elke klas te onderbemonsteren om overeen te komen met dat van de kleinste klas met behulp van het scikit-learn-pakket imbalanced-learn.
  9. Train en test voor elke deelnemer het Ivis-algoritme op 100 iteraties, telkens met behulp van een unieke test-treinsplitsing (Ivis-parameters: k = 5, model = "maaten", n_epochs_without_progress = 30, supervision_weight = 1). Deze parameterwaarden werden grotendeels geselecteerd op basis van de grootte en complexiteit van de dataset, zoals aanbevolen door de auteurs van het algoritme in de documentatie32. "Aantal epochs zonder voortgang" en "supervisiegewicht" (0 voor niet-gesuperviseerd, 1 voor gesuperviseerd) ondergingen extra parameterafstemming om het model te optimaliseren.
  10. Om het aantal functies te verminderen dat wordt gebruikt om de classifier te trainen van het hele brein tot alleen de meest informatieve voxels, gebruikt u een random forest classifier (RFC) met behulp van scikit-learn om elke voxel te rangschikken op basis van het belang van de functie.
    OPMERKING: Hoewel de RFC op zichzelf niet boven het toeval presteerde, diende het wel het nuttige doel om niet-informatieve voxels uit te filteren, wat alleen maar ruis zou hebben bijgedragen aan het Ivis-algoritme. Dit is vergelijkbaar met het gebruik van F-tests voor functieselectie voordat u naar de classificatie33 gaat. Alleen de top 5% van de voxels uit de trainingsset werd gebruikt bij het trainen en testen. Het voorkeursaantal voxels werd geselecteerd als 5% als een conservatieve drempel in een poging om het aantal niet-informatieve voxels te verminderen voorafgaand aan het trainen van het neurale net. Kwalitatief vergelijkbare resultaten werden ook verkregen voor zowel mensen als honden bij gebruik van een groter aandeel voxels. Hoewel menselijke hersenen groter zijn dan hondenhersenen, waren menselijke modellen ook succesvol wanneer ze werden getraind op een absoluut aantal voxels dat gelijk was aan die in hondenmodellen, veel kleiner dan 5% van de voxels (~ 250 voxels; alle gemiddelde LRAP-scores >99e percentiel). Voor consistentie presenteren we daarom de resultaten met behulp van de top 5% voxels voor beide soorten.
  11. Normaliseer de gemiddelde 5% meest informatieve voxels over alle 100 runs, transformeer naar de structurele ruimte van elke deelnemer en vervolgens naar de groepsatlasruimte (atlassen: mensen34 en honden35), en tel deze op over deelnemers voor elke soort. Leg het belang van de functie over de atlassen en kleur ze in op basis van de belangrijkheidsscore met behulp van ITK-SNAP36.

Resultaten

De meest voorkomende statistieken om modelprestaties in machine learning-analyses te beoordelen, zijn precisie, nauwkeurigheid, recall en F1-score. Nauwkeurigheid is het totale percentage modelvoorspellingen dat correct is, gegeven de ware gegevens. Precisie is het percentage van de positieve voorspellingen van het model dat daadwerkelijk positief is (d.w.z. het percentage echte positieven), terwijl recall het percentage echte positieven in de oorspronkelijke gegevens is dat het model met succes kan voorspellen. De F1-score is het gewogen gemiddelde van precisie en recall en fungeert als een alternatieve maatstaf voor nauwkeurigheid die robuuster is tegen onevenwichtigheid in de klas. De Ivis verschilt echter van andere veelgebruikte machine learning-algoritmen doordat de output niet binair is. Gegeven een bepaalde input van hersenvoxels, vertegenwoordigt elk outputelement de waarschijnlijkheden die overeenkomen met elk van de klassen. Het berekenen van nauwkeurigheid, precisie, recall en F1 voor deze outputs vereiste het binariseren ervan op een "winner takes all"-manier, waarbij de klasse met de hoogste waarschijnlijkheid werd beschouwd als de klasse die voor dat volume was voorspeld. Deze aanpak elimineerde belangrijke informatie over de rangschikking van deze waarschijnlijkheden die relevant was voor het beoordelen van de kwaliteit van het model. Hoewel we deze traditionele metrieken nog steeds berekenden, gebruikten we de Label Ranking Average Precision (LRAP)-score als de primaire metriek om de nauwkeurigheid van het model op de testset te berekenen. Deze metriek meet in wezen in hoeverre de classificator hogere waarschijnlijkheden heeft toegekend aan echte labels37.

In verschillende mate was de neurale netclassificatie succesvol voor zowel mensen als honden. Voor mensen was het algoritme in staat om zowel objecten als acties te classificeren, waarbij modellen met drie klassen voor beide een gemiddelde nauwkeurigheid van 70% bereikten. De LRAP-score werd gebruikt als de primaire maatstaf om de nauwkeurigheid van het model op de testset te berekenen; Deze metriek meet de mate waarin de classificator hogere waarschijnlijkheden heeft toegekend aan echte labels37. Voor beide mensen waren de mediane LRAP-scores groter dan het 99e percentiel van een willekeurig gepermuteerde set labels voor alle geteste modellen (Tabel 1; Figuur 2). Voor honden had alleen het actiemodel een mediane LRAP-percentielrang die significant groter was dan de kans bij beide deelnemers (Tabel 1; p = 0,13 voor objecten en p < 0,001 voor acties; gemiddelde LRAP-score van het actiemodel met drie klassen voor honden = 78e percentiel). Deze resultaten golden voor alle proefpersonen afzonderlijk, maar ook voor gegroepeerd per soort.

Gezien het succes van de classifier, hebben we getraind en getest met aanvullende klassen om de limieten van het model te bepalen. Dit omvatte het berekenen van ongelijkheidsmatrices voor de volledige 52 potentiële klassen van belang met behulp van het hiërarchische clusteralgoritme van het Python-pakket scipy, dat klassen clusterde op basis van de gelijkenis van de hersenrespons van een individu op elk, zoals gedefinieerd door paarsgewijze correlatie. Van de extra geteste modellen had het model met de hoogste mediane LRAP-percentielrangschikking bij beide honden vijf klassen: de oorspronkelijke "praten", "eten" en "snuiven", plus twee nieuwe klassen, "aaien" en "spelen" (Figuur 2). Dit model had een mediane LRAP-percentielrangschikking die significant hoger was dan door toeval werd voorspeld voor alle deelnemers (Tabel 1; p < 0,001 voor zowel honden als mensen; gemiddelde LRAP-score van het actiemodel met vijf klassen voor honden = 81e percentiel).

Wanneer ze werden teruggebracht naar hun respectievelijke hersenatlassen, onthulden de kenmerkbelangscores van voxels een aantal clusters van informatieve voxels in de occipitale, pariëtale en temporale cortex van zowel honden als mensen (Figuur 3). Bij mensen vertoonden de objectgebaseerde en actiegebaseerde modellen een meer focaal patroon dan bij de honden en in regio's die typisch geassocieerd worden met objectherkenning, hoewel met kleine verschillen in de ruimtelijke locatie van objectgebaseerde voxels en actiegebaseerde voxels.

We controleerden of deze soortverschillen niet het gevolg waren van de taakgecorreleerde beweging van de honden die meer naar sommige soorten video's bewogen dan andere (bijvoorbeeld andere video's dan honden, bijvoorbeeld auto's). We berekenden de Euclidische norm van de zes bewegingsparameters en pasten een lineair model met gemengde effecten aan met behulp van het R-pakket lme4, met klasse als een vast effect en runnummer als een willekeurig effect voor elke hond. Voor elk van de uiteindelijke modellen vonden we geen significant effect van het klassetype op beweging voor Daisy (F(2, 2252) = 0,83, p = 0,44 voor objectgebaseerd en F(4, 1235) = 1,87, p = 0,11 voor actiegebaseerd) of Bhubo (F(2, 2231) = 1,71, p = 0,18 voor objectgebaseerd en F(4, 1221) = 0,94, p = 0,45 voor actiegebaseerd).

figure-results-1
Figuur 1: Naturalistische video's en presentatie in MRI-boring. (A) Voorbeeldframes van videoclips die aan de deelnemers worden getoond. (B) Bhubo, een 4-jarige Boxer-mix, die video's bekijkt terwijl hij een wakkere fMRI ondergaat. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: Modelprestaties bij honden en mensen. De verdeling van LRAP-scores, gepresenteerd als percentielranglijsten van hun nulverdelingen, meer dan 100 iteraties van het trainen en testen van het Ivis machine learning-algoritme voor een objectgebaseerd model met drie klassen, een op actie gebaseerd model met drie klassen en een op actie met vijf klassen gebaseerd model, waarbij modellen probeerden BOLD-reacties op naturalistische videostimuli te classificeren die werden verkregen via wakkere fMRI bij honden en mensen. Scores worden geaggregeerd per soort. Een LRAP-score met een zeer hoog percentiel geeft aan dat het zeer onwaarschijnlijk is dat het model die LRAP-score bij toeval zal behalen. Een model dat niet beter presteert dan het toeval zou een mediane LRAP-scorepercentielrangschikking van ~50 hebben. Stippellijnen geven de mediane LRAP-scorepercentielrangschikking weer voor elke soort over alle 100 runs. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Regio's die belangrijk zijn voor het onderscheiden van drie-klassen object- en vijf-klassen-actiemodellen. (A) Menselijke en (B) hondendeelnemers. Voxels werden gerangschikt op basis van het belang van hun functie met behulp van een willekeurige bosclassificatie, gemiddeld over alle iteraties van de modellen. De top 5% van de voxels (d.w.z. die worden gebruikt om modellen te trainen) wordt hier gepresenteerd, geaggregeerd per soort en getransformeerd naar groepsruimte voor visualisatiedoeleinden (atlassen: mensen34 en honden35). Etiketten tonen hersengebieden van honden met hoge scores voor het belang van kenmerken, gebaseerd op die geïdentificeerd door Johnson et al.35. Afkorting: SSM = de suprasylvische gyrus. Klik hier om een grotere versie van deze figuur te bekijken.

Soort ModelNauwkeurigheid van de trainingNauwkeurigheid van de testF1 UitslagPrecisieHerinnerenMediaan percentiel LRAP-score
Mens 1Object (3 klas)0.980.690.480.520.49>99
Actie (3 klas)0.980.720.510.540.54>99
Actie (5 klassen)0.970.510.280.370.27>99
Mens 2Object (3 klas)0.980.680.450.50.47>99
Actie (3 klas)0.980.690.460.50.48>99
Actie (5 klassen)0.970.530.30.40.27>99
BhuboObject (3 klas)0.990.610.380.410.3957
Actie (3 klas)0.980.630.380.40.487
Actie (5 klassen)0.990.450.160.290.1388
MadeliefjeObject (3 klas)10.610.380.430.3943
Actie (3 klas)0.970.620.350.380.3560
Actie (5 klassen)0.990.440.160.270.1376

Tabel 1: Geaggregeerde metrieken van het Ivis machine learning-algoritme over 100 iteraties van training en testen op BOLD-reacties op naturalistische videostimuli verkregen via wakkere fMRI bij honden en mensen. De objectmodellen hadden drie doelklassen ("hond", "mens", "auto") en de actiemodellen hadden drie of vijf klassen (drie klassen: "praten", "eten", "snuiven"; vijf klassen: "praten", "eten", "snuiven", "aaien", "spelen"). Waarden die aanzienlijk groter zijn dan de kans worden vetgedrukt weergegeven.

Aanvullende tabel 1: Klasse-etiketten. Klik hier om dit bestand te downloaden.

Aanvullende film 1: Voorbeeld videoclip. Klik hier om dit bestand te downloaden.

Discussie

De resultaten van deze studie tonen aan dat naturalistische video's representaties in de hersenen van honden induceren die stabiel genoeg zijn over meerdere beeldvormingssessies om te kunnen worden gedecodeerd met fMRI, vergelijkbaar met de resultaten die zijn verkregen bij zowel mensen als apen20,23. Terwijl eerdere fMRI-studies van het visuele systeem van honden uitgeklede stimuli hebben gepresenteerd, zoals een gezicht of object tegen een neutrale achtergrond, tonen de resultaten hier aan dat naturalistische video's, met meerdere mensen en objecten die met elkaar communiceren, activeringspatronen in de hondencortex induceren die kunnen worden gedecodeerd met een betrouwbaarheid die die in de menselijke cortex benadert. Deze benadering opent nieuwe wegen voor onderzoek naar hoe het visuele systeem van de hond is georganiseerd.

Hoewel het gebied van fMRI bij honden snel is gegroeid, zijn deze experimenten tot op heden gebaseerd op relatief verarmde stimuli, zoals foto's van mensen of objecten tegen neutrale achtergronden 10,12,13. Bovendien, hoewel deze experimenten zijn begonnen met het identificeren van hersengebieden die analoog zijn aan het spoelvormige gezichtsgebied (FFA) van primaten, dat betrokken is bij gezichtsverwerking, en de laterale occipitale cortex (LOC), voor objectverwerking, blijft er onenigheid over de aard van deze representaties, zoals of honden gezichtsgebieden hebben die op zich reageren op vergelijkbare opvallende kenmerken als primaten of dat ze afzonderlijke representaties hebben voor honden en mensen of gezichten en hoofden, bijvoorbeeld 9,13. Honden zijn natuurlijk geen primaten, en we weten niet hoe ze deze kunstmatige stimuli interpreteren, gescheiden van hun gebruikelijke multisensorische contexten met geluiden en geuren. Er zijn aanwijzingen dat honden afbeeldingen van objecten niet behandelen als representaties van echte dingen12. Hoewel het niet mogelijk is om een echte multisensorische ervaring in de scanner te creëren, kan het gebruik van naturalistische video's een deel van de kunstmatigheid verminderen door dynamische stimuli te bieden die beter aansluiten bij de echte wereld, althans voor een hond. Om dezelfde redenen heeft het gebruik van naturalistische stimuli in menselijk fMRI-onderzoek aan populariteit gewonnen, wat bijvoorbeeld aantoont dat sequenties van gebeurtenissen in een film in de cortex over meerdere tijdschalen worden weergegeven en dat films effectief zijn in het induceren van betrouwbare emotie-activering38. Als zodanig, hoewel naturalistische video's relatief verarmde stimuli blijven, roept hun succes in de menselijke neurowetenschappen de vraag op of vergelijkbare resultaten kunnen worden verkregen bij honden.

Onze resultaten tonen aan dat een neurale netclassificator succesvol was in het decoderen van sommige soorten naturalistische inhoud uit hondenhersenen. Dit succes is een indrukwekkende prestatie gezien de complexiteit van de stimuli. Belangrijk is dat, omdat de classificatie werd getest op ongeziene videoclips, het decoderingsmodel brede categorieën oppikte die identificeerbaar waren voor clips in plaats van eigenschappen die specifiek waren voor individuele scènes. We moeten opmerken dat er meerdere statistieken zijn voor het kwantificeren van de prestaties van een machine learning-classificatie (tabel 1). Omdat naturalistische video's van nature niet in alle klassen even vaak voorkomen, hebben we een voorzichtige benadering gekozen door een nulverdeling te construeren uit de willekeurige permutatie van labels en de betekenis te beoordelen die daaraan wordt gekoppeld. Vervolgens ontdekten we dat het succes van de hondenmodellen statistisch significant was, met 75e-90e percentielscores, maar alleen wanneer de video's waren gecodeerd op basis van de aanwezige acties, zoals spelen of praten.

De testsets waren, in tegenstelling tot de trainingssets, niet verdeeld over de klassen. Met slechts 20% van de gegevens zou ondersteekproeven tot de kleinste klassegrootte hebben geresulteerd in zeer kleine steekproeven voor elke klasse, zodat de berekende statistieken onbetrouwbaar zouden zijn geweest. Om de mogelijkheid van een opgeblazen nauwkeurigheid door deze onbalans te voorkomen, werd de nulverdeling van de LRAP berekend door de volgorde van de klassen willekeurig 1.000 keer te permuteren voor elke modeliteratie. Deze nulverdeling fungeerde als referentie voor hoe goed het model waarschijnlijk door toeval zou presteren. Vervolgens werd de echte LRAP vervolgens geconverteerd naar een percentielrangschikking in deze nulverdeling. Een zeer hoge percentielrangschikking, bijvoorbeeld 95%, zou erop wijzen dat een score die zo hoog is, slechts 5% van de tijd voorkomt in 1.000 willekeurige permutaties. Een dergelijk model zou daarom kunnen worden geacht ver boven het toeval te presteren. Om te bepalen of deze percentielrangschikkingen significant groter zijn dan bij toeval wordt verwacht, dat wil zeggen het 50e percentiel, werd statistisch gezien de mediane LRAP-percentielrangschikking over alle 100 iteraties voor elk model berekend en werd een door Wilcoxon ondertekende rangschikkingstest met één steekproef uitgevoerd.

Hoewel het primaire doel was om een decoder van naturalistische visuele stimuli voor honden te ontwikkelen, zijn vergelijkingen met mensen onvermijdelijk. Hier merken we twee grote verschillen op: voor elk type classificator presteerden de menselijke modellen beter dan de hondenmodellen; En de menselijke modellen presteerden goed voor zowel object- als actiegebaseerde modellen, terwijl de hondenmodellen alleen op actie waren gebaseerd. De superieure prestaties van de menselijke modellen kunnen te wijten zijn aan verschillende factoren. Menselijke hersenen zijn ongeveer 10 keer groter dan hondenhersenen, dus er zijn meer voxels waaruit u kunt kiezen om een classificatie te bouwen. Om de modellen op gelijke voet te plaatsen, zou men hetzelfde aantal voxels moeten gebruiken, maar dit kan zowel in absolute als in relatieve zin zijn. Hoewel het uiteindelijke model gebaseerd was op de top 5% van informatieve voxels in elk brein (een relatieve maatstaf), werden vergelijkbare resultaten verkregen met behulp van een vast aantal voxels. Het lijkt dus waarschijnlijker dat prestatieverschillen verband houden met hoe mensen en honden videostimuli waarnemen. Zoals hierboven vermeld, hoewel honden en mensen beide multisensorisch zijn in hun perceptie, kunnen de stimuli voor een hond meer verarmd zijn dan voor een mens. Maataanwijzingen kunnen bijvoorbeeld verloren gaan, waarbij alles een speelgoedversie van de echte wereld lijkt te zijn. Er zijn aanwijzingen dat honden objecten categoriseren op basis van grootte en textuur vóór vorm, wat bijna het tegenovergestelde is van mensen39. Bovendien is geur, die hier niet wordt beschouwd, waarschijnlijk een belangrijke bron van informatie voor objectdiscriminatie bij honden, met name bij de identificatie van soortgenoten of mensen 40,41,42. Maar zelfs als er geen maat- of geuraanwijzingen zijn, in de ongebruikelijke omgeving van de MRI-scanner, zegt het feit dat de classificator überhaupt werkte dat er nog steeds informatie was die relevant was voor de honden die uit hun hersenen kon worden gehaald. Met slechts twee honden en twee mensen kunnen de soortverschillen ook te wijten zijn aan individuele verschillen. De twee honden vertegenwoordigden echter de beste van de MRI-getrainde honden en blonken uit in stilstaan tijdens het bekijken van video's. Hoewel een grotere steekproefomvang het zeker mogelijk zou maken om een betrouwbaarder onderscheid te maken tussen soorten, zal het kleine aantal honden dat in staat is om wakkere fMRI te doen en die video's lang genoeg zullen bekijken, altijd de generaliseerbaarheid tot alle honden beperken. Hoewel het mogelijk is dat gespecialiseerde rassen, zoals windhonden, meer verfijnde visuele hersenreacties hebben, zijn we van mening dat individueel temperament en training waarschijnlijk de belangrijkste bepalende factoren zijn van wat kan worden hersteld van de hersenen van een hond.

Deze soortverschillen roepen de vraag op aan welk aspect van de video's de honden aandacht besteedden. Een manier om deze vraag te beantwoorden is gebaseerd op eenvoudigere videostimuli. Door vervolgens geïsoleerde afbeeldingen van bijvoorbeeld mensen, honden en auto's te gebruiken, zowel afzonderlijk als samen tegen neutrale achtergronden, kunnen we de meest opvallende afmetingen van een hond misschien reverse-engineeren. Dit is echter zowel methodologisch inefficiënt als verarmt de prikkels uit de echte wereld verder. De kwestie van aandacht kan worden opgelost door alleen de decoderingsbenadering, in feite door de modelprestaties te gebruiken om te bepalen waar43 aan wordt besteed. Langs deze lijnen suggereren de resultaten hier dat, terwijl de mensen zowel de acteurs als de acties bijwoonden, de honden meer gefocust waren op de acties zelf. Dit kan te wijten zijn aan verschillen in bewegingskenmerken op laag niveau, zoals de bewegingsfrequentie wanneer individuen spelen versus eten, of het kan te wijten zijn aan een categorische weergave van deze activiteiten op een hoger niveau. De verdeling van informatieve voxels door de cortex van de hond suggereert dat deze representaties niet alleen kenmerken op laag niveau zijn die anders beperkt zouden zijn tot visuele regio's. Verder onderzoek met behulp van een grotere verscheidenheid aan videostimuli kan de rol van beweging bij categoriediscriminatie door honden belichten.

Samenvattend heeft deze studie de haalbaarheid aangetoond van het herstellen van naturalistische visuele informatie uit de hondencortex met behulp van fMRI op dezelfde manier als voor de menselijke cortex. Deze demonstratie laat zien dat, zelfs zonder geluid of geuren, opvallende dimensies van complexe scènes worden gecodeerd door honden die video's bekijken en dat deze dimensies uit hun hersenen kunnen worden gehaald. Ten tweede, op basis van het kleine aantal honden dat dit soort taken kan uitvoeren, kan de informatie breder verspreid zijn in de cortex dan normaal gesproken bij mensen wordt gezien, en de soorten acties lijken gemakkelijker te worden hersteld dan de identiteit van de acteurs of objecten. Deze resultaten openen een nieuwe manier om te onderzoeken hoe honden de omgevingen waarnemen die ze met mensen delen, inclusief videoschermen, en suggereren rijke wegen voor toekomstig onderzoek naar hoe zij en andere niet-primatendieren de wereld 'zien'.

Dankbetuigingen

We danken Kate Revill, Raveena Chhibber en Jon King voor hun nuttige inzichten bij de ontwikkeling van deze analyse, Mark Spivak voor zijn hulp bij het werven en trainen van honden voor MRI, en Phyllis Guo voor haar hulp bij het maken en labelen van video's. We bedanken ook onze toegewijde hondenbezitters, Rebecca Beasley (Daisy) en Ashwin Sakhardande (Bhubo). De studies bij mensen werden ondersteund door een subsidie van het National Eye Institute (Grant R01 EY029724 aan D.D.D.).

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
3 T MRI ScannerSiemensTrio
Audio-opnames van scannergeluidzelfgemaaktgeen
Camera gimbalHohemiSteady PRO 3
Voor honden geschikte video'szelfgemaaktgeen
fMRI-verwerkingssoftwareAFNI20.3.01
Mock scannercomponentenzelfgemaaktgeenMock hoofdspoel en scannerbuis
Neural net softwareIvis1.7.1
Optische flowsoftwareOpenCV4.2.0.34
Projectiesysteem voor scannerzelfgemaaktgeen
Trophy Cam HDBushnell119874
VideocameraGoProHERO7
VisualisatiesoftwareITK-SNAP3.6.0
Windows Video EditorMicrosoftWindows 11-versie

Referenties

  1. Mishkin, M., Ungerleider, L. G., Macko, K. A. Object vision and spatial vision: Two cortical pathways. Trends in Neurosciences. 6, 414-417 (1983).
  2. de Haan, E. H. F., Cowey, A. On the usefulness of 'what' and 'where' pathways in vision. Trends in Cognitive Sciences. 15 (10), 460-466 (2011).
  3. Freud, E., Plaut, D. C., Behrmann, M. What' is happening in the dorsal visual pathway. Trends in Cognitive Sciences. 20 (10), 773-784 (2016).
  4. Goodale, M. A., Milner, A. D. Separate visual pathways for perception and action. Trends in Neurosciences. 15 (1), 20-25 (1992).
  5. Schenk, T., McIntosh, R. D. Do we have independent visual streams for perception and action? Do we have independent visual streams for perception and action. Cognitive Neuroscience. 1 (1), 52-78 (2010).
  6. Andics, A., Gácsi, M., Faragó, T., Kis, A., Miklós, Á Report voice-sensitive regions in the dog and human brain are revealed by comparative fMRI. Current Biology. 24 (5), 574-578 (2014).
  7. Berns, G. S., Brooks, A. M., Spivak, M. Functional MRI in awake unrestrained dogs. PLoS One. 7 (5), 38027(2012).
  8. Karl, S., et al. Training pet dogs for eye-tracking and awake fMRI. Behaviour Research Methods. 52, 838-856 (2019).
  9. Bunford, N., et al. Comparative brain imaging reveals analogous and divergent patterns of species and face sensitivity in humans and dogs. Journal of Neuroscience. 40 (43), 8396-8408 (2020).
  10. Cuaya, L. V., Hernández-Pérez, R., Concha, L. Our faces in the dog's brain: Functional imaging reveals temporal cortex activation during perception of human faces. PLoS One. 11 (3), 0149431(2016).
  11. Dilks, D. D., et al. Awake fMRI reveals a specialized region in dog temporal cortex for face processing. PeerJ. 2015 (8), 1115(2015).
  12. Prichard, A., et al. 2D or not 2D? An fMRI study of how dogs visually process objects. Animal Cognition. 24 (5), 1143-1151 (2021).
  13. Thompkins, A. M., et al. Separate brain areas for processing human and dog faces as revealed by awake fMRI in dogs (Canis familiaris). Learning & Behavior. 46 (4), 561-573 (2018).
  14. Zhang, K., Sejnowski, T. J. A universal scaling law between gray matter and white matter of cerebral cortex. Proceedings of the National Academy of Sciences of the United States of America. 97 (10), 5621-5626 (2000).
  15. Bradshaw, J., Rooney, N. Dog Social Behavior and Communication. The Domestic Dog: Its Evolution, Behavior and Interactions with People. Serpell, J. , Cambridge University Press. Cambridge, UK. 133-160 (2017).
  16. Prichard, A., et al. The mouth matters most: A functional magnetic resonance imaging study of how dogs perceive inanimate objects. The Journal of Comparative Neurology. 529 (11), 2987-2994 (2021).
  17. Haxby, J. V., Connolly, A. C., Guntupalli, J. S. Decoding neural representational spaces using multivariate pattern analysis. Annual Review of Neuroscience. 37, 435-456 (2014).
  18. Kamitani, Y., Tong, F. Decoding the visual and subjective contents of the human brain. Nature Neuroscience. 8 (5), 679-685 (2005).
  19. Kay, K. N., Naselaris, T., Prenger, R. J., Gallant, J. L. Identifying natural images from human brain activity. Nature. 452 (7185), 352-355 (2008).
  20. Nishimoto, S., et al. Reconstructing visual experiences from brain activity evoked by natural movies. Current Biology. 21 (19), 1641-1646 (2011).
  21. vander Meer, J. N., Breakspear, M., Chang, L. J., Sonkusare, S., Cocchi, L. Movie viewing elicits rich and reliable brain state dynamics. Nature Communications. 11 (1), 5004(2020).
  22. Huth, A. G., De Heer, W. A., Griffiths, T. L., Theunissen, F. E., Gallant, J. L. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature. 532 (7600), 453-458 (2016).
  23. Kriegeskorte, N., et al. Matching categorical object representations in inferior temporal cortex of man and monkey. Neuron. 60 (6), 1126-1141 (2008).
  24. Ehsani, K., Bagherinezhad, H., Redmon, J., Mottaghi, R., Farhadi, A. Who let the dogs out? Modeling dog behavior from visual data. Proceedings of the IEEE Conference on Computer Vision and Pattern. 2018, 4051-4060 (2018).
  25. Berns, G. S., Brooks, A., Spivak, M. Replicability and heterogeneity of awake unrestrained canine fMRI responses. PLoS One. 9 (5), 98421(2013).
  26. Cox, R. W. AFNI: Software for analysis and visualization of functional magnetic resonance neuroimages. Computers and Biomedical Research. 29 (3), 162-173 (1996).
  27. Prichard, A., Chhibber, R., Athanassiades, K., Spivak, M., Berns, G. S. Fast neural learning in dogs: A multimodal sensory fMRI study. Scientific Reports. 8, 14614(2018).
  28. Russ, B. E., Kaneko, T., Saleem, K. S., Berman, R. A., Leopold, D. A. Distinct fMRI responses to self-induced versus stimulus motion during free viewing in the macaque. The Journal of Neuroscience. 36 (37), 9580-9589 (2016).
  29. Farnebäck, G. Two-Frame Motion Estimation Based on Polynomial Expansion. In Image Analysis. Scandinavian Conference on Image Analysis. Lecture Notes in Computer Science. Bigun, J., Gustavsson, T. 2749, Springer. Berlin, Heidelberg. 363-370 (2003).
  30. Elias, D. O., Land, B. R., Mason, A. C., Hoy, R. R. Measuring and quantifying dynamic visual signals in jumping spiders). Journal of Comparative Physiology A. 192, 799-800 (2006).
  31. Szubert, B., Cole, J. E., Monaco, C., Drozdov, I. Structure-preserving visualisation of high dimensional single-cell datasets. Scientific Reports. 9, 8914(2019).
  32. Tian, H., Tao, P. IVIS dimensionality reduction framework for biomacromolecular simulations. Journal of Chemical Information and Modeling. 60 (10), 4569-4581 (2020).
  33. Hebart, M. N., Gorgen, K., Haynes, J. The decoding toolbox (TDT): A versatile software package for multivariate analyses of functional imaging data. Frontiers in Neuroinformatics. 8, 88(2015).
  34. Mazziotta, J., et al. A probabilistic atlas and reference system for the human brain: International Consortium for Brain Mapping (ICBM). Philosophical Transactions of the Royal Society B: Biological Sciences. 356 (1412), 1293-1322 (2001).
  35. Johnson, P. J., et al. Stereotactic cortical atlas of the domestic canine brain. Scientific Reports. 10, 4781(2020).
  36. Yushkevich, P. A., et al. User-guided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. NeuroImage. 31 (3), 1116-1128 (2006).
  37. Fürnkranz, J., Hüllermeier, E., Loza Mencía, E., Brinker, K. Multilabel classification via calibrated label ranking. Machine Learning. 73 (2), 133-153 (2008).
  38. Sonkusare, S., Breakspear, M., Guo, C. Naturalistic stimuli in neuroscience: Critically acclaimed. Trends in Cognitive Sciences. 23 (8), 699-714 (2019).
  39. vander Zee, E., Zulch, H., Mills, D. Word generalization by a dog (Canis familiaris): Is shape important. PLoS One. 7 (11), 49382(2012).
  40. Bekoff, M. Observations of scent-marking and discriminating self from others by a domestic dog (Canis familiaris): Tales of displaced yellow snow. Behavioural Processes. 55 (2), 75-79 (2001).
  41. Berns, G. S., Brooks, A. M., Spivak, M. Scent of the familiar: An fMRI study of canine brain responses to familiar and unfamiliar human and dog odors. Behavioural Processes. 110, 37-46 (2015).
  42. Schoon, G. A. A., de Bruin, J. C. The ability of dogs to recognize and cross-match human odours. Forensic Science International. 69 (2), 111-118 (1994).
  43. Kamitani, Y., Tong, F. Decoding seen and attended motion directions from activity in the human visual cortex. Current Biology. 16 (11), 1096-1102 (2006).

Herprints en machtigingen

Tags

fMRI bij hondenVisuele DecoderingMachine LearningClassificatie via Neurale NetwerkenActiegebaseerde ClassifierObjectgebaseerde ClassifierHersenactiviteitPerceptierepresentatie

Dit artikel is gepubliceerd

Video binnenkort beschikbaar

Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.