Name: 从神经行为学嵌入解码自然行为 (视频) | JoVE Journal
Uploaded: 2025-10-03T13:40:00.000+00:00
Duration: 8 min
Description: 探索神经动力学如何编码自然行为，利用三维行为装置与mTPM成像技术在小鼠自由移动时进行精确神经解码。该方法为理解自然脑智能和复杂生命系统提供了全新框架。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作得到了中国科学院战略性先导科技专项（项目编号：XDB1010101，授予 P.W.）、STI2030 重大项目（项目编号：2021ZD0203900，授予 P.W.）、国家自然科学基金（项目编号：32222036，授予 P.W.）、国家自然科学基金（项目编号：T2394530，授予 P.W.）以及深圳市科技计划（项目编号：KJZD20230923115114028，授予 P.W.）的支持。作者还感谢南京脑观象台（NBO）和北大—南京转化医学联合研究院（中国南京 211800）在双光子显微镜使用方面提供的支持与协助。

<ol><li>Han, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multi-animal+3d+social+pose+estimation%2C+identification+and+behaviour+embedding+with+a+few-shot+learning+framework%5BTitle%5D)+AND+%22Nat+Machine+Intellig%22%5BJournal%5D)">Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework.</a> Nat Machine Intellig. 6 (1), 48-61 (2024).</li>
<li>Zong, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Miniature+two-photon+microscopy+for+enlarged+field-of-view%2C+multi-plane+and+long-term+brain+imaging%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging.</a> Nat Methods. 18 (1), 46-49 (2021).</li>
<li>Schneider, S., Lee, J. H., Mathis, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Learnable+latent+embeddings+for+joint+behavioural+and+neural+analysis%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Learnable latent embeddings for joint behavioural and neural analysis.</a> Nature. 617 (7960), 360-368 (2023).</li>
<li>Lanzarini, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroethology+of+natural+actions+in+freely+moving+monkeys%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Neuroethology of natural actions in freely moving monkeys.</a> Science. 387 (6730), 214-220 (2025).</li>
<li>Testard, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+signatures+of+natural+behaviour+in+socializing+macaques%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Neural signatures of natural behaviour in socializing macaques.</a> Nature. 628 (8007), 381-390 (2024).</li>
<li>Mathis, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deeplabcut%3A+Markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Tang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Anti-drift+pose+tracker+%28adpt%29%2C+a+transformer-based+network+for+robust+animal+pose+estimation+cross-species%5BTitle%5D)+AND+%22Elife%22%5BJournal%5D)">Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species.</a> Elife. 13, RP95709(2025).</li>
<li>Panadeiro, V., Rodriguez, A., Henry, J., Wlodkowic, D., Andersson, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+28+free+animal-tracking+software+applications%3A+Current+features+and+limitations%5BTitle%5D)+AND+%22Lab+Anim+%28NY%29%22%5BJournal%5D)">A review of 28 free animal-tracking software applications: Current features and limitations.</a> Lab Anim (NY). 50 (9), 246-254 (2021).</li>
<li>Jhuang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automated+home-cage+behavioural+phenotyping+of+mice%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Automated home-cage behavioural phenotyping of mice.</a> Nat Commun. 1, 68(2010).</li>
<li>Huang, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+hierarchical+3d-motion+learning+framework+for+animal+spontaneous+behavior+mapping%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping.</a> Nat Commun. 12 (1), 2784(2021).</li>
<li>Juavinett, A. L., Bekheet, G., Churchland, A. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Chronically+implanted+neuropixels+probes+enable+high-yield+recordings+in+freely+moving+mice%5BTitle%5D)+AND+%22Elife%22%5BJournal%5D)">Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice.</a> Elife. 8, e47188(2019).</li>
<li>Chen, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Miniature+fluorescence+microscopy+for+imaging+brain+activity+in+freely-behaving+animals%5BTitle%5D)+AND+%22Neurosci+Bull%22%5BJournal%5D)">Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals.</a> Neurosci Bull. 36 (10), 1182-1190 (2020).</li>
<li>Zong, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large-scale+two-photon+calcium+imaging+in+freely+moving+mice%5BTitle%5D)+AND+%22Cell%22%5BJournal%5D)">Large-scale two-photon calcium imaging in freely moving mice.</a> Cell. 185 (7), 1240-1256.e30 (2022).</li>
<li>Zong, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+high-resolution+miniature+two-photon+microscopy+for+brain+imaging+in+freely+behaving+mice%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice.</a> Nat Methods. 14 (7), 713-719 (2017).</li>
<li>Han, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mousevenue3d%3A+A+markerless+three-dimension+behavioral+tracking+system+for+matching+two-photon+brain+imaging+in+free-moving+mice%5BTitle%5D)+AND+%22Neurosci+Bull%22%5BJournal%5D)">Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice.</a> Neurosci Bull. 38 (3), 303-317 (2022).</li>
<li>Jazayeri, M., Ostojic, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interpreting+neural+computations+by+examining+intrinsic+and+embedding+dimensionality+of+neural+activity%5BTitle%5D)+AND+%22Curr+Opin+Neurobiol%22%5BJournal%5D)">Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity.</a> Curr Opin Neurobiol. 70, 113-120 (2021).</li>
<li>Churchland, M. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+population+dynamics+during+reaching%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Neural population dynamics during reaching.</a> Nature. 487 (7405), 51-56 (2012).</li>
<li>Van Der Maaten, L., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualizing+data+using+t-sne%5BTitle%5D)+AND+%22J+Machine+Learning+Res%22%5BJournal%5D)">Visualizing data using t-sne.</a> J Machine Learning Res. 9, 2579-2605 (2008).</li>
<li>Mcinnes, L., Healy, J., Melville, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Umap%3A+Uniform+manifold+approximation+and+projection+for+dimension+reduction%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Umap: Uniform manifold approximation and projection for dimension reduction.</a> arXiv. , (2018).</li>
<li>Klibaite, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mapping+the+landscape+of+social+behavior%5BTitle%5D)+AND+%22Cell%22%5BJournal%5D)">Mapping the landscape of social behavior.</a> Cell. 188 (8), 2249-2266.e23 (2025).</li>
<li>Zhou, D., Wei, X. 34th Conference on Neural Information Processing Systems (NeurIPS), , (2020).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Sleap%3A+A+deep+learning+system+for+multi-animal+pose+tracking%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Sleap: A deep learning system for multi-animal pose tracking.</a> Nat Methods. 19 (4), 486-495 (2022).</li>
<li>Von Ziegler, L., Sturman, O., Bohacek, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Big+behavior%3A+Challenges+and+opportunities+in+a+new+era+of+deep+behavior+profiling%5BTitle%5D)+AND+%22Neuropsychopharmacology%22%5BJournal%5D)">Big behavior: Challenges and opportunities in a new era of deep behavior profiling.</a> Neuropsychopharmacology. 46 (1), 33-44 (2021).</li>
<li>Pereira, T. D., Shaevitz, J. W., Murthy, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Quantifying+behavior+to+understand+the+brain%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">Quantifying behavior to understand the brain.</a> Nat Neurosci. 23 (12), 1537-1549 (2020).</li>
<li>Segalin, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+mouse+action+recognition+system+%28mars%29+software+pipeline+for+automated+analysis+of+social+behaviors+in+mice%5BTitle%5D)+AND+%22Elife%22%5BJournal%5D)">The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice.</a> Elife. 10, e63720(2021).</li>
<li>Gris, K. V., Coutu, J. P., Gris, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+and+unsupervised+learning+technology+in+the+study+of+rodent+behavior%5BTitle%5D)+AND+%22Front+Behav+Neurosci%22%5BJournal%5D)">Supervised and unsupervised learning technology in the study of rodent behavior.</a> Front Behav Neurosci. 11, 141(2017).</li>
<li>Liu, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Objective+and+comprehensive+re-evaluation+of+anxiety-like+behaviors+in+mice+using+the+behavior+atlas%5BTitle%5D)+AND+%22Biochem+Biophys+Res+Commun%22%5BJournal%5D)">Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas.</a> Biochem Biophys Res Commun. 559, 1-7 (2021).</li>
<li>Bando, Y., Wenzel, M., Yuste, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+two-photon+imaging+of+action+potentials+and+subthreshold+inputs+in+vivo%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo.</a> Nat Commun. 12 (1), 7229(2021).</li>
<li>Zhang, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+flexible+new+technique+for+camera+calibration%5BTitle%5D)+AND+%22IEEE+Transactions+on+pattern+analysis+and+machine+intelligence%22%5BJournal%5D)">A flexible new technique for camera calibration.</a> IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).</li>
<li>Pachitariu, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Suite2p%3A+Beyond+10%2C000+neurons+with+standard+two-photon+microscopy%5BTitle%5D)+AND+%22bioRxiv%22%5BJournal%5D)">Suite2p: Beyond 10,000 neurons with standard two-photon microscopy.</a> bioRxiv. , (2017).</li>
<li>Han, Y., Huang, K., Chen, K., Wang, L., Wei, P. IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), , 306-310 (2021).</li>
<li>Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+reconstruction+toolbox+for+behavior+tracked+with+multiple+cameras%5BTitle%5D)+AND+%22J+Open+Source+Soft%22%5BJournal%5D)">3d reconstruction toolbox for behavior tracked with multiple cameras.</a> J Open Source Soft. 5 (45), 1849(2020).</li>
<li>Zhong, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((S-ketamine+exposure+in+early+postnatal+period+induces+social+deficit+mediated+by+excessive+microglial+synaptic+pruning%5BTitle%5D)+AND+%22Mol+Psychiatry%22%5BJournal%5D)">S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning.</a> Mol Psychiatry. 30 (8), 3615-3631 (2025).</li>
<li>Datta, S. R., Anderson, D. J., Branson, K., Perona, P., Leifer, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computational+neuroethology%3A+A+call+to+action%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Computational neuroethology: A call to action.</a> Neuron. 104 (1), 11-24 (2019).</li>
<li>Schönemann, P. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+generalized+solution+of+the+orthogonal+procrustes+problem%5BTitle%5D)+AND+%22Psychometrika%22%5BJournal%5D)">A generalized solution of the orthogonal procrustes problem.</a> Psychometrika. 31 (1), 1-10 (1966).</li>
<li>Feldman, D. E., Brecht, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Map+plasticity+in+somatosensory+cortex%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Map plasticity in somatosensory cortex.</a> Science. 310 (5749), 810-815 (2005).</li>
<li>Karashchuk, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Anipose%3A+A+toolkit+for+robust+markerless+3d+pose+estimation%5BTitle%5D)+AND+%22Cell+Rep%22%5BJournal%5D)">Anipose: A toolkit for robust markerless 3d pose estimation.</a> Cell Rep. 36 (13), 109730(2021).</li>
<li>Laiz, R. G., Schmidt, T., Schneider, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Self-supervised+contrastive+learning+performs+non-linear+system+identification%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Self-supervised contrastive learning performs non-linear system identification.</a> arXiv. , (2024).</li>
<li>Liberti, W. A., Perkins, L. N., Leman, D. P., Gardner, T. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+open+source%2C+wireless+capable+miniature+microscope+system%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">An open source, wireless capable miniature microscope system.</a> J Neural Eng. 14 (4), 045001(2017).</li>
<li>Tuia, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Perspectives+in+machine+learning+for+wildlife+conservation%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Perspectives in machine learning for wildlife conservation.</a> Nat Commun. 13 (1), 792(2022).</li>
<li>Han, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((24-hour+simultaneous+MPFC%27s+miniature+2-photon+imaging%2C+EEG-EMG%2C+and+video+recording+during+natural+behaviors%5BTitle%5D)+AND+%22Sci+Data%22%5BJournal%5D)">24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors.</a> Sci Data. 12 (1), 1226(2025).</li>
<li>Ye, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hierarchical+behavioral+analysis+framework+as+a+platform+for+standardized+quantitative+identification+of+behaviors%5BTitle%5D)+AND+%22Cell+Rep%22%5BJournal%5D)">Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors.</a> Cell Rep. 44 (2), 115239(2025).</li>
<li>Weinreb, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Keypoint-moseq%3A+Parsing+behavior+by+linking+point+tracking+to+pose+dynamics%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics.</a> Nat Methods. 21 (7), 1329-1339 (2024).</li>
<li>Jia, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((self-supervised+features+extraction+of+animal+behaviors%5BTitle%5D)+AND+%22Elife%22%5BJournal%5D)">self-supervised features extraction of animal behaviors.</a> Elife. 11, e76218(2022).</li>
<li>Gosztolai, A., Peach, R. L., Arnaudon, A., Barahona, M., Vandergheynst, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Marble%3A+Interpretable+representations+of+neural+population+dynamics+using+geometric+deep+learning%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Marble: Interpretable representations of neural population dynamics using geometric deep learning.</a> Nat Methods. 22 (3), 612-620 (2025).</li>
<li>Stringer, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Rastermap%3A+A+discovery+method+for+neural+population+recordings%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">Rastermap: A discovery method for neural population recordings.</a> Nat Neurosci. 28 (1), 201-212 (2025).</li>
<li>Vassilev, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Custom-built+operant+conditioning+setup+for+calcium+imaging+and+cognitive+testing+in+freely+moving+mice%5BTitle%5D)+AND+%22eNeuro%22%5BJournal%5D)">Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice.</a> eNeuro. 9 (1), (2022).</li>
<li>Verma Rodriguez, A. K., Ramírez-Jarquin, J. O., Rossi-Pool, R., Tecuapetla, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Basal+ganglia+output+%28entopeduncular+nucleus%29+coding+of+contextual+kinematics+and+reward+in+the+freely+moving+mouse%5BTitle%5D)+AND+%22Elife%22%5BJournal%5D)">Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse.</a> Elife. 13, RP98159(2025).</li>
<li>Ju, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Long-term+two-photon+imaging+of+spinal+cord+in+freely+behaving+mice%5BTitle%5D)+AND+%22bioRxiv%22%5BJournal%5D)">Long-term two-photon imaging of spinal cord in freely behaving mice.</a> bioRxiv. , (2022).</li>
</ol>

作者声明不存在利益冲突。

该神经行为学记录与解码框架基于市售设备构建，确保大多数故障问题可由相应公司提供支持解决。尽管如此，本研究仍提供了一份常见问题列表，以方便查阅并简化故障排查流程（表1）。这种可及性使该框架对初学者更加友好。此外，该框架具有高度灵活性，神经活动与行为记录之间的同步依赖于标准的TTL信号。因此，如有需要，可轻松将其他生理记录设备整合至该框架中。后续的分析流程也具备足够的通用性，可支持完全自定义的神经与行为记录系统。
该框架基于商业化设备，相关成本相对较高（约50万美元），从而给实验室带来额外的经济负担。尽管近期出现的开源工具（如MINI2P13和Anipose37）有助于降低材料成本，但本研究经验表明，在计入调试过程中所需的人力资源成本后，总体支出仍将维持在相似水平。该框架的另一局限性在于CEBRA嵌入结果的可解释性。由于该方法基于人工神经网络，其本身具有难以解释的特性。尽管本文示例提供了一种简单的嵌入结果解释方法，但针对不同项目仍需开发特定的分析方法。对CEBRA嵌入结果进行进一步解释的一个潜在解决方案是应用动力系统理论38。此外，自然行为可被划分为不同阶段，例如当两只小鼠相距较远或靠近时的互动行为。不同的科学问题可能需要定制化的数据分析流程。
尽管当前的 mTPM 与 3D 相机系统部署在开放场地环境中，但其应用并不局限于这一特定的行为学场景。主要限制因素来自成像系统的物理连接，这限制了动物的活动范围，以及 3D 相机的视场，这限制了可追踪的空间体积。未来可通过集成无线成像模块39或陷阱相机阵列40来改进系统，从而支持更复杂且更接近自然的行为范式。值得注意的是，mTPM 系统和 3D 相机装置均能够实现连续 24 小时的数据采集10,41，因此整个系统非常适用于长时间尺度下的行为与神经记录研究。
本研究采用完全数据驱动的方法来探究自发行为的神经编码，因此有意避免为聚类的行为模态分配预定义的语义标签。这一决策源于保留神经-行为映射框架普适性的目标，使其能够独立于实验者设定的行为类别而运行。对于关注行为模态生物学可解释性及监督分类的读者，可参考以往的研究1,10，以及一项近期研究42，该研究使用相同的底层行为图谱（Behavior Atlas）框架，系统比较了无监督模态聚类与人工标注行为的结果。这些研究还通过公开数据库提供了丰富的可视化资源，包括三维姿态序列、运动轨迹和模态层级的嵌入表示。这些资源共同揭示了行为语义结构的补充性见解，同时支持本研究采用的灵活且具有普适性的神经解码方法。
该数据处理流程在设计时注重模块化与灵活性，可适应不同的实验条件和用户偏好。流程的每个主要组件，从三维姿态估计、无监督行为模式聚类、神经信号预处理到联合神经行为学嵌入，均被实现为具有明确定义输入输出接口的独立模块。这种架构允许用户在各个阶段替换替代工具或算法（例如不同的姿态估计框架6,22、行为聚类算法43,44或神经解码器45,46），而不会破坏整体工作流程。尽管这些组件设计为可互操作，但本研究并未对所有可能的替代方法组合进行 exhaustive 测试，用户在特定应用中可能需要进行额外调优以确保兼容性。此类模块化设计有助于提升可重复性与可扩展性，并使该框架能够适用于本研究中未展示的物种、记录模态或行为范式。为支持更广泛的研究社区使用，本研究提供了示意图概览和材料汇总表（图1，材料表）。
本流程中用于 SBeA 和 CEBRA 的参数设置结合了默认值与针对该实验情境（即在自然社交互动条件下的自由活动小鼠）的经验性优化。这些参数已通过验证，能够复现本研究中呈现的全部结果，无需进一步调整。尽管用户可能希望微调某些参数以适应不同的记录装置或行为任务，但复制本流程时并不需要此类修改。对于在其他情境下开展工作的用户，建议参考 SBeA 和 CEBRA 的原始文档与相关文献，其中提供了参数范围及针对特定任务的指导。本实施方案提供了一种稳健的参考配置，可直接应用或根据需要进行调整。
该框架的主要进步在于其适用于自由活动的动物。先前在头部固定动物中开展的研究可在此框架下调整为自由活动条件。例如，Go/No-Go任务47和双选迫选任务48可根据自然行为范式进行修改并整合到该框架中。该方法消除了头部固定所引起的人工假象，从而能够研究任务与自然行为状态之间的关系。该框架赋予动物在决策过程中更大的自主性。同时，它还支持在更接近自然的情境下对脊髓进行研究，并可结合mTPM脊髓记录方法49。此外，该框架有助于研究自由群体行为，而这一现象在头部固定的实验设置中无法实现。数据分析流程能够通过嵌入方法解析神经群体活动在多个变量下的表现，揭示神经群体背后脑功能的复杂性。

该框架旨在从自然实验环境中自由活动的动物身上采集并解码其行为与神经影像数据。它包含三个关键组成部分：基于深度学习的姿态估计与行为分类方法 SBeA1、微型荧光成像技术 mTPM2，以及基于对比学习的神经行为学嵌入算法 CEBRA3。近期研究表明，在自由活动动物中所呈现的神经行为学过程极为复杂，远超固定头部实验范式中所观察到的现象4,5。然而，技术限制与实验变异性阻碍了这些方法在更广泛自然行为研究中的推广应用。本实验方案提供了一个稳定且集成的框架，可确保各类研究实验室均能便捷获取在自然情境下采集的行为与神经数据。
由于动物在自然环境中自由活动，该框架结合基于深度学习的姿态估计技术，以实现对姿态的精确追踪6,7。与基于深度学习的方法相比，传统的基于图像处理的追踪方法难以捕捉精细的运动，例如肢体和足部的动态变化8。自由活动动物表现出的多样且复杂的行为给有监督的行为分类方法带来了挑战9，因为预定义的行为类别通常无法涵盖自然行为表型的全部范围10。因此，基于无监督学习的分类方法更适用于自然场景下的行为分析1。这些方法能够根据行为内在的结构相似性，将连续的行为全面分解为离散的亚秒级行为模组，并通过数据驱动的聚类为其提供一致的定义。
在自由活动动物中进行脑成像需要捕捉单个神经元活动的广泛变异性4,5。对自由活动动物的电生理记录在检测主要表现为亚阈值活动的神经元方面存在局限性11。此外，单光子显微镜受限于较低的分辨率和对比度，难以在不同成像会话之间维持一致的神经元身份识别12。与单光子显微镜相比，mTPM 具有更高的分辨率和对比度，因此在研究自然行为的神经编码方面是一种更有效的工具2,13,14,15。
建立行为与神经数据之间的稳健映射关系，需要能够揭示二者共享信息结构的方法16。传统的降维技术，如主成分分析（Principal Component Analysis, PCA）17、t-分布随机邻域嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）18 和统一流形逼近与投影（Uniform Manifold Approximation and Projection, UMAP）19，无法在共同的特征空间中有效嵌入行为和神经数据。相比之下，基于深度学习的嵌入方法（如 CEBRA）能够在有监督和自监督框架下整合多种数据模态，生成高质量的潜在表征3。尽管近年来已出现多种替代方法20,21,22，但本研究所提出的框架优先考虑实际应用，整合了已有成熟方法，这些方法或可商业获取，或具备详尽的教程支持。
与近期研究4,5相比，本框架具有三项关键进展。首先，该框架消除了行为分类中的人为偏差。以往研究依赖于人工行为标注，这种方法劳动强度大，且容易产生不一致性，尤其当标注者出现疲劳时尤为明显23,24,25。相比之下，本框架采用无监督行为分类方法，在定义行为类别之前，通过客观分解和聚类行为模态，保留了行为模式的自然结构26,27。其次，使用mTPM能够捕捉单神经元水平上更精细的神经动力学特征。这一方法学优势扩展了该框架的应用范围，使其可用于从包括参与亚阈值编码在内的多种神经群体中解码复杂的自然行为28。第三，该框架将行为与神经数据整合到一个统一的表征空间中，而不是分别使用UMAP对每种模态进行嵌入，或使用支持向量机在神经活动与行为之间建立刚性映射而忽略其内在动力学特性4,5。这种联合嵌入方法确保了对行为与脑活动之间关系的表征更加全面且具有生物学意义。
该框架非常适合在接近自然的实验条件下，对自由活动动物的行为和神经数据进行记录与解码的研究项目。尽管当前的实现方案主要针对小鼠研究进行了优化，但将其适配至其他动物模型可能需要额外的开发工作。由于本框架所使用的硬件组件均为市售产品，一方面，整体成本可能相对较高；但另一方面，这种商业化供应显著减少了在解决后勤问题上耗费的时间，并能够高效地获得稳定且可靠的结果。
本方案旨在使配备小型动物成像和行为追踪设备的神经科学研究实验室均能实现可重复操作。该完整系统整合了商用的mTPM设备与多角度行为数据采集装置。典型的神经信号记录频率为4.84 Hz，分辨率为512 × 512像素，行为数据以每秒30帧的速度采集。通过预处理过程中的TTL脉冲对齐实现数据同步。训练与解码可在配备GPU的标准工作站上进行（例如NVIDIA RTX 3090或同等型号），每次实验的完整数据处理流程约需100 GB存储空间。尽管当前实施方案主要针对自由活动的小鼠优化，但该工作流程的模块化设计允许通过调整追踪校准参数和成像参数以适配其他物种，具体参数应根据动物体型与活动能力进行调节。这些实际操作细节保障了本方案在多种实验条件下的适应性与可重复性。

<table><tbody><tr><td>3D行为记录系统</td><td>BayONE Scientific</td><td>BA-3D-Mouse</td><td>集成同步模块</td></tr><tr><td>气球</td><td>AliExpress</td><td>URL: https://tinyurl.com/3uex669s</td><td>任何充入氦气后足够轻便可飞行的气球。这些气球为球形金属薄膜气球，直径约45 cm，并带有自密封阀门。该URL提供了此类气球的一个示例。&amp;nbsp;</td></tr><tr><td>卡波姆眼用凝胶</td><td>Vidisic</td><td>基于卡波姆980的润滑性眼用凝胶</td><td>10g</td></tr><tr><td>棉绳</td><td>AliExpress</td><td>URL: https://tinyurl.com/ywu7u754</td><td>粗而轻，直径1–2 mm。该URL提供了棉绳的一个示例。</td></tr><tr><td>颅骨钻</td><td>RWD</td><td>78001</td><td>0.8、1.4和2.1 mm钻头</td></tr><tr><td>可配置定制相机模块</td><td>Intel</td><td>RealSense D435</td><td>/</td></tr><tr><td>高性能丙烯酸结构胶</td><td>HUITIAN</td><td>1320</td><td>490ml</td></tr><tr><td>用于成像的小鼠</td><td>TRANSCEND VIVOSCOPE</td><td>URL: https://en.tv-scope.com/</td><td>使用C57BL/6J背景的雄性小鼠（10周龄），单只饲养于笼中，环境条件为12&amp;thinsp;小时光照-黑暗循环，温度22&amp;ndash;25&amp;thinsp;&amp;deg;C，湿度40%&amp;ndash;70%，可自由获取水和食物。向其初级躯体感觉皮层（前-后位，&amp;minus;0.60 mm；内-外侧位，&amp;minus;2.40 mm；背-腹侧位，2.00 mm）注射AAV9-CaMKII-GCaMP6s病毒。在本研究中，小鼠由TRANSCEND VIVOSCOPE进行制备，作为其专业动物制备服务的一部分。该服务包括病毒注射、颅窗植入以及专为其微型双光子显微成像系统定制的基板安装。</td></tr><tr><td>用于交互的小鼠</td><td>BayONE LAC</td><td>URL: https://lac.bayonesci.com/</td><td>使用C57BL/6J背景的雄性小鼠（10周龄），每笼饲养5只，环境条件为12&amp;thinsp;小时光照-黑暗循环，温度22&amp;ndash;25&amp;thinsp;&amp;deg;C，湿度40&amp;ndash;70%，可自由获取水和食物。所有饲养和实验操作均经中国科学院深圳先进技术研究院动物护理与使用委员会批准。</td></tr><tr><td>微型双光子神经记录系统（mTPM）</td><td>TRANSCEND VIVOSCOPE</td><td>SUPERNOVA-600</td><td>SUPERNOVA-600是一种完全集成的微型双光子成像系统，适用于自由活动的啮齿类动物，包含所有必要的光学和记录组件，但不包括外部刺激装置。该系统应包含集成同步模块。&amp;nbsp;</td></tr></tbody></table>

从神经行为学嵌入中解码自然行为

Decoding Natural Behavior from Neuroethological Embedding

动物通过丰富而动态的大脑活动与自然环境进行互动。理解神经群体动力学如何编码自然行为，仍是系统神经科学中的一个基本挑战。近年来，基于深度学习的行为分析和微型荧光成像技术的进步，为研究大脑如何编码自然行为开辟了新的途径。本研究提出了一种整合性的实验与计算框架，结合社会行为图谱（Social Behavior Atlas, SBeA）、微型双光子显微镜（miniature Two-Photon Microscopy, mTPM）以及利用辅助变量的一致性高维记录嵌入方法（Consistent EmBeddings of high-dimensional Recordings using Auxiliary variables, CEBRA），从脑动力学中解码复杂行为。本研究以自由活动小鼠之间的自然社会互动作为模型系统，实现高分辨率的行为标注与同步神经成像。该框架包括精确的行为姿态估计、同步双鼠追踪、神经嵌入对齐，以及直接从神经主成分中解码行为特征。本研究证明，该方法在跨个体的姿势解码中达到3. ± 1.5像素的精度，在行为模态解码中达到89 ± 6%的准确率，显示出其稳健性和可推广性。该方法为探索大脑活动如何反映结构化行为状态提供了有力工具，并为未来研究自然行为下的神经编码原理奠定了基础。

与基于试验的实验相比，自然行为的研究具有更高的复杂性。首先，在自然条件下，神经活动和行为均缺乏固定的基线。这些活动具有重复性，即受到先前状态的影响，因此，通过比对特定行为起始点来分析神经活动，无法分离出先前神经行为学状态的影响。其次，自然行为中的神经编码主要发生在群体神经元水平4,5。单个神经元表现出的变异性足够大，通常被视为噪声。为验证这一点，本部分进行了神经活动与自然行为姿态之间的相关性分析（图2F、图3F、图4F）。所得相关系数矩阵未显示出神经元与姿态轨迹之间的特异性对应关系。具体而言，神经信号与受试者姿态、物体姿态或身体间距离的相关系数均落在-0.3至+0.3范围内，通常被认为是弱相关15（图2G、图3G、图4G）。这些结果表明，在自然条件下，与姿态相关的信息并非以单神经元特异性的方式编码。
鉴于这些因素，该框架提供了一种客观的方法，用于在神经群体水平上捕获和映射神经行为学数据。mTPM成像确保最大程度地保留单个神经元的变异性。此外，通过ADPT进行的基于深度学习的姿态估计以及BeA和SBeA等无监督行为分解方法，可生成丰富的辅助变量，从而使CEBRA能够有效解析神经群体内部的变异性。
这些示例表明，联合 CEBRA 嵌入存在于所有辅助变量中，包括个体姿态、物体姿态、身体距离、个体行为模体、物体行为模体以及社会行为模体（图 5A）。为了验证跨会话或跨个体的行为模体与神经嵌入的一致性，对三对小鼠进行了Procrustes分析35（图 5B）。由于CEBRA嵌入分布在单位球面上，Procrustes分析中仅启用了旋转参数。鉴于自然行为CEBRA嵌入缺乏明确的基线，本部分首先对嵌入进行标签引导的对齐采样，以确保在应用Procrustes分析前具有稳定的锚定点。从视觉上看，这些CEBRA嵌入表现出一定程度的内在一致性，其中身体距离和社会行为模体的对齐程度最高，这与Procrustes对齐前后RMSE的量化结果相符（图 5C）。随后，比较了姿态（图 5D）和模体（图 5E）的嵌入解码准确性。尽管它们的表征方式不同，但每种均可实现高精度解码。虽然身体距离的解码RMSE显著高于个体和物体姿态，但并未超过ADPT7的追踪精度。
为了探究这些基于假设的嵌入的来源，通过 CEBRA 生成了神经活动的自组织嵌入（图 5A，右列）。神经嵌入的形状比其他联合嵌入更为复杂，融合了多种联合嵌入的模式。此外，使用普氏变换（Procrustes transformation）比较了神经嵌入与联合嵌入之间的相似性，随后比较了它们的余弦相似性（图 5F）。余弦相似性是在对应时间点对齐的嵌入之间按每分钟计算得出的。
基于S1在编码自组织躯体感觉输入中的明确作用36，本研究选择S1-被试姿态联合嵌入作为相似性比较的基线。该嵌入为评估其他变量（如与物体相关的模态）在同一神经空间中的表征方式提供了具有生物学意义的参考点。此类比较使我们能够相对于与自我相关的躯体感觉基线，评估不同行为维度编码的相对强度。
将神经嵌入与S1-受试动物姿势联合嵌入作为基线进行余弦相似度比较时，本研究发现物体模态的联合嵌入值显著更低。这表明，在本示例中为期15分钟的自由社交互动期间，受试小鼠的S1神经活动主要编码了其自身行为以及正在进行的社交互动。尽管本分析仅为一个示范性案例，但相同的分析方法框架可直接应用于更精细的研究，例如通过比较不同时段的嵌入结构，揭示神经编码的动态变化。
<img alt="Supernova-600 设置用于 mTPM 行为同步；小鼠追踪；信号提取，三维重建示意图。" class="xfigimg" src="/files/ftp_upload/68668/68668fig1.jpg" data-altupdatedat="1762509930000" data-alt="Figure 1"> 
图 1：神经行为学数据采集流程。（A）设备集成。（B）数据记录操作。（C）记录后的神经信号提取、二维姿态估计及三维身体轨迹重建。<a href="https://www.jove.com/files/ftp_upload/68668/68668fig1large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="神经活动相关性图；主体与客体姿态、身体距离、行为模态模式的示意图。" class="xfigimg" src="/files/ftp_upload/68668/68668fig2.jpg" data-altupdatedat="1762509930000" data-alt="图 2"> 
图 2：小鼠1预处理后的数据，用于进一步分析。（A）神经元活动。（B）主体姿态。（C）客体姿态。（D）身体距离。（E）行为模态。从上到下分别为主体、客体和社会行为模态。（F）神经活动与姿态之间的相关系数矩阵。左侧：神经活动与主体姿态之间的相关系数。中间：神经活动与客体姿态之间的相关系数。右侧：神经活动与身体距离之间的相关系数。相关系数计算了每个神经元信号轨迹与每个姿态维度之间的关系。（G）F图中相关系数的分布情况。神经元索引根据神经活动与主体姿态之间的相关系数进行排序。缩写：N &amp; S = 神经活动与主体姿态，N &amp; O = 神经活动与客体姿态，N &amp; B = 神经活动与身体距离，CC = 相关系数。<a href="https://www.jove.com/files/ftp_upload/68668/68668fig2large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="神经活动时间序列分析；主体、客体姿态及身体距离相关性的示意图" class="xfigimg" src="/files/ftp_upload/68668/68668fig3.jpg" data-altupdatedat="1762509930000" data-alt="图3"> 
图3：小鼠2的预处理数据用于进一步分析。（A）神经元活动。（B）主体姿态。（C）客体姿态。（D）身体距离。（E）行为模态。从上到下分别为主体、客体及社会行为模态。（F）神经活动与姿态之间的相关系数矩阵。左侧：神经活动与主体姿态之间的相关系数。中间：神经活动与客体姿态之间的相关系数。右侧：神经活动与身体距离之间的相关系数。相关系数为每个神经元轨迹与每个姿态维度之间的相关性。（G）F图中相关系数的分布。神经元索引根据神经活动与主体姿态之间的相关系数进行排序。缩写：N &amp; S = 神经活动与主体姿态，N &amp; O = 神经活动与客体姿态，N &amp; B = 神经活动与身体距离，CC = 相关系数。<a href="https://www.jove.com/files/ftp_upload/68668/68668fig3large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="神经活动相关性图表；模体分析；主体与客体姿态；实验结果。" class="xfigimg" src="/files/ftp_upload/68668/68668fig4.jpg" data-altupdatedat="1762509930000" data-alt="图 4"> 
图 4：小鼠3的预处理数据用于进一步分析。（A）神经元活动。（B）主体姿态。（C）客体姿态。（D）身体距离。（E）行为模体。从上到下分别为主体、客体和社会行为模体。（F）神经活动与姿态之间的相关系数矩阵。左侧：神经活动与主体姿态之间的相关系数。中间：神经活动与客体姿态之间的相关系数。右侧：神经活动与身体距离之间的相关系数。相关系数为每个神经元轨迹与每个姿态维度之间的相关性。（G）F图中相关系数的分布。神经元索引根据神经活动与主体姿态之间的相关系数进行排序。缩写：N &amp; S = 神经活动与主体姿态，N &amp; O = 神经活动与客体姿态，N &amp; B = 神经活动与身体距离，CC = 相关系数。<a href="https://www.jove.com/files/ftp_upload/68668/68668fig4large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="小鼠行为数据分析；三维位置、BeA类别和统计结果的图表。" class="xfigimg" src="/files/ftp_upload/68668/68668fig5.jpg" data-altupdatedat="1762509930000" data-alt="图 5"> 
图 5：神经行为学数据的 CEBRA 嵌入分析。 （A）CEBRA 嵌入结果。从左到右分别为：S1 神经活动与受试动物姿态的联合嵌入、S1 神经活动与物体姿态的联合嵌入、S1 神经活动与两只动物间身体距离的联合嵌入、S1 神经活动与受试动物行为模态的联合嵌入、S1 神经活动与物体行为模态的联合嵌入、S1 神经活动与社会行为模态的联合嵌入，以及 S1 的神经嵌入。（B）Procrustes 分析对上述嵌入结果进行对齐。灰色圆圈代表小鼠对 1，作为参考嵌入；绿色加号代表小鼠对 2，橙色叉号代表小鼠对 3，二者均与小鼠对 1 对齐。（C）Procrustes 对齐前（左）和对齐后（右）的均方根误差（RMSE）（配对 t 检验，n=3，均值 ± 标准误 SEM）。（D）从 CEBRA 嵌入重建姿态的均方根误差（RMSE）（单因素方差分析后接 Tukey 多重比较检验，n=3，均值 ± 标准误 SEM）。（E）从 CEBRA 嵌入重建行为模态的准确率（单因素方差分析后接 Tukey 多重比较检验，n=3，均值 ± 标准误 SEM）。（F）联合嵌入与 S1 神经嵌入之间的余弦相似性（单因素方差分析后接 Dunnett 多重比较检验，n=45，均值 ± 标准误 SEM）。*p &lt; 0.05，**p &lt; 0.01，***p &lt; 0.001。<a href="https://www.jove.com/files/ftp_upload/68668/68668fig5large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>编号</td>
			<td>观察到的问题</td>
			<td>可能原因</td>
			<td>可能的解决方案</td>
		</tr>
		<tr>
			<td rowspan="3">1</td>
			<td rowspan="3">无行为时间戳</td>
			<td>(1) SMA 或 BNC 线缆故障</td>
			<td>(1) 更换 SMA 和 BNC 线缆</td>
		</tr>
		<tr>
			<td>(2) 缺少 USB-to-TTL 驱动程序</td>
			<td>(2) 安装 Prolific PL2303 USB 驱动程序</td>
		</tr>
		<tr>
			<td>(3) COM 端口选择错误</td>
			<td>(3) 在设备管理器中确认 COM 端口号，并在 mTPM 软件和行为相机脚本中更新该设置。</td>
		</tr>
		<tr>
			<td rowspan="4">2</td>
			<td rowspan="4">mTPM 安装过程中无可见荧光</td>
			<td>(1) 病毒表达缺失</td>
			<td>(1) 更换小鼠</td>
		</tr>
		<tr>
			<td>(2) 视野位置不正确</td>
			<td>(2) 重新调整视野</td>
		</tr>
		<tr>
			<td>(3) 激光功率不足</td>
			<td>(3) 逐步提高激光功率</td>
		</tr>
		<tr>
			<td>(4) Carbomer 凝胶干燥</td>
			<td>(4) 重新涂抹新鲜的 Carbomer 凝胶</td>
		</tr>
		<tr>
			<td rowspan="3">3</td>
			<td rowspan="3">mTPM 成像显示全白画面</td>
			<td>(1) 光线泄漏</td>
			<td>(1) 重新用铝箔包裹以实现有效遮光</td>
		</tr>
		<tr>
			<td>(2) 激光功率不足</td>
			<td>(2) 逐步提高激光功率</td>
		</tr>
		<tr>
			<td>(3) 光纤从 mTPM 头部脱落</td>
			<td>(3) 将光纤重新插入 mTPM 并拧紧固定螺丝</td>
		</tr>
		<tr>
			<td rowspan="3">4</td>
			<td rowspan="3">行为视频中出现丢帧</td>
			<td>(1) 环境光照不足</td>
			<td>(1) 增加背景照明</td>
		</tr>
		<tr>
			<td>(2) 使用了错误的 USB 端口</td>
			<td>(2) 使用至少 USB 3.0 端口</td>
		</tr>
		<tr>
			<td>(3) 计算机性能不足</td>
			<td>(3) 使用配备 Intel i7-9700K 或更高型号、双通道内存和 SSD 存储的计算机。</td>
		</tr>
		<tr>
			<td rowspan="3">5</td>
			<td rowspan="3">安装 mTPM 的小鼠无运动行为</td>
			<td>(1) 同一只小鼠重复使用</td>
			<td>(1) 避免在 3 天内重复使用同一只小鼠</td>
		</tr>
		<tr>
			<td>(2) 铝箔使用过多</td>
			<td>(2) 仅使用实现遮光所需的最少铝箔量</td>
		</tr>
		<tr>
			<td>(3) 氦气气球数量或体积不足</td>
			<td>(3) 调整气球数量和充气程度，以支撑 mTPM 光纤的同时允许小鼠保持自然姿势和活动。</td>
		</tr>
		<tr>
			<td rowspan="2">6</td>
			<td rowspan="2">2D 姿态估计不准确</td>
			<td>(1) 手动标注的帧数不足</td>
			<td>(1) 逐步标注至少 200 帧</td>
		</tr>
		<tr>
			<td>(2) ADPT 模型训练不足</td>
			<td>(2) 增加 ADPT 的 config.yaml 文件中的训练轮数（epochs）</td>
		</tr>
		<tr>
			<td rowspan="3">7</td>
			<td rowspan="3">3D 姿态重建异常</td>
			<td>(1) 相机标定不当</td>
			<td>(1) 改善标定板的对比度和倾斜角度</td>
		</tr>
		<tr>
			<td>(2) 输入的 2D 姿态数据不准确</td>
			<td>(2) 增加采集的棋盘格图像帧数</td>
		</tr>
		<tr>
			<td></td>
			<td>(3) 首先解决 2D 姿态问题（参见问题 6）</td>
		</tr>
		<tr>
			<td rowspan="3">8</td>
			<td rowspan="3">神经数据与行为数据对齐错误</td>
			<td>(1) 软件启动顺序错误</td>
			<td>(1) 始终先启动 mTPM 记录，再启动行为相机</td>
		</tr>
		<tr>
			<td>(2) 行为视频丢帧</td>
			<td>(2) 解决丢帧问题（参见问题 4）</td>
		</tr>
		<tr>
			<td></td>
			<td>(3) 确保有足够的磁盘空间</td>
		</tr>
		<tr>
			<td rowspan="3">9</td>
			<td rowspan="3">BeA/SBeA 处理过程中内存溢出</td>
			<td>(1) 记录时长过长</td>
			<td>(1) 将记录分割为较短片段（5–60 分钟），再运行 BeA/SBeA</td>
		</tr>
		<tr>
			<td>(2) 系统内存（RAM）有限</td>
			<td>(2) 增加 BeA 中的时间降维因子（例如从 5 提高到 10）</td>
		</tr>
		<tr>
			<td></td>
			<td>(3) 将内存升级至至少 64 GB</td>
		</tr>
		<tr>
			<td rowspan="3">10</td>
			<td rowspan="3">CEBRA 无法在 GPU 上运行</td>
			<td>(1) CUDA 与 GPU 驱动版本不匹配</td>
			<td>(1) 不要直接按照教程安装 CUDA 11.3</td>
		</tr>
		<tr>
			<td>(2) PyTorch 版本不兼容</td>
			<td>(2) 检查 GPU 型号和驱动版本（nvidia-smi）</td>
		</tr>
		<tr>
			<td></td>
			<td>(3) 根据情况安装正确的 CUDA 和 PyTorch 版本，然后通过 pip 安装 CEBRA</td>
		</tr>
	</tbody>
</table>
表1：故障排除列表。 以下是10个先前遇到的非简单问题及其可能的解决方案列表。

本方案基于先进的计算神经行为学方法，提供了一个综合框架，用于理解自然情境下的大脑编码机制。

动物通过丰富而动态的大脑活动与自然环境互动。理解神经群体动力学如何编码自然情境下的……

我的研究旨在理解神经动力学如何编码自然行为，以及大脑如何控制在自然环境中支持生存的复杂动作。传统的固定头部范式限制了我们对自然行为的理解。我们的实验方案通过在自由活动的动物中实现精确的神经行为解码，推动该范式的发展，以实现对自然脑智能的深入探索。我们将专注于收集丰富的非受控数据，通过整体性方法构建数字生命模型，以理解复杂生命系统中的智能。首先，将三维行为装置的同步模块的通用串行总线电缆连接到该装置的同一工作站。然后，使用一根SMA电缆将mTPM装置的同步模块连接到其控制器。使用一根SMA转BNC转换电缆，将三维行为记录设备同步模块的TTL输出端口连接到mTPM设备同步模块的TTL输入端口。开始校准前，调整全部四个摄像头的拍摄角度，使其覆盖开阔场底部的整个区域，并将视野向上延伸至最远边界至少20厘米，以捕捉小鼠直立行为。然后，将校准模块放置在拍摄区域的中心位置。关闭所有灯光并运行相机校准软件。现在，将小鼠固定器安装到显微操作仪（mTPM）的微操纵器上。使用金属板将小鼠头部固定在固定器上。关闭所有灯光。然后，将 mTPM 固定到其支架上，打开成像系统以定位荧光信号。在颅窗顶部添加一滴卡波姆眼用凝胶。使用运动平台移动小鼠，使颅窗正对多光子显微镜物镜下方。调节显微操作器的垂直位置以确定成像平面，然后在平面内移动显微操作器，使成像区域居中。然后，将上基座固定到 mTPM 上。使用粘合剂将下基座粘接到上基座，并将其固定在颅窗上。为确保结构稳定性，需使用高性能丙烯酸结构粘合剂填充两个基座之间以及附着在小鼠头部的金属板支架之间的间隙。然后，用镊子轻轻探查基底部，评估粘合的稳定性。接着，向基底腔内加入一滴卡波姆眼用凝胶。通过mTPM观察神经元的荧光。如果荧光不清晰可见，使用颅骨钻去除粘合剂以取下基座，然后重复该操作步骤，直至获得清晰的荧光信号。随后，用胶带将铝箔固定在mTPM光纤与颅骨窗之间。打开房间灯，测试mTPM所捕获图像帧的清晰度。将小鼠放入开放区域前，充入至少10个氦气球，并用棉线分别系好。然后，从小鼠固定装置上取下金属板。用一只手轻轻抓住小鼠的尾巴，另一只手托住mTPM的光纤。小心地将小鼠放入开放场中。通过将棉线固定在纤维上，悬挂氦气球。调整气球数量，使小鼠能够在开放区域内自由移动和探索而不受限制。关闭mTPM装置的门以减少外界干扰。启动mTPM记录软件和同步软件。根据平台建立流程设置文件路径和记录参数。通过记录软件开始mTPM的记录。检查同步软件，确认每个双光子图像帧的时间标记是否被准确记录。评估双光子图像的对比度在记录过程中是否保持稳定。同时确认小鼠的运动是否影响成像帧的稳定性。现在，启动自定义的相机同步脚本以开始行为记录。根据平台建立流程设置文件路径和参数，然后使用自定义同步脚本开始行为记录。确认同步软件中每30帧行为视频均存在时间标记。检查来自四台相机的所有视频流是否已正确同步。验证三维行为追踪系统的视频采集参数是否已正确设置。当行为记录自动停止后，手动关闭 mTPM 记录和同步软件，以结束该次试验。相关系数矩阵未显示出与受试者姿态、物体姿态或身体距离相关的特定神经元模式，表明神经信号与行为指标之间的对应关系较弱。所有神经元-行为相关系数均介于 0.3 至 0.3 之间，证实了在自然条件下神经活动与行为之间关联性较弱。源自斑马的神经嵌入形成了复杂的模式，包含多个联合嵌入的成分。在三对小鼠中，斑马嵌入表现出行为变量与神经变量的一致性对齐，尤其体现在身体距离和社会行为模式上。身体距离嵌入的解码误差显著高于主体与客体姿态，但仍处于预期的追踪误差范围内。神经活动与多种行为变量的联合嵌入分析揭示了在不同受试者姿态、物体姿态和行为模式下均具有较高的解码准确率。以S1-受试者姿态嵌入作为参考进行的余弦相似性分析显示，与物体相关的行为模式具有较低的对齐度，提示其主要编码的是自身及社会行为信息。

decoding-natural-behavior-from-neuroethological-embedding

Research

科研

JoVE Journal

Neuroscience

神经科学

从神经行为学嵌入解码自然行为

通过将神经生理记录与高速视频技术相结合，可获得自由活动动物神经活动模式的非侵入性测量结果。...

自由活动动物神经环路激活的记录

比较物种方法使行为神经科学家能够探索与特定行为相关的各种神经生物学因素，这些行为被视为特定动物模型的特征。该技术利用近缘物种之间自然存在的行为差异，无需采用侵入性手段即可调控行为的表达。...

采用跨物种比较方法研究父性行为的神经生物学机制

本文提出了一种用于开展闭环实验的实验框架，其中信息处理（即在与机器人身体持续交互的过程中，研究神经元集合的编码与解码及其学习机制。...

闭环神经机器人实验以测试神经元网络的计算特性

本方案介绍了一种在婴儿与演员进行无预设社交互动时，从自由活动的婴儿中解码其意图的新型神经解码方法。采用非侵入性高密度主动式头皮脑电图（EEG）记录神经活动，同时使用惯性测量单元采集运动学数据，并辅以同步视频记录进行补充。...

一种用于自由活动的人类婴儿在社交互动中多模态神经解码意图的新型实验与分析方法

本文介绍了对一系列墨西哥洞穴鱼行为进行高通量研究以及对机械感觉系统进行活体染色的方法。这些方法采用免费软件和自制脚本，为行为学研究提供了实用且经济高效的技术方案。...

墨西哥洞穴鱼的行为追踪与神经丘成像

本实验方案的目的是利用预构建的卷积神经网络实现行为追踪的自动化，并进行详细的行为分析。行为追踪可应用于任何视频数据或图像序列，且可推广用于追踪任何用户自定义的对象。...

DeepBehavior 深度学习工具箱用于自动化行为分析的逐步实现

本研究展示了一种自然情境下的实验设置，该设置可使研究人员实时呈现动作刺激，在参与者每次刺激呈现后收集其反应时间和鼠标轨迹数据，并通过一套包含特殊透明有机发光二极管（OLED）屏幕和光线调控装置的独特系统，在不同实验条件下更换动作执行者。...

一种用于实验心理学与认知神经科学研究中呈现真实人物与实时行为的自然情境实验装置

本文展示了一种视频分析流程，可克服在磁共振成像（MRI）环境中进行行为监测所面临的挑战，从而实现对外部刺激引发的非指令性行为反应的检测。该分析方法将有助于更全面地理解诱发的内在状态变化及全脑范围的活动模式。...

全脑成像期间母性行为反应的表征

可利用单感器记录技术测定昆虫嗅觉感觉神经元对气味分子的电生理反应。在本视频文章中，我们将演示如何在果蝇（Drosophila melanogaster）的触角和疟疾蚊子（Anopheles...

在昆虫 Drosophila melanogaster 和 Anopheles gambiae 中进行单感器记录

本文介绍了一种研究新生齿状回颗粒细胞在成年动物体内整合的方法。该技术利用改造后的逆转录病毒标记新生神经元，随后通过体内电生理记录来确定其功能性整合情况。...

研究成年出生神经元的整合

探索神经动力学如何编码自然行为，利用三维行为装置与mTPM成像技术在小鼠自由移动时进行精确神经解码。该方法为理解自然脑智能和复杂生命系统提供了全新框架。

从神经行为学嵌入中解码自然行为

探索更多视频