Summary
我们提出了一个协议,使用计算工具来记录和分析3-6岁儿童的功能能力。该议定书有助于将这些能力在整个发展过程中进行比较,并可用于评估发展困难。
Abstract
分析功能能力及其幼儿期发展(0-6岁)是具有某些类型发育困难的幼儿的基本方面,通过适应每个使用者(学生或患者)需要的方案干预措施,可促进预防。然而,迄今为止,很少有调查分析使用自动工具记录和解释初步评估的结果。在这里,提出了一个协议,以检查幼儿,3-6岁,智力残疾的功能能力,但该议定书也可用于0至6岁。该协议利用了计算机应用程序eEECare,它有助于解释系统观测的结果,系统观测结果由受过早期干预训练的专业人员记录在自然环境中。该软件可用于分析11个功能领域(食物自主,个人护理和卫生,独立着装和脱衣,括约肌控制,功能移动性,通信和语言,日常生活常规,适应性行为和注意力),共114种不同的行为。它的使用有助于分析观察到的能力,并大大有助于早期干预。与其他观察方法相比,它允许更有效地利用个人和物质资源。计算机应用程序的使用有助于记录观测结果,这有助于组织和思考观测结果。该软件显示与正常发育参数相比的屏幕上的观察结果。此信息可用于决策,以便针对每个用户(学生或患者)制定最合适的干预计划。同样,集群技术用于分析与软件识别的智力残疾类型与功能开发之间的关系,这种关系旨在作为早期护理专业干预的指南。
Introduction
早期观察:观察内容及方式
在普通家庭环境中和学校进行幼儿评估是使用观察方法进行的。因此,评估者必须坚持精确的观察过程,这是准确诊断的关键,因此,是成功训练的关键。有许多开发清单提供了评估指南:《港口指南2》、《布鲁内特莱津等级表3》和巴特勒开发清单4等。这些工具以科学界在人类进化发展领域制定的国际商定标准为基础。虽然这些工具分析发展领域(心理运动、认知、沟通和语言,以及自主和社会化),但最近的研究5提出了新的工具,也可以分析这些领域。这些研究指出,从诞生的观察方法为早期干预和早期发现病理提供了巨大的效用。然而,这些年龄段的观察过程很复杂,因为它们依赖于自然环境中记录的行为观察,这些观察并不总是容易进行。
在这个框架内,对早期功能能力的获取的评估对父母、教育工作者和治疗师都很感兴趣。任何此类评估都适用于已确诊或有患某种残疾风险的儿童。早期发现发育障碍对于早期诊断和干预至关重要。从出生开始观察研究将提供这种早期发现和干预的指标5。目前有各种工具(开发清单、秤、测试等)用于测量这些年龄段的发展。目前可采用的工具是发展清单,其中一些是标准化的。然而,其中一些仪器可能需要了解心理测量技术,结果不会自动显示在屏幕上。因此,开发更易于使用和解释的其他工具非常重要。
编写软件,记录和解释早期情境观测过程的数据
因此,软件开发被认为是相关的,这将有助于观察员(治疗师、教育者等)记录和解释其观察结果。该协议和软件 eEECare 既可用于与残疾儿童合作的教育中心和针对这一群体的治疗干预中心。这就是为什么从现在开始将使用术语"用户",包括学生和病人,这取决于进行干预的地方。特别是,一种软件,可以促进记录和解释从0至6岁儿童的功能能力观察自然背景下收集的数据。该软件,eEECare,基于功能能力等级6[测量0-6岁儿童的功能能力的尺度](SFA);该规模包括11个发展领域的衡量(食品自主、个人护理和卫生、独立和着装和脱衣、括约肌控制、功能移动性、通信和语言、互动符号游戏、日常生活常规、适应行为)。此外,它反过来,灵感来自《波特指南2》、《残疾清单儿科评估》(PEDI)7,以及布朗森87号的作品,以及白面包和巴西利奥84号关于0-6岁社会技能的作品、布鲁内特-莱津第3级、0-67岁儿童的发展清单以及前体9至社会技能的评估表。此工具是一个计算机应用程序,用于在纵向随访(季度、每月、年度等)中注册每个用户评估的结果。对于治疗师的干预,以及其他与疑似功能失调的儿童一起工作的专业人员来说,这是一个参考方面。此外,软件10可以自动对不同用户的功能能力的发展进行比较,无论他们是否位于同一个干预中心,从而有助于定义协作工作的共同方面。
特别是,该软件是基于主流技术(例如,Windows演示基础开发-WPF-11),一项技术革11新,集成了先进的图形,以产生准确的图形结果12和积极的计算机用户体验。图形的质量改进了可视化效果和其他工具(如电子表格)可用的交互性。应用程序可以将数据本地存储在关系数据库中,并将信息上载到要共享的云上。此外,还支持经典的客户端-服务器体系结构。这些功能便于记录从观测结果收集的数据,并处理结果以进行可视化。此外,一旦注册,很容易导出数据。这允许将数据用于强大的统计包中,以应用数据挖掘技术,如监督(分类和/或回归)和无监督(分组)机器学习。
在这项研究中,分类技术对于个性化学习具有特定的效用。该体系结构如图1和图2中所示。在图 1中,云存储的功能用作一种保护,以防在应用程序之间交换数据安全问题以及数据的潜在丢失和损坏。此外,该软件还可以使用数据库在传统的基于网络的客户端-服务器体系结构中运行(图 2),客户端之间进行所有数据交换(这些都是用于计算机科学领域的概念)。这些平台提供身份验证机制和受限访问,确保隐私和数据保护,同时促进与完全开发的应用程序的交互。最终结果是,应用程序界面为早期护理专业人员设计了14个,以便他们能够以简单的方式使用学习分析技术并参考它们,以便跟踪每个学生在15级评估区域中的发展程度。
该应用程序还提供了每个功能区域和子区域中每个用户的一般配置文件(表 1)。它还在任意一个中心的所有用户之间生成比较。简而言之,它对不同用户的干预需求进行了个性化分析。此外,它还有助于早期护理专业人员实施干预计划,因为它可以标记用户可能或可能不会显示类似发展模式的领域。所有这些结果都指导了可以一起使用的干预程序的类型,而不是必须单独设计的干预程序类型。链接到此接口的数据是按 Likert 比例从 1 到 5 测量的用户的 SFA 分数。这些分数可以与与每个 SFA 维度相关的最大发育年龄分数进行比较。该软件还可以将每个用户的时间年龄链接到每个 SFA 维度的发展年龄;检测干预领域的相关方面,从中确定治疗领域的优先次序。
功能区 | 功能子区域 |
1. 粮食自主 | 1. 食品质地 |
2. 使用餐具 | |
2. 个人护理和卫生 | 3. 牙科卫生 |
4. 发型 | |
5. 鼻护理 | |
6. 洗手 | |
7. 面部和沐浴 | |
3. 独立着装和脱衣 | 8. 修整和脱衣(腰部向上) |
修整和脱衣(腰部向下) | |
4. 括约肌控制 | 9. 括约肌控制 |
5. 功能移动性 | 10. 上肢 |
11. WC 中的转账 | |
12. 椅子上的转让 | |
13. 移动和床位转移 | |
14. 浴缸中的移动性 | |
15. 室内移动 | |
16. 物体运输 | |
17. 户外移动 | |
6. 沟通和语言 | 18. 文字理解 |
19. 理解短语 | |
20. 通信的功能使用 | |
7. 解决社会背景下的任务 | 21. 解决问题 |
22. 关于自己的信息 | |
8. 互动和象征性游戏 | 23. 互动游戏 |
24. 与同侪小组的互动 | |
25. 玩对象 | |
9. 日常生活程序 | 26. 及时指导 |
27. 家庭作业 | |
10. 自适应行为 | 28. 自残行为 |
29. 异质性(伤害他人) | |
30. 销毁物体 | |
31. 破坏性行为(无缘无故地哭泣、喊叫、大笑) | |
32. 陈规定型观念 | |
11. 注意 | 33. 注意 |
表1:功能区域和子区域列表。
图1:云存储规模功能修正自动化方案的体系结构。请点击此处查看此图形的较大版本。
图2:架构的自动化方案,修正了比例功能的经典网络。请点击此处查看此图形的较大版本。
治疗师和干预专业人员可以使用此评估协议和软件实现来评估功能能力及其在 0 至 6 年开发幼儿期的发展。该软件可用于该年龄段的儿童,尽管它对于功能能力发育疑似受损的儿童特别有用。同样,在特殊教育中心尤其有用。研究的问题是,在观察了儿童的功能能力之后,使用计算机工具是否有助于记录和解释治疗师的结果。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
本议定书是按照布尔戈斯大学(西班牙)生物伦理学委员会的程序条例执行的。在参加之前,学生及其父母以及在某些情况下的法律导师都提供了知情同意,并充分了解了学习的目标。没有为他们的参与提供经济补偿。
1. 参与招聘
- 招募0-6岁的儿童,有特殊教育史,与运动发展、认知、个人自主和社会化等领域的改变有关,以及中度至重度智力残疾。本研究共招募了11名参与者(7名男孩和4名女孩)。
- 包括根据《精神障碍诊断和统计手册》(DSM-5)16 被诊断患有智力残疾(中度或重度)的儿童,并到特殊教育16中心上学(表2)。
注:在每种情况下(取决于问题的发现和进行干预的地方),诊断应该由医院的儿科神经学家或多学科团队的心理学家根据DSM-5进行确认。理想情况下,应该有不少于15名参与者,因为插入观察结果是费力的。
性 | n | M年龄 | SD年龄 | 等级年龄(月) | 残疾* | 教育 | ||
程度 | ||||||||
a | B | C | D | |||||
男孩 | 7 | 95.2 | 11.77 | 86-114 | 4 | 3 | 2 | 5 |
女孩 | 4 | 83.5 | 23.56 | 45-112 | 1 | 3 | 2 | 2 |
注:* 残疾程度:a = 中度智力残疾;b = 严重智力残疾;教育类型:c = 联合学校教育;d = 在特定特殊教育中心上学;M = 月平均年龄;SD = 标准偏差。• 使用 DSM516的标准诊断儿童 |
表 2:样本的特征。
- 不包括在功能领域(运动、认知、个人自主和社会化发展)有正常发展的儿童和智力功能受限的儿童。
2. 数据收集
- 收集有关不同功能领域儿童发展的数据(食物自主、个人护理和卫生、独立着装和不穿衣、括约肌控制、功能移动性、沟通和语言、日常生活常规、适应性行为和注意力)。
- 在0-6岁儿童(SFA)(材料表)中,使用"量表"进行功能能力测量(SFA)5的观察,并在自然环境中(例如学校设置)进行观察。5
- 记录一周在不同自然环境中的观察结果,反映中心学生的日常生活(表1)(例如,玩耍时等)。
- 让老师或治疗师直接在教育机构照顾孩子记录观察结果。收集每个功能区域的观测值。
注:在数据观察之前,应为教师或治疗师举办三次培训课程。这些课程必须由具有幼儿评估经验的心理学家或专业人员进行。
- 让老师或治疗师直接在教育机构照顾孩子记录观察结果。收集每个功能区域的观测值。
- 将结果输入软件,用于评估0-6岁幼儿的功能能力。有关如何使用该软件的详细信息,请在第 3 步中提供。
3. 实验程序
- 在软件中将学生分配给教师
注:此步骤必须由进行干预的中心的董事或协调员执行。- 使用用户名(专业)和密码登录到软件包,并选择英语或西班牙语。
- 输入中心主任所持有的记录中的学生数据信息。
- 填写每个学生的以下字段:姓名、代码、性别、出生日期、发育年龄、初级诊断、二次诊断(如适用),以及与药物数据、过敏和其他与中心管理层感兴趣的信息相关的观察结果。
- 从中心保留的记录输入教师或治疗师信息。
- 通过单击"课堂"将学生与教师(或治疗师)一起分配到一个小组。转到"学生"一栏,选择要分配到教室的学生,然后单击"教师"并选择一个。
- 通过单击"教师"、输入日期、姓名、姓氏、识别码、邮件、密码和观察,将每组学生及其教师(或治疗师)分配到教室。单击"接受"。
注:中心主任或协调员为每个教师或治疗师分配一个角色,以对每位学生或患者进行评估(如上所述,这取决于中心的类型)。中心主任或协调员还可以查阅教师或治疗师所做的评估。
- 教师使用软件
注:执行评估的教师或治疗师可以选择学年和/或学期。该比例提供了为每个术语选择不同功能区域的可能性(材料表)。- 使用用户名(专业)和中心主任以前分配的密码登录到软件。
- 输入分配给教室的每个学员在自然环境中完成的评估结果。
- 通过单击他/她的名字在软件中选择一个学生,并开始评估不同的功能区域(详见步骤 2.3.1)。
注:教师或治疗师可以随时停止对每个学生的评估,并在保存已注册的数据后,在另外一个时间继续评估。 - 按时间顺序对每个用户的发展和预期开发进行比较分析。
- 注册数据后,通过右键单击选择"评估"列。然后选择年份和三个月。
- 选择"学生"一栏并选择要进行评估的班级的学生。选择单击需要计算的区域或子区域的列区域。
- 单击"最大值"选项卡。它得到有关学生的信息,并与他们年龄的预期发展进行比较。
注: 这为给定功能区域的用户(学生或患者)或开发配置文件提供了与用户(学生或患者)按时间顺序排列的最高预期分数的比较链接。
- 比较教室中每个用户的不同功能区域。可以使用该软件对每个用户的功能区域进行分析。以下步骤:注册数据后,通过右键单击选择"评估"列。然后选择年份和三个月。选择"学生"一栏并选择所有班级的学生。选择列区域,然后单击要评估的区域或子区域。
- 单击"最大值"选项卡。它得到学生的发展,并与期望的发展,他们的年龄的比较。
- 从软件导出数据
- 选择用户数据和功能区域,然后导出数据库。选择"Excel"列以获取数据库。在选择的统计信息程序或库中导出数据库。
- 将数据导入统计包和库,如 SPSS、Weka、Python 的 scikit 学习等,并执行聚类分析。此处,SPSS 的分析如下详细。
注:聚类或聚类分析是一种"无监督"机器学习技术,在k-means 中,它是一种分组方法,旨在将一组n观测值划分为k组,其中每个观测值都属于具有最接近平均值的组。在本实验中,k-意味着聚类用于检查儿童群及其功能发展用SFA测量。- 选择选项"分析和分类",然后选择统计包中的选项k-表示群集。
- 在描述性统计下选择交叉表,选择以下两个变量:"属于组"的聚类变量和度变量("中等"或"严重")。
注:这种对应关系很重要,因为它为教师或治疗师提供有关用户同质功能发展的信息,这些信息超出了诊断的范围,提供了在功能开发的某些领域提出类似干预计划的信息。预计此选项将促进教育或治疗服务及其个人和物质资源的充分利用。 - 选择描述性统计选项并选择交叉表和科恩卡帕系数选项。
注:Cohen Kappa 系数是衡量定性(分类)项目的费率间协议的统计。通常认为它是比简单百分比协议计算更稳健的度量,因为k考虑了协议偶然发生的可能性。该系数提供了中度至重度智力残疾诊断分类与软件开发结果聚类之间的关系的可靠性指标。
- 使用电子表格为中度和严重智力残疾的儿童群体生成蜘蛛图和特定条形图。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
本研究招募了11名确诊诊断参与者[均具有中度(发育商+ DQ 40-65)和严重(DQ 39-60)智力残疾]。该协议在特殊教育中心进行了20个多月的试点项目。本研究的所有诊断均由一个多学科团队根据 DSM-5(使用布鲁内特 Lézine 刻度)进行确认,因为影响程度超出了其他尺度的范围,如韦克斯勒学前班和初级智能规模 (WPPSI)。然而,参与者的年龄略高于6岁(表2)。本研究中执行的操作和应用时间见表3。
功能区 | 时间 | 位置 | 负责* |
食品自治 | 1 周 | 在自然情况下用餐。 | 教师或治疗师 |
个人护理和卫生 | 1 周 | 在自然情况下进行护理和卫生活动。 | 教师或治疗师 |
(中心或家庭) | |||
独立着装和脱衣 | 1 周 | 在自然环境中穿衣和脱衣服的任务。 | 教师或治疗师 |
(中心或家庭) | |||
括约肌的控制 | 1 周 | 在白天的自然环境中。 | 教师或治疗师 |
(中心或家庭) | |||
功能移动性 | 1 周 | 在自然环境中进行日常生活活动。 | 教师或治疗师 |
(中心或家庭) | |||
沟通和语言 | 1 周 | 在自然环境中进行日常生活活动。 | 教师或治疗师 |
(中心或家庭) | |||
解决社会环境中的任务 | 1 周 | 在自然环境中进行日常生活活动 | 教师或治疗师 |
(中心或家庭) | |||
互动和符号游戏 | 1 周 | 自然环境中的象征性游戏情况, | 教师或治疗师 |
(中心或家庭) | |||
日常生活 | 1 周 | 在自然环境中进行日常生活活动。 | 教师或治疗师 |
(中心或家庭) | |||
自适应行为 | 1 周 | 在自然环境中进行日常生活活动。 | 教师或治疗师 |
(中心或家庭) | |||
注意 | 1 周 | 在自然环境中进行日常生活活动。 | 教师或治疗师 |
(中心或家庭) | |||
注:*无论是教师还是治疗师,都会将中心收集的观察结果与从家庭收集的信息进行对比,看是否存在任何差异。在以视频格式录制的自然环境观察之前,总是征求家人的事先同意和同意,以便随后进行分析。观测次数是根据功能能力的类型确定的,确定了在自然语境(中心或家庭)中一周内不同观测的标准。 |
表3:不同功能区域的观测过程。
一旦专业人员(教师或治疗师)输入软件中的数据,就可以进行比较分析。显示了来自同一教室的用户(学生或患者)在规模的不同维度上的发展。
在本研究中,我们介绍了一些数据分析实例,其中带有观察协议以及软件的使用。我们首先进行了一个集群分析,以检查有特殊教育需要的儿童的中等和严重智力残疾的诊断是否符合他们的实际发展。使用 k-means 方法,我们发现属于任一组的 2 个群集。群集 1 和群集 2 分别集成了 55% 和 45% 的样本。然后构建了一个交叉表,以研究组组成员数与可变的"残疾程度"之间的关系。结果发现,第1组的所有科目均属于A组(中等智力残疾)和第2组,包括属于b组的所有学生(严重智力残疾),只有一名中等智力残疾(表4)。获得科恩卡帕系数 = .820,p = .006。 p
群集案例编号 | 总 | |||
1 | 2 | |||
障碍 | a | 5 | 0 | 5 |
B | 1 | 5 | 6 | |
总 | 6 | 5 | 11 |
表4:交叉表残疾组案例编号。
因此,该软件可以记录在同一(教育或治疗)中心接受治疗的儿童的功能能力的发展,并可以确定相似和不同的发展水平。这一方面非常重要,因为它将促进在有类似需要的儿童中应用类似的干预方案,从而促进个性化干预和有效利用资源。
通过这种分析,可以对每个功能组的参与者的能力进行研究(残疾中度与严重残疾)。为此,使用 Spider 和特定条形图,参见图 3和图 4。
图3:每个用户(学生或患者)的发展与几个智力残疾儿童的预期发展之间的比较分析。
(A) 食物自主, (B) 个人护理和卫生, (C) 独立着装和脱衣, (D) 括约肌控制, (E) 功能流动性, (F) 沟通和语言, (G) 互动和符号游戏, (H) 日常生活习惯, (I) 自适应行为.蓝线表示技能获取分数。Garnet 行指示最大分数。错误栏包括A、 B、 C、 D、 E、 F、 G、 H和I。误差条是数据可变性的图形表示,误差条表示值的不确定性。x 轴表示参与者(有几个智力障碍),y 轴表示他们在每个功能区域获得的分数。蜘蛛图显示了每个功能区参与者的比较发展。请点击此处查看此图形的较大版本。
图4:每个用户(学生或患者)的发展与中度残疾儿童的预期发展之间的比较分析。
(A) 食物自主, (B) 个人护理和卫生, (C) 独立着装和脱衣, (D) 括约肌控制, (E) 功能流动性, (F) 沟通和语言, (G) 互动和符号游戏, (H) 日常生活习惯, (I) 适应行为.蓝线表示技能获取分数。Garnet 行指示最大分数。错误栏包括A、 B、 C、 D、 E、 F、 G、 H和I。误差条是数据可变性的图形表示,误差条表示值的不确定性。x 轴表示参与者(有中等智力残疾),y 轴表示他们在每个功能区域获得的分数。蜘蛛图显示了每个功能区参与者的比较发展。请点击此处查看此图形的较大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
使用该软件时,建议教师或治疗师至少两次记录每个孩子功能能力的发展情况。该比额表包含114个项目,11个功能区,分为33个功能子区,评估应是自然情况观察的结果。此外,该软件允许早期护理专业人员轻松记录评估数据,并分析单个和组图中显示的数据,突出用户、学生或患者的发展,这些用户、学生或患者在所有功能区和子区域分配给教室。
该软件还促进数据从中心和教室导出到文本文件(例如.csv、.json)和其他电子表格格式(例如.xlsx),方便它们传输到统计包和特定的机器学习库,其中可以执行其他更复杂的分析,如聚类分析、参数统计和/或非参数统计的平均差异以及该示例的软件的可靠性分析等。在这种情况下,我们使用统计软件包应用了非参数统计。
该软件的使用仅在一个中心进行测试,因此正在开展工作,以将其应用程序扩展到其他残疾儿童服务中心。同样,从持续改进的角度来看,还正在开发软件的第二阶段,根据检测受影响最大的功能区或将自动生成的开发领域,有可能实施个性化的早期刺激方案。这些方案将包括按购置需求的等级顺序实施的行为,以及具体的干预准则、必要的材料、实施和概括活动的时间和空间,以及类似于评估阶段提出的监测和评价模板。
值得注意的是,使用观察功能能力的协议,不自动处理专业人员解释的信息,既不能获得实时解释的结果,也不能进行统计分析,从而指导治疗干预的后续做法。
作为一个一般结论,可以指出,该软件的使用促进了治疗师对结果的录制和解释。中心主任和参与这项研究的治疗师都以非常积极的眼光高度评价这些功能方面。
这种方法在物质资源(计算机特性、应用要求)和个人资源(以前使用软件应用程序的知识程度以及专业记录观察结果的解释)方面,其实施几乎没有限制。应用程序的使用并不复杂。最重要的困难在于使用统计包处理数据库,此时需要更复杂的数据计算和计算能力。
同样,从持续改进的角度来看,正在开发软件的第二阶段,其中将有可能根据检测受影响最大的功能区域或自动生成的开发领域实施个性化的早期刺激计划。这些方案将包括按购置需求的等级顺序实施的行为,以及具体的干预准则、必要的材料、实施的时间和空间以及活动的一般化,以及类似于评估阶段提出的监测和评价模板。
这里介绍的工具的使用和拟议的改进,除了在与具有某些发展影响的儿童合作的机构中进行实地工作外,将有助于这一领域的研究人员的工作,也有助于政府机构的编程使用,因为它既方便了对结果的登记和解释,也有助于对结果进行登记和解释。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者宣称他们没有相互竞争的财务利益。
Acknowledgments
我们要感谢布尔戈斯大学研究和知识转让副校长通过"知识库公司"VI Edición Convocatoria Prueba 概念:Impulso 一个投资成果的"[第六版"的概念证明呼吁:推动研究成果的英勇和营销],使软件的开发成为可能。我们同样感谢省教育局的教育方案区和布尔戈斯(西班牙)的"Fray Pedro Ponce de León"特殊教育中心,以及同意事先知情同意参加这一试点研究的儿童家属,如果没有他们的协作,软件(eEECare)将是不可能的。该视频由阿尔贝托·卡尔沃·罗德里格斯电视UBU技术员编辑,配音由布尔戈斯大学英语语言系的卡罗琳·马丁完成。
Materials
Name | Company | Catalog Number | Comments |
eEarlyCare software | Authors and University of Burgos. Register number 00/2019/3855 | Computer application to implement SFA | |
Scale for the measurement of functional abilities in 0-6 years old (SFA) | Authors and University of Burgos. Register number 00/2019/4253 | Scale for the measurement of functional abilities in 0-6 year olds |
References
- Sáiz, M. C. Intervención cognitiva en niños pequeños [Cognitive intervention in early children]. Intervención Temprana: Desarrollo óptimo de 0 a 6 años [Early Intervention: Optimal development from 0-to-6 years old]. Gómez, A., Viguer, P., Cantero, M. J. , Síntesis. Madrid, Spain. 117-133 (2003).
- Bluma, M. S., Shearer, M. S., Frohman, A. H., Hilliard, J. M. Portage Guide to Early Education (2nd Edition). , Cooperative Educational Service Agency. Wisconsin, United States. (1978).
- Josse, D. Escala de desarrollo psicomotor de la primera infancia Brunet-Lézine Revisado [Scale of psychomotor development of early childhood (Brunet-Lézine-Revised)]. Psymtéc. , Madrid, Spain. (1997).
- Newborg, J. Battelle Developmental Inventory, 2nd Edition: Examiner's manual. , Itasca, IL: Riverside, USA. (2005).
- Whitebread, D., Basilio, M. S. Emergencia y desarrollo temprano de la autorregulación en niños preescolares [The emergence and early development of self-regulation in preschool children]. Profesorado. Revista de Currículum y Formación del Profesorado. 16 (1), 1-20 (2012).
- Pérez, Y., Sáiz, M. C. Escala para la medición de habilidades funcionales en edades 0-6 años (EHFI) [Scale for the measurement of functional abilities in 0-to-6-year olds (SFA)]. Registration number 00/2019/4253. , (2018).
- Haley, S. M., Coster, W. J., Ludlow, L. H., Haltiwanger, J. T., Andrellos, P. J. The Pediatric Evaluation of Disability Inventory (PEDI) (2nd ed.). , Pearson Clinical Assessment. Washington, United States. (2012).
- Bronson, M. B. Self-regulation In Early Childhood. , The Guilford Press. NY, United States. (2000).
- Sáiz, M. C., Carbonero, M. A. Metacognitive Precursors: An Analysis in Children with Different Disabilities. Brain Science. 7 (10), 1-14 (2017).
- Sáiz, M. C., Marticorena, R., Arnaiz-González,, Díez-Pastor, J. F. eEarlyCare Computer application. , Burgos, Spain. Registration number 00/2019/3855 (2019).
- Chowdhury, K. Windows Presentation Foundation Development Cookbook. (1st Edition). , Packt Publishing. Birmingham. (2018).
- Nogal, F., Marticorena, R. UBUGrades 2.0. Doctoral Degree dissertation. , Universidad de Burgos. Burgos, Spain. (2018).
- Sáiz, M. C., Marticorena, R., Arnaiz-Gonzalez, Á, Díez-Pastor, J. F., Rodríguez-Arribas, S. Computer application for the registration and automation of the correction of a functional abilities detection scale in early care. Proceeding of INTED2019: 13th annual International Technology, Education and Development Conference. , IATED Academy. Valencia, Spain. 5322-5328 (2019).
- Hartson, R., Pyla, P. S. The UX book: Process and guidelines for ensuring a quality user experience. , Morgan Kaufmann. Amsterdam, Dutch. (2012).
- Bernal, R., Ramírez, S. M. Improving the quality of early childhood care at scale: The effects of "From Zero to Forever". World Development. 118, 91-105 (2019).
- American Psychiatric Association. Diagnostic and Statistical Manual of Mental Disorders (DSM-5). (5th Edition). , American Psychiatric Association. Arlington, VA, United States. (2013).