Summary
这种方法产生决策树，针对人群更容易遭受轻度认知障碍，并可用于具有成本效益的选择性筛查疾病。
Abstract
轻度认知障碍（MCI）是老年痴呆的第一个迹象，早期发现在我们的老龄化社会至关重要。常见的 MCI 测试非常耗时，因此不分青红皂白的大规模筛查不会具有成本效益。在这里，我们描述了一个协议，该协议使用机器学习技术快速选择候选人，以便通过基于问题的 MCI 测试进行进一步筛选。这最大限度地减少了筛查所需的资源数量，因为只有潜在的 MCI 阳性患者才会接受进一步检测。
该方法在MCI的初步研究中得到了应用，该研究构成了设计选择性筛选决策树的起点。初步研究收集了许多人口统计和生活方式变量，以及有关患者药物的详细信息。短便体精神状态问卷（SPMSQ）和微型心理状态检查（MMSE）用于检测MCI的可能病例。最后，我们使用此方法设计了一个有效的流程，用于对有 MCI 风险的个人进行分类。这项工作还提供了与MCI相关的生活方式相关因素的见解，这些因素可用于预防和早期发现老年人口的MCI。
Introduction
人口老龄化正在增加慢性和退行性疾病的流行，特别是退行性痴呆症，预计到2050年，全球将有1.31亿人受到影响。在所有退行性痴呆症中，阿尔茨海默氏病（AD）最为常见，在欧洲的总患病率为6.88%2。由于AD患者的独立性不断下降，当AD开始显现时，这个群体应该立即开始获得支持。因此，早期发现AD的突起体征，如轻度认知障碍（MCI），至关重要。
MCI被定义为一个中间认知衰退阶段，对应于正常老化和严重恶化由于痴呆症3。根据Petersen等人4日的估计，65-69岁人群中MCI的患病率为8.4%，80岁以上的人群的MCI患病率为25.2%。MCI 导致个人在执行低级认知技能方面遇到比预期更多的困难，尤其是那些与记忆和语言相关的技能，但不会影响日常生活的活动。
筛查不是诊断的同义词;MCI 的诊断将始终是一项临床任务，而筛查方法只能告知我们患者患此病理学的可能性较高，并且有一个有充分理由怀疑 MCI 的嫌疑，应该在临床上得到确认。因此，初级卫生保健工作者（医生、药剂师、护士等）可以从可在几分钟内应用的简单筛查方法（简短的认知测试）中受益。理想情况下，这些将客观地识别患者有高概率遭受MCI，以便他们然后可以进行临床测试由一般或专业的医生。
鉴于早期发现MCI正在成为公共卫生方面的一项基本任务，这项工作旨在确定哪些特征有助于在老年人口筛查测试中有针对性地确定MCI。然后，这些群体将在初级保健提供者进行的测试中更彻底地测试MCI。此方法提供了决策树，并提供了用于标识目标人口组的适当算法。
在这些特征中，年龄是与这种病理学发展相关的最一致的因素之一。其他相关特征与人口统计学或生活方式有关5。在后者中，一些研究已经确定白天或夜间睡眠的持续时间是一个危险因素，可能导致MCI5，6，7，8，9的诊断。长期服用药物，如苯并二氮杂卓，估计20%-25%的老年人10，11，也可以影响睡眠时间和发展MCI12，13。事实上，长期治疗慢性病可能是在预选患有MCI的高危人群方面有用的重要特征。
在这里，我们开发了基于数据的模型，这些模型使用自动学习算法、决策树和预测工具，通过区分在早期中发挥重要作用的特征来提高检测 MCI 的方法的效率检测MCI。这里介绍的决策树是使用社区药房使用特定的西班牙患者群体生产的。然而，这种方法在其他具有不同特征的人群中也很有用。
这项工作是在初级保健和专科医生的合作下完成的。社区药房是测试此算法的理想选择，因为它们靠近患者，营业时间长，并且经常访问和咨询。退行性痴呆症是复杂的情况，初级保健提供者并不总是对此十分了解。因此，参与这一进程将提高对患有MCI和痴呆症的人的认识。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
这项研究中应用的方法之前已在西班牙家庭和社区药房协会（SEFAC）的瓦伦西亚地区（西班牙）社区药店与CEU卡德纳尔·埃雷拉大学进行的工作中发表5篇。本研究由中欧大学卡德纳尔·埃雷拉研究伦理委员会审查和批准（批准号为No.CEI11/001）于2011年3月。根据《赫尔辛基宣言》，所有参与研究的个人都表示书面知情同意参加。
1. 与轻度认知障碍相关的因素的选择
- 搜索与 MCI 相关的术语，用于筛选 Cochrane 系统评论（例如，认知障碍、痴呆、风险因素等）。
- 搜索在 PubMed 数据库中发布的与认知恶化或痴呆症有关系的一些证据的术语;这些因素包括人口因素（性别、年龄、教育水平和经济地位）、社会因素（认知和社会活动）、慢性疾病（胆固醇、抑郁症、高血压、糖尿病和肥胖症）和生活方式行为（酒精）消费、吸烟习惯、饮食、身体活动和睡眠时间）。
- 计算定性变量的赔率或科恩的d效应大小为定量变量15。选择认知退化或痴呆症的影响大小较大的变量，用于制定调查问卷。
2. 问卷的设计
- 按照Nardi16提供的准则，设计一份问卷，以收集有关所选变量的信息。例如，Climent等人5中使用的变量是人口统计学（年龄、体重和身高[使用校准的尺度和血压计进行标准化程序测量]、性别、教育水平和就业类型）、生活方式（体育锻炼、阅读、过夜和白天睡觉的时间、谜题、游戏、电视消费时间以及烟草和酒精消费）和慢性疾病（高血压、高脂血症和糖尿病）。此外，记录抑郁症的存在或不存在，这经常与认知恶化有关。
- 设计一个药物治疗随访表，报告参与者在面试时消耗的所有药物，如Climent等人5，它使用Dader的方法17来设计这张药单。
3. 选择用于MCI筛查的测试
- 确定所有用于筛查 MCI 的测试，这些测试可以由初级卫生保健工作者（例如药剂师）进行。拒绝必须由专家执行的任何测试。满足这些条件的一些测试包括短便携带精神状态问卷（SPMSQ）18、迷你精神状态检查（MMSE）19、记忆障碍筛查（MIS）20、图片记忆障碍筛查（PMIS）21、蒙特利尔认知评估（MoCA）22、圣路易斯大学精神状态（SLUMS）23和快速轻度认知障碍（Qmci）24。Cullen等人25号对每个MCI测试进行了详尽的审查。
- 寻找科学文献中测试敏感性和特异性的良好估计。
- 估计对健康个体进行这些测试所需的时间。
- 考虑完成这些测试所需的基本患者特征。例如，由于许多 MCI 考试不适合文盲参与者，因此可能需要最低教育水平。通常应用一组 MCI 筛选测试来提高灵敏度;然而，如果最终选择性筛查针对大量人群，药剂师必须迅速进行最低数量的检测。Climent等人5使用MMSE和SPMSQ测试评估了MCI，后者适用于生活在西班牙内战中的大量文盲。
- 使用由Pfeiffer18的SPMSQ的变种是由马丁内斯德拉伊格莱西亚26验证西班牙语。此测试的最大分数为 10，确定认知障碍的截止点是 3 个或更多错误（文盲个人为 4 个或更多）。完成此测试需要 8 到 10 分钟。
- 使用由Blesa27验证的MMSE的MMSE版本，通过调整原来的版本由福尔斯坦19。该筛查测试的最高分为 30 分，并根据患者的受教育年龄和年龄进行更正。得分低于或等于 24 的学员被视为 MCI 案例。MMSE 是一般认知功能的度量，包括时间和地点、书面语言和口语、注意力范围、计算和记忆的定位。它被管理给这项研究的所有参与者，因为它是一个非常短的测试，只需要大约5分钟完成。
4. 主题招聘
- 寻找愿意招募非制度化人群的药剂师，形成研究人群。Climent等人提到的研究包括65岁或以上的人，他们定期去药房，并同意参加这项研究。排除在执行这些评估测试时有任何困难（例如，由于失明、耳聋等）或已经接受痴呆症治疗的患者。
- 向参与研究的药剂师提供知情同意表，每个参与研究的人必须填写。此同意书规定了研究的标题、项目的目标、参与者将参加的所有程序的可理解解释、没有特定风险、所有收集的数据的机密性以及有权在任何时候以任何理由退出研究。
- 培训药剂师对参与者进行结构化的个人访谈，每人持续约半小时。收集1年的数据，并将所有表格发送给研究中负责数据保护的研究人员。随后对患者进行3个月的随访。
- 指导药剂师如何使用 MCI 测试识别可能的 MCI 病例。基于 Climent 等人5，我们使用 SPMSQ 分数 4 分或更多（对于文盲参与者）或 3 分或更多点的其他参与者，并在更正的 MMSE 测试中使用了 24 分或更少的分数。
- 指导药剂师如何将 MCI 病例转介给医学专家（神经科医生）进行临床诊断 - 本研究中使用的流程图的最后一步（图 1）。
图1：研究的流程图和建议的选择性筛选。左侧表示初始研究，其数据通过机器学习技术进行分析，建议对右侧面板中显示的 MCI 进行选择性筛选。这个数字是从第34号修改。请点击此处查看此图的较大版本。
5. 药剂师研究员培训
- 联系专家，组织课程，培训参与的药剂师与认知障碍有关的基本知识，并管理其筛查工具，例如SPMSQ和MMSE。
- 确保参与的药剂师了解程序、数据收集协议以及与数据保护相关的所有可能的问题。通知他们，该项目已获得研究伦理委员会的批准，并告知根据《赫尔辛基宣言》同意书的重要性。
注：为了进行Climent等人5年所述的研究，在官方药剂师学院和卡德纳尔-赫雷拉中欧大学举办了讲习班，内容涉及：MCI和痴呆症;MCI 的诊断方法以及 SPMQP 和 MMSE 的管理（由卡斯特利翁拉普纳医院的神经学服务教授）;高级社区药剂师研究人员对方法论的介绍和解释;UCH-CEU大学药学系的研究人员的健康教育和认知培训。
6. 学习设计
- 计算样本大小以评估项目的可行性。由于这是一个观察性研究，较大的样本将产生更有效的工具。有两种方法可以确定样本大小：一种是基于患病率的估计，另一种是更精确的，考虑到效果大小。
- 计算对人群中疾病患病率的准确估计
其中 α 是显著性水平，p0是初始估计，误差是置信度为 100（1 - α）% 时预期的最大误差。 - 根据文献中每个因子的效果大小，使用 R 中的pwr包等工具来估计检测差异15、28所需的功率。
注：例如，在我们的研究5中，我们设计了第一个提案，误差为3%，置信度为95%，初步估计65岁或以上人群中MCI的流行率为15%，估计所需样本数为541人。
- 计算对人群中疾病患病率的准确估计
7. 跨学科交流网络、药剂师、初级卫生保健医生和专家
- 设计信函，将有关项目的信息传达给相关医疗中心。
- 向参与的药剂师解释如何通过给初级卫生保健中心的信告知其指定的医生筛查结果。
- 向与参与药店相关的医疗中心的医疗协调员和被指派到的医院的神经内科服务部发送书面信函。
- 联系参与的神经学家，了解每个患者通过专业医疗保健提供者进行的特定测试获得的明确诊断。在此之前，初级卫生保健提供者应执行以下协议，如临床指南（图2）所概述的。
图2：初级卫生保健行动协议。在专家将患者转诊进行医疗诊断之前，应考虑在早期 MCI 检测中考虑的初级卫生保健行动示例。请点击此处查看此图的较大版本。
8. 统计分析和预处理
注：在应用机器学习技术之前，需要根据最终研究目标和应用过程，将原始数据转换为新数据集。对于此转换，应考虑几件事情，包括算法的特征。这是因为其中一些对跨列之间缺乏可变性或信息共享非常敏感，尽管用于生成决策树的算法对于这些问题特别可靠。此初始阶段旨在对定性变量进行分类，并为每个变量收集具有足够情况的值。为了进行有效的筛选，选择其采集证明简单和准确的变量非常重要。参与者通过简短的访谈进行选择，其中所使用的算法被限制在白盒模型中，因此很容易检查用于决定个人是否应该参加考试的标准。我们建议在R软件中使用rpart29包来执行这些算法，并实现递归分区。
- 从参与药店收集所有表格，并将其转换为一个表格，其中每一列都是变量，每个参与者都是一排。
- 为每个参与者分配一个标识号。将标识号和联系信息保存在其他文档中，以便机器学习算法不使用这些信息。
- 根据药物治疗随访表上的活性主要成分，生成变量以分类患者服用的每个药物是否对应于第二或第三个ATC30（解剖治疗化学）水平代码。
- 执行初始描述性分析。
- 对于每个连续变量，为变量选择适当的对比度。对于分类变量，选择被视为基线的值。
- 对于分类变量，计算具有响应变量的单变量逻辑回归，用于筛选 MCI。使用应急表、p值、样本赔率和赔率的 95% 置信区间分析回归结果。
- 对于定量变量，计算其系数的平均值、标准偏差、逻辑回归系数和 95% 置信区间。
- 考虑到这些变量难以准确收集，拒绝缺少（不可用）值的变量。
- 根据逻辑回归分析，仅选择至少有一个统计显著性类别的变量（α< 0.01）。与初始数据集相比，此步骤的结果将减少数据集。
9. 创建决策树的算法
注： 机器学习算法必须正确参数化，以预测哪些个人可能有积极的 MCI 测试结果。筛查条件时的主要问题之一是原始数据预期是不平衡的（即，与阴性数据相比，阳性病例很少）。为了得到具有平衡数据的模型，我们使用了一种称为下采样或随机采样的技术，将频率与最低频率等级31的频次相等。有效的筛查还需要尽可能减少假阴性的数量（即提高选择患有MCI的参与者的敏感性）。用于实现更高灵敏度的技术之一是在计算 Gini 的杂质指数（即算法用于为决策树选择最佳拆分的索引）时引入惩罚32。
- 使用 caret 库33中的createDataPartition函数，分别生成包含整个数据集 80% 和 20% 的定型和测试数据集。
- 将用于生成决策树的算法应用于训练数据集。再次使用列车功能在卡丁车库33。以下步骤是函数的不同参数;例如，本文中使用的树是使用rpart29（方法 = "rpart"）生成的，但其他算法可用。
- 选择"向下采样"采样方法，并将采样= "向下"参数引入插入插入器中。
- 设置两个类的先前概率。
- 提供一个损失矩阵，其中应用了吉尼的杂质指数惩罚，以便专注于提高灵敏度。
- 对于算法中的每个参数，选择适当的值网格。
- 使用接收器操作曲线 （ROC） 值的交叉验证估计来选择参数网格中的最佳模型。
- 计算一个混淆矩阵和 ROC 曲线 （AUC） 下的面积，用于测试集预测，以评估模型的真实性能。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
参与的药房收集了728名使用者的数据，并收集了除给参与者开的药外的人口变量。对所有变量34执行单变量逻辑回归;图 3和图 4所示的误差条图是赔率（对于定性变量）的置信区间和逻辑回归系数（对于定量变量）的置信区间的便捷图形表示。选取了p值超过 0.01 的变量（性别、年龄、教育水平、阅读习惯、睡眠时间、抑郁和记忆抱怨），并用于生成基于决策树的白盒模型。此决策树是使用由 583 个人组成的培训数据集作为输入生成的，并使用一组由 145 名参与者组成的测试组进行验证。
在 R 中使用 caret33库后，结果树根据树中的最后一个节点（如图 5所示）以及他们对几个问题的答案，将遭受 MCI 的概率分配给每个人。为了评估这些概率的预测能力，对测试集进行了ROC分析（图6）;其 AUC 为 0.763，其 95% 置信区间为 （0.6624， 0.8632）。除了概率之外，图 5所示的树还使用了非常简单的问题，说明患者睡眠时间以及他们阅读的频率，以建议（灵敏度为 0.76，特异性为 0.70），患者是否应参加 MCI 测试。
使用此决策树和简短访谈来选择有 MCI 风险的用户，我们能够显著减少需要 MCI 测试的患者数量（管理非常耗时）。通过使用测试集中的数据并解释表 1所示的观测和预测类的混淆矩阵，可以估计这种减少。在这项工作中，测试集的 145 名参与者中有 55 人被决策树确定为进一步的 MCI 测试（表示参加测试的用户减少了 62%），同时还选择了大多数对 MCI 呈阳性的个人（25 人中有 19 人）。
图 3：预处理期间选择的变量示例。计算了赔率的 99% 置信区间，并表示为误差柱。逻辑回归的基值指示在每个面板顶部的变量名称下方。对于变量的每个值，误差条表示取该值与取基值的赔率的置信区间。由于选择了用于生成树的变量，因此置信区间不包括某些值的值 0，因为这些值存在显著差异。垂直轴的刻度是对数，有助于跨组进行比较。请点击此处查看此图的较大版本。
图 4：预处理期间未选择变量的示例。计算了赔率的 99% 置信区间，用误差柱表示。逻辑回归的基值指示在每个面板顶部的变量名称下方。对于变量的每个值，误差条表示取该值与取基值的赔率的置信区间。与前一个图相比，所选变量的所有置信区间都包括值 0，因为未发现生成树的显著差异。垂直轴的比例是对数，以帮助跨组进行比较。请点击此处查看此图的较大版本。
图5：建议分区树用于选择药房用户。以下树显示了 65 岁以上个体 MCI 测试的选择算法。框顶部的文本对应于参加 MCI 筛选测试的建议，下面的两个数字分别是 MCI 测试结果为负或阳性的概率。框底部的值是训练集中具有这些特征的个人的百分比。盒子的颜色越暖和，MCI测试就越有可能呈阳性。顶部节点对应于有关参与者是否有内存投诉的问题。如果个人没有记忆投诉，树导致左分支和随后的问题询问个人的性别;有记忆投诉的患者被问到他们每天的睡眠时间。这个数字是从第34号修改。请点击此处查看此图的较大版本。
图6：分板树的接收方操作曲线和测试集中最终决定的灵敏度和特异性。该图表示测试集中的分区树算法分配的概率的 ROC 曲线。红色表面对应于 AUC，曲线上的蓝色点显示树提出的最终建议的敏感性和特异性。请点击此处查看此图的较大版本。
| 参考 | |||
| 不 | 是的 | ||
| 预测 | 不 | 84 | 6 |
| 是的 | 36 | 19 | |
表1：混淆矩阵。用于验证所提议模型的测试集中的预测值和观测值的混淆矩阵。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
在 PubMed 数据库中的 Cochrane 研究中搜索与 MCI 相关的术语后，为这项研究创建了一个特定的调查问卷，该问卷使用了与 MCI 相关的最明显变量。人口、生活方式和社会因素，以及病人的药物治疗和一些相关的病理也被记录下来。此外，还选择了SPMSQ和MMSE MCI测试。重要的是，SPMSQ不受学员教育水平的影响。药剂师接受了管理这项研究的培训，并通过通知他们这项工作的信件保证与初级和专科护理的沟通。只有专业的医疗保健提供者可以明确作出诊断，如果MCI被怀疑由于这些测试的结果。
总之，在这项研究中，我们筛选了该疾病患病率较低的人群的MCI（17%）。我们设计了一组用于机器学习技术的选择标准，将 MCI 阳性的百分比提高到所选用户中的 30% 以上。因此，这些工具有助于提高筛选效率，并大大降低决策树选择的人口群体的大规模筛查成本。
此方法的一个限制是，决策树可能由于总体变化而在此特定队列中无效，因此可能需要定期更新。例如，这一人口中的许多人是文盲，但65岁以上的文盲人数今后将减少。这些人口统计变化将影响与阅读相关的变量，并且需要将来重新校准决策树。
值得注意的是，此数据驱动模型提供了有关构建简洁但信息丰富且高效的模型中最重要的变量的信息（来自数百个）。构建决策树有助于深入了解要关注的最佳变量，并且既是一种经济高效的方法，可帮助选择建议进行 MCI 测试的人员，并在此环境中进一步了解这些群体。
为了提高MCI的未来百分比检测率，我们将需要新的具有成本效益的技术，以确保提高有效性。该协议非常耗时，药剂师很难融入日常工作。因此，可以考虑其他测试，如MoCA22或SLUMS23（具有足够的灵敏度和特异性），以便将来快速检测MCI。
对特异性和测试持续时间之间的权衡进行系统评估应提高用于筛选的 MCI 测试集的有效性。此外，研究中包括的相关定量变量应具有广泛的范围，以便为它们选择有效的截止量;狭窄的范围将排除大部分人口的早期发现。例如，年龄变量（在 MCI 诊断中一直被视为一个重要标准）在本决策树中被认为不相关，因为招聘标准（65 岁以上）过于保守;在未来的研究中包括较年轻的个体，可以计算出开始MCI筛查的最佳年龄。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项工作是在认识阿尔茨海默氏症基金会的支持和中欧大学卡德纳尔·埃雷拉大学多媒体制作服务的帮助下进行的，特别是恩里克·吉纳。我们要表彰所有参与的药房 （SEFAC） 的工作，以及初级保健医生协会 （SEMERGEN） 和神经病学协会 （SVN） 的合作医生，他们帮助进行 MCI 诊断，尤其是维森特·加斯苏尔、拉斐尔桑切斯和乔迪·佩雷斯最后，我们感谢所有同意参加这项研究的人。
Materials
| Name | Company | Catalog Number | Comments |
| caret | Max Kuhn | R package | |
| rpart | Terry Therneau, Beth Atkinson, Brian Ripley | R package | |
| SPMSQ in Spanish | Farmaceuticoscomunitarios.org | http://farmaceuticoscomunitarios.org/anexos/vol11_n1/ANEXO1.pdf | |
| SPMSQ in English | geriatrics.stanford.edu | https://geriatrics.stanford.edu/culturemed/overview/assessment/assessment_toolkit/spmsq.html | |
| MMSE in Spanish | Farmaceuticoscomunitarios.org | http://farmaceuticoscomunitarios.org/anexos/vol11_n1/ANEXO2.pdf | |
| MMSE in English | oxfordmedicaleducation.com | http://www.oxfordmedicaleducation.com/geriatrics/mini-mental-state-examination-mmse/ |
References
- Prince, M., Comas-Herrera, A., Knapp, M., Guerchet, M., Karagiannidou, M. World Alzheimer report 2016: improving healthcare for people living with dementia: coverage, quality and costs now and in the future. , Alzheimer's Disease International (ADI). https://scholar.google.com/scholar.bib?q=info:mEGpcpLHEIMJ:scholar.google.com (2016).
- Niu, H., Álvarez-Álvarez, I., Guillén-Grima, F., Aguinaga-Ontoso, I. Prevalence and incidence of Alzheimer's disease in Europe: A meta-analysis. Neurología (English Edition). 32 (8), 523-532 (2017).
- Petersen, R. C., et al. Mild Cognitive Impairment: Clinical Characterization and Outcome. Archives of Neurology. 56 (3), 303 (1999).
- Petersen, R. C., et al. Practice guideline update summary: Mild cognitive impairment: Report of the Guideline Development, Dissemination, and Implementation Subcommittee of the American Academy of Neurology. Neurology. 90 (3), 126-135 (2018).
- Climent, M. T., Vilaplana, A. M., Arnedo, A., Vilar, J., Moreno-Royo, L. Life styles associated cognitive impairment. Study from the community pharmacy [Estilos de vida asociados a deterioro cognitivo. Estudio preliminar desde la farmacia comunitaria]. Revista de Investigacion Clinica. 65 (6), 500-509 (2013).
- Faubel, R., et al. Usual sleep duration and cognitive function in older adults in Spain. Journal of Sleep Research. 18 (4), 427-435 (2009).
- Benito-León, J., Louis, E. D., Bermejo-Pareja, F. Cognitive decline in short and long sleepers: A prospective population-based study (NEDICES). Journal of Psychiatric Research. 47 (12), 1998-2003 (2013).
- Ramos, A. R., et al. Association between Sleep Duration and the Mini-Mental Score: The Northern Manhattan Study. Journal of Clinical Sleep Medicine. 9 (7), 669 (2013).
- Gabelle, A., et al. Excessive Sleepiness and Longer Nighttime in Bed Increase the Risk of Cognitive Decline in Frail Elderly Subjects: The MAPT-Sleep Study. Frontiers in Aging Neuroscience. 9, 312 (2017).
- Fernández, M., et al. Prevalence of dementia in the elderly aged above 65 in a district in the Basque Country. Revista de Neurologia. 46 (2), 89-96 (2008).
- Velert Vila, J., et al. Suitability of the use of benzodiazepines prescribed by the pharmacist in the elderly. A doctor-pharmacist collaboration study. Atención Primaria. 44 (7), 402-410 (2012).
- Ranstam, J., et al. Impaired cognitive function in elderly men exposed to benzodiazepines or other anziolytics. The European Journal of Public Health. 7 (2), 149-152 (1997).
- Airagnes, G., Pelissolo, A., Lavallée, M., Flament, M., Limosin, F. Benzodiazepine Misuse in the Elderly: Risk Factors, Consequences, and Management. Current Psychiatry Reports. 18 (10), 89 (2016).
- Alacreu, M., et al. Importance of Increasing Modifiable Risk Factors Knowledge on Alzheimer's Disease Among Community Pharmacists and General Practitioners in Spain. Frontiers in Pharmacology. 10, 860 (2019).
- Cohen, J. Statistical Power Analysis for the Behavioral Sciences. , Routledge. (2013).
- Nardi, P. M. Doing Survey Research: A Guide To Quantitative Methods. , Routledge. (2018).
- Sabater Hernández, D., Silva Castro, M. M., Faus Dáder, M. J. Método Dáder: guía de seguimiento farmacoterapéutico. , Grupo de Investigación en Atención Farmacéutica (GIAF): Grupo de Investigación en Atención Farmacéutica (CTS-131). Universidad de Granada. (2017).
- Pfeiffer, E. A Short Portable Mental Status Questionnaire for the Assessment of Organic Brain Deficit in Elderly Patients. Journal of the American Geriatrics Society. 23 (10), 433-441 (1975).
- Folstein, M. F., Folstein, S. E., McHugh, P. R. "Mini-mental state." A practical method for grading the cognitive state of patients for the clinician. Journal of Psychiatric Research. 12 (3), 189-198 (1975).
- Buschke, H., et al. Screening for dementia with the memory impairment screen. Neurology. 52 (2), 231-238 (1999).
- Verghese, J., et al. Picture-based memory impairment screen for dementia. Journal of the American Geriatrics Society. 60 (11), 2116-2120 (2012).
- Nasreddine, Z. S., et al. The Montreal Cognitive Assessment, MoCA: A Brief Screening Tool For Mild Cognitive Impairment. Journal of the American Geriatrics Society. 53 (4), 695-699 (2005).
- Kaya, D., et al. The Saint Louis University Mental Status Examination Is Better than the Mini-Mental State Examination to Determine the Cognitive Impairment in Turkish Elderly People. Journal of the American Medical Directors Association. 17 (4), e11-e15 (2016).
- O'Caoimh, R., et al. Comparison of the quick mild cognitive impairment (Qmci) screen and the SMMSE in screening for mild cognitive impairment. Age and Ageing. 41 (5), 624-629 (2012).
- Cullen, B., ONeill, B., Evans, J. J., Coen, R. F., Lawlor, B. A. A review of screening tests for cognitive impairment. Journal of Neurology, Neurosurgery & Psychiatry. 78 (8), 790-799 (2007).
- Martínez de la Iglesia, J., et al. Adaptación y validación al castellano del cuestionario de Pfeiffer (SPMSQ) para detectar la existencia de deterioro cognitivo en personas mayores e 65 años. Medicina Clínica. 117 (4), 129-134 (2001).
- Blesa, R., et al. Clinical validity of the 'mini-mental state' for Spanish speaking communities. Neuropsychologia. 39 (11), 1150-1157 (2001).
- Champely, S., Ekstrom, C., et al. pwr: Basic Functions for Power Analysis. , https://cran.r-project.org/web/packages/pwr/index.html (2018).
- Therneau, T., Atkinson, B., Ripley, B. rpart: Recursive Partitioning and Regression Trees. , https://cran.r-project.org/web/packages/rpart (2018).
- WHO Collaborating Centre for Drugs Statistics Methodology. ATC/DDD Index. , https://www.whocc.no/atc_ddd_index (2018).
- Kuhn, M., Johnson, K. Applied Predictive Modeling. 26, Springer New York. New York, NY. (2013).
- Therneau, T., Atkinson, E. An introduction to recursive partitioning using the RPART routines. , http://r.789695.n4.nabble.com/attachment/3209029/0/zed.pdf (2019).
- Kuhn, M. Building Predictive Models in R Using the caret Package. Journal of Statistical Software. 28 (5), 1-26 (2008).
- Climent, M. T., Pardo, J., Muñoz-Almaraz, F. J., Guerrero, M. D., Moreno, L. Decision Tree for Early Detection of Cognitive Impairment by Community Pharmacists. Frontiers in Pharmacology. 9, 1-12 (2018).
