Performance des algorithmes d'apprentissage automatique pour prédire la progression vers la démence chez les patients de la clinique de la mémoire

Contact : Audrey Hu Whatsapp/hp : 0086 13880143964 E-mail :audrey.hu@wecistanche.com

Charlotte James, Ph.D. ; Janice M. Ranson, Ph.D. ; Richard Everson, Ph.D. ; David J. Llewellyn, PhD

Résumé

IMPORTANCE : Les algorithmes d'apprentissage automatique pourraient être utilisés comme base d'aides à la décision clinique pour améliorer la pratique clinique. OBJECTIF Évaluer la capacité des algorithmes d'apprentissage automatique à prédire l'incidence de la démence dans les 2 ans par rapport aux modèles existants et déterminer l'approche analytique optimale et le nombre de variables requises. CONCEPTION, CONTEXTE ET PARTICIPANTS : Cette étude pronostique a utilisé les données d'une cohorte prospective de 15 307 participants sans démence au départ pour effectuer une analyse secondaire des facteurs qui pourraient être utilisés pour prédire l'incidence de la démence. Les participants ont assisté au Centre national de coordination AlzheimerMémoirecliniques à travers les États-Unis entre 2005 et 2015. Les analyses ont été menées de mars au 2 mai021. EXPOSITIONS : 258 variables couvrant les domaines des mesures cliniques et des facteurs de risque liés à la démence. PRINCIPAUX RÉSULTATS ET MESURES: Le principal critère de jugement était la démence incidente toutes causes confondues diagnostiquée dans les 2 ans suivant l'évaluation initiale. RÉSULTATS : Dans un échantillon de 15 307 participants (âge moyen [ET], 72,3 [9,8] ans ; 9 129 [60 % ] femmes et 6 178 [40 % ] hommes) sans démence au départ, 1 568 (10 %) ont reçu un diagnostic de démence dans les 2 ans suivant leur évaluation initiale. Par rapport à 2 modèles existants de prédiction du risque de démence (c'est-à-dire, les facteurs de risque cardiovasculaire, le vieillissement et l'incidence du score de risque de démence, et l'indicateur de dépistage bref de la démence), les algorithmes d'apprentissage automatique étaient supérieurs pour prédire la démence incidente toutes causes confondues dans les 2 ans. L'algorithme des arbres à gradient renforcé avait une précision globale moyenne (ET) de 92 % (1 %), une sensibilité de 0,45 (0,05), une spécificité de 0,97 (0,01) et une aire sous la courbe de 0,92 (0,01) en utilisant les 258 variables. L'analyse d'importance variable a montré que seulement 6 variables étaient nécessaires pour que les algorithmes d'apprentissage automatique atteignent une précision de 91 % et une aire sous la courbe d'au moins 0,89. Les algorithmes d'apprentissage automatique ont également identifié jusqu'à 84 % des participants ayant reçu un diagnostic initial de démence qui a ensuite été inversé en déficience cognitive légère ou cognitivement intacte, ce qui suggère une erreur de diagnostic possible. CONCLUSIONS ET PERTINENCE : Ces résultats suggèrent que les algorithmes d'apprentissage automatique pourraient prédire avec précision la démence incidente dans les 2 ans chez les patients recevant des soins àMémoirecliniques utilisant seulement 6 variables. Ces résultats pourraient être utilisés pour éclairer le développement et la validation d'aides à la décision dansMémoirecliniques.

Introduction

De nombreux patients évalués dans des milieux spécialisés, tels queMémoirecliniques, ne sont pas atteints de démence lors de leur première visite.1 Il est important de différencier les patients qui développent une démence dans un délai cliniquement pertinent de ceux qui ne souffrent pas de démence, car cette information peut être utilisée pour hiérarchiser les patients pour les examens de suivi et interventions. Identifier les patients à haut risque de développer une démence est un défi pour les cliniciens. Une approche consiste à se concentrer sur ceux qui ont une déficience cognitive légère (MCI) lors de l'évaluation initiale et à inviter ces patients pour un suivi. Cependant, cela peut entraîner une erreur de classification considérable pour les patients qui ne sont pas ciblés pour un suivi mais qui développent une démence et les patients qui sont ciblés pour des investigations supplémentaires mais qui ne développent pas de démence.

La plupart des patients de la clinique de la mémoire atteints de MCI n'évoluent pas vers la démence même après 10 ans, avec un taux de conversion annuel de 9,6 % .2 Les aides à la décision clinique peuvent améliorer la capacité des cliniciens à estimer l'apparition de la démence. Des outils d'aide à la décision clinique existants sont disponibles pour estimer l'incidence à moyen et à long terme de la démence dans différentes populations. Par exemple, le score de risque CAIDE (Cardiovascular Risk Factors, Aging, and Incidence of Dementia)3 a été conçu pour prédire le risque de développer une démence dans 20 ans pour les personnes d'âge moyen, et le Brief Dementia Screening Indicator (BDSI)4 vise à identifier les personnes âgées patients à cibler pour le dépistage cognitif en déterminant leur risque de développer une démence dans 6 ans. Cependant, à notre connaissance, aucune aide à la décision clinique n'a été développée pour prédire l'incidence de la démence dans les cliniques de la mémoire sur une période cliniquement pertinente plus courte. L'apprentissage automatique (ML) permet de tirer parti des informations provenant d'ensembles de données volumineux et complexes. Récemment, il a été appliqué au diagnostic de la démence et à la prédiction des risques.5-9

Cependant, ces modèles intègrent souvent des informations qui ne sont généralement pas disponibles dans la pratique clinique de routine, telles que la neuroimagerie avancée, les tests génétiques et les biomarqueurs du liquide céphalo-rachidien, limitant l'application clinique aux spécialistes ou aux milieux de recherche. Nous avons cherché à savoir si les techniques d'apprentissage automatique pouvaient être utilisées pour prédire l'incidence de la démence sur une période de 2- an à l'aideMémoiredonnées cliniques du National Alzheimer Coordinating Center (NACC) des États-Unis. Nous avons également examiné l'ensemble minimal de variables requises pour que les modèles ML atteignent des performances de diagnostic complètes.

Méthodes

L'étude NACC a reçu l'approbation éthique du comité d'examen institutionnel de chaque site avant de pouvoir fournir des données, et tous les participants ont fourni un consentement écrit éclairé. Cette étude pronostique a été jugée exempte d'approbation éthique institutionnelle car nous avons utilisé des données anonymisées précédemment collectées. Les données utilisées dans cette étude sont disponibles sur demande auprès du CNLA. Cette étude est rapportée conformément à la ligne directrice de rapport Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD). Les données ont été analysées de mars à mai 2021.

Échantillon d'étude

Nous avons utilisé des données précédemment collectées à partir de l'ensemble de données uniformes (UDS) du NACC.10 L'UDS contient des données de cohorte prospectives du programme du National Institute on Aging Alzheimer Disease Center des États-Unis pour la recherche collaborative multicentrique sur la maladie d'Alzheimer et d'autres troubles neurodégénératifs.11 Notre ensemble de données se compose des données des cliniques de la mémoire recueillies entre septembre 2005 et février 2015 auprès de 30 centres de la maladie d'Alzheimer situés aux États-Unis. L'ensemble de données comprend les caractéristiques sociodémographiques des participants et des coparticipants, les antécédents familiaux, l'état fonctionnel,12 les symptômes comportementaux (évalués à l'aide des résultats du questionnaire d'inventaire neuropsychiatrique13), la batterie de tests neuropsychologiques14 et le diagnostic clinique de démence du NACC, attribué par chaque centre de la maladie d'Alzheimer à l'aide de critères de diagnostic clinique publiés. sur la base de l'évaluation clinique standardisée UDS. Les détails des critères de diagnostic adoptés par le protocole UDS et les orientations associées ont été publiés précédemment.15

Nous avons utilisé les versions 1 et 2 de l'UDS, qui incluent 32 573 participants à la clinique de la mémoire avec une évaluation de base. Bien que nos modèles soient conçus pour prédire l'incidence de la démence dans les 2 ans, pour tenir compte de la variation du temps entre les rendez-vous de suivi, nous avons inclus le suivi qui s'est produit dans les 29 mois suivant la visite initiale pour nous assurer que la visite était soit la première ou deuxième rendez-vous de suivi.

Variable de résultat

La variable de résultat était le diagnostic incident de démence toutes causes confondues dans les 29 mois (environ 2 ans) suivant l'évaluation initiale. Cela inclut les sous-types de démence, tels que la démence d'Alzheimer, la démence à corps de Lewy, la démence vasculaire et d'autres sous-types plus rares. La démence d'Alzheimer a été diagnostiquée selon les critères NINCSD-ADRDA,16 la démence vasculaire a été diagnostiquée selon les critères NINDS-AIREN,17 la démence à corps de Lewy (LBD) a été diagnostiquée selon le troisième rapport du Dementia with Lewy Bodies Consortium,18 et la démence frontotemporale a été diagnostiquée selon les critères de Neary et ses collègues de 1998.19

Prédicteurs candidats

Nous avons inclus toutes les variables cliniquement pertinentes recueillies lors de la visite initiale dans les versions 1 et 2 de l'UDS (eTable 1 dans le Supplément). Nous avons exclu les variables avec des valeurs de texte libre, telles que les noms des médicaments, et les variables qui étaient constantes pour tous les participants, telles que le nombre de visites. Quatre variables synthétiques ont été générées pour aider à l'évaluation de l'importance des variables (ces variables doivent être classées en bas) ; 3 de ces variables étaient des permutations de variables existantes (1 variable binaire, 1 catégorielle et 1 variable numérique), et 1 variable a été générée aléatoirement à partir d'une distribution normale. Cela a donné un total de 258 variables.

Les variables de l'UDS incorporées dans nos modèles comprennent les caractéristiques démographiques des participants (15 variables), les caractéristiques démographiques des coparticipants (7 variables), les antécédents familiaux (3 variables), les antécédents médicaux (47 variables), les médicaments (21 variables), les caractéristiques physiques (12 variables ) et neurologique (4 variables), résultats des examens Unified Parkinson Disease Rating Scale20 (UDPRS) (28 variables), Clinical Dementia Rating (CDR) scale21 (8 variables), état fonctionnel (10 variables), batterie de tests neuropsychologiques (50 variables) , échelle de dépression gériatrique (17 variables) et une évaluation clinique des symptômes (32 variables). Parmi ces variables, 239 (93 %) manquaient pour au moins 1 participant, et tous les participants avaient au moins 1 variable manquante.

Développement d'un modèle

Nous avons mis en œuvre 4 algorithmes ML22 : régression logistique (LR),23 machine à vecteurs de support (SVM),24 forêt aléatoire (RF),25,26 et arbres à gradient renforcé (XGB)27 (eMethods dans le supplément). Ces algorithmes effectuent une tâche de classification : ils déterminent si un participant appartient à la classe 0 (prévu pour rester sans démence 29 mois à partir de la référence) ou à la classe 1 (prévu pour souffrir d'une démence incidente dans les 29 mois suivant la référence). La classification est basée sur les variables enregistrées lors de leur première visite (de référence) à la clinique de la mémoire. Pour implémenter les algorithmes ML, nous avons utilisé la bibliothèque Python sci-kit-learn (Python Software Foundation),28 avec 5-fold cross-validation (eMethods in the Supplement). Les valeurs manquantes ont été imputées par échantillonnage avec remise à partir des valeurs non manquantes. Tous les traitements et analyses de données ont été implémentés dans Python version 3.9, NumPy version 1.19.4 et sci-kit-learn version 0.24.0.

Analyses statistiques

Évaluation du modèle

Nous avons évalué les performances de tous les modèles en comparant leur précision globale, leur sensibilité et leur spécificité pour des seuils de décision prédéfinis dans la littérature (modèles existants) ou un seuil de 0.5 (modèles ML), qui pondère de manière égale les faux positifs et les erreurs de faux négatifs. L'aire sous la courbe caractéristique de fonctionnement du récepteur (AUC)29 a été utilisée pour résumer les performances du modèle sur tous les seuils possibles et donc les pondérations des erreurs de classification.30 Les mesures de performances moyennes et les SD ont été obtenus par bootstrap (eMethods dans le supplément).

Comparaison avec les modèles existants

Le BDSI et le CAIDE sont des modèles de prédiction du risque de démence existants qui attribuent aux patients un score représentant leur risque de développer une démence sur des échelles de temps plus longues. Pour dériver les scores de risque BDSI et CAIDE, nous avons sélectionné les variables de l'UDS qui correspondent le plus aux variables utilisées précédemment (eTable 2 dans le Supplément). Les performances de nos modèles ML ont été comparées à celles du BDSI et du CAIDE pour prédire l'incidence de la démence sur 2- ans.

Performance du modèle dans les sous-types de démence

La démence peut avoir diverses causes, correspondant à différents sous-types de démence. Pour évaluer la capacité des modèles ML à identifier différents sous-types de démence, nous avons divisé les cas incidents de démence en démence d'Alzheimer, LBD, démence vasculaire et autres sous-types de démence. A partir de ces 4 stratifications, nous avons calculé le pourcentage de participants correctement classés (taux de vrais positifs) et comparé les courbes ROC pour chaque modèle ML.

Enquête sur la stabilité diagnostique

Le diagnostic clinique de démence est connu pour intégrer des patients initialement mal diagnostiqués (en fait à la fois des erreurs de faux positif et de faux négatif).31 Nous définissons la réversion comme lorsqu'un participant qui a reçu un diagnostic de démence jusqu'à 2 ans après sa première visite et reçoit par la suite un diagnostic d'absence de démence (soit MCI ou cognition non altérée) dans les 2 ans suivant son diagnostic de démence. Considérant que ces réversions sont des diagnostics instables et susceptibles d'avoir été le résultat d'un diagnostic erroné de démence, nous avons étudié la précision de la classification des modèles ML dans un échantillon de participants présentant une réversion (eMethods dans le supplément). Nous avons utilisé la fonction de distribution cumulative (CDF) des scores de classification produits par chaque modèle ML pour comparer les participants avec réversion avec des patients qui ont développé une démence et des patients qui sont restés sans démence.

Résultats

Après avoir exclu {{0}} participants avec un diagnostic de démence au départ, 4 557 participants qui n'avaient aucune donnée de suivi et 573 participants qui ont eu leur premier suivi plus de 29 mois après leur première visite , l'échantillon analytique final contenait 15 307 participants (âge moyen [ET] : 72,3 [9,8] ans ; 9 129 [60 % ] femmes et 6 178 [40 % ] hommes). Les caractéristiques de l'échantillon sont présentées dans le tableau 1. Dans les 2 ans suivant le début de l'étude, 1 568 participants (10 %) ont reçu un diagnostic de démence. Sur 1 568 participants ayant reçu un diagnostic de démence, 273 (17 %) ont été diagnostiqués par un seul clinicien et 1 216 (78 %) ont été diagnostiqués par un panel consensuel ; pour 79 participants (5 %), la source du diagnostic n'a pas été précisée. Les principales mesures de performance évaluant le pouvoir prédictif de chaque modèle sont présentées dans le tableau 2. Par rapport aux modèles existants, les modèles ML étaient supérieurs dans leur capacité à prédire si un individu développerait une démence dans les 2 ans, et ils ont surpassé les modèles existants sur toutes les mesures. Tous les modèles ML ont obtenu des performances similaires, XGB ayant la plus grande puissance lorsqu'il est mesuré par la précision globale (92 %) et l'AUC (moyenne [SD], 0,92 [0,01]). La courbe caractéristique de fonctionnement du récepteur pour chaque modèle démontre la similitude entre les modèles ML et leur supériorité par rapport aux 2 modèles de risque existants (Figure 1).

Performance du modèle dans les sous-types de démence

Pour évaluer les performances du modèle ML dans différents sous-types de démence, nous avons divisé la population en 4 sous-types de démence : la démence d'Alzheimer (1 285 participants), la LBD (82 participants), la démence vasculaire (21 participants) et d'autres sous-types de démence (180 participants). Le modèle LR était le meilleur pour identifier la démence d'Alzheimer et d'autres sous-types, classant correctement 589 participants (46 %) atteints de démence d'Alzheimer et 99 participants (55 %) avec d'autres sous-types. Le modèle SVM a obtenu les meilleurs résultats sur les participants atteints de LBD, classant correctement 40 participants (49 %). Tous les modèles ont correctement classé 7 participants (33 %) atteints de démence vasculaire. Les courbes caractéristiques de fonctionnement du récepteur démontrent que tous les modèles ont fonctionné à peu près aussi bien sur chaque sous-type (eFigure 1 dans le supplément).

Enquête sur le nombre minimum de variables

Un inconvénient potentiel de l'utilisation d'une approche ML est le grand nombre de variables impliquées. À mesure que le nombre de variables requises par un modèle augmente, la mise en œuvre dans un cadre clinique devient moins pratique et l'interprétabilité du modèle est altérée. Pour évaluer le nombre de variables nécessaires à chaque modèle ML pour obtenir la puissance prédictive équivalente à ce que nous avons trouvé en utilisant les 258 variables (tableau 2), nous avons évalué la variation de l'AUC avec le nombre de variables incluses dans les modèles. Plus précisément, nous avons classé les variables pour chaque modèle en les triant par ordre décroissant d'importance (c'est-à-dire le pouvoir discriminant de chaque variable selon l'algorithme ; eMethods dans le Supplément). Nous avons ensuite réentrainé chaque modèle avec un nombre croissant de variables, en commençant par la plus importante. Nous avons constaté que tous les modèles ne nécessitaient que 22 variables pour obtenir des performances de diagnostic statistiquement indiscernables de leurs performances moyennes optimales (Figure 2 ; eFigure 2 dans le Supplément). Les variables synthétiques ajoutées pour garantir la validité de l'évaluation de l'importance des variables ne figuraient dans les 22 principales variables d'aucun modèle, ce qui reflète le fait qu'après avoir atteint la performance diagnostique complète, il y avait peu d'informations pour déterminer fortement le classement des variables.

Identification des principaux facteurs de risque

Sur les 22 variables les plus importantes pour chaque modèle, seules 5 étaient communes à tous les modèles (c. Partie B ; CDR : troubles de l'orientation ; CDR : troubles du foyer et des loisirs ; et niveau d'indépendance). Parmi les variables restantes, il y avait 10 paires qui avaient une corrélation supérieure à 0.7, indiquant qu'il s'agissait de variables similaires (eTable 3 dans le Supplément). En tenant compte de cette corrélation en interchangeant des variables hautement corrélées, nous avons trouvé qu'il y avait 6 variables hautement prédictives (jugement clinique de déclin, temps pour terminer le Trail Making Test Part B, 3 composantes du CDR [orientation, mémoire, et maison et passe-temps). déficience], et le niveau d'indépendance) qui étaient communs à tous les modèles ML (eTable 4 dans le Supplément). En entraînant chaque modèle en utilisant uniquement ces variables, nous avons constaté que pour LR et XGB, il n'y avait pas de diminution significative des performances de diagnostic : en utilisant cet ensemble de base de 6 variables, ces modèles avaient une précision moyenne (ET) de 91 % (0 pourcentage) pour LR et 91 % (1 %) pour XGB et ASC moyenne (ET) de 0.89 (0.01) pour LR et 0,89 (0,02) pour XGB (eTableau 5 dans le Supplément).

Stabilité diagnostique

Sur 1 568 participants qui ont reçu un diagnostic de démence dans les 2 ans, nous avons identifié 13 0 (8 %) comme présentant une réversion, qui ont probablement été initialement mal diagnostiqués et donc mal étiquetés à des fins de ML. Nous avons constaté que si les réversions n'étaient signalées que chez 0,8 % des participants, elles représentaient 92 à 109 participants (7 % -8 %) des participants mal classés, avec une petite variation entre les modèles (tableau 3). Le modèle RF présentait la stabilité diagnostique la plus élevée, identifiant correctement 109 des 130 participants présentant une réversion (84 %) en les classant comme prévu sans démence à 2 ans. Pour étudier la stabilité diagnostique des modèles ML, nous avons supprimé les participants avec réversion pendant la formation (eMethods dans le supplément). Après avoir recyclé les modèles sans réversions, nous avons constaté que RF avait identifié 106 participants qui avaient subi des réversions (médiane [IQR], 82 % [78 % -82 %)], SVM avait identifié 93 participants qui avaient subi des réversions (médiane [IQR], 72 % [69 % -74 % ]), et LR et XGB ont tous deux identifié 92 participants qui ont connu des réversions (médiane [IQR], 71 % [68 % -75 % ]). Les IQR ont été obtenus en amorçant les participants qui ont connu une réversion.

Pour comprendre la différence entre les participants mal classés, les participants avec réversion et les participants qui ont développé une démence sans réversion, nous avons analysé les CDF des scores de classification obtenus à partir de chaque modèle ML. Nous avons constaté que les scores des participants mal classés et des participants spécifiques présentant une réversion étaient différents de ceux des participants qui ont développé une démence et de ceux qui n'en ont pas développé (eFigure 3 dans le supplément). Les CDF des scores de classification pour les participants qui n'ont pas développé de démence sont tombés à l'extrême gauche de chaque parcelle, indiquant que les modèles ML ont attribué à ces participants une faible probabilité de développer une démence. À l'inverse, pour les participants qui ont développé une démence, les CDF sont tombés à droite des parcelles : ils se sont vu attribuer une forte probabilité de développer une démence. Pour tous les modèles, la distribution des scores des participants avec réversion tombait à gauche de celle des participants qui ont développé une démence, ce qui signifie que les participants avec réversion ont été évalués comme ayant une probabilité plus faible de développer une démence selon ces modèles.

Discussion

Dans cette étude pronostique, les algorithmes ML avaient une précision pronostique supérieure par rapport au BDSI et au CAIDE pour prédire l'incidence de la démence dans les 2 ans suivant la première évaluation clinique de la mémoire d'un patient. Deux des algorithmes ML ont été évalués pour atteindre une précision de 91 % et une AUC de 0.89 avec seulement 6 variables clés. Les analyses de sensibilité suggèrent que les modèles ML pourraient classer correctement une proportion élevée de participants ayant subi une réversion et potentiellement mal diagnostiqués dans les 2 ans suivant leur visite initiale. Cette étude présente plusieurs points forts, notamment le grand échantillon de patients issus de plusieurs cliniques de mémoire à travers les États-Unis, le large éventail de techniques de ML utilisées, l'analyse comparative par rapport aux modèles de risque existants et l'exploration de la stabilité diagnostique et des erreurs de diagnostic probables.

Des études antérieures sur l'utilisation du ML pour prédire le risque de démence se sont concentrées sur la conversion d'une cognition non altérée en démence d'Alzheimer ou MCI,6,8 ou la conversion de MCI en démence d'Alzheimer.5 Ces approches sont moins utiles dans un cadre clinique, car elles excluent d'autres types de démence5,6,8 ou des patients initialement sans troubles cognitifs.5 Les données utilisées dans ces études comprenaient des tomographies par émission de positrons5,8 et des biomarqueurs du liquide céphalo-rachidien8, qui ne sont pas couramment disponibles dans le cadre d'une clinique de la mémoire. Une étude de Lin et al6 a surmonté ce problème en utilisant les données du NACC pour trouver un ensemble de 15 variables cliniques non invasives afin d'évaluer le risque de conversion d'une cognition non altérée en MCI sur une période de 4- ans. Cependant, la construction de MCI reste quelque peu controversée,32, et les taux de conversion entre MCI et démence sont souvent faibles.32,33 Nos modèles ML complètent ces analyses et ont l'avantage de n'incorporer que 6 variables clés sur une échelle de temps cliniquement pertinente et de prédire la résultat de la démence de toutes causes.

Parmi les modèles existants étudiés dans notre étude, le modèle CAIDE était le moins précis pour prédire le risque de démence sur 2 ans, ce qui n'est pas surprenant, étant donné qu'il a été développé pour prédire le risque de démence à long terme chez les adultes d'âge moyen sur une période beaucoup plus longue. période de suivi de 20 ans. Le BDSI a obtenu de meilleurs résultats que le CAIDE, ce qui reflète probablement le fait qu'il a été conçu pour être utilisé chez les personnes âgées sur une période de suivi plus modérée de 6 ans. Cependant, tous les modèles ML ont surpassé ces modèles existants. En utilisant toutes les variables, XGB était l'approche ML la plus puissante pour prédire les patients susceptibles de recevoir un diagnostic de démence dans les 2 ans, ce qui suggère que la manière dont les nouveaux arbres de décision sont formés pour corriger les erreurs des trois derniers résultats dans une performance marginale Gain. Cependant, XGB semblait également être l'approche la moins capable d'identifier les participants qui ont connu une réversion, c'est-à-dire ceux qui ont été initialement diagnostiqués avec une démence dans les 2 ans et dont le diagnostic a été inversé dans les 2 ans suivant le diagnostic initial.

Les performances des modèles ML peuvent être considérablement réduites par des données d'apprentissage mal étiquetées.34 Contre toute attente, l'exclusion des données d'apprentissage mal étiquetées n'améliore pas toujours les performances.35 À mesure que le niveau de bruit dans les données d'apprentissage augmente, la valeur de l'exclusion ou de la réduction de ce bruit diminue si le même bruit est présent dans les données de validation.36 Ainsi, le filtrage des données d'entraînement peut même réduire les données d'invalidation des performances, comme le montre cette étude. Cependant, lorsque le niveau d'étiquetage erroné est inférieur à environ 20 % à 40 %, la suppression des données mal étiquetées peut améliorer la précision des données de validation, même si cela intègre des données mal étiquetées.35,37,38 Cela illustre l'importance d'étudier la stabilité du diagnostic dans la formation et données de validation : même les données standard des critères intègrent des erreurs.

Le taux de réversion observé (8 %) était similaire à celui trouvé dans une étude de 2019 basée sur une population américaine différente.31 Dans notre étude, le pourcentage de faux positifs variait de 7 % à 19 %, selon le évaluation utilisée. À notre connaissance, il s'agit de la première analyse d'erreurs de diagnostic potentielles dans l'UDS du NACC et suggère que l'utilisation du ML comme aide à la décision clinique a le potentiel de réduire les erreurs de diagnostic de faux positifs jusqu'à 84 %. Étant donné que les patients qui subissent une réversion sont à la limite du point de vue diagnostique, d'un point de vue clinique, il peut être judicieux qu'ils soient suivis de toute façon, étant donné qu'il y a eu des motifs de préoccupation clinique. Ainsi, XGB peut être le meilleur modèle d'aide à la décision clinique. Alternativement, une approche d'ensemble qui fait des prédictions secondaires sur la stabilité diagnostique probable et le potentiel d'erreur de classification peut s'avérer encore plus utile.

Limites

Cette étude a plusieurs limites. Premièrement, CAIDE et BDSI ont été développés en utilisant des populations différentes de celle utilisée dans cette étude. Toutes les variables utilisées pour le développement de ces modèles n'avaient pas d'équivalent exact dans l'UDS, ce qui peut avoir affecté leur performance dans cet ensemble de données. Deuxièmement, la méthode utilisée pour imputer les données peut entraîner une erreur d'imputation. Plus précisément, l'imputation remplace toutes les valeurs manquantes par une valeur numérique, mais certaines valeurs manquent en raison de leur relation avec une autre valeur ; par conséquent, le fait qu'une valeur manque est informatif. Cependant, alors que les participants avaient en moyenne 14 % de données manquantes, les 6 variables clés identifiées étaient manquantes pour une moyenne de 1 % des participants. Troisièmement, bien que notre étude ait utilisé un large échantillon de participants à des cliniques de mémoire aux États-Unis, ce qui rend nos résultats hautement applicables à ce contexte, la mesure dans laquelle ces résultats se généraliseront à d'autres populations est inconnue.

conclusion

Cette étude pronostique a révélé que les modèles ML surpassaient les modèles de prédiction du risque de démence existants et pourraient avoir le potentiel d'améliorer la prédiction de la démence incidente sur 2 ans dans les cliniques de la mémoire. Six facteurs clés de risque de démence identifiés dans cette étude pourraient avoir le potentiel d'améliorer la pratique clinique dans les cliniques de la mémoire s'ils sont intégrés dans les futures aides à la décision clinique.