EIT-ICT Lab

Surveillance de l’activité intérieure à l’hôpital de Nice

Inria

Motivation

Construire un cadre innovant pour la modélisation des activités de la vie quotidienne (AVQ) sur le site afin d’aider les médecins à évaluer avec précision le patient pour la maladie d’Alzheimer.

Plus précisément, le projet vise à évaluer :

• la capacité d’initiative du patient et savoir si celui-ci est impliqué dans des comportements orientés vers un objectif
•  les troubles de la marche et le risque potentiel de chutes.

La population des personnes âgées devrait augmenter de façon spectaculaire au cours des 20 prochaines années. Le nombre de personnes nécessitant des soins augmentera en conséquence (y compris notamment les patients atteints d’Alzheimer), tandis que le nombre de personnes en mesure de fournir des soins diminuera.

Sans soins suffisants, les personnes âgées risquent de perdre leur indépendance. Compte tenu de cette situation des personnes âgées dans un avenir proche, ce projet vise à construire un cadre innovant pour la modélisation des activités de la vie quotidienne (AVQ).

Différencier les participants au stade précoce de la maladie d’Alzheimer des participants témoins en utilisant l’actigraphe et l’analyse des données audio-vidéo obtenues lors de la réalisation d’un scénario standardisé d’activités orientées vers la vie quotidienne.

1. Différencier les patients au stade précoce de la maladie d’Alzheimer ou d’un trouble apparenté avec les patients au stade léger à modéré de la maladie.
2. Évaluer l’impact des troubles du comportement et de l’apathie en particulier sur l’accomplissement des activités de la vie quotidienne proposées.
3. Évaluer l’impact du déclin cognitif sur le comportement de la parole et les caractéristiques sonores de la voix
4. Évaluer la possibilité d’adjoindre l’actigraphe couplé à un réglage audio-vidéo pour une consultation normale de la mémoire.
5. Evaluer l’acceptabilité de cette méthode d’évaluation par le participant lors d’une consultation standard dans un centre de mémoire
6. Évaluer l’acceptabilité par les participants de l’introduction d’un système de suivi basé sur l’utilisation des TIC dans leur propre maison

Ce projet se concentre sur les patients atteints de la maladie d’Alzheimer à un stade précoce et traite principalement de « l’évaluation technologique » et des « soins préventifs » qui tiennent compte des états médicaux, physiques et mentaux pour sauvegarder un individu et intervenir/avertir avant qu’une « intervention de crise » ne soit nécessaire.

À cette fin, ce projet:

• collecter et combiner des informations multi-capteurs pour détecter les activités et évaluer les tendances comportementales afin de fournir des services aux utilisateurs à différents niveaux.
• créer une salle d’expérimentation du Centre hospitalier universitaire de Nice.

Expérimentation

La partie clinique de l’étude du projet a été menée au Centre de la Mémoire de Nice, situé dans le service de gériatrie du CHU de Nice.

Une salle d’observation a été équipée d’objets de la vie quotidienne à utiliser dans les AVQ et les AVCI, par exemple un fauteuil, une table, un coin café, une télévision, un PC et une bibliothèque. Deux caméras vidéo monoculaires fixes (8 images/seconde) ont été installées afin de capter l’activité des participants.

Scénario

L’objectif global du scénario clinique est de permettre aux participants d’entreprendre un ensemble de tâches quotidiennes qui pourraient être réalisées de manière réaliste dans le cadre de la salle d’observation.

Le premier scénario a été divisé en trois parties couvrant des activités de base et des activités plus complexes orientées vers un objectif :

1. Activités dirigées : le but de cette partie de l’évaluation était d’identifier les caractéristiques des paramètres de la démarche et de la marche dans des activités ayant une implication limitée des capacités cognitives. Cette partie était basée sur la batterie de performances physiques courtes (SPPB) et exigeait que l’examinateur, qui restait dans la salle, dirige verbalement le participant à entreprendre diverses tâches quotidiennes. L’examinateur a également noté la performance.
2. Une partie semi-directe : le sujet reste seul dans la pièce, avec une liste de tâches à accomplir (activités de la vie quotidienne : lire les journaux, faire du thé, utiliser le téléphone, regarder la télévision, prendre ses pilules, écrire la liste des courses, …)
3. Une partie libre : le sujet est resté seul dans la pièce pendant 30 minutes, il peut faire tout ce qu’il veut (sauf détruire la pièce…)

Questions éthiques

Consentement

L’infirmière expliquera au patient et à la famille qui s’occupe du patient

• les tâches à accomplir
• objectif de l’expérimentation’s

Le consentement du patient et de la famille qui s’occupe du patient sera pris pour mener l’expérimentation.

Chaque étude clinique est soumise au comité d’éthique de Nice.
Chaque étude clinique comprend une évaluation clinique standard et un « scénario écologique ».

Conseil d’éthique (CPP)

Il s’agit d’un organisme éthique local composé de deux évaluateurs externes. Ce document explique les expériences réalisées sur les patients, quelques mois avant qu’elles ne soient effectivement menées sur les patients. Cet organisme local comprend des personnes de différents horizons comme des travailleurs sociaux, des médecins internes, deux médecins externes et des représentants d’associations de personnes âgées. Les réactions de ce comité sont prises en compte et doivent être approuvées.

Agence de protection des données personnelles (CNIL)

Il s’agit d’un comité éthique national. C’est une agence qui approuve l’utilisation de l’information/contenu et de la base de données. C’est un aspect très important puisque la base de données contient des informations sur les personnes/patients. Une fois ces informations acceptées et approuvées, elles peuvent être soumises au comité d’éthique au niveau européen (contrôleur des données).

Partenaires

Le Centre Hospitalier Universitaire de Nice (Centre Hospitalier Universitaire de Nice – CHUN) est un organisme de santé publique, régi par un conseil public, dont les activités s’étendent sur cinq sites dont quatre hôpitaux et un centre de rééducation (2284 lits et employant 6183 professionnels dont 824 médecins).

Le CHUN est impliqué dans plusieurs projets eHealth visant à concevoir l’hôpital  » sans murs  » du futur (pôle d’innovation technologique qui vise à appliquer les technologies de l’information au domaine de la santé) et est un partenaire actif du Pôle de Compétitivité français « Solutions de communication sécurisées« .

Dans le cadre du CHUN, le Centre Mémoire (Centre Mémoire de Ressources et de Recherche) mène une évaluation des troubles de la mémoire, ainsi que des activités cliniques et de recherche en collaboration avec les services de gériatrie, de neurologie et de psychiatrie.

Le CHUN est le chef de file du projet Sweet Home, en charge de la coordination, de l’expertise médicale sur les personnes âgées, les troubles cognitifs et comportementaux, et de l’expérimentation à l’hôpital de Nice.

L’Inria est un institut scientifique et technologique public français placé sous la double autorité du ministère de la recherche et du ministère de l’industrie.

L’équipe Stars est une équipe de recherche pluridisciplinaire de l’Inria qui travaille à la frontière de la vision par ordinateur, des systèmes basés sur la connaissance et du génie logiciel.

L’équipe Pulsar a participé à plus de 20 projets de recherche et a réussi à reconnaître une grande variété de scénarios dans différentes applications : combats, bagages abandonnés, graffitis, fraude, comportement des foules dans les stations de métro, sur les routes et à bord des trains, arrivée d’un avion, ravitaillement d’un avion en carburant, chargement/déchargement de bagages sur les aires de trafic des aéroports, attaque de banques, comportement dans les bureaux pour l’intelligence ambiante, contrôle d’accès dans les bâtiments et surveillance des guêpes pour l’application biologique.

Le Centre MICA (Multimédia, Information, Communications et Applications) est une unité internationale du CNRS (UMI 2954) établie à Hanoi, au Vietnam. Elle a été fondée au début de l’année 2002 pour participer au développement des technologies de l’information au Vietnam et pour répondre aux préoccupations concernant leur évolution.

Les études réalisées au Centre MICA visent à rechercher et à développer des résultats théoriques et des applications dans les domaines suivants : traitement de signaux complexes (parole et images), applications multimédia, interfaces homme-machine, espaces perceptifs et informatique ubiquitaire, instrumentation avancée (virtuelle, embarquée et distribuée). Le principal sujet de recherche du Centre MICA concerne le traitement de la parole en langue vietnamienne, domaine dans lequel il est devenu le plus important laboratoire de recherche au Vietnam.

De nombreux projets de recherche ont été développés par les chercheurs du MICA en étroite collaboration avec des laboratoires français et des laboratoires des pays voisins. En tant qu’UMI du CNRS, le Centre MICA participe activement à la visibilité internationale du CNRS, et plus généralement de la recherche française, dans un domaine mondial où sont imaginés, conçus et diffusés un grand nombre
d’innovations scientifiques et technologiques dans les domaines de la téléphonie, du multimédia et des technologies de l’information.

Les chercheurs du MICA ont déjà participé à plusieurs projets de recherche (nationaux ou internationaux) liés aux environnements pervasifs et à l’informatique omniprésente (projet SIAM, projet « Smart Campus », projet ISERE, projet « Smart ECG »).

Le SMILE Lab (Smart Media in Intelligent Living Excellence), dans le département de génie électrique de National Cheng Kung University (NCKU), Taiwan, se consacre depuis dix-sept ans à l’intelligence informatique, à l’analyse d’images et de vidéos, à la reconnaissance de formes et à la vision par ordinateur. Elle applique notamment la plupart des techniques aux applications de soins de santé et coopère depuis longtemps avec des hôpitaux ou des centres de soins de santé.

Le laboratoire SMILE a mené plus de 20 projets, dont certains à l’échelle nationale.
Ces projets d’envergure nationale comprennent :

• le développement d’une passerelle à domicile et la détection d’événements à partir de séquences vidéo pour mettre en place un environnement intégré pour les personnes âgées, les personnes qui s’occupent d’elles et leurs enfants,
• le développement par l’intégration de la RFID, des réseaux de capteurs sans fil et de l’analyse multimédia pour le suivi des patients psychiatriques,
• Détection des événements dans les centres de soins de santé par des séquences vidéo.

Récemment, elle a développé des techniques d’analyse vidéo pour la compréhension du comportement humain quotidien, l’analyse du style de marche et la détection des anomalies. Ces résultats sont également combinés et fusionnés avec l’analyse d’autres médias et par l’intégration de réseaux de capteurs sans fil, appliqués pour l’amélioration des soins de santé, notamment pour les soins à domicile ou les centres de soins. Elle a également mené des recherches sur le suivi de cibles et l’analyse du comportement par la fusion de plusieurs caméras.

Dans le cadre du projet Sweet Home, le laboratoire SMILE participe à l’analyse vidéo et à l’analyse des signaux des capteurs, depuis l’analyse des caractéristiques de bas niveau jusqu’à la compréhension sémantique de haut niveau, notamment par l’intégration de sorties multicaméras et multimodales pour la détection des signes précoces des patients Alzheimer à partir de leurs comportements quotidiens.

Hôpital universitaire national de Cheng Kung est situé à Tainan City, Taiwan. Le NCKUH a commencé à fonctionner en 1988 et est rapidement devenu l’un des meilleurs centres médicaux nationaux de Taïwan. Le NCKUH compte plus de 1000 lits.

La Division de Neurologie Comportementale appartient au Département de Neurologie et est l’une des meilleures divisions dans ce domaine à Taïwan. Avant d’en être le chef, le Dr Pai a ouvert une clinique de démence au NCKUH en 1994 et, au cours des derniers mois, 800 patients atteints de démence en moyenne ont été suivis régulièrement dans cette clinique.

Au NCKUH, un ADRC a été ouvert en 2006. Il est composé de neurologues, neurochirurgiens, psychiatres, psychologues, pathologistes, infirmières et autres professionnels. Au NCKUH, nous disposons de la tomodensitométrie, de l’IRM, de la TEMP et de la TEP. Une salle pour les tests neuropsychologiques est située au 9ème étage du NCKUH et de nombreuses batteries et tests peuvent être effectués, tels que MMSE, CASI, NPI, CDR, ADAS-cog, BEHAVE-AD, et de nombreux tests cognitifs orientés vers l’expérimentation. De même, l’équipe du Dr Pai a participé à de nombreux essais multicentriques, randomisés, en double aveugle et contrôlés par placebo sur des patients atteints de divers types de démence.

En outre, le Dr Pai a été le président de l’association Zeelandia Dementia (créée en 2004). Jusqu’en 2008, 325 membres au total sont inscrits. Zeelandia est l’ancien nom de la ville de Tainan et ZDA est la première association locale de démence à Taiwan. La ZDA a été un groupe de soutien très important en matière de démence, qui interagit étroitement avec le NCKUH sur le plan réciproque.

Méthode et site

Méthode : Plate-forme de reconnaissance des événements

• Vidéo/ audio Capteurs
• Capteurs inertiels

Site : Nice-HOSPITAL, Nice

Personnes observées et durée

Il s’agit d’une étude multicentrique non randomisée impliquant trois types de participants :

• Groupe d’âge des jeunes : (n=50)
• Groupe témoin : non Alzheimer (n=50)
• Pre-démence / groupe de patients MCI : n =50
• Groupe de patients atteints de démence : n=50.
• Voici le déroulement de l’étude:
• Période d’inclusion= 9 mois
• Analyse des données =3 mois
• Longueur de l’étude = 12 mois
• Durée de la visite= 2 à 3 heures avec 25 minutes dans la salle d’expérimentation.

Sur la base des données précédentes obtenues lors de l’étude pilote, nous avons déterminé un score d’autonomie (allant de 0 à 1) avec une moyenne pour chaque groupe de patients de 0,5 pour les patients atteints de démence, 0,6 pour le prodrome et 0,7 pour le contrôle respectivement.

Ce score est basé sur la durée totale pendant laquelle le participant montre des activités orientées vers un but et un score composite de la façon dont les participants planifient et réalisent les actions prédéfinies.

La tolérance d’erreur au sein du groupe est de 0,1 et un échantillon de 111 patients permettra de produire une taille d’effet F de 0,3 (0,1=faible ; 0,25=moyen, 0,4=grand) avec une puissance de 90% et un alpha fixé à 0,05. La taille critique pour chaque groupe est de 36 sujets.

Compte tenu de la taille critique et de l’éventualité d’une corruption des données, nous inclurons 50 patients pour chaque groupe, soit un échantillon total de 150 patients.

Capteurs

Caméras vidéo : une caméra capture toute la pièce, ce qui nous permet de suivre toute activité qui s’y déroule. Les enregistrements sont ensuite traités par les algorithmes de l’INRIA, et peuvent être utilisés comme « ground truth ».

Microphones : un microphone enregistre le son dans la pièce. Les enregistrements sont ensuite traités par les algorithmes MICA.

Actimeters : Le sujet doit porter le capteur « MotionPod » sur son thorax (avec un élastique). Cet appareil enregistre un « index d’activité » pour chaque seconde, ainsi que la posture (allongée, assise, debout, en marche).

Capteur ECG : Le sujet porte également le capteur « VeryLife », qui enregistre son électrocardiogramme. Ces données nous permettent d’évaluer le niveau de stress à chaque étape du scénario.

Expected measurements & data (Observation period of collected data)	Required Sensor
Walking speed (Obs. period: mono task walking activity/dual task)	Video camera/Kinect sensors Accelerometer
Step length (obs. period: mono task walking activity/dual task)	Kinect sensor Accelerometer
Dynamical balance during the walking (e.g., people trajectory study) (obs. period: mono task walking activity/dual task)	Video camera/Kinect sensors Accelerometer
Walking speed instantaneous (obs. period: mono task walking activity/dual task)	Video camera/Kinect sensors Accelerometer
Stopping displacement during the walking (yes/no) (obs. period: mono task walking activity/dual task)	Video camera/Kinect sensors Accelerometer
Stress level Voice features indicative of speech fluency and articulation Activity Recognition	Galvanic Skin Response sensor Audio sensor Video camera/kinect sensors

Traitement des logiciels

Les flux vidéo d’entrée et la vérité de fond sont nécessaires pour accomplir les tâches ci-dessous.

Détection et suivi des personnes

La détection des patients dans le flux vidéo est l’aspect principal et le suivi de la personne est le prochain aspect important de l’évaluation. La détection et le suivi sont effectués à l’aide d’algorithmes respectifs que nous avons développés en utilisant HOG et LBP par exemple.

Reconnaissance des événements

Le système de surveillance vidéo automatique proposé prend comme entrée des flux vidéo et une connaissance préalable pour la modélisation de scènes 3D et les événements à reconnaître. Le système contient une composante de vision (par exemple, des processus de détection, de classification et de suivi) et une composante de reconnaissance d’événements. La composante de vision permet de détecter les personnes et de suivre leurs différents mouvements au cours du temps dans la scène. Le composant de reconnaissance d’événements permet de reconnaître les événements temporels et spatiaux, ainsi que la posture associée à la personne suivie.

Chaîne de traitement

Base de données

Si vous souhaitez avoir accès aux données enregistrées, veuillez télécharger et remplir le formulaire dans le lien ci-dessous (double clic) et nous le renvoyer.

Format des données

Évaluation des activités :

• Localisation
• Durée
• Activités
• Conditions expérimentales
• Capteurs inclus
• Mesures et données attendues

Évaluation et résultats

À l’Inria, un cadre d’évaluation a été élaboré pour évaluer les performances des gérontechnologies et de la vidéosurveillance. Ce cadre vise à mieux comprendre les valeurs ajoutées des nouvelles technologies pour la surveillance des soins à domicile et d’autres services. Cette plateforme est mise à la disposition de la communauté scientifique et contient un ensemble de mesures permettant d’évaluer automatiquement les performances des logiciels en fonction d’une certaine vérité de terrain.

Description

Le logiciel ViSEvAl (ViSualisation et EvAluation) fournit une interface graphique pour visualiser les résultats des algorithmes de traitement vidéo (tels que la détection d’un objet d’intérêt, le suivi ou la reconnaissance d’événements). En outre, ce logiciel peut calculer des mesures pour évaluer des tâches spécifiques (telles que la détection, la classification, le suivi ou la reconnaissance d’événements). Le logiciel est composé de deux binaires (ViSEvAlGUI et ViSEvAlEvaluation), et de plusieurs plug-ins. Les utilisateurs peuvent ajouter leurs propres plug-ins pour définir une nouvelle métrique par exemple.

ViSEvAl est sous licence publique générale GNU Affero (AGPL)

Interface

Plate-forme d’évaluation

États :

Zone intérieure d’intérêt (coin café, zone bureau, zone table de lecture, table de téléphone, zone plantes, zone pharmacie)

Actions/Activités :

• Avoir du papier journal dans la main
• Avoir la télécommande dans la main
• Télévision en marche
• Télévision éteinte
• Avoir l’arrosoir à la main
• Verser de l’eau sur la plante
• Mise en marche de la bouilloire à thé
• Verser de l’eau dans la tasse de thé
• Avoir le téléphone sur la main
• Composer le numéro de téléphone
• Attention (prescription/médicaments peuvent) dans la boîte à médicaments
• Mise en évidence (prescription/boîte de médicaments) dans la case « médicaments »
• Sélection des médicaments
• Mise sous pilule des médicaments
• Elaboration d’une liste de courses
• Paiement de la facture d’électricité

Publications

Système de surveillance vidéo automatique pour l’évaluation des symptômes de la maladie d’Alzheimer
Romdhane R., Mulin E., Derreumaux A., Zouba N., Piano J., Lee JH., Leroi I., Malléa P., David R., Thonnat M., Brémond F., Robert PH.
JNHA, sous presse

Évaluation des données des capteurs pour l’analyse de l’activité des personnes âgées.
Compte rendu de la conférence ISG*ISARC 2012 (International Society for Gerontechnology, la 8e conférence mondiale en coopération avec l’ISARC, International Symposium of Automation and Robotics in Construction), Eindhoven, Pays-Bas, 26 au 29 juin 2012.
C. Crispim-Junior, V. Joumier, Y.L. Hsu, M.C. Pai, P.C Chung, A. Dechamps, P. Robert et F. Bremond.

Cadre de reconnaissance de l’activité vidéo pour l’évaluation des troubles du comportement moteur chez les patients atteints de la maladie d’Alzheimer.
Atelier international sur l’analyse du comportement, Behave 2011, Sophia Antipolis, France le 23 septembre 2011.
J. Joumier, R. Romdhane, F. Bremond, M. Thonnat, E. Mulin, P.H. Robert, A. Derreumeaux, J. Piano et L. Lee.

Reconnaissance probabiliste d’un événement complexe.
8e Conférence internationale sur les systèmes de vision par ordinateur, ICVS 2011, Sophia Antipolis, France, du 20 au 22 septembre 2011.
R. Romdhane, B. Boulay, F. Bremond et M. Thonnat.

Communications

Evaluation clinique utilisant les technologies de l’information et de la communication dans la maladie d’Alzheimer : Intérêt pour les essais cliniques
Robert P.H., Romdhane R., Bremond F.
3ème conférence Essais cliniques sur la maladie d’Alzheimer. 3-5 novembre 2010, Toulouse. JNHA, 2010, vol 14, suppl 2, O15, S9

Etude comparative des techniques actigraphiques et vidéo d’étude de l’activité motrice chez 3 sujets dans le cadre d’un travail préliminaire de développement d’outils d’évaluation objective de l’apathie
Robert P.H., Mulin E., Piano J., Derreumaux A., Malléa P., David R.
Congrès Français de Psychiatrie, à Nice, les 2, 3, 4 et 5 décembre 2009

Intérêt des gérontechnologies dans la mesure de l’apathie chez les patients atteints de maladie d’Alzheimer
Mulin E., Romdhane R., David R., Lee J., Zouba N., Piano J., Derreumaux A., Brémond F., Robert P.H.
CIFGG, Nice, Octobre 2010

Les objets communicants pour un futur plus autonome. Où en est-on de l’usage de l’actimétrie dans le domaine des troubles du comportement ?
Mulin E., Robert PH.
CIFGG, Octobre 2010

Utilisation d’un système de monitorage vidéo pour l’étude de l’apathie chez les patients présentant un déclin cognitif léger
Mulin E, Romdhane R, David R, Lee J.H, Piano J, Zouba N, Thonnat M , Bremond F, Leroy I, Robert P.H.
Unités de soins Alzheimer, PARIS, décembre 2010

Système de surveillance vidéo automatique pour détecter l’apathie dans les troubles cognitifs légers
Mulin E.
Annual Meeting Ressource of American Academy of Neurology, à Hawaï, poster présenté le 12 Avril 2011

Apathie précoce : intérêt des nouvelles technologies
E. Mulin, P.H. Robert
XXIVe GRAL, à Marseille, le 28 janvier 2011, communication orale

Intérêt de l’analyse vidéo dans l’étude des troubles du comportement dans la maladie d’Alzheimer : étude préliminaire
E. Mulin, J. H. Lee, J. Piano, P.H. Robert
Congrès national des Unités de soins, d’évaluation et de prise en charge Alzheimer 2010, les 16 et 17 décembre 2010

Utilisation des technologies de l’information et de la communication dans l’évaluation des troubles du comportement
F. Bremond, E. Mulin
Réunion de la fédération des CMRR du sud de la France, les 4 et 5 février 2011, à Paris

Organisation d’un symposium lors de la 15e IPA

Congrès de l’Association internationale de psychiatrie – La Hague 6 – 9 septembre 2011
Titre du symposium : Applications des nouvelles technologies aux comportements et aux activités de la vie quotidienne

I Leroi (UK)
Cibler les domaines comportemental et cognitif : les leçons de la maladie de Parkinson et d’Alzheimer

F Bremond (France)
GERHOME et SWEET Home : l’aspect méthodologique d’un système de surveillance vidéo automatique

E Mulin (France)
SWEET Home : Système de surveillance vidéo automatique pour l’évaluation des SCPD et de l’autonomie dans la maladie d’Alzheimer

J Yesavage (USA)
Techniques avancées de surveillance du sommeil et d’analyses génétiques dans l’étude des problèmes cognitifs des personnes âgées

R David (France)
Relation entre l’analyse génétique et l’actigraphie pour l’évaluation de l’apathie dans la MA

Rapports de réunion

• SWEET HOME Réunion des partenaires ; 9 novembre 2010
• SWEET HOME Réunion des partenaires ; 21 décembre 2010