Conception interactive numérique axée sur l'intelligence artificielle et communication publique des foliques à cinq animaux de Hua Tuo
Feb 26, 2025
3. Capture de mouvement basée sur des algorithmes d'intelligence artificielle
Pour permettre la fonctionnalité interactive du dispositif d'exercices à cinq animaux devant une caméra, le noyau réside dans l'établissement d'une connexion entre les représentations virtuelles et réelles. Le participant existe dans le monde réel, mais doit d'abord être reconstruit dans le monde virtuel. Ensuite, le caractère virtuel est adapté à l'image reconstruite du participant, permettant diverses fonctionnalités interactives. Pour réaliser des interactions hautement synchronisées, deux principaux défis techniques doivent être relevés:Estimation de la pose humaineetReciblage du mouvement humain. Les méthodes traditionnelles de reconstruction humaine reposent souvent sur un équipement de capture de mouvement coûteux, mais cette étude tire parti des avantages de l'intelligence artificielle pour atteindre la reconstruction humaine à moindre coût.
Nouveau Cistanche à base de plantes TCM pour la musculation
L'objectif principal de la technologie d'estimation de la pose humaine est de détecter les positions humaines et les points clés des flux vidéo. Cette technologie peut être appliquée à deux caractéristiques clés de la conception de l'appareil:
Les flux vidéo en temps réel sont capturés via une caméra et le modèle détecte des points clés humains, se préparant pour des opérations ultérieures.
Pour répondre aux exigences des mouvements d'exercices à cinq animaux, les clips vidéo de ces exercices sont préchargés dans le modèle, qui détecte les points clés pour chaque mouvement et génère des séquences squelettiques des caractères d'exercices à cinq animaux, en préparant le transfert de représentations des utilisateurs.
Nouveau Cistanche à base de plantes TCM pour l'imposition du corps
La section suivante fournit une explication détaillée du processus de mise en œuvre technique.
Nouveau Cistanche à base de plantes TCM pour l'imposition du corps
3.1 Extraction du squelette
Cette étude utilise leOuverteOutil [13] pour atteindre la capture et l'enregistrement en point de clé 2D en temps réel. OpenSpose est principalement utilisé pour l'estimation de la pose 2D multi-personnes en temps réel. En détectant et en associant les points clés (tels que les positions articulaires) de chaque personne dans une image, elle permet la reconnaissance de la pose, bien qu'elle ne fournisse pas d'informations de surface 3D ou de segmentation détaillée des parties du corps. Cette méthode présente le concept deChamps d'affinité en partie (PAFS), qui, à travers des réseaux de neurones convolutionnels (CNN), prédit simultanément les cartes de confiance pour les parties du corps et les champs d'affinité entre les parties. Les points clés sont analysés à l'aide d'un processus d'inférence gourmand, offrant de solides performances en temps réel.
Avec le modèle OpenSpose pré-formé préparé, cette étude alimente les données de flux vidéo (en utilisant des vidéos de démonstration par le champion national Cao Jin) dans le modèle d'inférence, en extrayant des données squelettiques pour obtenir des séquences squelettiques (voir figure 4).
Fig.4 Résultats de détection des points clés du corps humain
3.2 Estimation de la pose humaine dense
L'extraction du squelette 2D fournit un support limité pour les tâches de reciblage de mouvement ultérieures et ne s'applique qu'à la cartographie simple de caractères sur des squelettes 2D. Pour répondre aux besoins de représentations de caractères plus complexes, la structure de surface 3D du corps humain doit également être extraite.Dense[14] vise à atteindre une estimation de la pose humaine dense en cartographiant tous les pixels humains dans une image à leurs points correspondants sur une surface humaine 3D. Cette méthode détecte non seulement les points clés, mais fournit également une paramétrisation de surface détaillée pour chaque partie du corps, diffusant des coordonnées UV et des masques de segmentation des pièces du corps.
LeDenseSpose-RCNNle système utilise un réseau neuronal convolutionnel (CNN) qui combine leDensengerMéthode avec l'architecture Mask-RCNN. Il utilise une cascade de génération de propositions de région et de mise en commun des fonctionnalités, puis utilise un réseau entièrement convolutionnel pour des prédictions denses. Cela génère des étiquettes de pièces discrètes et des coordonnées de surface continues, prédisant la relation de correspondance dense de la surface humaine par l'entraînement.
Étant donné que DenseSpose fournit des informations de surface corporelle riches, elle convient aux applications nécessitant des formes et des apparences humaines détaillées, telles que la modélisation 3D, la réalité virtuelle (VR) et la réalité augmentée (AR). En fin de compte, denseSpose est capable de générer des données détaillées qui incluent des informations de surface humaine et des séquences de mouvement, soutenant le transfert de représentations de caractères plus complexes (voir figure 5).
Fig.
3.3 Retargeting de mouvement humain
Que ce soit un personnage virtuel pour imiter les mouvements en temps réel d'un utilisateur ou l'animation de la photo d'un utilisateur pour effectuer les cinq exercices d'animaux, tout dépend deReciblage du mouvement humaintechnologie. Cette technologie redirige une séquence de mouvement source vers une nouvelle séquence de mouvement. Il existe diverses approches pour y parvenir, et sur la base des exigences du dispositif interactif, cette étude adopte deux techniques applicables.
Pour l'extraitséquence squelette, un traitement simple basé sur le squelette est suffisant pour le transférer à un nouveau formulaire. Par exemple, en concevant un modèle "Stick Figure", nous pouvons agrandir les points clés de la tête et ajouter différentes couleurs aux parties du corps, générant ainsi une nouvelle représentation.Tableau 3Illustre les effets du reciblage de mouvement en utilisant la vidéo des exercices à cinq animaux.
Tab.3 Résultats contenant l'image et l'image du point clé de la vidéo à reciblage
Pour des scénarios de reciblage de mouvement plus complexes, des modèles de diffusion peuvent être introduits pour aider à atteindre l'objectif. LeMagicanimeFramework [15] permet de générer des animations vidéo qui adhèrent à une séquence de mouvement donnée tout en maintenant la cohérence temporelle et la fidélité à l'image de référence. Ce modèle intègre l'image de référence dans un codeur d'apparence pour générer une apparence intégrée, tandis que la séquence de pose cible (par exemple, denseSpose) est entrée dans un réseau de contrôle de pose (ControlNet) pour extraire les conditions de mouvement. Sur la base de ces deux signaux, le modèle forme un modèle de diffusion vidéo qui anime l'identité de référence en fonction de la pose donnée.
En utilisant cette fonctionnalité, notre dispositif interactif peut prendre la séquence de mouvement de l'utilisateur comme séquence de pose cible et l'image de caractère à cinq animaux comme l'image de référence. Cela permet aux mouvements libres de l'utilisateur devant la caméra de conduire le mouvement synchronisé du caractère Five-Animal Exercises, créant une expérience interactive (voirFigure 6).
Fig.6 Génération d'effet d'écran
4. "Déplacez-vous, restez en bonne santé et profitez" de conception de dispositifs interactifs publics
4.1 fonctionnalités fonctionnelles
Le dispositif interactif "Move, Rester Healthy et profiter" exploite les caméras et la technologie de l'intelligence artificielle pour permettre aux participants d'effectuer une série de tâches devant l'appareil. Ces mouvements sont ensuite enregistrés en temps réel et assortis à des images de caractère virtuels, offrant une expérience interactive immersive. Les scénarios d'application du dispositif interactif sont affichés dansGraphique 7.
Caractéristique 1: Les utilisateurs peuvent choisir parmi une variété de représentations de caractères virtuelles basées sur des préférences personnelles, y compris des caractères de kung fu animés, des caractères de bloc de style unique et des figures de bâton simplifiées. Grâce à ces effets visuels, les utilisateurs bénéficient d'une riche expérience interactive. Ces personnages imitent non seulement les mouvements des utilisateurs, mais y répondent également.
Caractéristique 2: Les utilisateurs peuvent prendre des photos intégrales devant la caméra pour améliorer l'expérience de la réalisation des exercices à cinq animaux. Le système insère l'image de l'utilisateur dans les clips vidéo d'exercice à cinq animaux, permettant aux utilisateurs de s'imaginer comme des maîtres des exercices à cinq animaux de Hua Tuo, exécutant divers mouvements professionnels avec précision.
Fig.7 Scénarios d'application WildFit
4.2 Paramètres des paramètres
L'appareil est nommé"Déplacez-vous, restez en bonne santé et profitez"Pour établir un lien entre les animaux, la nature et la forme physique. L'objectif est de faire de la conception un pont entre ces trois éléments. Sur la base de ce concept, l'appareil est une installation d'écran interactive destinée à être placée sur des pelouses extérieures ou dans des parcs d'attractions. Il est équipé de divers paramètres, comme indiqué dansTableau 4.
Tableau 4: "Déplacez, restez en bonne santé et profitez de la configuration des paramètres
| Paramètre | Détails |
|---|---|
| Taille d'écran | 2,5 m × 1,5 m |
| Résolution | 1920 pixels × 1080 pixels |
| Boutons interactifs | Bouton de démarrage; bouton de suivi de mouvement et d'indicateur de rétroaction; bouton de sortie |
| Toucher la sensibilité | Temps de réponse de 10 ms, fréquence d'images de 30 ips; Soutient les gestes de la main, la posture corporelle et la détection physique |
| Interaction de rétroaction | Invites vocales; ou rétroaction visuelle (par exemple, indicateurs montrant une posture corporelle non alignée ou des gestes de mouvement incomplets) |
| Durabilité | IP65 Rating imperméable; coquille de matériau en alliage en aluminium
|
Fig.8 Démonstration du concept de conception WildFit
4.3.2 Évaluation physique: contenu et méthodes
Pour évaluer davantage l'impact du dispositif physique après son application, les méthodes d'évaluation suivantes sont proposées:
1) Indicateurs de santé physique
But: Comparez les indicateurs de santé physique des participants avant et après avoir participé au programme de fitness (par exemple, poids, pourcentage de graisse corporelle, fréquence cardiaque, tension artérielle) pour évaluer l'impact du programme de fitness sur la santé physique.
Méthode: Analyse de régression linéaire
La régression linéaire est utilisée pour analyser les changements dans les indicateurs de santé physique des participants avant et après le programme de fitness. La formule est la suivante:
Y=β₀ + β₁x + ε
Y: Variable dépendante (par exemple, changement de poids).
X: Variable indépendante.
β₀etβ₁: Coefficients de régression.
ε: Erreur aléatoire.
2) Indicateurs de santé psychologiques
But: Étudier les indicateurs de santé psychologiques des participants après avoir participé au programme de fitness (par exemple, état émotionnel, niveaux de stress, bonheur) pour évaluer son impact sur le bien-être mental.
Méthode: Analyse de régression logistique
La régression logistique est utilisée pour évaluer l'impact du programme sur les indicateurs de santé psychologiques (par exemple, le bonheur). La formule est la suivante:
P (y =1)=1 / (1 + e ^ - (β₀ + β₁x))
Y: Variable binaire (par exemple, si le participant se sent heureux).
X: Variable indépendante.
β₀etβ₁: Coefficients de régression.
Pour l'appareil "Déplacer, rester en bonne santé et profiter", les variables indépendantes sont détaillées dansTableau 5.
3) Survey d'engagement et de satisfaction
But: Enquêter sur l'engagement et la satisfaction des participants à l'égard du programme de fitness.
Méthode: Concevez et distribuez un questionnaire d'enquête pour collecter les commentaires des utilisateurs sur la convivialité, le plaisir et la praticité de l'appareil, ainsi que la satisfaction globale avec le dispositif interactif à cinq animaux d'exercice.
Les participants évalueront ces aspects, et les scores et suggestions de rétroaction seront utilisés pour évaluer l'efficacité de l'appareil.
