Application de réseaux de neurones récurrents à mémoire à long et à court terme pour prévoir la vitesse du vent

Abstrait:

La prévision de la vitesse du vent est l’un des problèmes les plus importants et les plus difficiles en matière de prévision de l’énergie éolienne pour la production d’électricité. La mémoire à long terme a été utilisée comme solution à la mémoire à court terme pour résoudre le problème de la disparition ou de l'explosion des informations de gradient au cours du processus de formation subi par le réseau neuronal récurrent (RNN) lorsqu'il est utilisé pour étudier des séries temporelles.

La mémoire à long terme est indissociable de la mémoire. La mémoire est un processus assez complexe qui implique tous les aspects du cerveau humain, notamment la sensation, la perception, la cognition, la mise en œuvre, la réaction, etc. Notre objectif est de stocker les informations que nous recevons dans la mémoire à long terme pour une utilisation ultérieure.

Le modèle de mémoire à long terme (LTM) est important dans ce processus. LTM fait référence à notre capacité à stocker les informations qui ont été traitées. Autrement dit, LTM nous aide à stocker les informations de la mémoire à court terme dans le cerveau. Et pour la mémoire, le stockage à long terme est l’objectif ultime.

Dans nos vies, de nombreux facteurs qui produisent la mémoire à long terme sont liés à l’expérience et aux activités personnelles. Par exemple, être exposé à une situation pendant une période suffisamment longue, écouter un cours ou améliorer ses capacités de mémoire peuvent augmenter la mémoire.

Le modèle de mémoire à long terme peut être simplement expliqué comme suit : lorsque nous apprenons pour la première fois une information, nous pouvons la stocker dans la mémoire à court terme. Ces informations seront stockées pendant une durée déterminée, mais elles disparaîtront rapidement. Cependant, si nous réfléchissons profondément à ces informations ou si nous les connectons à des expériences antérieures, elles seront transférées dans la mémoire à long terme.

Par conséquent, la clé pour améliorer notre mémoire à long terme est de garder notre cerveau actif, positif et créatif. Nous pouvons exercer notre cerveau en lisant des livres, en jouant à des jeux interactifs, en explorant de nouvelles choses et en écrivant un journal. En particulier, combiner étroitement apprentissage et exploration peut mieux renforcer la mémoire.

Bref, l’impact du modèle de mémoire à long terme et à court terme sur la mémoire est crucial. Dans la vie et dans les études, nous devons prêter attention et pratiquer la mémoire. Grâce à la réflexion active et à l’exercice, nous pouvons améliorer continuellement notre capacité de mémoire à long terme et acquérir de nouvelles connaissances plus facilement et plus efficacement. On voit que nous devons améliorer notre mémoire. Cistanche peut améliorer considérablement la mémoire car il peut également réguler l'équilibre des neurotransmetteurs, comme l'augmentation des niveaux d'acétylcholine et de facteurs de croissance, qui sont très importants pour la mémoire et l'apprentissage. En outre, Cistanche peut également améliorer la circulation sanguine et favoriser l'apport d'oxygène, ce qui peut garantir que le cerveau reçoive suffisamment de nutrition et d'énergie, améliorant ainsi sa vitalité et son endurance.

Cliquez sur connaître les suppléments pour améliorer la mémoire

Dans cette étude, ce problème est résolu en proposant un modèle de prédiction basé sur une mémoire à long terme et un réseau neuronal profond développé pour prévoir les valeurs de vitesse du vent à plusieurs pas de temps dans le futur.

La base de données météo d'Halifax, au Canada, a été utilisée comme source pour deux séries de vitesses de vent par heure. Deux saisons différentes, le printemps (mars 2015) et l'été (juillet 2015), ont été utilisées pour entraîner et tester le modèle de prévision. Les résultats ont montré que l'utilisation du modèle proposé peut améliorer efficacement la précision de la prévision de la vitesse du vent.

Mots-clés : prévision ; mémoire à long terme; plusieurs séries chronologiques ; RNN ; vitesse du vent.

1. Présentation

La prévision de la vitesse du vent est un défi très difficile par rapport à d'autres variables de l'atmosphère, et cela est dû à leur nature chaotique et intermittente qui rend difficile l'intégration de l'énergie éolienne au réseau.

La vitesse du vent étant l'une des sources d'énergie verte les plus développées et les moins chères, sa prévision précise à court terme est devenue une question importante et a un impact décisif sur le réseau électrique. Des méthodes dynamiques et statistiques, ainsi que certaines méthodes hybrides couplant les deux méthodes, ont été appliquées à la prévision de la vitesse du vent à court terme.

L'exécution de modèles de prévision numérique du temps (PNT) à haute résolution nécessite une compréhension de nombreux principes de base qui les soutiennent, notamment l'assimilation des données, des connaissances sur la façon d'estimer le modèle de prévision numérique du temps dans l'espace et dans le temps, et sur la manière d'effectuer la validation et la vérification des prévisions. Cela peut s’avérer coûteux en termes de temps de calcul.

Les méthodes et techniques fiables de prévision de la vitesse du vent deviennent de plus en plus importantes pour caractériser et prédire les ressources éoliennes [1]. L'objectif principal de toute prévision est de créer, d'identifier, d'ajuster et de valider des modèles de séries temporelles.

La prévision de séries chronologiques est l'un des problèmes appliqués les plus importants de l'apprentissage automatique et de l'intelligence artificielle en général, car l'amélioration des méthodes de prévision permettra de prédire plus précisément le comportement de divers facteurs dans différents domaines. Traditionnellement, ces modèles s'appuient sur les méthodes d'analyse statistique et de modélisation mathématique développées dans les années 1960 et 1970 [2].

Le modèle ARIMA a été utilisé pour prévoir la vitesse du vent en utilisant des mesures de taux d'erreur courantes pour la précision de la prédiction du modèle [3]. Récemment, l'apprentissage profond dans la communauté de l'apprentissage automatique a gagné en popularité car il est considéré comme un cadre général facilitant la formation de réseaux de neurones profonds avec de nombreuses couches cachées [4].

La disponibilité de grands ensembles de données, combinée à l’amélioration des algorithmes et à la croissance exponentielle de la puissance de calcul, a conduit à un regain d’intérêt sans précédent pour le thème de l’apprentissage automatique.

Ces méthodes utilisent uniquement des données historiques pour connaître les dépendances aléatoires entre le passé et le futur. Parmi ces méthodes, les réseaux de neurones récurrents (RNN) qui sont conçus pour apprendre une séquence de données en parcourant un état caché d'une étape de la séquence à la suivante, combiné avec l'entrée, et en l'acheminant dans les deux sens entre les entrées [5] .

Un réseau neuronal récurrent basé sur une mémoire à long terme (LSTM-RNN) a été utilisé pour prévoir l'énergie éolienne de 1 à 24 heures à l'avance [6]. Une comparaison a été faite entre LSTM, Extreme Learning Machine (ELM) et SVM. Les résultats ont montré que les approches d'apprentissage profond sont plus efficaces que les méthodes traditionnelles d'apprentissage automatique pour améliorer la précision des prédictions grâce à la structure du réseau neuronal en boucle directionnelle et à une unité cachée spéciale [7]. Des études ont suggéré que le couplage de modèles de prévision numérique du temps et de réseaux neuronaux artificiels pourrait être bénéfique et fournir une meilleure précision par rapport aux méthodes conventionnelles de réduction d'échelle des modèles de prévision numérique du temps [8].

La méthode de prévision numérique du temps (PNT) est l'une des méthodes les plus utilisées, et elle convient aux prévisions à long terme plutôt qu'aux prévisions à court et moyen termes en raison de la grande quantité de calculs [9]. Il y a eu une analyse de la précision de la prévision de la vitesse du vent des modèles de réseaux neuronaux récurrents, et ils ont présenté de meilleurs résultats par rapport aux modèles ARIMA univariés et multivariés [10].

Des modèles autorégressifs linéaires et non linéaires avec et sans variables externes ont été développés pour prévoir la vitesse du vent à court terme. Trois mesures de performance, MAE, RMSE et MAPE ont été utilisées pour mesurer la précision des modèles [11].

La méthode LSTM a été utilisée pour prévoir la vitesse du vent et les résultats ont été comparés aux réseaux neuronaux artificiels traditionnels et aux modèles de moyenne mobile intégrés autorégressifs, la méthode proposée s'est avérée de meilleurs résultats [12]. Un modèle de mémoire à long terme (LSTM) a été élaboré pour prévoir la vitesse spatio-temporelle du vent à court terme pour cinq emplacements en utilisant des données sur deux ans pour la vitesse du vent historique et l'auto-régression.

Le modèle visait à améliorer la précision des prévisions sur un horizon temporel plus court. Par exemple, l’utilisation du LSTM pendant deux ou trois heures permet de prévoir des horizons s’étendant jusqu’à quinze jours à l’aide d’un modèle PNT qui se met à jour généralement à une fréquence de six heures [13]. La vitesse de formation des RNN pour prédire des séries temporelles multivariées est généralement relativement lente, en particulier lorsqu'elles sont utilisées avec une grande profondeur de réseau.

Récemment, une variété de RNN appelée mémoire à long terme (LSTM) a été favorisée en raison de ses performances supérieures pendant la phase d'entraînement en résolvant mieux les problèmes de gradient de disparition et d'explosion de l'architecture RNN standard [14,15].

Des modèles de mémoire à long terme (LSTM) et de réseaux convolutifs temporels (TCN) ont été proposés pour la prévision météorologique légère basée sur les données, et leurs performances ont été comparées aux approches classiques d'apprentissage automatique (régression standard (SR), régression vectorielle de support (SVR), forêt aléatoire ( RF)), les approches d'apprentissage automatique statistique (moyenne mobile intégrée autorégressive (ARIMA), régression automatique vectorielle (VAR) et modèle de correction d'erreur vectorielle (VECM)) et la méthode d'ensemble dynamique (Arbitrage d'expert en prévision (AFE)).

Les résultats du modèle proposé démontrent sa capacité à prédire une météo efficace et précise [16]. Malgré le développement continu de la recherche sur l'algorithme LSTM dans la prévision à long terme de la vitesse du vent, l'algorithme RNN traditionnel pour la prévision est toujours préféré dans la plupart des recherches.

Dans cet article, l'accent a été mis sur l'application du algorithme LSTM dans le domaine de la prévision de la vitesse du vent et une comparaison entre l'efficacité de la prévision et la précision de l'algorithme dans différentes séries temporelles de vitesse du vent a été utilisée pour la formation et les tests.

2. Méthodologie et source de données

2.1. Sources de données

Dans cette étude, le modèle proposé a été mis en œuvre uniquement pour la prévision à court terme de la vitesse du vent afin d'éviter le temps de calcul élevé nécessaire à la réduction d'échelle dynamique en utilisant des modèles de prévision numérique du temps tels que le modèle de recherche et de prévision météorologique (WRF). Données sur la vitesse du vent provenant de la station Halifax Dockyard en Nouvelle-Écosse, située à 44,66◦ de latitude N et 63,58◦ de longitude O.

La vitesse du vent a été mesurée à une hauteur de 3,80 m et a été utilisée comme source pour deux saisons différentes, le printemps (mars 2015) et l'été (juillet 2015), comme le montre la figure 1.

Pour les deux saisons, les données enregistrées chaque heure (576 lectures/24 jours) comme observations et (168 lectures/7 jours), respectivement, comme groupes de formation et de test. La mise en œuvre LSTM proposée correspond bien à l'ensemble de données de séries chronologiques, qui peut améliorer la précision de convergence du processus de formation.

2.2. Réseaux de neurones récurrents

Les réseaux de neurones récurrents (RNN) sont des réseaux de neurones de données séquentielles dont le but est de prédire la prochaine étape d'une séquence d'observations par rapport aux étapes précédentes de la même séquence.

Les RNN contiennent des couches cachées réparties dans le temps, ce qui leur permet de stocker les informations obtenues lors des étapes précédentes de lecture des données série. La vitesse du vent dépend du court et du long terme.

Le modèle RNN simple est incapable de gérer les dépendances à long terme. Un problème qui se pose lors du déploiement d'un RNN est que le gradient de certains poids commence à devenir trop petit ou trop grand si le réseau est déployé sur trop de pas de temps.

Ce phénomène est appelé problème des gradients de disparition, et il ne peut stocker la mémoire à court terme que parce qu'il inclut les fonctions d'activation de la couche cachée du pas de temps précédent uniquement, ce qui entraîne une perte d'informations à long terme [17, 18].

Un type d'architecture réseau qui résout ce problème est le LSTM. Dans une implémentation typique, la couche cachée est remplacée par un bloc complexe d'unités de calcul composé de portes qui piègent l'erreur dans le bloc, formant ce que l'on appelle un « carrousel d'erreurs » [5]. La figure 2 montre la structure RNN où la sortie de la couche précédemment cachée est entrée dans la couche cachée actuelle. Le modèle RNN est exprimé par

2.2. Réseaux de neurones récurrents

Les réseaux de neurones récurrents (RNN) sont des réseaux de neurones de données séquentielles dont le but est de prédire la prochaine étape d'une séquence d'observations par rapport aux étapes précédentes de la même séquence. Les RNN contiennent des couches cachées réparties dans le temps, ce qui leur permet de stocker les informations obtenues lors des étapes précédentes de lecture des données série. La vitesse du vent dépend du court et du long terme.

Le modèle RNN simple est incapable de gérer les dépendances à long terme. Un problème qui se pose lors du déploiement d'un RNN est que le gradient de certains poids commence à devenir trop petit ou trop grand si le réseau est déployé sur trop de pas de temps. Ce phénomène est appelé problème des gradients de disparition, et il ne peut stocker la mémoire à court terme que parce qu'il inclut les fonctions d'activation de la couche cachée du pas de temps précédent uniquement, ce qui entraîne une perte d'informations à long terme [17, 18].

Un type d'architecture réseau qui résout ce problème est le LSTM. Dans une implémentation typique, la couche cachée est remplacée par un bloc complexe d'unités de calcul composé de portes qui piègent l'erreur dans le bloc, formant ce que l'on appelle un « carrousel d'erreurs » [5]. La figure 2 montre la structure RNN où la sortie de la couche précédemment cachée est entrée dans la couche cachée actuelle.

Le modèle RNN est exprimé par où c'est l'entrée, hest la valeur d'état de la couche cachée, il est valorisé à la couche de sortie au temps t, pourquoi le poids de la couche d'entrée, pourquoi le poids de la sortie retardée est-il au temps t - 1, tanh est la tangente hyperbolique comme fonction d'activation au niveau de la couche cachée, et σ est la fonction sigmoïde comme fonction d'activation au niveau de la couche de sortie.

2.3. Mémoire à long terme

Les réseaux de mémoire à long terme sont un type de réseau neuronal récurrent (RNN) conçu pour éviter le problème de dépendance à long terme, où chaque neurone contient une cellule mémoire capable de stocker les informations précédentes utilisées par le RNN ou de les oublier si nécessaire [19]. . Actuellement, il est largement utilisé avec succès dans les problèmes de prédiction de séries chronologiques.

LSTM-RNN a été conçu à partir d'une cellule mémoire qui stocke les dépendances à long terme. En plus de la cellule mémoire, la cellule LSTM contient une porte d'entrée, une porte de sortie et une porte oubliée.

Chaque porte de la cellule reçoit l'entrée actuelle tx, l'état caché ht-1 à l'instant précédent et les informations d'état Ct-1 de la mémoire interne de la cellule pour effectuer diverses opérations et déterminer s'il faut l'activer à l'aide d'une fonction logique. L'état ht de l'unité, la sortie au temps t et l'état caché d'entrée au temps t1 sont déterminés par l'activation non linéaire de tanh ( ) et des informations de la porte de sortie.

3. Résultats et discussion

Dans cette étude, le logiciel MATLAB (R2019b) a été utilisé pour le processus de formation du LSTM, qui est une architecture avancée permettant au RNN de prédire les valeurs des futurs pas de temps d'une séquence. Le réseau de régression de séquence a été formé à la séquence LSTM, où les réponses sont des séquences de formation avec des valeurs changeantes en un seul pas de temps.

Autrement dit, pour chaque pas de temps de la séquence d'entrée, le réseau LSTM apprend à prédire la valeur du pas de temps suivant. Dans ce travail, pour évaluer l'efficacité et l'applicabilité du modèle proposé de manière complète et systématique, deux séries de données ont été sélectionnées pour la vitesse du vent pour deux saisons différentes en raison de leurs caractéristiques climatiques différentes, qui sont respectivement le printemps (mars 2015) et l'été (juillet 2015). ).

Chaque série de données a été divisée en 1 à 576 (24 jours) pour les observations et 577 à 744 (7 jours), respectivement, pour les groupes de formation et de test. Les données d'entraînement ont été standardisées pour avoir une moyenne nulle et une variance unitaire au temps de prédiction afin d'éviter toute divergence d'entraînement. Le meilleur paramètre d'entraînement pour obtenir le RMSE le plus bas est trouvé en utilisant un taux d'apprentissage initial de 0,005.

Les figures 4 et 5 montrent la comparaison des valeurs observées avec les valeurs prévues des séries horaires de vitesse du vent collectées respectivement au printemps (du 1er au 31 mars 2015) et en été (du 1er au 31 juillet 2015), pour l'évaluation du LSTM, qui a été formé une fois (le valeur de la prédiction précédente) et réutilisé pour prédire chaque pas de temps entre les prédictions qui est représenté par les équations (2) – (4). Cela signifie qu'aucune mise à jour n'est effectuée une fois que le modèle s'adapte pour la première fois aux données d'entraînement, et le modèle dans ce cas est appelé modèle fixe car il n'y a pas de mises à jour.

Les options de formation réseau LSTM ont été sélectionnées pour 200 modules cachés. Le taux d'apprentissage initial est de 0,005 et le nombre maximum d'itérations est fixé à 250. Le seuil de gradient est fixé à 1 pour empêcher les gradients d'exploser. Le taux d'apprentissage diminue après 125 époques en multipliant par un facteur 0,2. Dans les figures 6 et 7, le LSTM a été mis à jour avec de nouvelles données pour la prévision des séries chronologiques en utilisant les valeurs prédites et les valeurs d'état mises à jour de l'ensemble de test et mis à la disposition de le modèle pour la prévision sur le prochain pas de temps. Spécialement, le LSTM modifié a adopté Ct−1 aux portes d'entrée, d'oubli et de sortie.

En effet, chaque fois que le LSTM se déroule, Ct−1 affecte l'entrée, l'oubli et la sortie du LSTM. Toutes les prédictions sont collectées dans l'ensemble de données de test et un score d'erreur est calculé pour résumer les compétences du modèle. L'erreur quadratique moyenne (RMSE) est utilisée car elle pénalise les erreurs importantes et donne lieu à un score dans les mêmes unités que les données prévues, à savoir la vitesse du vent par heure.

Ici, les prédictions sont plus précises lors de la mise à jour de l'état du réseau avec les valeurs observées au lieu des valeurs prédites. D'après les résultats, on observe que dans les deux séries du printemps (mars 2015) et de l'été (juillet 2015), la valeur du RMSE a chuté de 4,5845 et 4,9392, respectivement, lors de l'utilisation de la mise à jour LSTM, et cela est dû aux caractéristiques différentes de chacune.

Dans ce travail et sur la base de diverses études antérieures selon différents modèles, on constate que la précision des modèles de prédiction diffère selon les différentes caractéristiques de l'information, et donc, jusqu'à présent, aucun modèle n'a été atteint qui fonctionne avec la même précision avec des informations différentes. . Le tableau 1 montre les erreurs pour les deux séries de données (juillet 2015) et (mars 2015) dans le modèle LSTM proposé en utilisant les mesures d'erreur RMSE.

4. Conclusions

Un modèle de prévision précis des sources de vitesse du vent est nécessaire pour fournir des informations essentielles permettant aux opérateurs de réseau et aux concepteurs de systèmes de générer une centrale éolienne optimale et d'équilibrer l'offre et la demande sur le marché de l'énergie.

Dans cette étude, une mémoire à long terme et à court terme modifiée (LSTM) a été proposée pour prévoir la vitesse du vent. Étant donné que la valeur réelle des pas de temps entre les prédictions est accessible, la vitesse du vent est prédite en mettant à jour l'état du réseau dans chaque prédiction en utilisant la valeur observée au lieu des portes.

En effet, chaque fois que le LSTM se poursuit, l'état de la cellule affecte l'entrée, l'oubli et la sortie du LSTM. Les résultats du modèle ont démontré une précision améliorée dans la prévision de la vitesse du vent.

Contributions de l'auteur : Conceptualisation, ME ; méthodologie, ME; logiciel, MOI ; validation, ME ; analyse formelle, ME et AM ; rédaction-Préparation du projet original, ME ; rédaction-révision et édition, AM ; supervision, AM; administration du projet, AM Tous les auteurs ont lu et accepté la version publiée du manuscrit.

Financement : Cette recherche a été en partie financée par le ministère libyen de l’Éducation, subvention numéro 3772.

Déclaration du comité d'examen institutionnel : sans objet.

Déclaration de consentement éclairé : sans objet.

Déclaration de disponibilité des données : sans objet.

Conflits d'intérêts : Les auteurs ne déclarent aucun conflit d'intérêts.

Références

1. Monfared, M. ; Rastegar, H. ; Kojabadi, HM Une nouvelle stratégie de prévision de la vitesse du vent utilisant des méthodes d'intelligence artificielle. Renouveler.Énergie 2009, 34, 845-848. [Référence croisée]

2. Boîte, GE ; Jenkins, directeur général ; Reinsel, GC; Ljung, GM Analyse des séries chronologiques : prévisions et contrôle, 5e éd. ; John Wiley & Sons : Hoboken, NJ, États-Unis, 2015 ; pp. 129-171.

3. Elsaraiti, M. ; Mérabet, A. ; Al-Durra, A. Analyse des séries chronologiques et prévision des données sur la vitesse du vent. Dans les actes de la réunion annuelle de l'IEEEIndustry Applications Society, Baltimore, MD, États-Unis, 29 septembre-3 octobre 2019 ; p. 1 à 5.

4. Yadav, AP; Kumar, A. ; Behera, L. Prévision du rayonnement solaire basée sur RNN utilisant un taux d'apprentissage adaptatif. Dans la Conférence internationale sur l'informatique en essaim, évolutionnaire et mémétique ; Springer : Cham, Suisse, 2013 ; pp. 442-452.

5. Hochreiter, S. ; Schmidhuber, J. Mémoire longue à court terme. Calcul neuronal. 1997, 9, 1735-1780. [Référence croisée] [PubMed]

6. Kumar, D. ; Mathur, HD; Bhanot, S. ; Bansal, RC Prévision de l'énergie solaire et éolienne à l'aide du LSTM RNN pour le contrôle de la fréquence de charge dans un micro-réseau isolé. Int. J. Modèle. Simul. 2020. [Référence croisée]

7. Shi, X. ; Lei, X. ; Huang, Q. ; Huang, S. ; Ren, K. ; Hu, Y. Prédiction horaire de l'énergie éolienne à l'avance à l'aide du modèle hybride de décomposition du modèle variationnel et de la mémoire à long terme. Énergies 2018, 11, 3227. [CrossRef]

8. Rodrigues, ER ; Oliveira, moi.; Cunha, R. ; Netto, M. DeepDownscale : une stratégie d'apprentissage en profondeur pour les prévisions météorologiques à haute résolution. Dans Actes de la 14e Conférence internationale de l'IEEE 2018 sur l'e-Science (e-Science), Amsterdam, Pays-Bas, 29 octobre-1er novembre 2018 ; IEEE : New York, NY, États-Unis, 2018 ; pp. 415-422.

9. Chen, N. ; Qian, Z. ; Nabney, informatique ; Meng, X. Prévisions d'énergie éolienne utilisant des processus gaussiens et des prévisions météorologiques numériques. IEEE Trans. Système d'alimentation. 2013, 29, 656-665. [Référence croisée]

10. Cao, Q. ; Ewing, BT ; Thompson, MA Prévision de la vitesse du vent avec des réseaux neuronaux récurrents. EUR. J. Opér. Rés. 2012, 221 148-154. [Référence croisée]

11. Lydia, M. ; Kumar, SS ; Selvakumar, AI; Kumar, GE Modèles autorégressifs linéaires et non linéaires pour la prévision de la vitesse du vent à court terme. Convertisseurs d'énergie. Gérer. 2016, 112, 115-124. [Référence croisée]

12. Ghadéri, A. ; Sanandaji, BM; Ghaderi, F. Deep Forecast : prévisions spatio-temporelles basées sur l'apprentissage profond ; Université Cornell : Ithaca, NY, États-Unis, 2017.

For more information:1950477648nn@gmail.com