Anvendelse av langtidsminne tilbakevendende nevrale nettverk for å forutsi vindhastighet

Abstrakt:

Forutsigelse av vindhastighet er et av de viktigste og mest utfordrende problemene i vindkraftprediksjon for elektrisitetsproduksjon. Langtidsminne ble brukt som en løsning på korttidshukommelse for å løse problemet med forsvinning eller eksplosjon av gradientinformasjon under treningsprosessen som oppleves av det tilbakevendende nevrale nettverket (RNN) når det brukes til å studere tidsserier.

Langtidshukommelsen er uatskillelig fra hukommelsen. Minne er en ganske kompleks prosess som involverer alle aspekter av den menneskelige hjernen, inkludert sansning, persepsjon, kognisjon, implementering, reaksjon osv. Målet vårt er å lagre informasjonen vi mottar i langtidshukommelsen for senere bruk.

Long Short-Term Memory Model (LTM) er viktig i denne prosessen. LTM refererer til vår evne til å lagre informasjon som har blitt behandlet. Det vil si at LTM hjelper oss med å lagre informasjon fra korttidshukommelsen inn i hjernen. Og for hukommelsen er langtidslagring det ultimate målet.

I våre liv er mange faktorer som produserer langtidshukommelse knyttet til personlig erfaring og aktiviteter. For eksempel kan eksponering for en situasjon lenge nok, lytte til en forelesning eller forbedre hukommelsesferdighetene øke hukommelsen.

Langtidsminnemodellen kan enkelt forklares som følger: Når vi først lærer en del informasjon, kan vi lagre den i korttidshukommelsen. Denne informasjonen vil bli lagret i et bestemt tidsrom, men den forsvinner raskt. Men hvis vi tenker dypt på denne informasjonen eller kobler den til tidligere erfaringer, vil den overføres til langtidshukommelsen.

Derfor er nøkkelen til å forbedre langtidshukommelsen vår å holde hjernen aktiv, positiv og kreativ tenkning. Vi kan trene hjernen vår ved å lese bøker, spille interaktive spill, utforske nye ting og skrive dagbøker. Spesielt kan en tett kombinasjon av læring og utforskning styrke hukommelsen bedre.

Kort sagt er virkningen av langtids- og korttidsminnemodellen på hukommelsen avgjørende. I livet og studiet må vi ta hensyn til og øve på hukommelsen. Gjennom aktiv tenkning og trening kan vi kontinuerlig forbedre vår langtidshukommelsesevne og lære ny kunnskap enklere og mer effektivt. Det kan sees at vi trenger å forbedre hukommelsen vår. Cistanche kan forbedre hukommelsen betydelig fordi den også kan regulere balansen mellom nevrotransmittere, som å øke nivåene av acetylkolin og vekstfaktorer, som er svært viktige for hukommelse og læring. I tillegg kan Cistanche også forbedre blodstrømmen og fremme oksygentilførsel, noe som kan sikre at hjernen får tilstrekkelig næring og energi, og dermed forbedre hjernens vitalitet og utholdenhet.

Klikk vet kosttilskudd for å forbedre hukommelsen

I denne studien blir dette problemet adressert ved å foreslå en prediksjonsmodell basert på langtidsminne og et dypt nevralt nettverk utviklet for å forutsi vindhastighetsverdiene for flere tidstrinn i fremtiden.

Værdatabasen i Halifax, Canada ble brukt som kilde for to serier med vindhastigheter per time. To forskjellige sesonger vår (mars 2015) og sommer (juli 2015) ble brukt til trening og testing av prognosemodellen. Resultatene viste at bruken av den foreslåtte modellen effektivt kan forbedre nøyaktigheten av vindhastighetsprediksjon.

Nøkkelord: prognose; langtidsminne; flere tidsserier; RNN; vindhastighet.

1. Introduksjon

Å forutsi vindhastighet er en svært vanskelig utfordring sammenlignet med andre variabler i atmosfæren, og dette skyldes deres kaotiske og intermitterende natur som forårsaker problemer med å integrere vindkraft i nettet.

Siden vindhastighet er en av de mest utviklede og billigste grønne energikildene, har nøyaktige prognoser på kort sikt blitt en viktig sak og har en avgjørende innvirkning på strømnettet. Både dynamiske og statistiske metoder, og noen hybridmetoder som kobler de to metodene, ble brukt for å forutsi kortsiktig vindhastighet.

Å kjøre høyoppløselige numeriske værprediksjonsmodeller (NWP) krever en forståelse av mange av de grunnleggende prinsippene som støtter dem, inkludert dataassimilering, kunnskap om hvordan man estimerer NWP-modellen i rom og tid, og hvordan man utfører validering og verifisering av prognoser. Dette kan bli kostbart i form av beregningstid.

Pålitelige metoder og teknikker for å forutsi vindhastighet blir stadig viktigere for å karakterisere og forutsi vindressurser [1]. Hovedformålet med enhver prognose er å bygge, identifisere, justere og validere tidsseriemodeller.

Tidsserieprognoser er et av de viktigste anvendte problemene med maskinlæring og kunstig intelligens generelt, siden forbedringen av prognosemetoder vil gjøre det mulig å mer nøyaktig forutsi oppførselen til ulike faktorer i ulike områder. Tradisjonelt er slike modeller basert på metodene for statistisk analyse og matematisk modellering utviklet på 1960- og 1970-tallet [2].

ARIMA-modellen ble brukt til å forutsi vindhastighet ved å bruke vanlige feilforholdsmål for modellprediksjonsnøyaktighet [3]. Nylig har dyp læring i maskinlæringssamfunnet fått betydelig popularitet ettersom det regnes som et generelt rammeverk som letter opplæring av dype nevrale nettverk med mange skjulte lag [4].

Tilgjengeligheten av store datasett kombinert med forbedringen i algoritmer og den eksponentielle veksten i datakraft førte til en enestående økning av interesse for emnet maskinlæring.

Disse metodene bruker kun historiske data for å lære de tilfeldige avhengighetene mellom fortiden og fremtiden. Blant disse metodene, tilbakevendende nevrale nettverk (RNN) som er designet for å lære en sekvens av data ved å krysse en skjult tilstand fra ett trinn i sekvensen til det neste, kombinert med inngangen, og rute den frem og tilbake mellom inngangene [5] .

Langtidsminnebasert tilbakevendende nevrale nettverk (LSTM-RNN) har blitt brukt til å varsle 1 til 24 timer frem vindkraft [6]. Det ble gjort en sammenligning mellom LSTM, ekstrem læringsmaskin (ELM) og SVM. Resultatene har vist at dyp læringsmetoder er mer effektive enn tradisjonelle maskinlæringsmetoder for å forbedre prediksjonsnøyaktigheten gjennom retningssløyfens nevrale nettverksstruktur og en spesiell skjult enhet [7]. Studier har antydet at kobling av NWP-modeller og kunstige nevrale nettverk kan være fordelaktig og gi bedre nøyaktighet sammenlignet med konvensjonelle NWP-modell nedskaleringsmetoder [8].

Numerisk værprediksjonsmetode (NWP) er en av de mest brukte metodene, og den er egnet for langsiktig snarere enn kortsiktig og mellomlang sikt på grunn av den store mengden beregning [9]. Det har vært analyser av vindhastighetsprognosens nøyaktighet til de tilbakevendende nevrale nettverksmodellene, og de har presentert bedre resultater sammenlignet med de univariate og multivariate ARIMA-modellene [10].

Lineære og ikke-lineære autoregressive modeller med og uten eksterne variabler ble utviklet for å forutsi kortsiktig vindhastighet. Tre ytelsesmålinger, MAE, RMSE og MAPE ble brukt for å måle nøyaktigheten til modellene [11].

LSTM-metoden ble brukt til å forutsi vindhastighet og resultatene ble sammenlignet med tradisjonelle kunstige nevrale nettverk og autoregressive integrerte glidende gjennomsnittsmodeller, den foreslåtte metoden viste bedre resultater [12]. Long Term Memory Model (LSTM) ble gjort for å kortsiktig spatio-temporal vindhastighetsprognose for fem steder ved å bruke to-års data for historisk vindhastighet og auto-regresjon.

Modellen hadde som mål å forbedre prognosenøyaktigheten på en kortere tidshorisont. For eksempel kan bruk av LSTM i to eller tre timer forutsi horisonter som strekker seg opp til femten dager ved å bruke en NWP-modell som oppdaterer seg selv typisk med en frekvens på seks timer [13]. Treningshastigheten til RNN-er for å forutsi multivariate tidsserier er vanligvis relativt langsom, spesielt når den brukes med stor nettverksdybde.

Nylig har en rekke RNN kalt langtidsminne (LSTM) blitt favorisert på grunn av dens overlegne ytelse under treningsfasen ved å bedre løse forsvinnende og eksploderende gradientproblemer i standard RNN-arkitektur [14,15].

Langtidskorttidsminne (LSTM) og temporale konvolusjonsnettverk (TCN)-modeller ble foreslått for datadrevet lettvektsvarsling, og ytelsen deres ble sammenlignet med klassiske maskinlæringsmetoder (standardregresjon (SR), støttevektorregresjon (SVR), tilfeldig skog( RF)), statistiske maskinlæringsmetoder (autoregressivt integrert glidende gjennomsnitt (ARIMA), vektor autoregresjon (VAR) og vektorfeilkorreksjonsmodell (VECM)), og dynamisk ensemblemetode (Arbitrage of forecasting expert (AFE)).

Resultatene av den foreslåtte modellen viser dens evne til å forutsi effektivt og nøyaktig vær [16]. Til tross for den kontinuerlige utviklingen av forskning på LSTM-algoritmen i langtidsprediksjon av vindhastighet, er den tradisjonelle RNN-algoritmen for prediksjon fortsatt foretrukket i det meste av forskning.

I denne artikkelen har det blitt lagt vekt på bruken av LSTM-algoritmen i feltet for prognoser for vindhastighet, og en sammenligning mellom prediksjonseffektivitet og nøyaktighet av algoritmen under forskjellige vindhastighetstidsserier ble brukt for trening og testing.

2. Metodikk og datakilde

2.1. Datakilder

I denne studien ble den foreslåtte modellen implementert kun for kortsiktig prognose av vindhastighet for å unngå den høye beregningstiden for å gjøre dynamisk nedskalering ved å bruke NWP-modeller som Weather Research and Forecasting Model (WRF). Vindhastighetsdata fra Halifax Dockyard-stasjon i Nova Scotia, som ligger på breddegrad 44,66◦ N, Lengdegrad 63,58◦ W.

Vindstyrken ble målt i en høyde på 3,80 m, og den ble brukt som kilde for to forskjellige årstider, vår (mars 2015) og sommer (juli 2015), som vist i figur 1.

For begge årstider ble dataene registrert for hver time, (576 avlesninger/24 dager) henholdsvis som observasjoner og (168 avlesninger/7 dager), som trenings- og testgruppene. Den foreslåtte LSTM-implementeringen passer godt med tidsseriedatasettet, som kan forbedre konvergensnøyaktigheten i treningsprosessen.

2.2. Tilbakevendende nevrale nettverk

Tilbakevendende nevrale nettverk (RNN) er sekvensielle data nevrale nettverk hvis formål er å forutsi neste trinn i en sekvens av observasjoner i forhold til tidligere trinn i samme sekvens.

RNN-er inneholder skjulte lag fordelt over tid, som lar dem lagre informasjon innhentet i tidligere stadier av lesing av seriedata. Vindhastigheten avhenger av kort og lang sikt.

Den enkle RNN-modellen er ikke i stand til å håndtere langsiktige avhengigheter. Et problem som oppstår ved utfoldingen av en RNN er at gradienten til noen av vektene begynner å bli for liten eller for stor hvis nettverket utfoldes i for mange tidstrinn.

Dette fenomenet kalles forsvinnende gradientproblem, og det kan lagre korttidsminne bare fordi det inkluderer funksjonene for å aktivere det skjulte laget i forrige tidstrinn, og dette fører til tap av informasjon på lang sikt [17,18].

En type nettverksarkitektur som løser dette problemet er LSTM. I en typisk implementering erstattes det skjulte laget av en kompleks blokk av dataenheter som består av porter som fanger feilen i blokken, og danner en såkalt "feilkarusell" [5]. Figur 2 viser RNN-strukturen der utdata fra det tidligere skjulte laget er inndata til det gjeldende skjulte laget. RNN-modellen er uttrykt ved

2.2. Tilbakevendende nevrale nettverk

Tilbakevendende nevrale nettverk (RNN) er sekvensielle data nevrale nettverk hvis formål er å forutsi neste trinn i en sekvens av observasjoner i forhold til tidligere trinn i samme sekvens. RNN-er inneholder skjulte lag fordelt over tid, som lar dem lagre informasjon innhentet i tidligere stadier av lesing av seriedata. Vindhastigheten avhenger av kort og lang sikt.

Den enkle RNN-modellen er ikke i stand til å håndtere langsiktige avhengigheter. Et problem som oppstår ved utfoldingen av en RNN er at gradienten til noen av vektene begynner å bli for liten eller for stor hvis nettverket utfoldes i for mange tidstrinn. Dette fenomenet kalles forsvinnende gradientproblem, og det kan lagre korttidsminne bare fordi det inkluderer funksjonene for å aktivere det skjulte laget i forrige tidstrinn, og dette fører til tap av informasjon på lang sikt [17,18].

En type nettverksarkitektur som løser dette problemet er LSTM. I en typisk implementering erstattes det skjulte laget av en kompleks blokk av dataenheter som består av porter som fanger feilen i blokken, og danner en såkalt "feilkarusell" [5]. Figur 2 viser RNN-strukturen der utdata fra det tidligere skjulte laget er inndata til det gjeldende skjulte laget.

RNN-modellen er uttrykt ved hvor det er inngangen, hts tilstandsverdien til det skjulte laget, den blir verdsatt ved utgangslaget ved tidspunkt t, hvorfor er vekten fra inngangslaget, hvorfor er vekten for den forsinkede utgangen ved tidspunkt t − 1 er tanh den hyperbolske tangenten som aktiveringsfunksjonen ved det skjulte laget, ogσ er sigmoidfunksjonen som aktiveringsfunksjonen ved utgangslaget.

2.3. Langt korttidsminne

Langtidsminnenettverk er en type tilbakevendende nevrale nettverk (RNN) designet for å unngå problemet med langsiktig avhengighet, der hver nevron inneholder minnecelle som er i stand til å lagre tidligere informasjon brukt av RNN eller glemme den om nødvendig [19] . For tiden er det mye brukt med suksess i tidsserieprediksjonsproblemer.

LSTM-RNN ble designet fra en minnecelle som lagrer langsiktige avhengigheter. I tillegg til minnecellen inneholder LSTM-cellen en inngangsport, utgangsport og glemmeport.

Hver port i cellen mottar gjeldende inngang tx, den skjulte tilstanden ht−1 i forrige øyeblikk og tilstandsinformasjonen Ct−1 i cellens interne minne for å utføre forskjellige operasjoner og bestemme om den skal aktiveres ved hjelp av en logisk funksjon. Tilstanden ht til enheten, utgangen på tidspunktet t, og inngangens skjulte tilstand på tidspunktet t1 bestemmes av ikke-lineært aktiverende tanh ( ) og informasjonen til utgangsporten.

3. Resultater og diskusjon

I denne studien ble MATLAB-programvare (R2019b) brukt for opplæringsprosessen til LSTM, som er en avansert arkitektur for RNN for å forutsi verdiene til fremtidige tidstrinn i en sekvens. Sekvensregresjonsnettverket ble trent til LSTM-sekvensen, der responser er treningssekvenser med skiftende verdier i ett tidstrinn.

Det vil si at for hvert tidstrinn i inngangssekvensen lærer LSTM-nettverket å forutsi verdien av neste tidstrinn. I dette arbeidet, for å evaluere effektiviteten og anvendeligheten til den foreslåtte modellen omfattende og systematisk, ble to serier med data valgt for vindhastighet for to forskjellige årstider på grunn av deres forskjellige klimatiske egenskaper, som er henholdsvis vår (mars 2015) og sommer (juli 2015) ).

Hver dataserie ble delt inn i henholdsvis 1–576 (24 dager) som observasjoner og 577–744 (7 dager), som trenings- og testgruppene. Treningsdata har blitt standardisert til å ha null gjennomsnitt og enhetsvarians ved prediksjonstid for å hindre trening fra divergens. Den beste treningsparameteren for å oppnå den laveste RMSE er funnet ved å bruke en innledende læringsrate på 0.005.

Figur 4 og 5 viser sammenligningen av observerte verdier med anslåtte verdier for vindhastighetsserier per time samlet på henholdsvis våren (1–31. mars 2015) og sommeren (1–31. juli 2015), for evaluering av LSTM, som ble trent én gang (den verdien av forrige prediksjon) og gjenbrukt til å forutsi hvert tidstrinn mellom prediksjoner som er representert av ligningene (2)–(4). Dette betyr at ingen oppdateringer blir gjort når modellen først passer til treningsdataene, og modellen i dette tilfellet kalles den faste modellen fordi det er nye oppdateringer.

Alternativer for LSTM-nettverkstrening ble valgt for 200 skjulte moduler. Den initiale læringshastigheten er 0,005, og det maksimale antall iterasjoner er fastsatt til 250. Gradientterskelen er satt til 1 for å forhindre at gradientene eksploderer. Læringsraten reduseres etter 125 epoker ved å multiplisere med en faktor 0,2. I både figur 6 og 7 er LSTM oppdatert med nye data for tidsserieprognosene ved å bruke de predikerte verdiene og de oppdaterte tilstandsverdiene fra testsettet og gjort tilgjengelig for modellen for prognosen på neste tidstrinn. Spesielt adopterte den modifiserte LSTM Ct−1 til inngangs-, glemme- og utgangsportene.

Dette er fordi hver gang LSTM fortsetter, påvirker Ct−1 inngangen, glem og utgangen til LSTM. Alle spådommer samles i testdatasettet og en feilscore beregnes for å oppsummere ferdighetene til modellen. Root mean square error (RMSE) brukes fordi den straffer store feil og resulterer i en poengsum i samme enheter som de prognostiserte dataene, som er vindhastighet per time.

Her er spådommene mer nøyaktige når du oppdaterer nettverkstilstanden med de observerte verdiene i stedet for de predikerte verdiene. Fra resultatene er det observert at i begge seriene Spring (mars 2015) og sommer (juli 2015) falt verdien av RMSE med henholdsvis 4,5845 og 4,9392 ved bruk av LSTM-oppdateringen, og dette skyldes de forskjellige egenskapene til hver.

I dette arbeidet og basert på ulike tidligere studier i henhold til ulike modeller, bemerkes det at nøyaktigheten til prediksjonsmodeller varierer i henhold til de ulike egenskapene til informasjonen, og derfor har det til nå ikke blitt nådd noen modell som fungerer med samme nøyaktighet med forskjellig informasjon . Tabell 1 viser feilene for de to dataseriene (juli 2015) og (mars 2015) i den foreslåtte LSTM-modellen som bruker RMSE-feilberegningene.

4. Konklusjoner

En nøyaktig prognosemodell av vindhastighetskilder er nødvendig for å gi viktig informasjon for å gi nettoperatører og systemdesignere mulighet til å generere et optimalt vindkraftverk og for å balansere tilbud og etterspørsel i energimarkedet.

I denne studien har modifisert langtidsminne (LSTM) blitt foreslått for å forutsi vindhastighet. Siden den faktiske verdien av tidstrinnene mellom prediksjoner kan få tilgang, forutses vindhastigheten ved å oppdatere nettverkstilstanden i hver prediksjon ved å bruke den observerte verdien i stedet for portene.

Dette er fordi hver gang LSTM fortsetter, påvirker celletilstanden inndata, glem og utdata fra LSTM. Resultatene av modellen demonstrerte forbedret nøyaktighet i å forutsi vindhastighet.

Forfatterbidrag: Conceptualization, ME; metodikk, ME; programvare, ME; validering, ME;formell analyse, ME og AM; skrive-Original utkast forberedelse, ME; skriving-Gjennomgang og redigering, AM; tilsyn, AM; prosjektadministrasjon, AM Alle forfattere har lest og samtykket til den publiserte versjonen av manuskriptet.

Finansiering: Denne forskningen ble delvis finansiert av det libyske utdanningsdepartementet, stipend nummer 3772.

Uttalelse fra institusjonell vurderingskomité: Ikke aktuelt.

Erklæring om informert samtykke: Ikke aktuelt.

Datatilgjengelighetserklæring: Ikke relevant.

Interessekonflikter: Forfatterne erklærer ingen interessekonflikter.

Referanser

1. Monfared, M.; Rastegar, H.; Kojabadi, HM En ny strategi for vindhastighetsvarsling ved bruk av kunstige intelligente metoder. Renew.Energy 2009, 34, 845–848. [CrossRef]

2. Box, GE; Jenkins, GM; Reinsel, GC; Ljung, GM Time Series Analysis: Forecasting and Control, 5. utgave; John Wiley & Sons:Hoboken, NJ, USA, 2015; s. 129–171.

3. Elsaraiti, M.; Merabet, A.; Al-Durra, A. Tidsserieanalyse og prognoser for vindhastighetsdata. I Proceedings of the IEEEIndustry Applications Society Annual Meeting, Baltimore, MD, USA, 29. september–3. oktober 2019; s. 1–5.

4. Yadav, AP; Kumar, A.; Behera, L. RNN-basert prognose for solstråling ved bruk av adaptiv læringshastighet. I The International Conference on Swarm, Evolutionary, and Memetic Computing; Springer: Cham, Sveits, 2013; s. 442–452.

5. Hochreiter, S.; Schmidhuber, J. Langt korttidsminne. Neural Comput. 1997, 9, 1735–1780. [CrossRef] [PubMed]

6. Kumar, D.; Mathur, HD; Bhanot, S.; Bansal, RC Prognostisering av sol- og vindkraft ved bruk av LSTM RNN for lastfrekvenskontroll i et isolert mikronett. Int. J. Modell. Simul. 2020. [CrossRef]

7. Shi, X.; Lei, X.; Huang, Q.; Huang, S.; Ren, K.; Hu, Y. Time-forutsigelse for vindkraft ved bruk av hybridmodellen for variasjonsmodellnedbrytning og langtidsminne. Energies 2018, 11, 3227. [CrossRef]

8. Rodrigues, ER; Oliveira, I.; Cunha, R.; Netto, M. DeepDownscale: A Deep Learning Strategy for High-Resolution Weather Forecast. I Proceedings of the 2018 IEEE 14th International Conference on e-Science (e-Science), Amsterdam, Nederland, 29. oktober–1. november 2018; IEEE: New York, NY, USA, 2018; s. 415–422.

9. Chen, N.; Qian, Z.; Nabney, IT; Meng, X. Vindkraftprognoser ved hjelp av Gaussiske prosesser og numerisk værprediksjon.IEEE Trans. Power Syst. 2013, 29, 656–665. [CrossRef]

10. Cao, Q.; Ewing, BT; Thompson, MA Prognose vindhastighet med tilbakevendende nevrale nettverk. Eur. J. Oper. Res. 2012, 221 148–154. [CrossRef]

11. Lydia, M.; Kumar, SS; Selvakumar, AI; Kumar, GE Lineære og ikke-lineære autoregressive modeller for kortsiktig vindhastighetsprognose. Energisamtaler. Manag. 2016, 112, 115–124. [CrossRef]

12. Ghaderi, A.; Sanandaji, BM; Ghaderi, F. Deep Forecast: Deep Learning-Based Spatio-Temporal Forecasting; Cornell University: Ithaca, NY, USA, 2017.

For more information:1950477648nn@gmail.com