| 2008-12-12 18:59:33 [Nathalie Daneels] | [reply] | Evaluatie opdracht 1 - Blok 20 (Q3):
De student heeft geen gebruik gemaakt van de spectraal analyse, wat wel gevraagd werd in de stap. Bovendien is de spectraal analyse ook niet correct uitgevoerd.
Dit is de link dit bij de spectraal analyse hoort:
http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/09/t1228851215gbm6oanv1yvrd5q.htm
Dit is de link die bij de ACF hoort:
http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/09/t1228853014txm0afzpwp072k9.htm
Dit is de conclusie die bij deze stap hoort:
- Uit de grafiek van de ACF kunnen we afleiden dat er geen lange termijn trend meer: Aan de linkse kant van de grafiek is er geen langzaam dalend patroon meer op te merken. Ook de seizoenaliteit is verwijderd uit de tijdreeks: Er is geen langzaam dalend patroon meer van de seizoenale autocorrelatiecoëfficiënten. De seizoenale coëfficiënt is enkel bij time lag 12 nog significant verschillend van 0, maar wordt bij deze time lag wel negatief: Er is dus zeker geen sprake meer van een seizoenale trend. De.correlatiecoëfficiënten op de time lags 24,36,… zijn allemaal niet significant verschillend van 0 en ongeveer afwisselend positief en negatief. Het feit dat zowel de lange termijn trend als de seizoenaliteit uit de grafiek zijn verwijderd, betekent dat we erin geslaagd zijn om de tijdreeks stationair te maken (a.h.v. deze methode).
Als we gaan kijken naar de grafieken van de spectraal analyse, kunnen we hetzelfde concluderen. Op de eerste grafiek merken we dat er geen dalende of stijgende lijn meer is, maar een plus/minus horizontale lijn. Dit betekent dat de lange termijn trend ‘verwijderd’ is: Op de grafiek zijn er niet echt nog golfbewegingen met een zeer lage frequentie, die wijzen op een lange termijntrend. We kunnen eveneens uit de tabel afleiden dat er nergens nog golfbewegingen zijn met een zeer groot spectrum (Wat we ook zien op de grafiek). Evenmin is er sprake van seizoenaliteit: Er zijn geen periodes meer die overeenkomen met grote (positieve) pieken, die dus wijzen op seizoenaliteit.
- Als we ten slotte naar het cumulatieve periodogram kijken, kunnen we vaststellen dat dit een zeer mooie grafiek is. Er is geen enkele indicatie meer van een lange termijn trend (er is geen steile stijging meer aan de linkse kant van de grafiek) en er is ook geen sprake meer van seizoenaliteit (Er bevindt zich geen trapvorming in de grafiek). We moeten wel opmerken dat de grafiek niet helemaal binnen het betrouwbaarheidsinterval ligt: Dit wijst erop dat het niet aan het toeval kan worden toegeschreven. Het kan enkel aan het toeval worden toegeschreven als de grafiek helemaal binnen het betrouwbaarheidsinterval zou liggen (Dan zou het een rechte lijn (random)/diagonaal zijn tussen het interval). Vanaf het moment dat de grafiek erbuiten ligt, wat hier het geval is, betekent dit dat er nog golfbewegingen zijn in de tijdreeks, die verklaarbaar zijn of m.a.w. er zijn nog patronen die voorspelbaar zijn. We kunnen dus concluderen dat het model nog voor verbetering vatbaar is.
De assumpties die moeten voldaan zijn, opdat een tijdreeks stationair is, zijn hier voldaan: Er is geen sprake meer van een lange termijn trend en er doet zich ook geen seizoenaliteit meer voor. Maar er is nog steeds een afwijking in het cumulatieve periodogram (de grafiek ligt niet helemaal binnen het betrouwbaarheidsinterval). Dit betekent dat het zeer waarschijnlijk met een AR of een MA-proces te verklaren is. Indien de cumulatieve periodogram naar boven afwijkt, wat hier dus het geval is, dan heeft dit te maken met een lage frequentie: De AR-processen zijn dan zeer handig. Als dit cumulatieve periodogram naar onder afwijkt, dan heeft dit waarschijnlijk te maken met een hoge frequentie en zijn de MA-processen zeer handig.
We hebben in dit geval de tijdreeks ook getransformeerd met de waarde 0,5 voor lambda (of m.a.w. we hebben de wortel genomen van de tijdreeks): Dit betekent dat de variantie gestabiliseerd wordt. En we hebben eerder al vermeld dat er geen sprake meer is van een lange termijn trend of seizoenaliteit in de tijdreeks. De modelvergelijking ziet er dus als volgt uit: N x N(12) x Wortel (Yt) = Et.
Dit alles betekent dat we het Walson compositie theorema kunnen gebruiken: Er moet een MA of AR-proces (in dit geval waarschijnlijk AR-proces gezien de afwijking naar boven in het cumulatieve periododgram) worden gevonden, die mij een adequate modelvegelijking geeft.
Definitie van het spectrum en van het cumulatieve periodogram:
* De spectrumgrafiek verstrekt een visuele vertegenwoordiging van het verband tussen:
• de frequentie van alle sinuzoïdes die in de tijdreeks bevat zijn
• de intensiteit waarbij elke sinuzoïdes in de tijdreeks aanwezig is
De gewogen som van alle sinuzoïdes (x-as) is gelijk aan de originele tijdreeks. De gewichten van deze som zijn gelijk aan de intensiteit (y-as) van elke respectieve sinuzoïde.
De decompositie van een tijdreeks naar zijn onafhankelijke sinuzoïdes wordt genoemd 'spectrale analyse'.
* Het cumulatieve periodogram is de visuele vertegenwoordiging van het verband tussen de periode van alle sinuzoïdes (x-as) tegenover de cumulatieve intensiteit van alle sinuzoïdes die een periode hebben gelijk aan, of groter dan, de periode van een om het even welk gegeven sinuzoïde.
| |
| 2008-12-12 19:03:00 [Nathalie Daneels] | [reply] | Evaluatie opdracht 1 - Blok 20 (Q4)
De student heeft stap 4 niet opgelost. Ik ga de evaluatie bij deze stap (3) zetten:
De link die bij de (P)ACF van deze stap hoort is:
http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/09/t1228853014txm0afzpwp072k9.htm
De link die bij de spectraal analyse van deze stap hoort is:
http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/09/t1228851215gbm6oanv1yvrd5q.htm
Bij de (P)ACF is het voornamelijk belangrijk dat je de grafieken van de autocorrelatie en de partiële autocorrelatie bij deze stap zet. Bij de spectraal analyse is het vooral belangrijk dat je de grafiek van de cumulatieve periodogram bij deze stap opneemt.
De conclusie die hierbij hoort is:
Uit de cumulatieve periodogram kunnen we afleiden dat de grafiek naar boven afwijkt, wat betekent dat een AR-proces waarschijnlijk wel handig is. (Zoals we al bij step 3 hebben vermeld). Het feit dat de grafiek naar boven afwijkt, wijst op een lage frequentie en een AR-proces is dan zeer handig.
Uit vergelijking van de grafieken ACF en PACF met de theoretische patronen van de AR-processen en de MA-processen, kunnen we vaststellen dat p = 3, P = 0, q = 0 en Q = 1.
We hebben hier dus waarschijnlijk te maken met een AR(3)-proces en een SMA(1)-proces.
Om tot deze conclusie te komen, hebben we het volgende gedaan:
* Eerst gaan we beginnen met de AR-processen: deze processen hebben typische patronen in de ACF. We gaan nagaan of we deze patronen kunnen identificeren in onze ACF. We gaan dus moeten kijken naar de eerste 4 of 5 correlatiecoëfficiënten in onze grafiek om een mogelijk patroon te kunnen herkennen. We nemen enkel in het begin maar een paar correlaties, zodat we geen seizoenaal patroon zullen identificeren. Bovendien mogen we ook geen rekening houden met de allereerste correlatie die overeenkomt met time lag 0. We kunnen opmerken bij onze grafiek van ACF dat er een zeer snelle convergentie is naar 0. Kunnen we dit patroon herkennen in 1 van de patronen van de AR-processen? We kunnen dit min of meer herkennen in 1 van de patronen, alleen is onze eerste correlatiecoëfficiënt (op time lag 1) kleiner dan onze tweede correlatiecoëfficiënt en het patroon dat we er mogelijk in herkennen heeft dalende correlatiecoëfficiënten op de eerste 4 of 5 time lags. Nu kunnen we ons de vraag stellen of we aan dit staafje mogen trekken? We moeten hierbij opmerken dat bij de patronen in de ACF bij de AR-processen gebruik wordt gemaakt van een zuivere tijdreeks: Zonder transformatie, differentiatie,… Wij hebben te maken met een echte/werkelijke tijdreeks met een toevalscomponent,… We mogen echter besluiten dat we abstractie mogen maken van 1 of 2 correlatiecoëfficiënten van het patroon. Dit betekent dat we wat aan het staafje mogen trekken: Aangezien de correlaties onderling gecorreleerd zijn (want het is een ACF), betekent dit dat als we aan het ene staafje trekken, de anderen ook wat gaan volgen. We mogen dus concluderen dat onze ACF gelijkt op de ACF van het AR-proces met als patroon: Een opeenvolging van positieve correlaties die zeer snel naar 0 convergeren.
Een belangrijke opmerking die we hierbij moeten maken: De patronen die typisch zijn voor de AR(1)-processen, zijn eveneens typisch voor de AR(2)-processen,… Dit betekent dat we eigenlijk geen onderscheid kunnen maken tussen een eerste orde of een tweede orde,… AR-processen, enkel gebaseerd op de ACF. Meer zelfs: Dit geldt voor alle AR(p)-processen. Nu om toch te kunnen bepalen over welke orde van AR-proces we beschikken, moeten we gaan kijken naar de PACF van onze grafiek en deze gaan vergelijken met de typische patronen van de PACF van de AR-processen. We moeten ons hierbij de vraag stellen hoeveel van de eerste coëfficiënten significant zijn, dat getal bepaalt de orde van het AR-proces. Uit onze grafiek van PACF kunnen we vaststellen dat de eerste en de tweede correlaties positief zijn, maar de derde net niet meer. Nu als we daar een klein beetje aan trekken, dan wordt deze ook positief. We kunnen opmerken dat er dus 3 positieve correlaties zijn. Bij twijfel (of een bepaalde correlatiecoëfficiënt in het begin al dan niet significant is) moeten we het proces nemen dat wat ruimer/groter is, wat hier dus het AR(3)-proces gaat zijn. Het is mogelijk dat we nadien onze mening misschien moeten herzien. Dus p = 3.
* Vervolgens gaan we kijken of er sprake is van een seizoenaal gedeelte in onze ACF. We kunnen uit onze grafiek afleiden dat er geen seizoenaal patroon aanwezig is: We hebben dus hoogstwaarschijnlijk niet te maken met een SAR-proces. Hieruit kunnen we dus afleiden dat P = 0.
* Nu gaan we kijken of we te maken hebben met een MA-proces. Om dit te kunnen concluderen, moeten we onze grafiek van de PACF gaan vergelijken met de typische patronen in de PACF van de MA-processen. We gaan dus weer letten op de eerste 4 of 5 coëfficiënten in onze grafiek, zonder rekening te houden met de coëfficiënt op time lag 0. Hieruit kunnen we zeer duidelijk afleiden dat deze helemaal niet overeenstemmen met één van de typische patronen van MA-processen in de PACF. Er is dus geen herkenbaar patroon voor een MA-proces, wat betekent dat q = 0.
* Ten slotte moeten we gaan kijken of er seizoenale coëfficiënten zijn in het PACF die hierboven bij de vraag gezet is. Hieruit kunnen we duidelijk het volgende afleiden: Er zijn allemaal negatieve correlatiecoëfficiënten, waarvan er een aantal significant verschillend zijn. Deze coëfficiënten komen overeen met de periodes 12, 24,… maanden. We gaan vervolgens dit patroon vergelijken met de patronen van de PACF van de MA-processen. We kunnen opmerken dat dit zeer sterk overeenkomt met een patroon van de PACF van de MA-processen, namelijk de opeenvolging van negatieve correlatiecoëfficiënten. Er is dus sprake van een SMA-proces (een seizoenaal MA-proces). Ook hier moeten we een belangrijke opmerking maken: De patronen die typisch zijn in de PACF voor MA(1)-processen zijn ook typisch in de PACF van MA(2)-processen,… Dit geldt bovendien voor alle MA(q)-processen. Dit betekent dat we eigenlijk geen onderscheid kunnen maken tussen de SMA(1)-processen, de SMA(2)-processen,… Nu om toch een onderscheid te kunnen maken in deze SMA-processen en dus te kunnen bepalen welke orde het is, moeten we gaan kijken naar de ACF: hoeveel van de eerste seizoenale coëfficiënten in onze grafiek zijn significant, dat getal bepaalt de orde. De eerste is significant, maar we moeten opmerken dat de volgende al nier meer significant is. Dit betekent dat we met een eerste orde SMA-proces werken. We kunnen dus concluderen dat Q = 1.
Nu aan de hand van deze 4 gevonden waarden voor de parameters p,P,q en Q kunnen we de modelvergelijking invullen. Voor Phi schrijf ik P en voor hoofdletter Phi schrijf ik H.
(1 – P x B – P2 x B² - P3 x B³) N x N(12) x Wortel (Yt) = (1 – H1 x B(12)) x Et.
B = Backshift-operator , Yt = oorspronkelijke tijdreeks , N = Nabla , Et = toevalscomponent.
Als we deze modelvergelijking vervolgens ingeven in de computer, dan is het zijn taak om de 4 Griekse parameters te berekenen. De computer gaat ervoor zorgen dat je een optimale combinatie van gewichten krijgt, die ervoor zorgen dat een aantal criteria (o.a. de voorspelling) geoptimaliseerd wordt. De computer gaat ook zorgen voor een schattingsmethode, die je gaat helpen bij het identificeren van de modellen die je nodig hebt.
Definitie van de PACF: is een speciaal soort Autocorrelatiefunctie. De correlatiecoëfficiënten worden verwerkt zodanig dat al de correlaties onafhankelijk zijn van elkaar. Dit impliceert dat de correlaties in de PACF niet wederzijds gecorreleerd zijn (in tegenstelling tot in de gewone ACF).
| |
| 2008-12-12 19:05:00 [Nathalie Daneels] | [reply] | Evaluatie opdracht 1 - Blok 20 (Q5):
De student heeft deze stap niet gemaakt. Ik zet de evaluatie ervan dan ook bij de stap 3.
De url die bij deze stap hoort is:
http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/09/t1228853963lz9h69iagaf0u4m.htm
Hierbij is het belangrijk dat je alle grafieken opneemt bij deze vraag.
De conclusie die hierbij hoort is:
De grafiek toont de schattingen van de parameter die de computer heeft gemaakt:
In de eerste kolom vinden we de schattingen voor de parameter van het AR(1)-proces: Phi1
In de tweede kolom vinden we de schattingen voor de parameter van het AR(2)-proces: Phi2
…
In de zevende kolom vinden we de schattingen voor de parameter van het SMA(1)-proces: Hoofdletter Phi1.
We kunnen opmerken dat de computer eveneens schattingen berekent voor het MA(1)-proces. We hebben dat proces nochtans niet in onze modelvergelijking opgenomen, maar de computer heeft die toch berekend.
In de rijden vinden we de modellen die de computer heeft gegenereerd:
In de eerste rij vinden we verscheidene parameters terug: Die getallen mogen we gebruiken om de Griekse symbolen te vervangen/substitueren.
De kleur van elke kader heeft aan hoe negatief, positief of dicht bij 0 de parameter/coëfficiënt ligt. Dit is minder belangrijk.
Het allerbelangrijkste zijn de driehoekjes beneden in elke rechter hoek van de elke kader. De kleur van dat rechthoekje bepaalt de significantie:
De kleur zwart betekent dat de p-waarde van de parameter tussen 10% en 100% ligt, wat dus zeer groot kan zijn. Dit betekent dat de parameter zeker niet significant verschillend is van 0 of m.a.w. we kunnen deze parameter evengoed weglaten.
De kleur rood betekent dat de p-waarde van de parameter tussen de 5% en de 10% ligt. In dit geval is er dus eigenlijk sprake van twijfel: De p-waarde is waarschijnlijk nog net iets groter dan 5%, wat erop wijst dat de parameter niet significant verschillend is van 0 en kan dus eventueel eigenlijk worden weggelaten.
De kleuren oranje en groen betekenen dat de p-waarde kleiner is dan 5%, wat erop wijst dat de parameter significant verschillend is van 0 en deze dus kan gebruikt worden in de modelvergelijking.
Uit elke rij worden telkens die parameters weggelaten waarvan de p-waarde groter is van 5% en dan wordt er vervolgens een nieuwe rij getoond. Op deze manier worden alle parameters die een p-waarde hebben van meer dan 5% stap per stap (rij per rij: Er wordt telkens maar 1 parameter met een p-waarde groter dan 5% weggelaten uit de rij) weggelaten, totdat we enkel parameters behouden die significant verschillend zijn van 0, wat dus betekent dat die waarden kunnen gebruikt worden in onze modelvergelijking.
Als we naar de eerste rij kijken, kunnen we opmerken dat de waarde bij parameter AR(3) niet significant is. Wij twijfelden in stap 4 of we een AR(2) of een AR(3)-proces moesten nemen. We hebben toen gekozen voor het ruimere/grotere proces, AR(3). De computer geeft aan dat het een AR(2)-proces moet zijn. Dit betekent dat we onze modelvergelijking moeten aanpassen: (1 – P x B – P2 x B²) N x N(12) x Wortel (Yt) = (1 – H1 x B(12)) x Et.
Dus de computer berekent stelselmatig alle parameters die niet significant zijn. Één voor één worden de niet-significante parameters berekend en worden vervolgens weer weggelaten uit de rij. Het aantal rijen is afhankelijk van het aantal niet-significante parameters: Zolang alle parameters nog niet significant zijn, worden er rijen aangemaakt. We kunnen dus concluderen dat dit een ruwe methode is om ons te helpen bij het selecteren van de parameters.
In de laatste rij staan de waarden van alle parameters die gebruikt zouden moeten worden in de modelvergelijking, volgens de computer. We kunnen hierbij opmerken dat de computer meer parameters heeft gevonden dan dat wij visueel hebben gezien op basis van de ACF en de PACF: De computer zegt namelijk dat er ook een (niet-seizoenaal) MA(1)-proces is. De andere parameters komen overeen met onze modelvergelijking. Wij moeten dus gaan kiezen tussen onze keuze of de keuze van de PC.
De modelvergelijking volgens de PC is het volgende:
(1 – P1 x B – P2 x B²) N x N(12) x Wortel (Yt) = (1 – P1 x B) x (1 – H1 x B(12)) x Et.
Dit model zorgt ervoor dat de lange termijn trend, de seizoenale trend, lambda,… (en alle andere parameters) verwerkt worden. De assumptie hierbij is dat de residu’s geen voorspelbaarheid mogen hebben. We gaan dus kijken naar de grafiek van de residuele ACF: de eerste coëfficiënt moeten we buiten beschouwing laten want die bevindt zich op time lag 0. Uit deze grafiek kunnen we afleiden dat slechts 1 autocorrelatie coëfficiënt significant verschillend is van 0. Hier moeten we niets aan doen/moeten we ons geen zorgen over maken: Er worden 200 correlaties berekend en het betrouwbaarheidsinterval is 95%. Als je van een willekeurige tijdreeks weet dat er geen autocorrelatie is en je berekent 200 coëfficiënten, dan mogen er ongeveer 10 coëfficiënten buiten dat interval liggen, zonder dat we ons zorgen hoeven te maken. Dus we hechten aan deze ene coëfficiënt geen belang. (We hechten enkel aan die significante coëfficiënten belang als deze een betekenis zouden hebben bv. Als de coëfficiënten zouden liggen op time lag 1,12,24,…). We kunnen dus stellen dat er geen patroon is in de grafiek.
Ook in de grafiek van de residuele PACF mag er geen patroon zijn, maar we kunnen stellen dat dit niet het geval is. Er is maar 1 coëfficiënt die buiten het betrouwbaarheidsinterval ligt, maar daar hoeven we ons geen zorgen over te maken. (Hierbij geldt hetzelfde als bij de ACF: zie enkele lijnen hierboven).
Als we gaan kijken naar de residuele cumulatieve periodogram, kunnen we opmerken dat de grafiek een diagonaal vormt dat binnen het betrouwbaarheidsinterval ligt. Dit betekent dat het aan het toeval kan worden toegeschreven: Er zijn geen patronen meer die voorspelbaar zijn/ Er zijn geen golfbewegingen meer in de tijdreeks, die voorspelbaar zijn. Dit is dus zeer goed.
Als we naar alle andere (residuele) grafieken gaan kijken, kunnen we vaststellen dat deze zeer mooi zijn: De grafieken ‘Residual density plot’ en ‘Residual histogram’ vertonen min of meer een normaalverdeling. Enkel op de Residual Normal QQ-plot zien we een kleine afwijking/fout in de rechterstaart, maar dat zien we door de vingers.
We kunnen dus stellen dat dit model aan bijna alle criteria voldoet en dat we dus voorspellingen kunnen maken.
| |
Post a new message |
