Of- og vanmældir flokkar

Þegar fylgiskannanir eru teknar saman, eins og hefur verið gert hér, er oft unnið út frá þeirri forsendu að ekki sé um kerfisbundnar of- eða vanmælingar á tilteknum flokkum að ræða. Ef um ókerfisbundnar of- eða vanmælingar er að ræða ættu slíkar skekkjur að að dreifast með tilviljanakenndum hætti á könnunaraðila og vera í báðar áttir, þ.e. að stundum er einhver flokkur vanmældur og stundum er hann (eða annar) ofmældur. Lykilatriði er að gengið er út frá þeirri forsendu að engar kerfisbundnar skekkjur eigi sér stað. Með því að safna könnunum saman og birta mat á fylgi ættu slíkar ókerfisbundnar bjaganir að jafnast út, þ.e. ofmæling hjá einum aðila ætti að jafnaði að núllast út í könnunum hjá öðrum aðila og í öðrum könnunum hjá sama aðila. Í síðasta mati okkar á fylgi flokkana má segja að við höfum gefið okkur þá forsendu að enginn flokkanna sé kerfisbundið of- eða vanmetin.

Annað atriði sem segja má að gengið sé út frá er að það sé kerfisbundinn munur í nákvæmni á milli könnunaraðila (annar en úrtaksstærð). Þ.e.a.s. að við gerum ekki ráð fyrir því að gæði eða nákvæmni eins könnunaraðila séu meiri eða minni en annarra. Sjá má dæmi um hið gagnstæða hjá kosningaspá.is sem rekin er af Baldri Héðinssyni og Kjarnanum. Þar eru kannanir með mismikið vægi eftir því hver framkvæmir hana.

Því má spyrja sig tveggja spurninga:

  1. Er eitthvað sem bendir til þess að það sé munur á gæðum eða návæmni fylgiskannana eftir því hver framkvæmir?
  2. Bendir eitthvað til þess að einhverjir flokkar séu of- eða vanmældir á kerfisbundinn hátt? Ef svo er, eru einhverjir ákveðnir könnunaðilar sem of/vanmæla einhverja flokka umfram aðra?

Skekkjur mældar

Sú mæling á skekkju könnunaraðila sem er þekktust (þó sjaldnast undir því nafni) er ein af átta mælingum Mostellers. Hún er skilgreind sem meðalfrávik í prósentustigum á mældu fylgi og kosningafylgi fyrir hvern flokk eða kandídat (hvort sem er verið að ræða um) án tillits til í hvora áttina skekkjan er (tölugildið er notað).

Dæmi: Flokkur X er mældur með 26% stuðning í könnun en fær 25% atkvæða í kosningum. Frávikið fyrir þann flokk yrði þá 1. Flokkur Y er mældur með 25% en fær 26% atkvæða í kosningum. Frávikið er er einnig 1. Flokkur Z er mældur með 35% í könnun en fær 32% atkvæða. Frávikið er 3. Síðan er tekið meðaltal af frávikinu og fundin út heildarskekkja. Hér yrði hún \(\frac{1+1+3}{3}=1,67\).

Árið 2005 gáfu Martin, Traugott, & Kennedy út grein þar sem sett var fram ný mæling á kannanaskekkju, kölluð \(A\). Í stuttu máli er túlkunin á A á þann veg að neikvætt A merkir að könnunaraðili hafi vanmetið frambjóðanda og jákvætt A að hann hafi verið ofmetinn. A er sett fram sem lógariðmi af gagnlíkindahlutfalli (Odds Ratio) og er því mælingin samhverf um núll. Þessi mæling á skekkju er nokkur framför frá Mosteller mælingunni sem lýst er hér að ofan.

Hins vegar hentar \(A\) illa þegar kemur að fjölflokka kerfi þar sem ávallt þarf að miða mælinguna við samanburð við annan valkost (flokk eða kandídat), enda sniðin að bandaríska kerfinu þar sem oftast er valið milli demókrata og repúblikana. Til að gera langa sögu stutta útvíkka Arzheimer og Evans þessa mælingu yfir í \(A’\) og \(B\) (og \(B_w\)). Arzheimer og Evans átta sig á tengingu A við logistic líkanið og útvíkka það yfir í nafnbreytu (multinomial) logistic líkan. Skekkju fyrir hvern flokk i er hægt að mæla með \(A_i\) sem er 0 þegar enginn skekkja er og í – þegar flokkur er vanmetinn og + þegar hann er ofmetinn.

Þessar mælingar henta vel því hægt er að nota þær sem fylgibreytur í aðhvarfslíkani (t.a.m.). Án þess að fara um of út í tæknilegar hliðar þessara mælinga eru hér settar fram athuganir úr tveimur seinustu þingkosningum á Íslandi. Hér og hér er hægt að kynna sér nánar rannsóknir þeirra.

Heildarskekkja (\(B\) og \(B_w\))

Á grafinu hér að neðan er að finna \(B_w\) sem er vigtuð heildarskekkja könnunaraðila úr kosningunum 2013 og 2016. Einungis er miðað við eina könnun (seinustu könnun sem birt var). Eins og sjá má var nokkur munur á milli kosninganna.

Vigtuð skekkja fyrir Alþingiskosningar 2013/16 eftir könnunaraðilum.

Vigtuð skekkja fyrir Alþingiskosningar 2013/16 eftir könnunaraðilum.

Kosturinn við \(B_w\) sem mælingu er að hægt er að nota hana sem fylgibreytu í aðhvarfsgreiningarlíkani þar sem við getum athugað hvort það sé munur á milli könnunaraðila með því að hafa kóða könnunaraðila sem dummy breytur í líkaninu. Við nýtum því kannanir sem birtust á seinustu mánuðum fyrir kosningar sem mælingar. Þar sem kannanir verða nákvæmari eftir því sem styttra er til kosninga þá notum við breytu sem mælir tíma til kosninga (í dögum) sem stjórnbreytu. Við stjórnum einnig fyrir úrtaksstærð kannana til að einangra betur mögulega áhrif einstakra könnunaraðila.

Línulegt aðhvarfsgreiningarlíkan fyrir B_w fyrir þingkosningar 2016

Línulegt aðhvarfsgreiningarlíkan fyrir B_w fyrir þingkosningar 2016

Hér að ofan eru niðurstöður úr aðhvarfslíkani þar sem \(B_w\) er (vigtuð) heildarskekkjakönnunaraðila, dtk er stjórnbreyta fyrir tíma til kosninga (í dögum) og n2 er úrtaksstærð (og nei, hún er ekki í öðru veldi, heitir bara n2 í gagnasafninu). Síðan eru dummy breytur fyrir Félagsvísindastofnun, Gallup og MMR. Fréttablaðið er viðmiðunaraðili. Athugaðar eru 24 kannanir. Svipaða niðurstöður er að finna fyrir þingkosningar 2013 (ekki sýnt).

Niðurstaða

Ekki er hægt að álykta um að það sé munur á milli könnunaraðila þegar kemur að skekkju milli kosninga og seinustu kannana í aðdraganda kosninga. Athuga þarf að það þýðir ekki að engin skekkja sé á milli kannana og úrslita (hún er það nánast alltaf), heldur að ekki er hægt að álykta að einn könnunaraðili sé með meiri skekkju en hinn.

Ástæðan fyrir því að við gefum ekki könnunaraðilum mismunandi vægi út frá áreiðanleika í mati okkar á fylgi flokka, eru niðurstöðurnar hér að ofan.

Skekkja í mælingu einstakra flokka

Í samantekt á mælingum \(A_i\) (skekkja fyrir tiltekna flokka á) í kosningum 2013 og 2016 er tvennt sem stendur upp úr: Sjálfstæðisflokkurinn er alla jafna vanmældur í könnunum nokkuð stöðugt seinustu mánuðum fyrir kosningar og flokkur Pírata ofmældur að sama skapi. Þessi of- og vanmæling virðist einnig vera í sömu átt hjá öllum könnunaraðilum, en af mismikilli stærð (þó munurinn á milli þeirra sé innan vikmarka). Aðrir flokkar er ekki of- eða vanmældir að sama skapi, sumir að frekar litlu leyti og aðrir að litlu leyti en skekkjur milli aðila núllast út í heildarskekkju.

Forspágildi fyrir A’
Variable Sjálfstl.fl. VG Píratar framsokn Viðreisn BF Samfylking
A’
2016 -0,2760 -0,0171 0,3639 -0,0858 -0,0124 0,0065 0,1930
2013 -0,2815 -0,2685 0,3858 0,3883 0,3077 -0,0731

 

Af einhverjum ástæðum virðist svo vera, a.m.k í seinustu tveimur þingkosningum, að fylgiskannanir hafi verið að vanmeta fylgi Sjálfstæðisflokksins í aðdraganda kosninga, og ofmeta fylgi Pírata. Hvað það er sem hefur áhrif á þessa skekkju er ekki hægt að sjá út frá þessum gögnum og hafa ber í huga að hér er einungis verið að miða við útkomur í úrvinnslu (þ.e. reiknað fylgi í könnunum, við erum ekki með míkró-/hrágögnin). Líklegt verður að teljast að eitthvað í úrtaksaðferðum könnunaraðilana verði til þess að slíkt mynstur kemur fram. Af einhverjum ástæðum virðist vera erfiðara að fá kjósendur Sjálfstæðisflokks til þess að taka þátt í fylgiskönnunum og (of) auðvelt að fá stuðningsfólk Pírata. Hægt er að velta því fyrir sér hvaða ástæður eru fyrir þessum mun.

Niðurstaða

Vísbendingar eru í þá átt að könnunaraðilar ofmeti kerfisbundið fylgi flokks Pírata og vanmeti kerfisbundið fylgi við Sjálfstæðsflokk.

Í mati okkar á fylgi flokkana hefur ekki verið reynt að meta og vega of- eða vanmat á fylgi flokkana í fylgiskönnunum. Hins vegar benda þessar niðurstöður til þess að það gæti bætt matið og gert það nákvæmara. Augljós ókostur er að við vitum ekki hvaða öfl og gangverk eiga sér stað sem stýra þessari (líklegu) skekkju. Við munum hins vegar í ljósi þessara athugana endurmeta gögn frá könnunaraðilum til þess að reyna að leiðrétta fyrir ofangreindum atriðum.

– Helgi Eiríkur Eyjólfsson