Die Unionsparteien bei fast 40 Prozent, nachdem sie nur wenige Wochen zuvor bei etwas mehr als der Hälfte lagen? Kann nicht sein. In meinem Bekanntenkreis wählt keiner die CDU, und überhaupt, ich kenne keinen, der jemals von einem Umfrageinstitut befragt wurde. Außerdem lagen die alle ja sowieso bei Trump und dem Brexit falsch.
Das werden sich wohl nicht wenige angesichts des aktuellen Umfragen-Höhenflugs von CDU/CSU denken. Im Zeitalter der „Fake News“ ist eine kritische Grundhaltung gegenüber Daten unbekannten Ursprungs vielleicht nicht die schlechteste Einstellung. Doch ist das Grundmisstrauen gegenüber Umfragen gerechtfertigt?
Umfrage ist nicht gleich Umfrage
Wenn eine AfD-Facebook-Seite in Form eines Reaktions-Sharepics ihre Follower fragt, ob Angela Merkel einen guten Job macht, dürfte das Ergebnis eindeutig sein. Auf einer Seite eines CDU-Kreisverbands dürfte das Ergebnis naturgemäß anders ausfallen. Welche Umfrage spiegelt nun die „wahre“ Meinung der Bevölkerung dar?
Die Antwort ist: keine. Keine der beiden Facebook-Umfragen ist repräsentativ. Repräsentativ ist eine Befragung dann, wenn sie einen Querschnitt durch die Bevölkerung darstellt. Das umfasst verschiedene Faktoren wie etwa Geschlecht, Alter, Wohnort und finanzielle Situation – und damit sind bei weitem nicht alle Aspekte genannt.
Auch Umfrageinstitute müssen gewichten
Wenn ein beliebiges Umfrageinstitut, sei es Forsa oder YouGov, 1.000 Menschen befragt, sollen diese Befragten eben einen solchen Querschnitt der Bevölkerung darstellen. Die Antworten der Befragten werden entsprechend dem demographischen Zuschnitt der Bevölkerung gewichtet. Wenn unter den 1.000 Befragten beispielsweise 600 Frauen sind, dann werden deren Antworten so gewichtet, dass sie dem Anteil an der Bevölkerung entsprechen (52 %).
Aus diesem Grund werden auch nicht allzu viele Menschen befragt. 1.000 Befragte reichen, um ein Ergebnis zu erhalten, dass mit einer Abweichung von 2 bis 4 Prozentpunkten mit einer großen Wahrscheinlichkeit ziemlich genau ist. Je mehr Menschen befragt werden, desto geringer wird auch die Standardunsicherheit, allerdings nur marginal.
Ein einfaches Rechenbeispiel: Bei der kommenden Bundestagswahl dürften ungefähr 45 Millionen Wahlberechtigte auch tatsächlich an die Urne schreiten. Eine Umfrage rechnet mit einem Ergebnis von 35 Prozent für eine Partei kurz vor der Wahl. Hätte das Umfrageinstitut 100 Menschen befragt, dann hätte das Ergebnis eine Standardunsicherheit von knapp 10 Prozent: mit einer sehr hohen Wahrscheinlichkeit (95 %) läge das Ergebnis irgendwo zwischen 25 und 45 Prozent, am wahrscheinlichsten wäre der Wert von 35 Prozent. Das ist nicht gerade sehr aussagekräftig. Wären 1.000 Menschen befragt worden, würde sich die Fehlermarge auf 3 Prozent verringern. Das zu erwartende Ergebnis für die Partei läge also irgendwo zwischen 32 und 38 Prozent. Dafür müssten die Demoskopen allerdings zehnfach so viele Leute befragen. Und wären 10.000 Menschen nach ihrer voraussichtlichen Wahlabsicht gefragt worden, dann betrüge die Schwankungsbreite nur noch ein Prozent. Allerdings müssten die Demoskopen für eine solche Anzahl an Befragten deutlich mehr Ressourcen aufwenden: ein minimaler Informationsgewinn geht mit einem viel größeren Aufwand an Geld und Zeit einher.
Gewichtungen müssen immer auf Basis von Erfahrungswerten vorgenommen werden und das ist gerade bei Wahlen äußerst schwierig, denn bei diesen variieren die zu gewichtenden Parameter zunehmend. Bildungsfernere Schichten gehen seltener wählen als Akademiker, Ältere gehen eher zur Wahl als Jüngere.
Vor allem für junge Parteien, deren (zumeist dynamische) Wählerspektrum noch kaum bekannt oder in der Herausbildung ist, bedeutet das einen großen Unsicherheitsfaktor. Zu den ersten Wahlen, zu denen die AfD antrat, war sie in Breiten Teile eine eher konservative, EU-skeptische Partei, bis sie immer weiter nach rechts abdriftete. Entsprechend veränderte sich auch die Wählerstruktur. Entsprechend lagen die Demoskopen bei fast allen Wahlen in der Anfangsphase der AfD-Existenz etwas – wenn auch innerhalb der Schwankungsbreite – daneben. Seitdem (ca. Mitte 2016) waren die Umfrageergebnisse allerdings sehr oft präzise, teilweise wurde die AfD sogar überschätzt. Zudem müssen die Demoskopen darauf vertrauen, dass die Befragten auch wirklich ihre Meinung sagen. 1992 beispielsweise galten die Konservativen von Premierminister John Major in der Presse als ausgemachter Verlierer. Viele Befragte schämten sich, bei Befragungen anzugeben, sie würden die Tories wählen. So viele, dass fast alle Umfragen im Vorfeld der Wahl falsch lagen und die Tories sogar ihre absolute Mehrheit beibehielten. Infolge dieses Desasters für die Demoskopie änderten die Umfrageinstitute ihre Methodologie – und siehe da, 1997 lagen alle Umfragen im Vorfeld der Wahl richtig. Ein Anpassen an neu gewonnene Erfahrungswerte erfolgt immer, beispielsweise nach Trumps Wahl. Oder warum prognostizierten die Umfragen bei den Midterm-Wahlen 2018 in den Vereinigten Staaten ein so akkurates Ergebnis?
Umfragen sind nur Momentaufnahmen
Umfragen werden nur in einem bestimmten Zeitraum durchgeführt. Gerade im Endspurt des Wahlkampfs können dynamische Kampagnen noch zu großen Umschwüngen führen, die so auch von den Demoskopen registriert werden. Wie genau sich diese allerdings im Endergebnis widerspiegeln, ist bis zum Wahlergebnis natürlich unklar. Vor dem Brexit-Referendum zeichnete sich bereits ab, dass der Umfragevorsprung der Befürworter schmolz.
Manche Ereignisse geschehen allerdings erst unmittelbar vor einer Wahl. Nur wenige Umfragen vor der US-Wahl 2016 hatten ihren Befragungszeitraum während der FBI-Ermittlungen gegen Clinton. Entsprechend wenig konnten Änderungen im Wählerverhalten durch diese berücksichtigt werden.
Sicherlich gibt es auch schwarze Schafe in der Welt der Demoskopen, die Ergebnisse manipulieren, wie in diesem FiveThirtyEight-Artikel dargestellt. Auch ist es schade, dass Umfrageinstitute im deutschsprachigen Raum – anders als in Großbritannien oder den USA – nur selten Rohdaten publizieren. Nichtdestotrotz: Wir können Umfragen vertrauen. Natürlich nicht blind.
Was ein toller und verständlicher Text!