Ny undersøgelse viser...

Kresten Roland Johansen og Lars Friis

En ny undersøgelse viser - eller gør den nu det?

Forlaget Ajour

96 sider, 228 kr.

Dejligt skrivevenligt papir, god margin til noter, ordbog, et lille udvalg af litteratur, ingen henvisninger, ingen noter.

Gør-det-selv-vinklen

Bogen er tænkt som værktøj for journalister (og sikkert gerne andre), der vil lave deres egne rundspørger.

Hvorfor de nu skal det, om det er billigere, og om det er realistisk i andet end ret få tilfælde, får stå hen. For langt de fleste medier og journalister drejer det sig normalt om at vurdere de undersøgelser, de får i hænderne, på samme måde, som de forholder sig (kilde)kritisk til andre kilder.

Det er forholdsvist sjældent, at journalister, informationsmedarbejdere m.fl. laver “rundspørger” fra bunden. Langt de fleste undersøgelser lander på journalistens bord som klip fra andre medier, fra Ritzau, fra aftaler med et analysebureau om at levere et antal undersøgelse om måneden eller fra interesseorganisationer, der hypper egne kartofler (også kaldet pressemeddelelser).

Set med medieøjne vil jeg derfor mene, bogen satser for meget på denne lidt skæve vinkel, men måske den er skrevet mere til ’spindoktor-journalister’ end til ’medie-journalister’? Under alle omstændigheder er den et velkomment bidrag til hjælp i kampen mod et voksende problem i den virkelighed, medierne formidler.

Fasthold kildekritikken

Hvis læseren (mediejournalisten) selv er indstillet på det eller endnu bedre har en god underviser ved hånden – er bogen et godt udgangspunkt for et journalistisk arbejde, der tilsyneladende bliver vigtigere og vigtigere. Alt for ofte optræder medierne i dag som håndlangere for formidling af ’en-undersøgelse-viser’-uvirkelighed. Der er flere en-undersøgelse-viser end nogensinde før, og det kan kun blive endnu være på vej mod datoen for næste valg til Folketinget.

Det er godt gennem bogen at få fastslået, at den repræsentative stikprøveundersøgelse (det systematiserede interview af mange kilder) er et godt journalistisk værktøj, hvis det bruges håndværksmæssigt forsvarligt, herunder kildekritisk - ikke i forhold til den enkelte respondent, men i forhold til undersøgelsen.

Her og nu usikkerheds-beregning. Prøv selv at indtaste tal på den anmeldte bogs udmærkede site

Bogen er suppleret med god hjemmeside

Der står på bogens bagside, at den viser “hvordan man gør” og “hvordan man gennemskuer, om en undersøgelse nu også reelt viser noget”. Det sidste er det vigtigste for langt de fleste, men står altså mest mellem bogens linjer.

De første ni kapitler er skrevet til gør-det-selv brug. Kapitlerne er både korte og brede, præget af sund fornuft og med godter i form af vigtige konkrete ting, der skal gøres. I kapitel syv er der en rigtig flot forklaret gang formler og matematik til de gør-det-selv folk, der ikke kan nøjes med de udmærkede hjælpeværktøjer på bogens www.en-undersoegelse-viser.dk, hvor man med et minimum af instruktion kan beregne usikkerhed og vurdere om forskellige resultater er signifikant forskellige.

Med den hjemmeside er den sidste undskyldning forsvundet for at formidle tvivlsomme udsagn med tid og viden som undskyldning. Den kan nemlig på to minutter også anvendes af dem, der ikke har forstået en brik.

Kildekritisk spørgsmål til egne og andre mediers en-undersøgelse-viser

I kapitel 10 svinger vinklen til de spørgsmål, man bør stille til egne og andres artikler om undersøgelser, herunder fra kapitel 8 en kort diskussion af medfølgende faktabokse.

Det er sjældent hos analysebureauerne, det går galt, men forfatterne mener, at flere analysebureauer accepterer, at lødige undersøgelser misbruges, fordi journalist eller opdragsgiver vinkler for hårdt eller skævt på resultaterne. Måtte alle journalister og måske især redaktionssekretærer og -chefer læse, at det er “en uskøn symbiose, som dygtige kritiske journalister kan og bør være med til at stoppe med brug af disse enkle redskaber [bogens, red.]”.

Rigtig mange spindoktorer, informationschefer og kommunikatører må i øvrigt også meget gerne læse det og forstå baggrunden. For den sags skyld må de også gerne læse i litteraturlistens Sepstrup 2002: En undersøgelse viser ..., der fokuserer på at vurdere undersøgelser og hverken snyde sig selv, læsere eller kunder. Jeg kan kun ønske, den også var skrevet med Johansen og Friis lette og sikre pen.

Et par små opstød

Pas på med at tro helt på, at baggrundsspørgsmål opfattes som “helt ukontroversielle”. Tænk for eksempel på alder, uddannelse, indkomst, stemte ved seneste valg, osv.

Det er ikke rigtigt, men en udbredt fejl, når forfatterne (s. 29) eksemplificerer en “talskala” og fortæller, at fordelen er, at man kan udregne et gennemsnit. Ja, det kan man godt. Det er tillokkende, men ikke meningsfuldt. Det er så udbredt en “synd”, at det vist næsten er almindeligt accepteret at gøre det. Men mener man at forstå noget ud fra en ordinalskalas gennemsnit, snyder man også sig selv.

Vægtning er en farlig spøg, som de fleste bør holde sig fra (s 44).

Vær forsigtig med den lidt løsagtige omgang (s. 44-45) med “repræsentativitet”.

Netundersøgelser er vanskeligere og generelt værre end det fremgår af bogen (s. 46 og kapitel 6). Enhver kan regne ud, at de evigt oppoppende spørgsmål ikke kan bruges til noget. Det er meget værre med de mange analyser baseret på paneler, som folk selv melder sig til - for eksempel med det formål at optjene gaver eller for at øve indflydelse. De kan ikke være repræsentative, selv om det er rutine, at bureauer og medier lader som om.

Jeg ville fremhæve langt kraftigere, at det er lidt af en skandale, når “ved ikke”-procenten ikke indgår i beregningen af partiernes tilslutning, “hvis der var folketingsvalg i morgen”.

Eksempler på dårlig journalistik

Bogens emne er vigtigt. Lad mig til illustration heraf give et par aktuelle eksempler på dårlig journalistik:

Jyllands-Posten eller Ritzau glemte ikke så lidt, herunder enhver form for kildekritik, da der 12.2.11 på side 3 var et illustreret Ritzau-telegram, der meldte om den hidtil største modstand med euro: 42% for, 50% mod. Ritzau har klippet hos Berlingske, der igen har haft Gallup til at lave undersøgelsen. Man kan vælge at stole på navnene, men også holde fast i, at der ikke er en snus sandsynliggørelse af, at resultaterne holder hele vejen til databanken.

JP bestiller sine undersøgelser hos Analyse Danmark, Rambøll. Samme dato, side 8 er der for eksempel tal, der i en undersøgelse fra februar viser, at Socialdemokraterne får 4,8 procent flere stemmer end ved folketingsvalget i 2007. Det er med hiv og sving en signifikant fremgang, men Socialdemokraternes fremgang siden november 2010 er ikke signifikant.

Artiklen fokuserer på De Konservatives historisk dårlige måling. Men tilbagegangen siden november 2010 er ikke signifikant! Der er ikke 95% sandsynlighed for, at den ikke skyldes stikprøvemålingens usikkerhed.

Hertil kommer en falsk formidling af nøjagtighed gennem brug af ligegyldige decimaler og en tvivlsom omregning til mandater. Begge dele er helt almindeligt i så godt som alle medier. En ny bundrekord dukkede 19.2.11 op på forsiden af Jyllands-Postens Erhvervsweekend, hvor resultater fra en ikke-repræsentativ Zapera-undersøgelse for Ældresagen var gengivet med to decimaler!

Ritzau lever blandt andet af at udsende pressemeddelser med - undertiden tvivlsomme - undersøgelsesresultater

Tag to-tre aviser på en hvilken som helst dag, og der er med sikkerhed eksempler på, at folk er spurgt om ting, de i almindelighed ikke forstår og/eller ikke har tænkt over før. Der er med sikkerhed vildledende decimaler, omregninger til mandater, overfortolkninger af forskelle, mangel på basal information – og meget ofte netanalyser, der ikke er repræsentative for populationen.

Ritzau er den største møjspreder. Og der står altid en ekspert klar til, uden at vide andet end journalisten fortæller i telefonen, at give kloge og indviklede forklaringer. Også på ændringer, der ikke med normal sandsynlighed har fundet sted i virkeligheden.