Hvis man vil lade brugertilfredshedsundersøgelsen for plejehjem indgå som grundlag for styring af plejehjemmene eller politiske prioriteringer, skal man være varsom. For nogle kommuner er resultaterne nemlig behæftet med usikkerhed, erkender Danmarks Statistik over for NB-Ældre. Men det er fortsat uvist, for hvilke kommuner usikkerheden er størst.

Danmarks Statistiks indrømmelse kommer efter, at Vive-forsker har stillet spørgsmålstegn ved, hvor stor værdi der er i undersøgelsen på kommuneniveau for de kommuner, hvor der kun er ganske få respondenter, som har svaret på det enkelte plejehjem. Hvis der for eksempel kun er to respondenter, der har svaret på ét givet plejehjem, så tæller de relativt meget i det samlede resultat for kommunen, da Danmarks Statistik vægter resultaterne. Det kan give misvisende resultater, hvis disse to borgere har svaret meget negativt, selv om de er de eneste i kommunen, som har svaret negativt på et givent spørgsmål.

I sit svar til NB-Ældre erkender Danmarks Statistik usikkerheden:

“Tallene er naturligvis behæftet med usikkerhed, når der er få respondenter, og derfor er der også fuld gennemsigtighed omkring, hvor mange respondenter der er for hvert plejehjem i kommunerne.”

Men i de rapporter, som kommunerne har modtaget i december med resultater for deres egen kommune, står der intet om usikkerhed i forbindelse med resultaterne. Og hvad Danmarks Statistik mener med ‘fuld gennemsigtighed’ er også uvist, for i kommunerapporterne eller andre dokumenter i forbindelse med offentliggørelsen af resultaterne fremgår det ikke, hvor mange respondenter der er for hvert plejehjem i kommunerne. Flere kommuner bekræfter også over for NB-Ældre, at de ikke har fået oplysninger om, hvor mange respondenter der er for hvert plejehjem i forbindelse med rapporten.

Den enkelte kommune kan dermed ikke vide, om der i de samlede resultater for kommunen indgår plejehjem, hvor der kun er ganske få respondenter, som dermed kan risikere at give misvisende resultater.

I kommunerapporterne står der derimod, at resultaterne er repræsentative for kommunens plejehjem. NB-Ældre har spurgt Danmarks Statistik, hvordan de kan skrive, at resultaterne er repræsentative, når de for den enkelte kommune kan indeholde plejehjem, hvor kun to beboere har svaret, og disse tæller forholdsvis meget på grund af vægtning.

Seniorforsker ved Vive, Anna Amilon, har nemlig påpeget, at når der er stor variation i svarfordelingen, som tilfældet er på flere spørgsmål, så er det svært at antage, at to respondenter fra et enkelt plejehjem er nok til at være med til at kunne give et repræsentativt billede på kommuneniveau, når disse vægtes op. Men det har Danmarks Statistik ikke forholdt sig til i sit svar til NB-Ældre.

Danmarks Statistik svarer ikke

Efter at Danmarks Statistik blev opmærksom på, at resultaterne for Hørsholm Kommune var misvisende, fordi at der indgik et plejehjem med svar fra kun én beboer, som havde svaret meget negativt, så har de rettet den graverende fejl og ændret metoden. Nu skal der være mindst to respondenter på et plejehjem for at det indgår i de samlede resultater for kommunen. Men hvorfor er grænsen sat lige på to respondenter. Hvorfor ikke tre, fire eller fem? Det har Danmarks Statistik heller ikke svaret på over for NB-Ældre.

Anna Amilon påpeger, at hvis hun skulle have lavet undersøgelsen, så ville hun se på, hvad det får af konsekvenser for kommunens resultater, hvis man ændrer lidt på afgrænsningen. “Om det skulle være to, tre, fire eller fem. Får det stor betydning, så indikerer det, at resultatet er meget følsomt over for, hvilke antagelser man gør. Og det gør analysen mere usikker,” siger hun.

NB-Ældre har spurgt Danmarks Statistik konkret, om de har undersøgt dette. Men det har de heller ikke svaret på. De skriver derimod:

“Generelt kan det oplyses, at tilgangen til fejl i Danmarks Statistik er, at fejl rettes så hurtigt som muligt, og vi kommunikerer til brugerne om, at der har været en fejl. Da vi i Danmarks Statistik blev gjort opmærksom på, at tre plejehjem kun havde en respondent, tog vi resultater fra de pågældende plejehjem i kommunen ud af undersøgelsen. Vi har valgt at bevare plejehjem med to respondenter, så flest mulige af de borgere, der har valgt at deltage, bliver hørt.”

Lært af kritikken

Danmarks Statistik har dog lært af kritikken af undersøgelsen og skriver: “Vi har selvfølgelig også gjort os nogle erfaringer på baggrund af denne her sag i forhold til reduktion og formidling af usikkerhed, som der altid vil være i sådanne undersøgelser – den erfaring tager vi med os i det videre arbejde med spørgeundersøgelser som denne.”

Hvilke erfaringer de har gjort sig, og hvad de vil gøre anderledes næste gang, har de dog ikke beskrevet. Ligesom de heller ikke har skrevet, om de vil informere kommunerne om den usikkerhed, som de har erkendt.