Brugertilfredshedsundersøgelsen for plejehjem er ikke kun ubrugelig på kommuneniveau. Den er også stort set ubrugelig, når man kigger på resultaterne på tværs af køn, alder og alle de andre underopdelinger, som indgår i rapporterne.

Det vurderer professor i offentlig forvaltning ved Roskilde Universitet, Ole Helby Petersen, som har kigget på undersøgelsen.

“Undersøgelsen har en del ret væsentlige metodiske begrænsninger. Det første er, at man har spurgt alt for få mennesker samlet set i undersøgelsen, når man kigger på, hvad det er, man gerne vil sige noget om,” siger professoren, som både underviser i statistik og spørgeskemametode, og bruger det i sin egen forskning.

Derudover er han chefredaktør på det største internationale tidsskrift inden for offentlig forvaltning, hvor han hvert år vurderer omkring 1.000 manuskripter lavet på baggrund af forskellige metoder - herunder spørgeskemaundersøgelser.

Danmarks Statistik erkendte i sidste uge, at undersøgelsen faktisk ikke er repræsentativ på kommuneniveau, selv om det står i rapporterne. Til gengæld har de udtalt, at resultaterne dækker de plejehjem, som har deltaget. Da der er mange, som ikke har svaret på de enkelte plejehjem, har Danmarks Statistik vægtet resultaterne, og på den baggrund skriver myndigheden, at resultaterne giver ‘et mere retvisende billede af tilfredsheden blandt beboerne på de deltagende plejehjem.”

'Stort set ubrugelig'

Men Ole Helby Petersen vurderer ikke, at resultaterne kan bruges til at sige noget brugbart på de deltagende plejehjem, når man går helt ned på for eksempel køns- og aldersfordeling, som resultaterne er beskrevet i kommunerapporterne.

Som det er nu, kan kommunerne ikke se, hvilke plejehjem som har deltaget. Men selv hvis Ældreministeriet beslutter at oplyse kommunerne om, hvilke plejehjem som de omkring 10.000 beboere, som har deltaget i undersøgelsen, kommer fra, så er det meget begrænset, hvad man kan bruge undersøgelsen til i forhold svarene fordelt på baggrundsvariable.

“Hvis man bare gerne vil vide noget om tilfredsheden med plejehjemmene i Danmark, så er 10.000 en meget, meget flot stikprøve. Men hvis man gerne vil sige noget på kommuneniveau, eller som man også gør i alle rapporterne til kommunerne, sige noget opdelt på forskellige grupper af borgere inden for hver kommune, så er vi lige pludselig i en situation, hvor stikprøven er meget lille,” siger han og fortsætter:

“Også væsentligt mindre end det, vi typisk vil opfatte som tilstrækkeligt til at sige noget som helst meningsfuldt. Undersøgelsen er stort set ubrugelig. Det er min klare vurdering.”

Første semester-studerende lærer denne metode

Ud over at kommunerne kan risikere at træffe beslutninger på et misvisende grundlag, så er undersøgelsen også spild af penge.

“Det er et kæmpe problem, fordi man har brugt et kæmpe millionbeløb på at lave spørgeskemaundersøgelsen,” siger professoren.

Undersøgelsen har sammen med tilsvarende undersøgelse for hjemmeplejen kostet i alt 15 millioner kroner.

Det er ikke fordi, undersøgelsen er en meget avanceret undersøgelse. Ole Helby Petersen betegner den som ‘en relativ standardmetode’.

“Det er sådan noget, som vi underviser vores studerende på første semester i metode i: at være ekstremt opmærksom på, om man overhovedet kan sige noget meningsfuldt med den stikprøve, man er i gang med at lave,” siger han.

For at illustrere problemet kan man for eksempel tage kommunerapporten for Halsnæs Kommune. Her fremgår det, at 17 beboere har svaret på spørgsmålene. Når man kigger på svarfordelingen for 90+ år, så bygger den kun på to besvarelser og tilsvarende fire beboere for aldersgruppen 67-79 år.

“Når vi begynder at have ned til to, tre og fire borgere inden for hver kategori, så bliver svarene ekstremt påvirket af enkeltbesvarelser. Altså om Oda eller en anden plejehjemsbeboer har deltaget. Det er et stort problem, fordi resultaterne så ikke kan bruges til at konkludere særlig meget,” siger professoren.

Danmarks Statistik erkender, at der er usikkerhed forbundet med resultaterne opdelt på for eksempel køn og alder, selv om der ikke står noget om det i kommunerapporterne. Det kan du læse mere om i nedenstående artikel.