Missbrukad statistik vilseleder om kvaliteten i äldreomsorgen

Hur mäter man kvalitet i äldreomsorgen? En populär metod är att fråga brukarna själva, alltså de äldre som har äldreomsorg.
Detta gör Socialstyrelsen genom sin årliga brukarundersökning i äldreomsorgen, där de äldre får svara på frågor om hur nöjda eller missnöjda de är med servicen som ges. Svaren sammanställs i Öppna jämförelser som presenteras på Socialstyrelsens hemsida. Dessa undersökningar får alltid stort genomslag i media, och är hårdvaluta på omsorgsmarknaden där utförarna lyfter fram hur nöjda de äldre är i sin marknadsföring.
”Att få bra betyg i Öppna jämförelser visar att de äldre är nöjda med oss vilket är det bästa betyg vi kan få”, skriver exempelvis det privata omsorgsföretaget Aleris på sin hemsida.

Låg svarsfrekvens
Men vad säger egentligen dessa undersökningar om kvaliteten i äldreomsorgen?
Inte mycket, enligt Lennarth Johansson, docent och forskningsledare vid Stiftelsen Äldrecentrum. Han har gått igenom svarsfrekvenserna i undersökningarna och menar att de inte håller som statistiskt underlag. I alla fall inte om det är brukarnas egna åsikter som man är intresserad av.

– Bland de äldre i särskilt boende var svarsfrekvensen 56 procent i undersökningen 2016, och av dessa var det 12 procent som hade svarat själva. Av samtliga tillfrågade var det därmed bara 6,7 procent som själva svarade och gav sitt omdöme om kvaliteten i det särskilda boendet, säger Lennarth Johansson.
Samma tendens finns i svaren från hemtjänsten, där det i den senaste undersökningen var 29,9 procent av de tillfrågade som själva hade svarat på frågorna.

Av samtliga tillfrågade var det därmed bara 6,7 procent som själva svarade och gav sitt omdöme om kvaliteten i det särskilda boendet.

”Måste sättas in i ett sammanhang”
Vem som svarat på frågorna redovisas som antingen ”den äldre”, ”den äldre med hjälp” eller ”annan person”. Vem ”annan person” är vet man inte. Det kan vara en anhörig, vän eller medboende. Annan person svarade för 43 procent av svaren från äldre med hemtjänst och 65 procent av svaren från de i särskilt boende.
Av de relativt få svar som inkommer har alltså en majoritet fyllts i av någon annan än den tillfrågade. Så vilka slutsatser, om ens några, kan man egentligen dra om de äldres egna uppfattningar om omsorgen, på basis av dessa undersökningar?

Stina Hovmöller är ansvarig för brukarundersökningarna om äldreomsorgen på Socialstyrelsen. Hon menar att undersökningarna är ett underlag som måste sättas in i ett sammanhang för att vara användbara:
– Ute i kommunerna ska man komplettera med egenkontroll och hämta in uppgifter på plats, man måste jämföra och titta om våra resultat stämmer överens med uppfattningen hos exempelvis ansvariga lokalt. Den här undersökningen ska inte ses som den enda sanningen.

Ser futtigt ut
Detta förhållningssätt tycks dessvärre ha svårt att få fäste utanför Socialstyrelsens väggar. Ett färskt exempel från den senaste veckan kommer från Småland:
”Lessebos hemtjänst bäst i landet”, lyder en rubrik i tidningen Smålandsposten. ”Enligt Socialstyrelsens årliga sammanställning är 100 procent av de tillfrågade brukarna nöjda med hemtjänsten i Lessebo kommun”, rapporterar tidningen vidare. En stolt socialchef får också komma till tals och menar att resultatet ”säger väldigt mycket” om kommunens målmedvetna arbete.

Om vi tittar på de verkliga siffrorna bakom den hundraprocentiga nöjdheten framträder emellertid en annan bild, fjärran från kommunens pukor och trumpeter:
Från totalt 107 tillfrågade äldre med hemtjänst i Lessebo inkom 66 svar (när ett internt bortfall på sju dragits av). Hälften av dessa hade fyllts i av ”annan person” än den tillfrågade. Den andra hälften av svaren kan vi inte veta exakt vem det är som har fyllt i, för i tabellen har svarsalternativen ”den äldre” och ”den äldre med hjälp” slagits ihop till en gemensam ruta.

I en annan ruta framgår emellertid att minst 37 anhöriga har medverkat i enkäten. Vi vet dock inte hur deras medverkan är fördelad över ”annan person” eller ”den äldre med hjälp”. Men om vi räknar så generöst det bara går, och antar att dessa 37 anhöriga är de enda utöver de äldre själva som svarat på undersökningen, så kan vi konstatera att det som allra mest kan röra sig om 29 av 107 tillfrågade äldre, som själva har svarat på frågorna.

Det ger en svarsfrekvens på 27 procent, om det nu är brukarnas egna svar man är ute efter. Det hade alltså varit rimligare om Smålandsposten hade nöjt sig med att konstatera att ”29 av 107 tillfrågade var 100 procent nöjda med hemtjänsten”. Men det ser ju ganska futtigt ut.

Fördummar samtalet
På detta sätt används Socialstyrelsens statistik gång efter gång, år efter år, och ofta med betydligt tunnare underlag än i fallet med Lessebos hemtjänst. Lennarth Johansson menar att resultaten blåses upp på ett helt orimligt sätt som fördummar samtalet om kvaliteten i äldreomsorgen.

Statistiken har också blivit standardammunition i debatten om vinster i välfärden. När Här&Nu frågar Stina Hovmöller om hon tycker att undersökningarna ger Vårdföretagarna fog för påståendet att ”Socialstyrelsens undersökning visar att kvaliteten på de privata äldreboendena är bättre än de kommunala”, blir svaret diplomatiskt:
– Alla har tillgång till våra data och har rätt att själva analysera och alltid är det väl någon som väljer ut det som passar utifrån en viss agenda. Det är ett dilemma, ska vi sluta mäta för att resultatet används på ett sätt som vi inte har avsett?