mandag 15. mai 2006

Når eksakte tall blir viktigere enn virkeligheten

Vi lever i et samfunn som har lyst til å vite eksakt hva det driver med. Men eksakte verdier har lett for å bli mer politiske enn de gir uttrykk for.

Målbarhet og det å ha et tall for noe, har stor egenverdi i den måten norsk samfunn styres. Målbarheten handler om å ha innsyn i aktiviteter, og nøytrale verdier som går an å sammenlignes. Staten vil ha innsyn i kommunen, kommunene ønsker innsyn i de enkelte enhetene (skoler, sykehjem, kulturforvaltning osv.) Samtidig er det et offentlig krav om slanke og effektive organisasjoner, der unødvendige mellomnivå fjernes. For å likevel kunne ha innsyn, uten forstyrrende mellomnivå, bruker vi måleredskaper. De mer hotte av administrasjonsplattformene i bruk i norske kommuner og næringsliv kommer utstyrt med både termometer og speedometer.

Det er tre store farer ved denne utviklingen: For det første utstyrer vi oss med tall (indekser og indikatorer) som gir inntrykk av å være nøytrale, eksakte og apolitiske verdier. For det andre gjør mengden informasjon som samles gjennom indikatorer og statistikker at kvalitative beskrivelser drukner – de har ikke mulighet til å beskrive like stort utslagsfelt. For det tredje fasiliteter målinger av indekser en styringslogikk knyttet til å få opp verdien på indeksen. Det siste innebærer to ting: At den som blir målt vil, om hun er målrettet, fokusere på det som slår ut på indeksen, ikke det indeksen søker å måle. Videre at vekst er viktigere enn stabilitet. Man er da tross alt ikke fornøyd så lenge noen ligger under gjennomsnittet?

Eksakt effektivitet

La oss se på konkrete eksempler fra norske kommuner. Det tekniske beregningsutvalg for kommunal og fylkeskommunal økonomi (TBU) har som mandat å gi råd til kommunaldepartementet om hvordan det står til i kommunene, og å bygge opp et praktisk rapporterings- og analysesystem. Det står videre spesifisert i mandatet at utvalget bør bygge på statistiske data. Premissene er altså lagt: Gi oss råd om hvordan vi bør forvalte kommunene. Bruk statistikk. Resultatet er en modell for mål av effektivitet som forklarer 20% av forholdet mellom kommunenes inntekt og produksjon. Det kan bety at mange kommuner enten er svært effektive eller svært ineffektive. Mer sannsynlig er det at norske kommuner er så forskjellige at generelle, tallbaserte målinger av kommuneaktiviteten er dømt til å bli misvisende.

Logikken bak analysen av kommuneøkonomien er enkel: Man måler hvor mye kommunen har i frie driftsmidler, altså inntekter som ikke er øremerket og som kontrolleres av kommunen selv (korrigert inntekt). Denne biten er uproblematisk. Deretter sammenlikner man den korrigerte inntekten med hvor mye kommunen produserer. Hvor mye kommunen produserer måler man ved å sette opp indekser som kan fortelle noe om hvor mye kommunen produserer innenfor hvert enkelt tjenesteområde, vekter betydningen av disse, og summerer opp. Så kan man sammenlikne med inntektsnivået, og se om den enkelte kommune ligger over eller under.



Ikke akkurat fra lærebokregresjon (Over): Forholdet mellom produksjon og indeks etter TBUs modeller. Hver prikk er en kommune, streken er det forventa forholdet. Modellen forklarer 20% av forholdet mellom inntekt og produksjon. Hva forklarer resten?. (TBU rapport november 2003, figur 10.1)

Tabell 8.1: Oversikt over indikatorer og vekter i delindeksene og i totalindeksen.


Disse indeksene har det til felles at de må kunne måles, og at de er enkle og oversiktlige. Vektingen er hvor mye målingene på hvert enkelt felt skal ha å si for totalvurderingen. Vektingen er nødvendig, ettersom ulike indikatorer har ulike målenivå, men det blir også en effektiv gradering av betydningen av ressursene som legges inn vedrørende den enkelte indikator.

Politiske tall

Vi kan kikke litt nærmere på indikatorene for grunnskolen, for å få dette litt mer på plass. Her har TBU drøftet 3 forskjellige indikatorer: (1)Antall årsverk per elev; (2) Antall årstimer undervisningstid per elev (3) Karakterproduksjon.

Overgangen fra årsverk per elev til årstimer per elev (hvor mange timer undervisning per elev) ble innført for å måle mer eksakt ressursinsatsen. ”Det har sammenheng med at antall årstimer måler det antall timer lærerne underviser, og følgelig er nært knyttet til antall ærerårsverk, som er et mål på ressursinnsats. Ideelt sett bør produksjonen i grunnskolen i større grad måles i forhold til elevenes læringsutbytte.” (TBU 2005 des, s. 60). Med andre ord ønsker man ikke å måle lærernes lesetimer, det er ikke effektiv bruk av ressurser.

Måling av årstimer per elev gir en systematisk skjevfordeling, ettersom rike kommuner dermed kommer ut med høy produktivitet (fordi de har mange lærere), dessuten kommer spredt befolkede kommuner godt ut, fordi de har små skoler. En slik skjevfordeling er vanskelig å ta inn i en modell som den det her opereres med. Derfor har utvalget foreslått å heller måle standpunktkarakterer i norsk, engelsk og matte, korrigert for sosiale forhold som statistisk sett henger sammen med dårligere prestasjoner. Dermed blir indeksen mer jevnt fordelt.

Feilen er likevel åpenbar: En indikator som har betydning for hvilke råd som blir gitt til dem som overfører penger til kommunene er ikke et dødt termometer, men noe som beslutningstakere som blir målt tar hensyn til. Det er en måte å vise hva det er som verdsettes, ikke bare ved målene man stiller opp, men ved akkurat hva det er som måles. Å måle produksjon i antall årstimer, gjør det mer gunstig for kommunene å begrense lærernes lesetid. Det er timene på klasserommet som verdsettes, uavhengig av kvaliteten. Det er ikke lenger ”effektivt” å la lærerne forberede seg skikkelig til undervisningen. Karakterproduksjon framfor årsverk gjør det ”ineffektivt” å beholde små skoler med kort skolevei. Det kan også bidra til endre innsatsvurderingen fra: ”Hvor mange lærere må vi ha for å få et godt læringsmiljø?” til ”Hvor mange lærere må vi ha for å holde karakterene oppe?” Antagelig ikke like mange.

Tomme modeller

Sammenhengen mellom disse produksjonsindikatorene og inntektene sammenlignes av TBU gjennom regresjonsanalyse. For siste år var sammenhengen følgende (for de som er fremmede for statistikk, vær snill å henge med, det er ikke så vanskelig). Dette er for å vise at produksjonsindeksen holder stikk, ved å sette produksjonsindeksen som avhengig variabel mot korrigert inntekt. Standardavvikene for hver variabel i parentes.

Figur:

Produksjonsindeks=52,57(3,82) + 0,56(14,72)korrigert inntekt - 0,10(0,29)Andel kultur + 0,09(0,20)andel samferdsel - 0,23(1,94)Andel bolig + 0,37(1,46)Andel teknisk - 0,35(2,58)Netto driftsresultat - 0,20(1,50)renter og avdrag + 0,48(6,23) Brukerbetaling barnehager + 0,59 (3,00) Brukerbetaling pleie og omsorg

Modellen som helhet viser seg signifikant, men hvis vi ser på hver enkelt variabel, er standardavviket (tallet i parentes) større enn verdien. Det innebærer at vi ikke vet om verdien er positiv eller negativ, og dermed vet vi ikke om hver enkelt har positiv eller negativ innflytelse på produskjonsindeksen. Når modellen i sum viser en sammenheng, innebærer det at modellen fanger opp ”noe”, men man aner ikke hva. Indeksene måler aktivitet i kommunene, men vi vet ikke om det fanger opp det vi ønsker å fange opp. Vi er kort sagt like kloke.

Det tekniske beregningsutvalg (TBU) drøfter denne typen problematikk på et statistisk nivå. Rapportene kommenterer at det er problemer ved modellene, at de ikke er fullkomne. De som har jobbet med kommunestatistikk andre steder vil neppe være overrasket: Å finne signifikante sammenhenger mellom kommuner er som å lete etter nåla i høystakken.

Kanskje er det en grunn til det, nemlig at det ikke er noen signifikante sammenhenger. Og da skal ikke TBU ha skylda for å fortrenge det de lærte i innføring i statistikk. Oppdraget deres er å bruke statistikk i forsøk på å evaluere effektiviteten i kommunene. Resultatet er en mengde eksakte tall, som ikke forteller oss svært mye. Dette er farlig, fordi politisk aktive indikatorer, som de fra skolen, blir skjult i en modell som forklarer svært lite. Dette innebærer at de som skal vurdere bevilgninger får tilsendt eksakte beskrivelser som antagelig ikke stemmer. Disse vurderingene kan dermed skape en fordeling som ingen ønsker, fordi man vil ha tilregnelighet, målbarhet, og nøytrale verdier. Da her metoden gått foran målet, og alle blir tapere.

Publisert i Argument 2006

mandag 1. mai 2006

Rastløse samfunnsvitere

En kan spørre seg hvorvidt konferanseflakkende
samfunnsviteres beskrivelse av samfunnet som stadig mer
rastløst egentlig bare er en refleksjon av forskerens eget liv.

---

Jeg skal på konferanse. Igjen. Først Sør-Afrika,
deretter Sveits. Jeg henter hjem ideer, inspirasjon
og med litt flaks noen nye kontakter, det
drøftes og det slaktes.

Forskere av alle slag reiser på konferanser,
men her er det noe som stinker. Er det virkelig
nødvendig å dra på så mange? Det er nærliggende
å tenke at vi har noe vi skal bevise. Det
holder ikke lenger å sitte i en krok på biblioteket
å tenke. Marx satt ifølge seg selv ti år på
biblioteket i London, leste og tenkte. Verden
har forandret seg, men det å tenke og lære kan
umulig ha forandret seg så fundamentalt.

Finne seg sjæl

På overflaten kan det likevel se sånn ut. Alt
som finnes av folk som skal kunne og skjønne
samfunnet, er omtrent per definisjon tante og
onkel Reisende Mac. Rastløse, stadig på farta,
klare for omstillinger, klare for noe nytt, ikke
stedbundne. Dette er menneskene som mener
høyest og tydeligst og etter eget syn med mest
autoritet om samfunnet vi lever i.

Samtidig bærer vi kanskje de aller tydeligste
symptomene på vår tid selv. En stadig higen etter
å komme videre, realisere seg selv, fange nye
opplevelser og være i bevegelse. Dette er det sosialfilosofen
Zygmunt Baumann beskriver som den
postmoderne kroppen: Vakker, men ikke sunn;
verken god eller best, men på jakt etter det perfekte;
sulten på nye opplevelser, men uten mål.

Ingen avstand?

En kan spekulere i hvorvidt det er fordi vi, samfunnsviterne,
er blant de tydeligste bevisene på
rastløsheten, at rastløsthet har endt opp som
sannheten om samfunnet, og her vaker sirkelforklaringer
av verste sort: (1) Vi beskriver samfunnet
som rastløst, men beskriver vi egentlig bare
oss selv? (2) Hvis det nå likevel er sant, er vi for
langt oppi det til å kunne se det hele på avstand?

Det virker som om det trauste, stedfaste,
stabile, trygge, og hjemmekjære blir en motsetning
til det livet samfunnsviteren lever. Alltid
på farta, aldri i rute, alltid nye ting på gang. Virker
det inn på hvordan vi beskriver samfunnet
rundt? Blir det hurtige og nye mer betonet enn
det egentlig burde? Blir det stedfaste og stabile
beskrevet fra en distanse? Kanskje.

Ego mot metode

Heldigvis er det ikke så ille fatt at alle som én
lar seg rive med i bølgen av selvdyrkende egobeskrivelser.
Det er tross alt samfunnsvitenskap vi
driver med, vi har våre metoder og tar ikke ting
ut av det blå.

Det er heller ikke en sannhet at alle som
driver med samfunnsvitenskap har passet fullt,
selv om dette for en fersking som meg er det
mest synlige. Og samme hvor systematisk man
jobber, kommer man ikke bort fra sitt eget hode
og de spørsmålene man velger å stille.

«Den måten et godt menneske ter seg, kan
sammenlignes med en reise. Når vi skal reise
langt, må vi først traversere det nære rom, og
når vi bestiger en høyde, må vi begynne fra lavlandet,
» sa Confusius ifølge sine disipler. Det er
2500 år siden.

Vi, som liksom skal være de kloke nå, hopper
på første fly med KLM.