– Sjekk om testen er god

Hver dag tar psykologer i bruk kartleggingsverktøy for å undersøke barn og unge som strever – psykisk, sosialt eller faglig. Testresultater fra PPT, BUP og i barnehabiliteringstjenesten bidrar til å avgjøre om barn skal få hjelp og støtte, og til å vurdere hvilke tiltak som passer for det enkelte barnet. Avgjørelsene kan få store konsekvenser for barns utdanningsløp, velvære og psykiske helse. Da er det viktig at kvaliteten på kartleggingsinstrumentene er god. Men mange av de mest vanlige norske testene er ikke nødvendigvis til å stole på, viser en gjennomgang gjort ved Institutt for spesialpedagogikk ved Universitetet i Oslo.

Bekymret

Undersøkelsen er et ledd i stipendiat Anne Arnesens doktorgradsarbeid, og avdekket at flertallet av kartleggingsverktøyene de undersøkte, ikke dokumenterer at testene er pålitelige. Dermed kan man heller ikke vite om vurderingene som gjøres på grunnlag av testene, er gode, konkluderte forskerne. De er bekymret. For disse verktøyene er viktige for å fange opp de riktige barna og for å skille mellom hva som bør følges opp videre, og hva som er mindre alvorlig.

Professor Monica Melby-Lervåg har bidratt i undersøkelsen sammen med Johan Braeken (Center for Educational measurement) og Terje Ogden (Nasjonalt utviklingssenter for barn og unge). På www.laeringsbloggen.com oppsummerer Melby-Lervåg funnene. Generelt var verktøyene i liten grad kvalitetssikret. Få av dem hadde representative og gode utvalg på sammenligningsgrupper og normer, og få dokumenterte at de hadde undersøkt målefeil, eller hva testen faktisk måler.

– Mange av testene hadde også uklare prosedyrer for gjennomføringen, kommenterer hun.

– Les manualene

Psykologtidsskriftet kontakter Melby-Lervåg og spør hva psykologer nå bør være oppmerksomme på.

– Psykologer bør være i stand til å vurdere den psykometriske kvaliteten på tester de velger å bruke. Det krever at de leser testmanualer og ser hva slags analyser av reliabilitet og validitet som er gjort – og gjerne hva som er gjort på det norske markedet, slik at man ikke ukritisk bruker data fra andre land, sier Melby-Lervåg, som tipser om det elektroniske tidsskriftet www.psyktestbarn.no. Her kan psykologer finne artikler om måleegenskaper i norske versjoner av kartleggingsverktøy som mange bruker i sin arbeidshverdag. Ansvarlig for nettstedet er RBUP i samarbeid med de regionale kunnskapssentrene for barn og unge.

– Det er en god nettside, den bruker de samme metodene for vurdering som vi gjorde i vår undersøkelse. Problemet er bare at de ikke har med alle verktøy som er i bruk av psykologer i dag, men antallet tester der øker stadig, sier professoren.

Hun poengterer at Norge er et lite land med et lavt antall språkbrukere, og mener at utfordringene det fører til, ikke tas nok på alvor. Det er vanskelig for forskere å få midler til å oversette, lage normer og tilpasse testverktøy for praktisk bruk her til lands, samtidig som kommersielle firmaer ikke prioriterer utvikling av tester der kundegrunnlaget er lite.

– Her kunne psykologene gjerne tatt initiativ, eksempelvis overfor departementet, til at det blir stilt midler til disposisjon for at forskere med god psykometrisk kompetanse får rammebetingelser til å gjøre dette, mener professoren, som opplyser om at det er meritterende forskningsarbeid å publisere validering av tester i vitenskapelige tidsskrifter.

– Bør endre praksis

Melby-Lervåg mener funnene deres er alvorlige, fordi svakhetene ved testene kan føre til at det trekkes gale konklusjoner i spørsmål som er viktige for barns fremtid.

– Det kan få konsekvenser for barns liv ved at de ikke får den hjelpen de burde ha fått. Eller motsatt: at det for eksempel ser ut som at barn har vanskeligheter uten å ha det. Vi har jo sett mediesaker om dette, for eksempel for en tid siden da en jente feilaktig ble klassifisert som lettere utviklingshemmet.

– Stoler fagfolk for mye på testene?

– Det er helt naturlig at kartleggingsverktøy spiller en viktig rolle i enhver pedagogisk og psykologisk praksis. Gjentatte undersøkelser viser at det ikke holder å vurdere barns funksjonsnivå bare ut fra observasjon og samtale med lærere og foresatte. Det er ikke enkelt å finne ut bare gjennom samtale og observasjon hvorvidt en 6-åring har et normalt språk eller en forsinket språkutvikling. Man trenger noe mer objektivt å forholde seg til. Samtidig kan man ha for stor tiltro til at en test gir hele svaret, svarer professoren.

Nå mener hun resultatene fra deres forskning viser en så stor usikkerhet at det må få konsekvenser. Før testene blir bedre kvalitetssikret, er den beste løsningen at man tar flere tester av de samme tingene for å se om man får de samme resultatene. For eksempel to tester av språkferdigheter og to ulike evnetester. Det vil gi en mye større sikkerhet i konklusjonene. Hun forstår at det kan være utfordrende i en presset arbeidshverdag, men anbefaler at det prioriteres.

– Beskjeden er altså ikke å forkaste kartleggingsverktøy. Feilkildene ved bare å observere eller bruke intervju er enorme, men testene må utføres med så god kvalitet som mulig, og da må dagens testverktøy forbedres.

– Godt utgangspunkt for samtale

Kjell Totland har jobbet i PPT en årrekke, og har også bak seg noen år som psykolog ved Torshov kompetansesenter for sammensatte lærevansker. Gode kartleggingsverktøy gir verdifulle kunnskaper om elevenes ressurser og utfordringer, mener psykologen. Han har ofte erfart at testene avdekker informasjon som gjør det lettere for elevene selv å formidle hva de strever med. Det kan for eksempel gjelde elever som sliter med å ordlegge seg, men som forstår mye. Kanskje oppdager ikke læreren eller medelevene dette, mens en god språktest kan få fram barnets ressurser.

Som PPT-psykolog erfarte Totland dessuten at funnene i en test kunne gi en fin inngang til å snakke med eleven om vanskeligheter i skolehverdagen. Særlig med ungdom kan testene virke avmystifiserende, mener psykologen.

– Jeg kunne spørre: «Er dette noe du kjenner igjen?» Og eleven bekreftet: «Ja, dette er noe jeg sliter med.» Uten at de egentlig hadde vært klar over det inntil da. Eller det kunne være noe de ikke hadde greid å sette ord på, kanskje skammet seg over. Vi kunne få til gode samtaler av dette, og slik fikk eleven ofte større eierforhold til utfordringene sine, sier psykologen.

Totland mener det er bekymringsfullt at forskere finner så store mangler ved tester som brukes i skolen.

– Når testene ikke er gode nok, kan det gjøre at elever som sliter, går under radaren hos lærerne. Man blir mer avhengig av den kliniske kompetansen hos lærere og fagfolk. Men vi vet at slike vurderinger er subjektive, og derfor noen ganger ikke fører til annet enn å bekrefte en forutinntatt oppfatning, sier han.

– Bedre enn klinisk skjønn

Rolf Marvin Bøe Lindgren er psykolog og var ansvarlig for prosjektet som etablerte Det Norske Veritas’ ordning for testsertifisering. Han er bekymret for at disse forskningsfunnene vil bidra til at psykologer i større grad enn før mistror tester.

– Det er i våre klienters interesse at vi bruker gode tester, og at vi forstår dem og bruker dem riktig. Dette fordi gode tester, brukt riktig, gir mer og bedre informasjon enn klinisk skjønn, sier Lindgren, som mener at psykologer nå bør lese seg opp på psykometri, statistikk og metode.

Lindgren var altså selv med på å etablere kvalitetssikring av arbeidspsykologisk testing i Norge. Den omfatter også psykometriske tester, og har fungert i femten år, opplyser han.

– Det er fullt mulig å få til kvalitetssikring også av nevropsykologiske og skolepsykologiske tester. Utfordringen er å få til vurderinger som representerer ulike interesser – altså leverandørenes, brukernes og klientenes interesser. Det krever ikke annet enn litt jobbing, men jobben må gjøres. Her kunne Norsk psykologforening gjøre et framstøt, sier Lindgren.

Monica Melby-Lervåg kjenner ikke til ordningen med kvalitetssikring av arbeidspsykologiske tester, men synes det høres fornuftig ut.

– Konsekvensene ved at tester for barn og unge ikke har god nok kvalitet, kan være fatale og få innvirkning på fremtiden til barnet i et livsløpsperspektiv. Dersom man har god kvalitetssikring av arbeidspsykologiske tester, skulle det være en selvfølge at man også har det for tester til barn og unge.