Testfelt uten styring

Psykometri er fagfeltet som handler om måling av psykologiske fenomener. For eksempel psykologiske tester eller spørreskjemaer som kartlegger evner, holdninger, ferdigheter, personlighetstrekk, livskvalitet eller symptomer på psykiske lidelser, ifølge Store medisinske leksikon.

I spesialisthelsetjenesten er tester og kartleggingsverktøy spesielt viktig i forbindelse med utredning og diagnostisering av pasienter.

I en ny undersøkelse omtalt på side 28 i januarutgaven 2021 av Psykologtidsskriftet har 1400 norske psykologer rapportert om holdninger de selv har til testkvalitet, og de har også rapportert om sin egen testbruk. Ansvarlig for kartleggingen av testfeltet er psykologspesialist Tanya Ryder.

– Testfeltet er til dels uoversiktlig, sier hun.

Naturlig plass

Rudi Myrvang er psykologspesialist i arbeids- og organisasjonspsykologi. Han har over 20 års erfaring fra testbransjen og er med i Testpolitisk utvalg i Psykologforeningen.

Myrvang mener at tester og kartleggingsverktøy har en naturlig plass i mange psykologer arbeid, fordi instrumentene kan bidra til raskere å komme til kjernen i problematikken psykologen skal forholde seg til.

Men:

– Slik det er i dag, er det svært vanskelig for psykologer å orientere seg i mylderet av tilgjengelige kartleggingsinstrumenter, noe som skyldes manglende dokumentasjon, manglende nasjonale oversikter, kombinert med for lav testpsykologisk kompetanse hos mange psykologer, sier Myrvang.

Tre områder

Det er flere som er bekymret for testfeltet.

Mikael Julius Sømhovd er spesialrådgiver og sekretær for Testpolitisk utvalg i Norsk psykologforening. Han har skrevet flere psykometriske artikler, og har blant annet gjort valideringsstudier på den danske versjonen av instrumentet SDQ (Strengths and Difficulties Questionnaire), en atferdsscreening for barn og unge i alderen 2 til 17 år.

– Hvis folk hadde visst hvor dårlig kvalitetssikret psykologiske tester er, så hadde det vært mange flere klagesaker om dette, både til Fagetisk råd i Norsk psykologforening og også til Helsetilsynet, sier Sømhovd.

Sømhovd mener at det arbeids- og organisasjonspsykologiske området skiller seg positivt ut, der er det mer kvalitetskontroll av testkvalitet og brukerkompetanse enn innenfor det pedagogiske og det kliniske området.

Han forteller at Psykologforeningen har fått signaler om at det på det arbeidspsykologiske området, særskilt NAV og det pedagogiske området, er flere med utilstrekkelig testbrukerkompetanse som driver med testing. Dette gjelder yrkesgrupper som ikke har tilegnet seg tilstrekkelig kompetanse gjennom utdannelsen sin, noe som ifølge Sømhovd ikke er greit.

Han er bekymret.

– Det er i det hele tatt veldig få som vet hvor dårlig det står til på testfeltet i Norge.

Ny undersøkelse

Tanya Ryder sendte ut spørsmål om holdninger til testkvalitet og egen testbruk til rett i underkant av 5000 medlemmer i Norsk psykologforening, det er om lag halvparten av medlemsmassen.

Kartleggingen er et samarbeid mellom Norsk psykologforening, Helsedirektoratet og Folkehelseinstituttet (FHI).

Selv om svarprosenten på 29 prosent er relativt lav, er den høyere enn i tilsvarende undersøkelse som ble gjort i 2009, og gir ifølge artikkelforfatter Tanya Ryder et illustrerende bilde av testbruk blant psykologer. Ryder er psykologspesialist ved Sykehuset i Vestfold, i tillegg til at hun leder Testpolitisk utvalg i Psykologforeningen.

Hun beskriver situasjonen på testfeltet slik:

– Hvilke tester psykologer bruker, er for ofte tilfeldig. Feltet er lite regulert. Det sirkulerer tester utviklet i andre land som ikke er tilstrekkelig tilpasset for bruk i en norsk kontekst. Dette gjelder manglende informasjon om oversettelse og kulturell tilpasning samt manglende norsk normering. Det blir brukt tester der rettigheter til distribusjon ikke er avklart. Kvaliteten på testene varierer, fra tester man kan stole på, til andre som er ganske tvilsomme.

Ryder får støtte fra faglig rådgiver Tore Willy Lie i Nasjonal kompetansetjeneste for samtidig rusmisbruk og psykisk lidelse (NKROP).

– Ja, kartleggingsverktøy i Norge har vært et litt grumsete felt i mange år, både med tanke på usikkerhet rundt faglig kvalitet på det enkelte verktøy og brudd på åndsverkloven. Men det er noe bedring de siste årene. Jeg har inntrykk av at flere klinikere i Norge, og forhåpentligvis forskere, har blitt mer bevisst på betydningen av juridisk status på kartleggingsverktøy, sier Lie.

Han viser til at Helsedirektoratet i nyere nasjonale faglige retningslinjer påpeker at klinikere og institusjoner må forholde seg til rettighetsrammene knyttet til kartleggingsverktøy.

– At de skriver det, kan kanskje over tid hjelpe på bevisstgjøringen rundt dette.

Mikael Sømhovd i Psykologforeningen er enig med Lie i at det er en viss bedring, særlig på rettighetssiden, særlig på grunn av systemer gjennom for eksempel helseteknologiselskapet CheckWare.

– Men fellen her er at sånne elektroniske systemer ikke garanterer kvalitet og validitet på noen som helst måte, advarer Sømhovd.

Vært et problem lenge

Problemer knyttet til tester og psykologers testbruk er ikke nye, og psykologer har i en årrekke jevnlig slått alarm om situasjonen. I 2006 skrev blant annet Norsk psykologforening dette, etter at psykolog Anne Selvik hadde undersøkt testfeltet:

«Gjennomgangen av testsituasjonen innen klinisk praksis i Norge så langt viser flere områder av uforsvarlig bruk. Usikre testmetoder brukes av både psykologer, andre helsearbeidere og helseinstitusjoner.»

Tester er brukt i samme grad, men det er flere ulike tester i sirkulasjon. Det ser ifølge den nye undersøkelsen ut til at det er i overkant av 300 ulike tester i bruk, og Ryder vurderte de om lag 40 mest brukte testene innenfor rammene av prosjektet.

Ni av ti norske psykologer brukte tester for ti år siden, ifølge en forskningsartikkel av Anja Vaskinn og kolleger fra 2010. Ryders ferske undersøkelse viser akkurat det samme.

Det virker som forholdene på testfeltet har forverret seg på noen punkter, ifølge Ryders nye undersøkelse. Psykologer ser ut til å ta mindre selvstendig ansvar for vurderinger om testkvalitet nå enn for ti år siden, og de lener seg mer på arbeidsgivers vurderinger eller bestemmelser.

Psykologtidsskriftet har spurt hvordan dette fungerer i praksis, blant annet ved klinikk for psykisk helsevern ved Lovisenberg diakonale sykehus. Der har de ifølge avdelingsoverlege Rune Årskog pleid å ta utgangspunkt i de nasjonale faglige retningslinjene fra Helsedirektoratet, i tillegg til at de har testing og utredning som tema på interne psykologmøter og i veiledning.

– Vi har også laget et testarkiv med aktuelle testverktøy som oppdateres fortløpende. Innenfor disse rammene er det er opp til den enkelte psykolog/kliniker å bestemme hva som er hensiktsmessig å bruke, forteller Årskog.

Åndsverkloven gir opphavspersonen eierskap til sine verk, og den forbyr uautorisert kopiering av andres åndsverk. Psykologtidsskriftet er kjent med at psykologer rapporterer om mange og stadige brudd på åndsverklov og opphavsrett knyttet til testmateriell. Blant annet ved at det benyttes kopier av testmateriell, i tillegg til at det benyttes uautoriserte oversettelser av internasjonale verktøy. Psykologer forteller at det foregår utstrakt ulovlig kopiering av papirbaserte tester innenfor det pedagogiske og kliniske feltet.

– Det øker sannsynligheten for at testingen skjer helt uten – eller med ikke-oppdaterte – manualer, skåringsmaler og normgrupper. Dette var tidligere også et problem innenfor det organisasjonspsykologiske feltet, men nå har internettbaserte testverktøy tatt over. Da er det selvsagt langt vanskeligere å kopiere. Samtidig reduseres faren for brukerfeil som følge av automatisk skåring, sier Myrvang.

I Tanya Ryders nye undersøkelse går det også fram at det er uavklarte spørsmål knyttet til opphavsrettigheter til noen av testene som er mye brukt i Norge. I tillegg peker undersøkelsen på at flere brukte tester ikke er tilstrekkelig kvalitetssikret.

Ryder omtaler to tester spesielt: SCID-II og M.I.N.I. Begge er strukturerte kliniske intervjuer basert på diagnosemanualen Diagnostic and Statistical Manual of Mental Disorders (American Psychiatric Association).

Rettighetsinnehavere er ifølge Ryder henholdsvis American Psychiatric Association (SCID-II) og David V. Sheehan (M.I.N.I.).

Hennes gjennomgang av testene viser at SCID-II ikke er autorisert for bruk i Norge, og at gamle versjoner av M.I.N.I. må erstattes av nye, med inngåelse av en bruksavtale med Sheehan.

– I hvor stor grad vil du si at mangelen på oversikt i testfeltet handler om pasientsikkerhet, og ikke bare om uavklarte spørsmål rundt opphavsrett til ulike tester?

– Opphavsrett og pasientsikkerhet henger sammen. Vi ser en del brudd på åndsverkloven, som også kan knyttes til klinisk nytte av testene. Hvis man ikke vet hvordan testen kom til landet, om kvaliteten på oversettelsen og om den kulturelle tilpasningen er tilfredsstillende, eller om det fins adekvate normer på norsk, hvordan skal vi da vite at vår tolkning av resultatene er valide? spør Ryder retorisk.

Ryder påpeker at det er en formidabel oppgave å kvalitetssikre tester.

– Mengden av tester er enorm. Det er vanskelig å ha oversikt og vite hvilke tester som er kvalitetssikret og som holder mål, og hvilke som ikke er det, fordi kvalitetsinformasjonen er så mangelfull.

Når testbrukere ikke har den informasjonen som kreves for å vurdere om testen er egnet til formålet, er det et pasientsikkerhetsproblem, understreker Ryder.

– Det er derfor helsemyndighetene må på banen og spille en aktiv rolle på testfeltet.

Uklare ansvarsforhold

For hvem har egentlig det overordnede ansvaret for kvalitetssikring av arbeids- og organisasjonspsykologiske, pedagogiske og kliniske tester i Norge?

«Vi kan ikke hjelpe med dette, men foreslår du sender en henvendelse til Helsedirektoratet», svarer Folkehelseinstituttets kommunikasjonsavdeling på spørsmålet fra Psykologtidsskriftet.

Fra Helsedirektoratet får vi dette svaret:

«Helsedirektoratet har per i dag ikke noe overordnet ansvar for kvalitetssikring av ulike tester. Helsedirektoratet har uttalt seg om dette i et brev til de regionale helseforetakene i 2016.»

I dette svarbrevet, som kom i etterkant av et varslingsbrev fra Psykologforeningen, kommer det fram at Helsedirektoratet hadde en lengre prosess om eierskap, oversettelse og godkjenning av ulike kartleggingsverktøy. Dette var knyttet til blant annet utredning og diagnostisering av psykiske lidelser og ruslidelser. Direktoratet hadde kontakt med det de omtaler som «sentrale aktører», og nevner «Kunnskapssenteret/PsykTest og Helsebiblioteket».

Helsedirektoratet legger ansvaret på helseforetakene og den enkelte testbruker selv, og brevet konkluderer slik:

«Helseforetakene og den enkelte helsearbeider som anvender et verktøy, må selv sørge for at bruken av verktøyet er innen rammen for «god klinisk praksis» og innenfor de rettighetsrammene som finnes.»

Psykologforeningen sendte nytt brev til direktoratet for rundt et år siden, og er ifølge Mikael Sømhovd i Psykologforeningen lovet dialog.

Holdningen fra Helsedirektoratet har bekymret Testpolitisk utvalg i Psykologforeningen helt siden brevet kom fra dem for fire år siden.

– Testfeltet må løftes til et høyere nivå, det må tas et nasjonalt grep. Myndighetene må ta en mer aktiv rolle i å veilede testbrukere, på et overordnet nivå, for det er en formidabel jobb for enhver testbruker å sette seg inn i hver enkelt test og sjekke alle forhold rundt den. Myndighetene har allerede en del systemer for det, som PsykTestBarn/FHI og Helsebiblioteket, sier Tanya Ryder.

Hun er i utgangspunktet positiv til arbeidet disse gjør på feltet. Helsebiblioteket er et offentlig finansiert nettsted drevet av FHI, og Ryder framhever at de tilbyr gratis tilgang til fagkunnskap, og publiserer ulike tester og lenker til tester.

– Men Helsebiblioteket har en del kvalitetsmangler, de lenker til foreldede tester og verktøy som det ikke er gitt distribusjonsrettigheter til, sier Ryder.

Helsebibliotekets rolle

Øystein Eiring, som er psykiater og fagansvarlig for Helsebibliotekets psykisk helsesider, sier at de på sine psykisk helsesider tilstreber å ha en så fullstendig oversikt som mulig over tester som er fritt tilgjengelige og på norsk. Han fremholder at testene biblioteket lenker til, er både oppdaterte og fritt tilgjengelige så langt dette er pragmatisk mulig.

– Ansvaret for oppdatering av testene ligger i all hovedsak på de instanser som har testene på sine nettsider, sier Eiring til Psykologtidsskriftet.

– Har dere ikke et redaksjonelt ansvar for at informasjonen dere formidler på Helsebiblioteket, er oppdatert og korrekt?

– Helsebiblioteket er som navnet sier et bibliotek. Det har siden oppstarten levd i spenningsfeltet mellom streng vurdering av kvalitet på den ene siden og et ønske om pragmatisk å tilgjengeliggjøre innhold som oppleves som nyttig i fagfeltet i møtet med pasienter, på den andre. Testene vi formidler, gjennomgås årlig. Ettersom vi ikke har kapasitet til å sjekke tester daglig, er ikke metoden feilfri, men den har fungert godt. Helsebiblioteket verken ønsker eller har kapasitet til å være den instans som fortløpende gjennomgår validitet og en rekke andre kriterier per test.

– Kan helsearbeidere stole på at alt materiell dere legger ut, er til fri benyttelse og uten brudd på åndsverkloven?

– Psykisk helsesidene på Helsebiblioteket legger i regelen ikke ut materiell. Når vi lenker til en test, legger vi også stor vekt på hvilken instans som har lagt ut testen. Spørsmålet er dermed egentlig om helsearbeidere kan stole på om tester lagt ut av det vi vurderer som pålitelige helsenettsteder, holder mål. Gjennom de femten år sidene med skåringsverktøy for psykisk helse-feltet har eksistert, har dette vært både bærekraftig og holdbart.

Eiring nevner helsenettsteder som Aldring og helse, NHI (Norsk Helseinformatikk), nasjonale kompetansetjenester, Helsedirektoratet og universitetssykehusene som eksempler på helsenettsteder.

Helsebiblioteket gjennomgår ifølge Eiring testene jevnlig med tanke på oppdatering og har dialog med fagmiljøene.

– Hvis det likevel er tester som er foreldet blant de vi lenker til, vil vi svært gjerne ha tilbakemelding slik at vi kan holde sidene så oppdatert som mulig, sier Eiring.

Medlemmene i Testpolitisk utvalg i Psykologforeningen er psykologer som skal ha spisskompetanse på psykologiske tester og kartleggingsverktøy. Innenfor foreningens politiske og administrative rammer skal de fungere som faglige eksperter i arbeid med testrelaterte saker, ifølge Psykologforeningen.no.

– Tanya Ryder, hvilket ansvar har du selv som leder av Testpolitisk utvalg (TPU) for at testfeltet skal være mer oversiktlig og i tråd med norsk lov?

– Utvalget skal bistå Psykologforeningen med å fremme saker knyttet til testkvalitet. Testkvalitetsprosjektet ble satt i gang like etter at jeg begynte i TPU i 2017, det er et samarbeid mellom Psykologforeningen, FHI og Helsedirektoratet. Jeg mener det er viktig at prosjektets funn om utfordringer knyttet til testfeltet belyses, og tas på alvor, slik at relevante aktører kan sette i gang hensiktsmessige forbedringstiltak, svarer Ryder, og legger til at TPU vil jobbe for å øke bevisstheten om, og etterlevelsen av, internasjonale testretningslinjer.

TPU jobber også med å utarbeide en veileder for flerkulturell testing og å kartlegge testundervisning på norske universiteter.

Tanya Ryder understreker at testutviklere har ansvar for å tilpasse sine tester til bruk i Norge.

– Å ikke utvikle norske normer og vise hvordan tester fungerer med den populasjon reduserer tilliten til testresultatene, sier Ryder, som opplyser at blant annet dette vil være tema i hennes neste rapport.

Helsedirektoratet

Rudi Myrvang er ikke imponert over Helsedirektoratets rolle på testfeltet. Han bruker kartleggingsverktøyet Global Assessment of Functioning (GAF) som eksempel. GAF ble brukt av «alle», forteller han – helt til man innså at det var lovbrudd.

– Det er et kartleggingsverktøy for å måle effekt, som Helsedirektoratet påla helseforetakene å bruke, men testen fantes ikke i Norge. Den viste seg å foreligge kun i piratkopiert versjon. Så vi er der, sukker Myrvang.

I Tanya Ryders artikkel omtaler hun at Helsedirektoratet selv har anbefalt bruk av testen SCID-II i nasjonale retningslinjer, tross manglende tillatelse til å distribuere eller bruke norske utgaver av dette intervjuet. Faglig rådgiver i NKROP Tore Willy Lie forteller at i en rekke nasjonale faglige retningslinjer er det fortsatt anbefalt å bruke kartleggingsverktøy som bryter åndsverkloven. Han har flere eksempler, blant annet disse:

– GAF anbefales i psykoseretningslinjen. SCID-I anbefales i retningslinjene for psykose og bipolar lidelse. SCID-II henvises til i ADHD-retningslinjen. SCID-I og SCID-II var også anbefalt i ROP-retningslinjen, men det er endret til de nye gyldige og lovlige versjonene SCID-5-KV og SCID-5-PF i nettversjonen til retningslinjen. Et annet viktig poeng i denne sammenheng er at en oversatt test som bryter åndsverkloven, ikke nødvendigvis betyr at oversettelsen er dårlig. Samtidig er det uvesentlig om den er god, hvis det ikke er lov til å distribuere den, sier Lie.

Avdelingsdirektør Torunn Janbu i Helsedirektoratet, forteller at Helsedirektoratet er kjent med utfordringene om ulike test- og kartleggingsverktøy.

– Det vil være et omfattende arbeid å gjennomgå alle som er i bruk, skriver Janbu i en e-post via kommunikasjonsavdelingen.

– Når det gjelder ansvar for bruk i helsetjenesten, er det slik som vi tidligere har skrevet: «Helseforetakene og den enkelte helsearbeider som anvender et verktøy, må selv sørge for at bruken av verktøyet er innen rammen for «god klinisk praksis» og innenfor de rettighetsrammene som finnes.»

Janbu vedgår at Helsedirektoratet likevel er ansvarlig for det som står i direktoratets retningslinjer og andre normerende produkter.

– Vi vil gjennomgå og sikre at kartleggingsverktøy hvor vi allerede har trukket tilbake anbefalingen (for eksempel GAF), ikke anbefales i våre retningslinjer.