Ungsinn – en kunnskapsbase over virksomme tiltak for barn og unges psykiske helse

Innledning

Det er en økende konsensus i både praksismiljøene og forskermiljøene om at tiltak rettet mot barn og unges psykiske helse må ha best mulig evidens. Også Norsk Psykologforening (2007) har vedtatt en prinsipperklæring om evidensbasert psykologisk praksis. Samtidig kan det være vanskelig å holde seg orientert innenfor en forskningslitteratur som stadig øker i omfang. På oppdrag fra Helsedirektoratet har Forebyggingsenheten ved Regionsenter for barn og unges psykiske helse, nord (RBUP Nord), Universitetet i Tromsø, etablert en kunnskapsdatabase for forebygging, helsefremming og psykososial behandlingsvirksomhet innenfor barn og unges psykiske helse. Denne databasen har fått navnet Ungsinn.

Unngsinns formål og målgrupper

Hensikten med Ungsinn er å bidra til en kvalitetshevning av forebyggende og helsefremmende tiltak overfor barn og unge og deres foreldre. Ungsinn håper å bidra til dette på tre måter: (1) å stimulere til at flere forebyggende tiltak får dokumentasjon på at de er virksomme, (2) å informere målgruppene om tilgjengelige virksomme forebyggende tiltak og (3) å bidra til oversikter over hvilke områder innenfor psykisk helse som trenger å styrke sin evidens. Målgruppene for Ungsinn er primært fagpersoner og beslutningstakere i tjenesteapparatet, men også forskere og myndigheter.

Ungsinn er opptatt av at kriteriene for vurdering av evidensnivå og dokumentasjonsgrad stimulerer den eller de som har utviklet et tiltak (tiltaksutvikler) til å skaffe til veie mer og bedre dokumentasjon enn den som måtte foreligge til enhver tid. Kriteriene skal slik inspirere til ytterligere dokumentasjon. Databasen inneholder dessuten beskrivelser av helsefremmende og forebyggende tiltak som alle presenteres i et standardisert format med relevant informasjon for målgruppene. For hvert tiltak vurderer Ungsinn også med hvor stor sikkerhet man kan anta at tiltaket er virksomt. Vurderingen utformes av Ungsinnpanelet, bestående av forskere, praktikere og beslutningstakere. Vurderingen fremkommer ved at tiltakene klassifiseres i evidensnivå og dokumentasjonsgrad.

Bakgrunn

I det følgende gis det en kort fremstilling av de kildene om evidens som Ungsinn er bygget på.

Forståelse av evidensbasert praksis

Til tross for en økende konsensus om at tiltak innenfor barn og unges psykiske helse må ha best mulig forskningsmessig evidens, er det forskjellige syn på kriteriene for slik evidens. Mens enkelte forskere legger strenge forskningsdesigner, som randomiserte og kontrollerte studier (RCT) til grunn for evidensbaserte tiltak (f.eks. Kazdin & Weisz, 2003), åpner andre for å inkludere kunnskap fra kvalitative studier, plausible teorier og informasjon fra klienter i evidensbegrepet (f.eks. Woody, D’Souza & Darman, 2006). Disse forskningsmetodene representerer en mer indirekte evidens som utvider evidensbasert praksis til også å inkludere tiltak som får støtte fra kvalitative, teoretiske og kliniske kunnskapsbaser (Veerman & van Ypern, 2007). Vi henviser i tillegg til den debatten som har pågått i Tidsskrift for Norsk Psykologforening i de senere årene, for eksempel aprilutgaven av TNPF i 2008, som tematiserte evidensbasert praksis (Evidensbasert praksis, 2008) og Ekeland (1999, 2001, 2007).

Databasen til Nederlands Jeugdinstituut, Utrecht

Jeugdinstituut i Utrecht har alt utviklet en database som dekker omtrent det samme feltet som Ungsinn er tiltenkt. Den beskriver pr. mars 2009 i alt 91 tiltak rettet mot barn og unge. Databasen nyter i dag stor anerkjennelse, og tiltaksutviklere tilstreber å få sine tiltak inkludert i basen. Siden Nederland er et lite land med få evidensbaserte tiltak, er det derfor viktig at programutviklere alt tidlig lager enkle designer for å komme i gang med evaluering innenfor de ressursrammer og muligheter man har, for så å velge mer sofistikerte designer senere. Databasen skal informere om hele dette spekteret av forskning og motivere til å sette i gang mer sofistikerte forskningsdesigner. Dette kaller de «en utviklingsmodell for effektivitet av tjenester». (Veerman & van Yperen 2007).

Ungsinn har en struktur som forsøker å ta hensyn til de forskjellige oppfatninger av evidensbasert praksis. Men målet er likevel, foruten å gi relevant informasjon om tilgjengelige tiltak til brukerne, å bidra til at den forebyggende og helsefremmende virksomheten får en så god evidensbase som mulig uten å ekskludere tiltak som er i begynnelsen av sin evalueringsprosess.

Ungsinns klassifisering av evidens

I likhet med den nederlandske databasen har Ungsinn en modell med fire evidensnivåer. Fra det laveste til det høyeste evidensnivået er tiltakene klassifisert som: Potensielt virksomt tiltak, Sannsynlig virksomt tiltak, Funksjonelt virksomt tiltak og Dokumentert virksomt tiltak. I tillegg klassifiserer Ungsinn tiltakene i dokumentasjonsgrader som angir i hvor stor grad forskningsmetodene som er anvendt i evalueringen av tiltaket, er egnet til å dokumentere hvor virksomt tiltaket er.

Klassifiseringen av dokumentasjonsgraden er delt inn i fem nivåer. Klassifiseringen starter ved Funksjonelt virksomt tiltak (evidensnivå 3) fordi det er ved dette evidensnivået de enkleste metodene for måling av effekter benyttes. Dokumentasjonsgraden relateres til forskningsmetoder og visualiseres med stjerner fra * (enkle før- og ettermålinger) til ***** (for eksempel RCT). For praktikeren vil dette på en enkel måte informere om hvilke evalueringsmetoder som er brukt, og med hvor stor sikkerhet invervensjonens effektivitet er dokumentert. I det følgende beskrives hva som kreves av evidens for det enkelte evidensnivå, og hvilken type forskning som kan brukes for å oppnå de forskjellige dokumentasjonsgradene.

Evidensnivå 1. Potensielt virksomt tiltak

Når et tiltak er potensielt virksomt, er tiltakets målsettinger og målgruppe beskrevet. Videre er det en tydelig beskrivelse av metoder, teknikker og materiell. Det er flere forskningsmetoder som kan bidra til å klargjøre hvilke komponenter et tiltak inneholder, for eksempel intervju, tekstanalyse, beskrivelser, analyser av observasjoner, kvalitative studier og kasusstudier. Denne type forskning kan hjelpe praktikere og ledere til å få en oversikt over tiltaket og hvilke elementer det inneholder. I et forskningsperspektiv vil denne type deskriptiv evidens være helt nødvendig for å kunne gå videre med forskning som tar sikte på å forstå tiltakets rasjonale og om det har effekt. I Nederland alene antar man at over 1500 tiltak er forsøkt beskrevet i såkalte tiltaksenheter eller tiltaksmoduler på en måte som tilfredsstiller evidensnivå 1. (Veerman & van Yperen, 2007). Det er grunn til å tro at et stort antall tiltak også kan beskrives på dette nivået i Norge. Mange praktikere gjennomfører tiltak som de har god erfaring med, men som ennå ikke er beskrevet i den formen som Ungsinn krever. Hvis disse tiltakene beskrives, vil det representere en enorm økning av evidens for tiltak som i dag foregår i praksis, samtidig som det danner en solid base for fremtidig forskning.

Evidensnivå 2. Sannsynlig virksomt tiltak

Evidensnivå 2 krever i tillegg at det foreligger en fornuftig og plausibel rasjonale for at tiltaket har effekt. Det må gis en teori som gjør det sannsynlig at tiltaket har effekt. En slik teori kan foreligge som en allment kjent teori om årsaker til debut av et psykisk helseproblem, for eksempel teorien om lært hjelpeløshet (learned helplessness) i forhold til depresjon. Det kan også foreligge teoretisk kunnskap på bakgrunn av litteraturgjennomgåelser eller ekspertuttalelser som for eksempel Norges Forskningsråds ekspertuttalelse om effekter av psykososial behandling av barn og unge med atferdsproblemer, som førte til import og implementering av flere psykososiale tiltak overfor barn og unge med atferdsproblemer (PMTO, MST og De utrolige årene). At et tiltak er effektivt, kan også sannsynliggjøres ved at det foreligger enkle n=1-studier der man har fulgt et lite antall enkeltsubjekters utvikling ved målinger før og etter tiltak.

Ungsinn kategoriserer i likhet med den nederlandske databasen tiltak som å være på evidensnivå 2 dersom internasjonale studier av tiltaket foreløpig ikke er fulgt opp av egne nasjonale studier. Med dette ønsker vi å signalisere at vi ikke slår oss til ro med internasjonal forskning, men ønsker å stimulere til norsk forskning.

En plausibel teori gir praktikeren hjelp til å begrunne hvorfor tiltaket skulle ha effekt overfor en spesiell klient. Nivå 2 er derfor en essensiell plattform for å komme videre i utviklingsmodellen for effektivisering av kunnskap. En plausibel teoretisk rasjonale er veiledende for hvilke effekter man kan forvente i forskjellige målgrupper, og hvilke mekanismer som kan føre til forandringer. Hvis det ikke foreligger noen som helst evidens for at tiltaket har effekt, vil en plausibel teoretisk rasjonale likevel kunne overbevise beslutningstagere om å avsette ressurser til å prøve ut metoden. Tiltak på dette nivået betegnes som et sannsynlig virksomt tiltak.

Evidensnivå 3. Funksjonelt virksomt tiltak

Funksjonelt virksomme tiltak har alle kriteriene som er beskrevet for nivåene 1 og 2 (detaljert beskrivelse av tiltaket og en plausibel teoretisk rasjonale). I tillegg har tiltak på dette nivået systematiske evalueringer som viser at man får de ønskelige forandringene i målgruppen. Det betyr at man gjennom tiltaket har nådd sine mål, problemene er redusert, og målpersonene er fornøyd. Det finnes et utall av metoder for å gjøre slike evalueringer som brukerfornøydhetsundersøkelser, før- og ettermålinger eller nedgang i re-innleggelser. Dette er evalueringer som viser at noe har skjedd etter at tiltak ble iverksatt, og at det som skjedde er positivt. Slike evalueringer kan også brukes til å forbedre kvaliteten på tilbudet i organisasjonen.

På dette evidensnivået åpnes det for at designen kan forbedres ved å legge til en eller annen form for referansemål for måloppnåelse. En referansestudie (benchmark study) kan være å sammenligne gjennomsnittsresultater fra det utvalgte tiltaket med resultatene fra et randomisert kontrollgruppestudium (RCT) som viser signifikant bedre effekt for et lignende tiltak for det samme psykiske helseproblemet. Hvis gjennomsnittsresultatet i tiltaket er bedre enn kontrollgruppen i RCT-studien, er dette et viktig signal om at tiltaket har effekt. En normreferansestudie betyr at man sammenligner resultatet av tiltaket med en norm, for eksempel at en viss andel av klientene er fornøyd (95%), at 90% av klientene nådde målsettingene for behandlingen, eller at 80% av klientene skårer i normalområdet målt med et standardisert instrument. I Theory of change-studier kan effekten av et spesielt behandlingselement undersøkes gjennom korrelasjonsstudier, mens man i dose–respons-studier avklarer hvilket minimum av behandlingstimer (dose) som må til før man får den ønskede effekt. Andre forskningsdesigner som hører til dette evidensnivået, er kvasieksperi-mentelle designer og Single subject-designer (n=1).

Gjennom disse designene får praktikere systematisk tilbakemelding om effekter av tiltaket både på individnivå og gruppenivå, noe som muliggjør systematisk overvåkning av tiltaket og modifiseringer av det. Disse designene kan imidlertid ikke sannsynliggjøre at effektene primært er forårsaket av tiltaket. Dokumentasjon av årsakssammenhenger forutsetter at andre mulige årsaker til forandring er eliminert eller kontrollert for. Designer på evidensnivå 3 gir likevel forskeren en sterk indikasjon på at tiltaket påvirker resultatet slik at informasjonen man får, gir en foreløpig evidens på effektivitet. Dette gjelder spesielt hvis en design på evidensnivå 3 er gjentatt under mange forskjellige betingelser og replikert av ulike forskergrupper.

Tiltak på evidensnivå 3 skal også ha en klar implementeringsstrategi som tar hensyn til tilbudsorganisasjonens struktur og ressurser. En slik strategi inkluderer for eksempel søknads- og godkjenningsprosedyre, opplærings- og kvalitetssikringssystem og kostnader.

Funksjonelt virksomme tiltak blir klassifisert i dokumentasjonsgrad *, ** og *** avhengig av forskningsmetode. For eksempel vil enkle før- og ettermålinger få klassifikasjonen *. Hvis tiltaket også er evaluert med referansestudie eller «theory of change»-studie, gis klassifikasjonen **, og en kvasieksperimentell kontrollgruppedesign med oppfølgingsmålinger etter 6 måneder eller serier med n=1- studier får klassifikasjonen ***.

Evidensnivå 4. Dokumentert virksomt tiltak

Tiltak på evidensnivå 4 tilfredsstiller kravene til evidensnivå 1 (beskrivelse), 2 (teoretisk rasjonale) og 3 (demonstrasjon av at tiltaker leder til ønsket resultat).

For at et tiltak skal bli bedømt som å være dokumentert effektivt, trengs det en forskningsdesign som sannsynliggjør at resultatet av et tiltak er forårsaket av tiltaket. Det er tre designer som tilfredsstiller dette kravet. Randomisert kontrollgruppedesign (RCT) kjennetegnes ved at metoden for valg av deltagere til gruppene som skal sammenlignes, sikrer at gruppene er sammenlignbare på viktige variabler. Dette sikrer en høy intern validitet. Avbrutte tidsserieanalyser innebærer at det tas en serie datapunkter som avbrytes gjennom ett eller flere tiltak (såkalte A-B-, ABA-, ABC- designer, der A er baseline og B, C osv. representerer forskjellige tiltak). Hvis det framkommer systematiske forandringer på resultatmålene som følge av tiltakene på en stor serie av n=1-studier (minst 9 subjekter), er dette en sterk evidens for at det er tiltaket som forårsaker resultatene, og kan som effektivitetsmål sammenlignes med en RCT-design. Avbrutte tidsseriedesigner vil også være et nyttig supplement når tidsseriestudier gjøres i forhold til grupper av individer, for eksempel skoleklasser. Longitudinelle kohortstudier innebærer at en kohort (eks. en aldersgruppe barn) utgjør kontrollbetingelsene for en annen kohort for samme aldergruppe på et senere tidspunkt.

Studier under spesielt tilrettelagte betingelser (efficacy-studier) kjennetegnes ved at de utføres i universitetskontekst med spesielt trenede terapeuter og med klientutvalg med «rene diagnoser», ofte rekruttert gjennom annonser eller aktiv selektiv rekruttering av forskerne. Det er vanligvis programutviklere som gjennomfører efficacy-studier som den første test på om tiltaket er årsak til resultatene. Da er den eksterne validiteten lav (generaliserbarhet). Dokumentasjonsgraden ved evidensnivå 4 øker betydelig når studiet er utført under naturlige betingelser og av uavhengige forskere, og dermed øker også den eksterne validiteten (effectiveness-studier). Dette innebærer at forskningen foregår i en ordinær klinikk eller et annet praksissted (normal ressurstilgang) med et klientutvalg som er representativt for de henviste klientene (med normal komorbiditet), og at tiltaket er gjennomført av klinikkens ordinære praktikere. Praktikerne vil ha nytte av evalueringer på evidensnivå 4 for å få et bedre bilde av hvilke tiltak som er virksomme på hvilke klientgrupper. Denne type kunnskap kan hjelpe til med å tilpasse tiltaket til klientkarakteristika. For forskeren er evaluering på nivå 4 nødvendig for å validere tiltakets teoretiske basis og derved bidra til å få mer generell kunnskap om mekanismene bak de terapeutiske effektene.

Dokumentert virksomme tiltak vil få klassifikasjonene **** eller *****. RCT- (efficacy-)studier, avbrutt tidsseriedesign og fortløpende evaluering av implementeringsprosessen vil få klassifikasjonen ****. Hvis studien i tillegg er replikert av minst én uavhengig forsker under naturlige betingelser (effectiveness- studium), klassifiseres tiltaket med *****.

Ønskede tilleggskvaliteter ved evalueringen

Tiltak som er plassert på evidensnivå 4 og dokumentasjonsgrad *****, møter alle kriteriene for nivåene 1 til 4. Det vil si at de er godt beskrevet (1), har en plausibel teori (2), har demonstrert at tiltaket fører til måloppnåelse (3), og har dokumentert at tiltaket er ansvarlig for resultatene (4), inkludert replikasjon av minst én uavhengig forsker og under naturlige betingelser. Til tross for en evaluering av denne høye standarden er det ønskelig at et tiltak utsettes for ytterligere forskning som gir oss mer kunnskap om effektene av tiltaket. Det er også ønskelig med kunnskap om konsekvenser av implementering av tiltaket i et gitt miljø. Det er således ønskelig, men ikke nødvendig, at følgende spørsmål er besvart gjennom forskning: Hva er langtidseffektene av tiltaket (mer enn ett år)? Hva er nytten av tiltaket i forhold til kostnadene (kostnad–nytte-analyser). Er det en lavere insidens av det psykiske helseproblemet som skal forebygges etter langtidsbruk av tiltaket (for eksempel etter 5–10 år)? Opprettholdes tiltaket over tid med høy integritet og kvalitet (program fidelity)? Er det spesielle elementer ved tiltaket som er kritisk viktige for å få optimal effekt (elementanalyse)? Har implementeringen av tiltaket hatt effekter på organisasjonens arbeidsformer, organisering og ressursbruk (kvalitative analyser)? Inngår evaluering av tiltaket i metaanalyser, som derved sammenholder effektene av tiltaket med effektmåling av andre tiltak?

Slike tilleggsevalueringer styrker tiltakets validitet og blir eksplisitt beskrevet i databasen som en del av vurderingsgrunnlaget for kvalitetsklassifikasjonen.

Kunnskapsbasert og forskningsbasert praksis

Tiltak på evidensnivåene 1 og 2 vil antagelig representere det man kaller kunnskapsbasert praksis, mens tiltak på evidensnivå 3 antagelig vil kunne kalles forskningsbasert praksis. Gjennom konstrueringen av Ungsinn ønsker vi imidlertid å vise at evidens kan skaffes til veie på mange forskjellige nivåer og med mange forskjellige forskningsmetoder. Vi velger derfor å kalle tiltak på evidensnivåene 1 og 2 for tiltak som har evidens, og ikke reservere evidensbaserte tiltak bare for tiltak på evidensnivåene 4 og fem stjerners dokumentasjonsgrad. Etter vårt syn avsporer en slik begrensning evidensdebatten og skaper unødig konflikt i fagmiljøene. Ungsinn ønsker imidlertid gjennom sin struktur å visualisere både kompleksiteten i forskning på høyt nivå og overkommeligheten av å gjøre verdifulle evalueringer med metoder og designer som er enklere, og som bringer et tiltak høyere opp i evidensnivåene.

Tiltak med negativ effekt

Ungsinn har også kategorien «Negativ effekt», fordi det en gang imellom publiseres evalueringer som, på et høyt evidensnivå, påviser at enkelte tiltak har negativ effekt på tiltakets hovedmål. Kravet fra praksisfeltet om at tidsskriftene i større grad tillater å publisere 0-effekt-studier og studier med negativ effekt, tilsier at det kan bli en økende publiseringsrate med slike studier. Det er et alvorlig etisk problem at tiltak med påvist negativ effekt anvendes i praksisfeltet (Petrosino, Turpin-Petrosino & Finckenauer, 2000; Werch & Owen, 2002). Tiltak i denne kategorien skal minst ha et forskningsgrunnlag som tilsvarer dokumentasjonsgrad *** på evidensnivå 3 (kvasieksperimentell kontrollgruppedesign med 6 måneders oppfølging).

Avslutning

Ungsinn skal ikke bare være en katalog over evidensbaserte tiltak og beskrivelser av evidensnivåer og dokumentasjonsgrader. Ungsinns oppbygning og funksjon er også ment å virke motiverende på tiltaksutviklere og forskere til å begynne å evaluere tiltak eller å fortsette å evaluere dem, slik at tiltakene får enda bedre dokumentasjon. Med Ungsinns utvidelse av evidensbegrepet til å romme flere forskningsmetoder og designer enn den tradisjonelle RCT, ønsker vi å komme videre i en fastlåst debatt om berettigelsen av evidensbaserte tiltak basert på en snever forståelse av evidens. Denne utvidelsen må imidlertid ikke forstås dit hen at det er tilstrekkelig med evalueringer på de lavere nivåene i Ungsinn for å hevde at et tiltak har dokumentert effekt. Fremdeles vil det høyeste evidensnivået (Tiltak med dokumentert effekt) være nødvendig for å kunne dokumentere at tiltaket med stor grad av sikkerhet har effekt. Evalueringer med enklere deisgner som vil klassifisere tiltaket på lavere evidensnivåer, er imidlertid svært verdifulle i seg selv og vil være et godt utgangspunkt for ytterligere evalueringer. For brukerne av databasen vil det være nyttig å få nyansert informasjon om hvilken forskning som er gjort på et tiltak og, ikke minst, kunne følge utviklingen av forskningsaktiviteten.

Ungsinn er lagt ut på Internett under domenenavnet ungsinn.uit.no og inneholder i skrivende stund syv tiltak. Ytterligere ni tiltak vil bli lagt ut i løpet av året. Ungsinns kapasitet for å vurdere nye tiltak antas å være ca. 10 tiltak pr. år.