Nytten av tilbakemeldinger

Flere titalls tiltak og programmer har blitt implementert for å behandle og forebygge psykiske vansker hos barn i Norge. I kjølvannet av implementeringen av nye og effektive tiltak og programmer dukker det opp et viktig spørsmål – forvalter vi disse tiltakene og programmene på en effektiv måte? Beklageligvis er nok svaret nei. For at et tiltak skal kunne kalles evidensbasert, må det ha en dokumentert effekt gjennom en nøye planlagt studie, der tiltaket implementeres og gjennomføres i henhold til strenge krav. Både forskning og erfaring synes dessverre å vise at man har hatt begrenset suksess med å implementere og gjennomføre forskningsbaserte tiltak i praksis og på skoler slik tiltakene opprinnelig var tenkt.

I denne artikkelen vil vi beskrive en av de faktorene som kan bidra til at virksomme tiltak når ut på en tilfredsstillende måte, nemlig tilbakemeldingssystemer (heretter forkortet TS; omtales ofte som Measurement Feedback Systems [MFS] på engelsk; Bickman, 2008). Med TS mener vi systemer der man systematisk samler inn data før, under og etter en tiltaksperiode. Vi vil også gå inn på hvorfor bruken av TS kan være nyttig, samt komme med eksempler på forskjellige TS med ulike bruksområder.

Hva er tilbakemeldingssystemer?

Kanskje benytter mange TS uten å være klar over det, for eksempel for å følge egen fysisk trening. Den treningsivrige mosjonisten bruker pulsklokke for å finne ut om han har trent med riktig intensitet og dose. Han kan også, på en mer objektiv måte enn om han bare skulle forholde seg til egne vurderinger, finne ut hvordan han gjorde det sammenlignet med sine egne og andres tidligere prestasjoner. Mosjonistens subjektive vurderinger kan være upresise, fordi de er preget av egne ønsker, stress eller andre forhold. Dette gjelder også for fagfolk, enten det er lærere eller terapeuter. Flere studier har funnet at terapeuter ikke alltid oppdager at klienter er i en negativ utvikling i terapien (se f.eks. De Jong et al., 2014; Hannan et al., 2005). Presise og gyldige tilbakemeldinger kan derfor hjelpe både lærere og terapeuter til å gi et bedre tilbud til barn og unge.

Det finnes allerede eksempler på at TS har blitt tatt i bruk i Norge, blant annet gjennom MATCH (Modular Approach to Therapy for Children with Anxiety, Depression, Trauma and Conduct Problems, Weisz et al., 2012). MATCH er en modulær tilnærming til behandling, som er sammensatt av komponenter fra evidensbaserte intervensjoner mot angst, depresjon, traumatisk stress eller atferdsproblemer. Komponentene er utformet som frittstående moduler for å øke fleksibiliteten i behandlingstilbudet. MATCH retter seg mot barn og unge i BUP i alderen 6–14 år. I MATCH benytter man et TS for å evaluere behandlingsforløpet og måle opplevd endring underveis. Gjennom dette systemet gir foreldrene og barnet tilbakemeldinger til terapeuten ukentlig. Dette gjør at terapeuten kan følge med på progresjon, identifisere problemer og foreta tilpasninger i terapiforløpet. Behandlingen er per i dag under utprøving og evaluering i Norge, i regi av Nasjonalt Utviklingssenter for Barn og Unge.

Et TS kan også være nyttig utover det individuelle nivå. Ledelsen på en skole kan for eksempel innhente data om mobbing for å få en oversikt over hvordan elevene opplever det sosiale klimaet. I tillegg må denne informasjonen brukes aktivt for å sikre at de setter inn riktige tiltak, og finne ut hvorvidt de tiltakene man setter inn, fungerer for å redusere mobbing på skolen.

Hvorfor skal vi bruke tilbakemeldingssystemer?

TS er kvalitetssikring. Tilbakemeldinger gir mulighet til å forbedre den hjelpen som gis. Til tross for manglende empiri har flere og flere fagfolk som jobber med barn og unge, begynt å bruke TS. Vi antar at dette er en positiv utvikling, og tar til orde for at den hjelpen som tilbys barn og unge, vil kunne forbedres ved å innføre TS. La oss for eksempel si at ledelsen ved en klinikk sender terapeuter på et kurs der de lærer evidensbaserte prinsipper om hvordan de skal møte barn med angstproblematikk. Kan vi etter et slikt kurs vite at terapeutene har tatt i bruk de evidensbaserte prinsippene de har lært? Nei, det kan vi ikke vite. Tvert imot kan vi forvente at mange ikke vil ta i bruk de nye ferdighetene. I en studie fant forskerne at terapeuter vegret seg for å ta i bruk eksponering i angstbehandling, selv om de hadde positive holdninger til evidensbasert behandling (Scherr, Herbert, & Forman, 2015). I en annen studie pekte funnene i samme retning (Barnoski & Aos, 2004). Forskerne fant at evidensbaserte intervensjoner hadde god effekt dersom de ble gitt med kvalitetssikring, det vil si at intervensjonen ble gitt i henhold til instruksjonene. I motsatt tilfelle fant de at evidensbaserte intervensjoner kunne ha negativ effekt dersom de ble spredt til praksisfeltet uten kvalitetssikring. Hvis man ønsker at en intervensjon skal tas i bruk på en måte som gir gode resultater for brukerne, ser det ut til å være en dårlig strategi å sende fagfolk på kurs uten at man har et system i etterkant som sikrer at intervensjonen utføres i henhold til instruksjonene (Beidas & Kendall, 2010). Dette perspektivet bekreftes også gjennom arbeidet til Fixsen og kolleger (2009), som har vært toneangivende i å finne frem til faktorer – eller drivere – for suksessfull implementering. De hevder at å bruke et TS for å evaluere resultater er en essensiell faktor for å få til en vellykket implementering av en intervensjon eller et program.

Ved å innhente informasjon om terapeuters eller læreres arbeid kan man få innsikt i hvorvidt et tiltak eller program blir gitt i tråd med programskapernes anbefalinger (omtalt som «fidelity» på engelsk). Det er viktig å innhente slike data, da det er en sammenheng mellom metodeintegritet og effekten et program har hos brukerne (Breitenstein et al., 2010). Tradisjonell opplæring og veiledning uten sikring av behandlingsintegritet ser ikke ut til å være tilstrekkelig for å få til positive endringer.

I tillegg til data om metodeintegritet er det ofte ønskelig å måle om behandlingen/tiltaket en har gitt, har ført til endring. Er hensikten med tiltaket å redusere angst hos barn, må man inkludere sikre mål på angst. Til slutt må fagpersonen få en tilbakemelding basert på de innsamlede data, som kan brukes til å justere kursen eller endre strategier. Gjennom å anvende et TS kan fagpersoner undersøke om de oppnår ønsket fremgang med klienten, eller endre behandlingsstrategi dersom dette ikke er tilfellet.

Klientene får dermed anledning til å komme med objektive tilbakemeldinger til sin terapeut. Dette leder over til en annen grunn til å bruke et TS i arbeid med barn og unge.

Slike systemer er også viktige fordi de inkluderer brukerens stemme. Å bli hørt gir en opplevelse av å bli tatt på alvor, og er dermed motiverende. Et TS utviklet med dette for øye kalles ‘Hva er viktig for deg?’ (HEVD), og er nå under evaluering i primærhelsetjenesten. Formålet med HEVD er å gjøre det enklere for ungdommer å bli hørt i møte med helsepersonell. Ungdommene skal med egne ord definere mål eller temaer ut fra hva de mener de trenger. HEVD-verktøyet skreddersys til den enkelte ungdom, og gir dermed ungdommer en klar og tydelig stemme gjennom hele behandlingen. Ved å fokusere på det ungdommene klarer, åpner man opp for en reflekterende dialog mellom hjelper og ungdom, og bidrar til å ha oppmerksomheten på ungdommenes ressurser og mestringskapasitet. Ved at ungdommen selv definerer hva som skal måles, kan man prioritere spesifikke og viktige temaer i den enkeltes liv (for mer informasjon: https://www.cristin.no/app/projects/show.jsf?id=472771).

En tredje viktig grunn til å bruke TS er at det ser ut til å ha en positiv effekt på klienters bedring, og da særlig i voksenterapi. I en metaanalyse fant forskerne at klienter hadde positive effekter av OQ®-Analyst på behandlingsutfall. Dette gjaldt spesielt der det var risiko for at behandlingen skulle mislykkes (Shimokawa, Lambert, & Smart, 2010). Nylig ble det også avdekket positive effekter av OQ®-Analyst på psykisk helse (målt ved OQ-45) i en norsk randomisert kontrollert studie (Amble, Gude, Stubdal, Andersen, & Wampold, 2015). I en annen metaanalyse fant Knaup, Koesters, Schoefer, Becker og Puschner (2009) 12 studier som hadde undersøkt effekten av TS i psykoterapi for voksne. De fant en liten gjennomsnittlig positiv effekt av TS på psykisk helse. Forskerne konkluderte med at effekten av TS er lovende, men på grunn av få studier er det nødvendig med flere evalueringer av TS.

Vi har kun funnet én studie der effekten av et TS har blitt evaluert i kombinasjon med en behandling for barn og unge (Bickman, Kelley, Breda, de Andrade, & Riemer, 2011). I denne studien ble klinikere tilfeldig trukket til enten å motta ukentlige tilbakemeldinger eller kun hver 90. dag. Resultatene viste at ungdom i behandling hos en terapeut som fikk ukentlig tilbakemelding, hadde en raskere forbedring enn de som ikke fikk det. Dessuten viste det seg at jo mer klinikerne brukte TS, jo raskere forbedret klientene seg.

Det finnes også forskning som tyder på at TS gir positive effekter i skolen (Fallon, Collier-Meek, Maggin, Sanetti, & Johnson, 2015).

Hva skal til for Å ta i bruk TS?

TS kan ha et stort potensial for å hjelpe barn, men effekten av TS avhenger antageligvis av noen forutsetninger. En av de viktigste forutsetningene er at det ikke er nok å bare gjennomføre målinger. Dataene som samles inn, må brukes som grunnlag for det videre endringsarbeidet, og må derfor raskt formidles tilbake til fagfolkene. I MATCH brukes TS-dataene i veiledningen av terapeutene, dette gjør at dataene brukes aktivt for å tilpasse tiltaket til den enkelte mottaker. Selv om MATCH gis til enkeltindivider, kan man anta at den samme tankegangen er gjeldende for skoler eller klasser.

En annen forutsetning er at TS må oppleves som nyttig for de involverte partene, det vil si både utøver (f.eks. terapeut) og mottaker (f.eks. ungdom). Vi vet at folk er travle; det vil kunne skape motstand hvis de blir utsatt for det de opplever som unødvendig rapporteringsarbeid. Derfor er det viktig at dataene er relevante, og at det tar kort tid å fylle ut skjemaene. I MATCH har man begrenset antallet spørsmål til seks om internaliserende og seks om eksternaliserende problemer, samt tre spørsmål som handler om hva barnet og foreldrene selv definerer som de tre største utfordringene. Ved å la foreldre og barn definere dette selv sikrer man at barnets og foreldrenes stemme blir hørt, og øker dermed brukermedvirkningen. I tillegg tar det ikke mer enn omtrent to minutter å fylle dette ut. Bickman (2008) har, som vi var inne på ovenfor, tatt til orde for at man skal samle inn data om metodeintegritet, slik at fagfolk kan bruke denne informasjonen til å se om man leverer tiltaket ut fra hensikten. Datainnsamlingene ser ut til å måtte skje med en viss hyppighet. I MATCH samler man inn data ukentlig. I andre sammenhenger, for eksempel i skolen, kan andre tidsintervaller (f.eks. månedlige) være aktuelle.

Et godt tilbakemeldingssystem må derfor kunne brukes hyppig og ikke ta for lang tid, det må oppleves som nyttig av fagpersonene, og ikke minst av brukerne. Hva eller hvilke komponenter som gjør TS virksomme, er noe usikkert (Douglas, Button, & Casey, 2016). Er det at tilbakemeldingene til fagpersonene blir brukt i veiledning? Er det at man samler inn utfallsdata eller data på metodeintegritet? Er det at TS øker brukermedvirkningen? Eller påvirker TS motivasjonen hos terapeuter og skoler til å fortsette med et program og dermed også påvirke et tiltaks varighet og bærekraft? Dette er enda et relativt nytt forskningsfelt, og det har ikke blitt gjennomført så mange eksperimenter for å teste TS eller deres komponenter ennå. Vi håper at fremtidig forskning vil prioritere slike innsatser.

Fremtidig innsats og forskning

Det er mye data som måles og samles inn, bare for å bli arkivert og ikke brukt. Det er essensielt at målinger har en praktisk nytteverdi. Gjennom å bruke et TS, om det er FIT, OQ, HEVD eller SWIS, skapes et felles språk og en felles forståelse av kvalitets- og forbedringsarbeid. Og det gir brukerne større innflytelse på den behandlingen eller det tilbudet de mottar. Som nevnt har altså Fixsen og kollegaer (2009) trukket frem bruk av datasystemer – eller TS – for å måle om intervensjonen blir brukt på en hensiktsmessig måte i organisasjoner. I en skoleintervensjon rettet mot å redusere mobbing, vil man kunne tenke seg at man samler inn data på nettopp mobbing, og samtidig samler inn informasjon om veilederne og/eller lærerne har gjennomført de komponentene som blir foreskrevet i skoleintervensjonen. Ved å samle inn denne informasjonen kan man sammenholde informasjonen om hva som har blitt gjort med omfanget av mobbing. Et slikt TS kan man teste i en randomisert studie: Skoler som har implementert en mobbeintervensjon (eller en hvilken som helst annen intervensjon), kan randomiseres til å få benytte et slikt datasystem eller til å fortsette som før. På den måten kan man undersøke om bruk av TS (gjennom å sikre god implementeringskvalitet) gir en reduksjon av mobbing. Som vi har sett tidligere, er det også mulig å teste bruk av TS i terapi. TS har til nå, på tross av få studier (Bickman et al., 2011), vist seg å øke effektene av behandling for barn og unge, og er noe man bør undersøke videre i fremtidige studier.

NÅ UT

Til tross for manglende evidensgrunnlag for effekten av TS har mange fagfolk som jobber med barn og unge i Norge, begynt å bruke TS. Implementeringen av TS har imidlertid vært nokså usystematisk, og har ikke blitt tilstrekkelig fulgt opp av forskning. Dette på tross av at sentrale fagfolk som Fixsen, Blase, Naoom og Wallace (2009) og Bickman (2008) og tunge faglige instanser, både nasjonalt (Sosial- og helsedirektoratet, 2006) og internasjonalt (APA Presidential Task Force on Evidence Based Practice, 2006), har presisert behovet for ytterligere forskning på temaet. Det mangler gode effektstudier av bruk av TS med barn og unge, hvilket er avgjørende for å fremme utviklingen og øke kunnskapen om riktig og god bruk av tilbakemeldingssystemer. Dette bør derfor være et viktig felt for fremtidig forskning.

Vi støtter Ogden og Fixsen (2014) i at vi i mye større grad må sikre og forbedre allerede eksisterende tiltak – både i skole og i helsetjenestene. Ved å bygge videre på den kunnskapen vi har, unngår vi å måtte finne opp hjulet på nytt. Kunnskapen er der – nå gjelder det å sikre at den når ut best mulig til flest mulig sårbare barn og unge. TS kan bidra til dette.