Selvevaluering av ferdigheter i kognitiv miljøterapi - Praktisk egnethet og psykometrisk evaluering av et nytt instrument

Allerede tidlig på 80-tallet beskrev fagfolk hvordan prinsipper fra kognitiv individualterapi kunne brukes i miljøterapeutiske intervensjoner (Stuart, Wright, Thase, & Beck, 1997; Wright, 1996). Terapiformen omtales ofte som kognitiv miljøterapi (KMT) (Solbjør & Kleiven, 2013) og defineres som «å benytte metoder fra kognitiv terapi i psykiatriske sykehusavdelinger» (s. 13). KMT innebærer en syntese av generell miljøterapi og kognitive prinsipper, der hverdagsmiljøet i sengeavdelinger utformes slik at den kognitive modellen benyttes i alle aktiviteter og intervensjoner (Beck, 2011; Berge & Repål, 2010; Fredheim, 2009; Holm et al., 2007; Solbjør & Kleiven, 2013). Sammenlignet med kognitiv individualterapi stiller KMT større krav til tverrfaglig samhandling og strukturert bruk av daglige aktiviteter som elementer i terapien (Fredheim, 2009; Gunderson, Will, & Mosher, 1983; Skorpen & Øye, 2010). Kognitiv miljøterapi er i dag implementert i flere psykiatriske avdelinger, bofelleskap og barnevernsinstitusjoner (Dahlum & Aune, 2016).

Mens kognitiv individualterapi anses som evidensbasert, effektiv og kostnadsbesparende ved behandling av en rekke psykiske lidelser (McHugh & Barlow, 2010), finnes det relativt få empiriske undersøkelser av effekten av KMT (Geanellos, 2000; Solbjør & Kleiven, 2013). Effektstudier indikerer at metoden har gunstig effekt på generell fungering og livskvalitet (Svensson, Hansson, & Nyman, 2000), bidrar til redusert grad av psykopatologi, økt global funksjon, reduksjon av angstnivå, færre depressive symptomer og økt selvfølelse (Lykke, Oestrich, Austin F., & Hesse, 2010), signifikant bedring av depresjon og psykologisk stress (Borge, Sverdrup, Fyrand, & Angell, 2012), samt reduksjon i bruk av mekaniske tvangsmidler (Lykke, Austin, & Morch, 2008). Erfaringsbaserte studier indikerer at KMT bidrar til økt tverrfaglig samarbeid, bedre utnyttelse av personalressurser, større helhet i behandlingstilbudet, etablering av et felles språk og bedre dokumentasjon av behandlingseffekt (Bliksted & Bendix, 2003; Borge, Røssberg, & Sverdrup, 2013; Oestrich et al., 2001; Sverdrup, Borge, Angell, & Fyrand, 2011).

Forskningslitteraturen viser at behandlingseffekt er avhengig av flere faktorer ut over behandlingsmetode. Særlig fremhever flere forskere betydningen av kompetanse, terapeutiske ferdigheter og etterlevelse av metodespesifikke prinsipper som viktig for behandlingsresultatet (Barber et al., 2007; Fairburn & Cooper, 2011; Kaslow, 2004). Å utvikle måleinstrumenter for terapeutkompetanse er utfordrende, ikke minst fordi forholdet mellom spesifikke teknikker og fellesfaktorenes betydning for terapeuteffekter har vært uklar (Tilden, 2013), og fordi sammenhengen mellom terapeutkompetanse og terapiutfall ikke har vært konsistent (Anderson, McClintock, Himawan, Song, & Patterson, 2016; Webb, Joseph, Yardley, & Michie, 2010). Det er vist at pasienter som behandles av terapeuter med høy kompetanse, blir bedre enn pasienter som behandles av mindre kompetente behandlere (Branson, Shafran, & Myles, 2015). Goldberg og medarbeidere (2016) viste at verken terapeutkompetanse eller erfaring som terapeut predikerer bedre terapiutfall, og at effekten av terapi utført av kompetente terapeuter, blir mindre over tid. Videre er det rapportert større variasjon i behandlingsutfall mellom terapeuter med samme metodiske tilnærming, enn mellom terapeuter i ulike terapimodeller (Ahn & Wampold, 2001; Anderson et al., 2016; Flückiger, Del Re, Wampold, Symonds, & Horvath, 2012). I en undersøkelse så forskere på hvordan effekten av veiledning ble påvirket ved bruk av feedback-orienterte metoder. De fant at terapiutfallene bedret seg som følge av at terapeutene fikk økt kompetanse når de brukte feedback-metoder i kombinasjon med veiledning (Anderson et al., 2016). Dette indikerer at terapeutegenskaper, og ikke minst hvordan terapeutkompetanse vedlikeholdes, utgjør en forskjell med hensyn til terapiutfall.

Lite konsistente forskningsresultater på terapeutkompetanse og terapiutfall skyldes at det har vært vanskelig å skille ut terapeutegenskaper fra pasientkarakteristika (Anderson et al., 2016). Men med nyere statistiske metoder har en i sterkere grad klart å skille betydningen av terapeutegenskaper fra hva pasienter selv bidrar med i terapien (Anderson et al., 2016; Wampold et al., 2017). Effektive terapeuter karakteriseres av egenskaper som: evnen til å danne arbeidsallianser med ulike typer pasienter, fasiliative mellommenneskelige egenskaper, selvgranskende profesjonalitet og en selvreflekterende praksis, samt selvbevissthet rundt egen ferdighetsutvikling (Wampold et al., 2017). Videre viser Wampold og kolleger (2017) at tiden terapeuter benytter til kompetanseforbedring, utenfor terapirommet, predikerer gode behandlingsresultater hos pasientene.

Måling av terapeutkompetanse benyttes oftest i forskningssammenheng, og foregår som regel ved ekspertvurderinger (Muse & McManus, 2013). Ekspertvurdering er rapportert å ha god reliabilitet, samtidig som de er svært ressurskrevende (McManus, Rakovshik, Kennerley, Fennell, & Westbrook, 2012), noe som gjør at ekspertvurderinger sjelden blir benyttet i terapeutisk praksis (Perepletchikova, Hilt, Chereji, & Kazdin, 2009). Selvevaluering av egen terapeutkompetanse er derimot lettere å administrere (McManus et al., 2012), samtidig som metoden innebærer risiko for både overvurdering (Brosnan et al., 2008) og undervurdering av egen kompetanse (McManus et al., 2012). Risikoen for overvurdering anses som størst når den enkeltes selvevaluering utgjør et vurderingsgrunnlag for andre, der resultatene kan medføre konsekvenser av positiv eller negativ art for terapeuten (Gramzow & Willard, 2006). På tross av dette har undersøkelser vist moderate korrelasjoner mellom ekspertvurderinger og selvevalueringer (McManus et al., 2012). I og med at ekspertvurdering av terapeutkompetanse både er svært kostbart å gjennomføre og blir lite benyttet i klinisk praksis, bør en i større grad bruke evalueringsinstrumenter som er enkle å administrere, er praktisk egnet, og har adekvate psykometriske egenskaper (Muse & McManus, 2013).

For å undersøke om det allerede eksisterte selvevalueringsinstrumenter som måler terapeutkompetane i KMT, gjennomførte vi et bredt litteratursøk. Samtidig tok vi direkte kontakt med fagmiljøer både i Norge og Danmark. Kartleggingen gav ingen indikasjon på at det verken brukes eller er utviklet et slikt selvevalueringsverktøy direkte rettet mot måling av terapeutkompetanse i KMT. Derimot er det rapportert bruk av en rekke instrumenter for evaluering av terapeutkompetanse ved individualterapier (Barber et al., 2007; Fairburn & Cooper, 2011; Kuyken & Tsivrikos, 2009; Schoenwald & Garland, 2013; Snyder & Ingram, 2000) og spesielt for kognitiv individualterapi. Alle instrumenter som beskrives her, bygger i varierende grad på samme teoretiske modell som Cognitive Therapy Rating Scale (CTS) (Muse, McManus, Rakovshik, & Thwaites, 2016; Young & Beck, 1980). CTS er sammen med den reviderte versjonen Revised Cognitive Therapy Scale (CTS-R) (Blackburn et al., 2001) de to instrumentene som oftest er referert internasjonalt. Både CTS og CTS-R har blitt kritisert for å mangle tilstrekkelig akseptable psykometriske egenskaper for måling av terapeutiske ferdigheter og kompetanse (Muse & McManus, 2013; Muse et al., 2016; Whisman, 1993). Andre instrumenter som omtales i litteraturen, er The Collaborative Study Psychotherapy Rating Scale (CSPRS) (Hill, O’Grady, & Elkin, 1992; Shaw et al., 1999). CSPRS ble primært utviklet for evaluering av terapeutkompetanse ved behandling av depresjon (Hill et al., 1992; Roth, 2016), og dessuten er kognitiv terapi bare en av tre terapeutiske tilnærminger som måles i CSPRS (DeRubeis & Feeley, 1990; Hill et al., 1992). Det opprinnelige CTS finnes i en omarbeidet versjon for selvevaluering under navnet The Cognitive Therapy Self-Rating Scale (CTSS) (Bennet-Levy & Beedie, 2007). Vi fant ingen studier der en har undersøkt og rapportert de psykometriske egenskapene til CTSS. The Assessment of Core CBT Skill (ACCS) (Muse et al., 2016) ble utviklet og vitenskapelig rapportert i etterkant av vår datainnsamling, og ble derfor ikke vurdert for inklusjon. I Norge brukes en oversatt versjon av Cognitive Therapy Adherence and Competence Scale (CTACS) (Barber, Liese, & Abrams, 2003; Soygut, Uluc, & Tuzun, 2008) i forbindelse med opplæring i kognitiv terapi (Nordahl, Nysæter, & Mikkelsen, 2006; Norsk Forening for Kognitiv Terapi, 2019). CTACS beskrives under metode.

CTACS er tilpasset til et nytt instrument i den hensikt å kunne måle og stimulere bruk av ferdigheter i Kognitiv miljøterapi gjennom selvrefleksjon. Denne studien har til hensikt å beskrive utviklingen og utprøvingen av dette instrumentet.

METODE

Vi valgte CTACS som modell for utvikling av et instrument for selvevaluering av terapeutkompetanse i KMT på bakgrunn av tidligere rapporterte adekvate psykometriske egenskaper, at modellen representerer en tydelig teoretisk tilnærming, samt at CTACS allerede var oversatt til norsk og benyttes i utdanning og veiledning i Norge (Norsk Forening for Kognitiv Terapi, 2019). Det nye instrumentet fikk navnet Selvevaluering – Kognitiv miljøterapi (S-KMT).

CTACS består av 24 ledd fordelt på fire domener. Hvert av domenene består av tre til ni ledd. CTACS er konstruert for en generell tilnærming til terapeutkompetanse uavhengig av diagnose og symptomer. CTACS kartlegger både kompetanse og etterlevelse, og det gis en mulighet for helhetsvurdering. Av tabell 1 går det frem at leddene i CTACS som måler henholdsvis etterlevelse av terapiformen (α = 0,92) og demonstrert terapeutisk kompetanse (α =0,93), viser høye Cronbach’s alpha-verdier og derav høy indre konsistens mellom leddene (Barber et al., 2003).

Tabell 1 gir en oversikt over domener og ledd som inngår i CTACS. CTACS har demonstrert tilfredsstillende robusthet med høy indre konsistens (Cronbach’s Alpha) ved måling av etterlevelse (α: 0,92) og kompetanse (α: 0,93) (Barber et al., 2003).

Fase 2: Utvikling av S-KMT

Artikkelforfatterne og fagpersoner ved Klinikk for psykisk helsevern og rus, Levanger HNT, omformet og tilpasset CTACS til bruk som et selvevalueringsverktøy for KMT. S-KMT ble konstruert for å fange opp spesifikke miljøterapeutiske aspekter som tverrfaglig samarbeid, kollegial veiledning, tverrfaglig kommunikasjon og rolleavklaring. Disse elementene blir ikke kartlagt i CTACS. Derfor ble domenet «Din rolle som kognitiv terapeut i tverrfaglig samarbeid» lagt til. Enkeltledd som kartlegger elementer fra tradisjonell miljøterapi, som eksempelvis bruk av omgivelser og aktiviteter, ble lagt til av samme grunn. Alle ledd ble omformulert fra å være observasjonspunkter for ekspertvurdering i CTACS til å være observasjoner av egne ferdigheter i S-KMT. For eksempel ble CTACS-leddet «Sosialisering til kognitiv terapimodell, begrep, prosess eller struktur» i S-KMT omformulert til «Jeg lager en tydelig plan for den kognitive samtalen».

Utprøvingsfase S-KMT

Den første versjonen av S-KMT ble brukt til å samle inn tilbakemeldinger på instrumentets innhold og brukervennlighet, fra et strategisk utvalg av ansatte fra Helse Nord-Trøndelag, Helseforetak (HNT HF). Av 24 inviterte besvarte 15 respondenter S-KMT. Tolv av de 15 som besvarte, deltok i to plenumsmøter der instrumentets innhold og brukervennlighet var tema. I tillegg deltok tre behandlere fra Klinikk for psykisk helsevern og rus (HNT HF) med kompetanse i kognitiv individualterapi. Inklusjonskriteriet for deltagelse i undersøkelsen var minimum formell grunnutdanning i kognitiv terapi eller KMT, eller erfaring og opplæring tilsvarende dette. Deretter ble en gruppe med åtte erfarne klinikere med kompetanse i kognitiv individualterapi bedt om å kommentere instrumentets struktur og innhold.

Justering og ferdigstillelse av S-KMT

Resultatene og tilbakemeldingene som kom frem gjennom utprøvingsfasen, ble vurdert av førsteforfatter og andreforfatter i samråd med to representanter fra Fag og Forskningsenheten ved Klinikk for psykisk helsevern og rus (HNT HF). Alle hadde erfaring og kompetanse i kognitiv terapi, KMT og evaluering av terapeutkompetanse. Basert på konsensus i gruppa ble S-KMT justert og ferdigstilt.

Fase 3: Psykometriske undersøkelser

Psykometriske egenskaper ved S-KMT ble undersøkt ved analyser av data fra 190 respondenter, bestående av ansatte fra Klinikk for psykisk helsevern og rus, HNT HF (n = 49), og voksenpsykiatriske og barne- og ungdomspsykiatriske institusjoner utenfor HNT HF (n = 33). I alt 82 (44%) av de forespurte besvarte undersøkelsen. Av disse var 71 miljøpersonale (86,6 %), 10 var ledere (12 %), og 1 deltaker var pasientansvarlig behandler. Femti deltakere (41%) av de som deltok, hadde enten formell grunnopplæring eller formell videreutdanning i kognitiv terapi. Antall år med erfaring i bruk av kognitiv varierte med 2–5 år for 40 personer (48,8 %) og over 5 år for 22 (22 %). De øvrige 24 i utvalget hadde enten ingen erfaring eller maksimalt 1 års erfaring (19,7 %).

Statistiske analyser

Statistiske analyser ble utført med IBM SPSS Statistics versjon 23 (IBM, 2013). Reliabilitet ved indre konsistens ble undersøkt ved Cronbach’s alpha (α). I tillegg ble gjennomsnittskårer og standardavvik for alle ledd kartlagt.

Fase 4: Kartlegging av instrumentets «face validity»

I hvilken grad S-KMTs evne til å måle kompetanse i KMT ble undersøkt med «Face validity» (Thomas, Hathaway, & Arheart, 1992), der erfarne klinkere inspiserte og vurderte S-KMT på bakgrunn av brukervennlighet, klinisk relevans og validitet. Ekspertvurdering av en nytt instruments subjektive validitet er vanlig tidlig i utviklingsprosessen av nye instrumenter (Brewer & Hunter, 2006). «Face validity» er et uttrykk for i hvilken grad et måleinstrument oppfattes som relevant for det fenomenet som skal måles (Thomas et al., 1992). Fagpersoner med lang klinisk erfaring og vitenskapelig tilnærming til KMT ble i forbindelse med vurdering av instrumentets subjektive validitet invitert til å besvare følgende tre spørsmål.

1. I hvilken grad synes du S-KMT er egnet til å måle ferdigheter i KMT?

2. I hvilken grad mener du at en høy skåre på S-KMT indikerer høyt ferdighetsnivå, og lav skåre indikerer lavt ferdighetsnivå?

3. Har du andre kommentarer til S-KMT?        

De to første spørsmålene ble besvart i en 5-punkts Likert-skala fra 1 = irrelevant til 5 = extremely suitable (spørsmål 1), og 1= low til 5 =high (spørsmål 2).

Etikk

Alle deltakerne mottok skriftlig informasjon om hensikten med prosjektet, at det var frivillig å delta, og at alle besvarelser var anonyme. Innsamling av data ble administrert med det elektroniske verktøyet Questback. Kommunikasjon mellom Questbackservere og brukere av tjenesten krypteres, og har passord-beskyttet tilgang. Prosjektet var ikke meldepliktig (NSD, 2015).

RESULTATER

Instrumentet S-KMT

S-KMT består av 31 ledd, fordelt på fem domener der en benytter en Likert skala fra 0 (Ikke i det hele tatt) til 6 (Svært ofte). På spørsmål om hvor ofte respondenter utfører ferdigheter i KMT, representerer 0 «ikke i det hele tatt», og 6 representerer «svært ofte». Tabell 3 gir en oversikt over de fem domenene, og eksempler på ledd som inngår i hvert domene.

Domenet «Din rolle som kognitiv terapeut i det tverrfaglige samarbeidet» ble lagt til de opprinnelige domenene i CTACS. Leddene i dette domenet ble omformulert til operasjonaliserte påstander om utøvelsen av ulike ferdigheter i KMT (eks: «Jeg bidrar til kognitivt fokus i det tverrfaglige arbeidet»). Innholdet fra 21 av de 24 leddene i CTACS er overført til S-KMT. Noen av de 21 leddene fra CTACS er delt opp i flere operasjonaliserte ferdigheter. Som eksempel er leddet fra CTACS «Bruk av alternative kognitive og atferdsteknikker» operasjonalisert i ledd som «Jeg bruker eksponeringsteknikker» og «Jeg bruker registreringsskjema som 3- og 5-kollonneskjema». Tre ledd fra domenet «Kognitiv terapi struktur», to ledd fra domenet «Utvikling av en samarbeidende terapeutisk relasjon» og fire ledd fra domenet «Utvikling og anvendelse av kasusformulering» ble utelatt. I stedet er nye ledd lagt til og formulert for å vekte den miljøterapeutiske og samtalebaserte terapien bedre (eks: «Jeg oppfordrer pasienten til å bruke omgivelser og aktiviteter som en del av miljøterapien»). Med bakgrunn i kommentarer og tilbakemeldinger fra ulike informanter i den innledende fasen i utviklingen av S-KMT, ble i alt ni ledd justert med tanke på innhold og ordlyd. Det ble særlig kommentert at meningsinnholdet i enkelte ledd var uklart. Ett ledd ble slettet da det ble oppfattet som overflødig fordi meningsinnholdet i leddet ble ivaretatt av øvrige ledd.

Tilbakemeldinger fra respondenter indikerte at S-KMT er enkelt å administrere i en klinisk hverdag. Instrumentet er selvinstruerende, lett å forstå og besvares elektronisk på ca. 5-15 minutter.

Subjektiv relevans og «Face validity»

Tilbakemeldingene fra ekspertene i KMT indikerte at S-KMT ble oppfattet som velegnet for måling av ferdigheter i KMT. På spørsmål 1 («I hvilken grad mener du at S-KMT egner seg til måling av ferdigheter i KMT») på en fempunkts Likert-skala (Ikke relevant = 1 og ekstremt egnet = 5), varierte ekspertenes vurdering fra 3 til 5, med en gjennomsnittskåre på 4,0. På spørsmål 2 («I hvilken grad vil du si høye skårer indikerer høyt ferdighetsnivå og lave skårer indikerer lavt ferdighetsnivå»), i samme type skala (lav = 1 og 5 = høy), varierte svarene også her fra 3 til 5, med en gjennomsnittskåre på 4,3.

Psykometriske egenskaper

S-KMT viste akseptabel indre konsistens for hele instrumentet (α= 0,95). Alfaskåren for de fem domenene varierte fra 0,71 til 0,90. Se tabell 4.

S-KMT skåres på en Likert-skala med verdier fra 0 til 6. For den totale skalaen ble det funnet en gjennomsnittsskåre på 4,7, med standardavvik fra 0,7 til 1,9. Høye gjennomsnittsskårer og liten spredning på standardavvik indikerer liten variasjon i respondentenes selvevaluering. Tabell 4 gir en oversikt over gjennomsnittsskårer (M) og standardavvik (SD) for hvert enkelt ledd og for hvert enkelt domene.

DISKUSJON