Du er her

En norsk pilotstudie av ferdighetstesten fasiliterende interpersonlige ferdigheter

Generiske kvaliteter og ferdigheter ved den enkelte terapeut er sannsynligvis avgjørende for utfallet av behandlingen
Publisert
6. april 2021
Fagfellevurdert artikkel
Abstract

A Norwegian pilot study of the Facilitative Interpersonal Skills performance test

Background: The Facilitative Interpersonal Skills (FIS) test is a performance-based test that assesses therapists’ level of interpersonal skills (empathy, warmth, building expectations, etc.). Therapists are presented with video clips of difficult therapist–client moments and are asked to respond to them as if they were the therapist. The responses are then assessed by independent raters. This pilot study examined the psychometric properties of a Norwegian version of the FIS performance test and rating method.

Methods: Fifteen trainee therapists volunteered to participate. Their responses to the FIS performance test were videotaped and assessed by three independent raters who were trained to perform such ratings.

Results: The results indicated high levels of inter-rater agreement (ICCs range .71–.74) for all eight FIS domains (ICCs range .71–.74), excellent inter-rater agreement for the total score (ICC = .84), and excellent internal consistency (Cronbach’s α= .92).

Implications: The Norwegian version of the FIS performance test demonstrated adequate psychometric properties, and holds promise as a research tool for use in process-outcome research. Future research should also explore avenues for adapting and implementing the FIS performance task as a clinical training tool for improving levels of FIS among therapists with varying amounts of clinical experience.

Keywords: facilitative interpersonal skills, performance test, assessment, clinical training, pilot study

Siden 50-tallet har det vært et stort fokus på å undersøke effekten av psykologiske intervensjoner for ulike pasientpopulasjoner, både i naturalistiske og randomiserte kontrollerte studier (Lambert, 2013). To hovedfunn fra denne forskningen er at det er små og nokså ubetydelige forskjeller mellom kliniske terapimetoder som er ment å være terapeutiske, og at det varierer betydelig i hvor stor terapeutisk effekt terapeuter genererer hos sine klienter (det vil si terapeuteffekter) (Cuijpers, 2017; Lambert, 2013; Ryum, 2014; Ryum & Halvorsen, 2014). Dette betyr ikke at metode og behandlingstilnærming er irrelevant, men at generiske kvaliteter og ferdigheter ved den enkelte terapeut (fellesfaktorer) sannsynligvis er avgjørende for utfallet av behandlingen – såfremt terapeuten forholder seg til en behandling som er basert på psykologisk teori og er ment å være terapeutisk (bona fide). Det er likevel lite kunnskap om hvilke terapeutvariabler som forklarer terapeuteffekter (Heinonen & Nissen-Lie, 2019).

Anderson og kolleger (2019) har operasjonalisert et sett med fasiliterende interpersonlige ferdigheter (engelsk: Facilitative Interpersonal Skill) som er sentrale. Disse brukes av hjelpere i ulike profesjoner, og antas å motivere en person med emosjonelle eller psykiske vansker til å initiere endring mot bedre  emosjonell og psykisk helse. Ferdighetene (FIF) antas å være felles, ikke bare for behandlere på tvers av teoretiske orienteringer i psykoterapi, men også for andre hjelperroller som lege, sykepleier, prest osv. (Anderson et al., 2019). Kjernen i de fasiliterende interpersonlige ferdighetene kan defineres ved at man som hjelper er i stand til 1) å fange opp, forstå og kommunisere et bredt spekter av interpersonlige budskap til en hjelpesøkende person, samt at man 2) er i stand til å overbevise den hjelpesøkende om å ta i bruk foreslåtte løsninger til problemet og gi slipp på mer uhensiktsmessige mestringsstrategier (Anderson et al., 2019). Anderson og kolleger (2019) har identifisert åtte domener av ferdigheter som de mener er de mest sentrale (se tabell 1), og som måles med en praktisk ferdighetstest. Dette gjør den empiriske tilnærmingen til å teste FIF innovativ, da tidligere studier på terapeutferdigheter i stor grad har basert seg på selvrapportdata (Anderson et al., 2019). Et implisitt premiss ved metoden som brukes for å teste FIF, er at forskjeller i terapeuters interpersonlige ferdigheter kommer særlig til syne i emosjonelt krevende og utfordrende terapisituasjoner, som ved en alliansebrist, og kanskje er mindre avgjørende så lenge samarbeidet mellom terapeut og klient er godt.

Verbal flyt og emosjonsuttrykk dreier seg om formen en respons gis på – altså om terapeutens tale er sammenhengende (uten angst) og engasjerende (med affekt). Hvordan responsen gis, innvirker på om terapeuten framstår med naturlig autoritet og overbevisningsevne, og hvorvidt terapeuten er i stand til å skape håp og positive forventninger for endring hos klienten. Empati utgjør her en nøkkelkvalitet; det er en forutsetning for at terapeuten presist skal kunne forstå klientens virkelighetsopplevelse og kunne gi en troverdig forklaring på klientens symptomer/vansker og skissere nye løsninger/mestringsstrategier. Evnen til å skape en atmosfære preget av samarbeid og vi-følelse (evne til å danne allianse) samt å reparere brudd i alliansen som måtte oppstå (respons på alliansebrudd), er to andre domener. Uavhengig av hva slags respons terapeuten gir til klienten, er det viktig at terapeuten viser omsorg og aksept for klienten, og ikke framstår på en dømmende eller kritisk måte (varme, aksept og forståelse). De åtte domenene kan slik forstås å representere distinkte kvaliteter ved terapeutens grad av fasiliterende interpersonlige ferdigheter, som likevel er beslektet, overlappende og til dels gjensidig avhengige av hverandre, og kanskje enklere å skille fra hverandre teoretisk enn praktisk.

FIF kan måles i en klinisk ferdighetstest (FIS performance test). Ferdighetsbasert testing av FIF som prediktor for behandlingsutfall har så langt blitt undersøkt i et fåtall studier, og funnene peker i noe ulik retning. I en første studie (Anderson et al., 2009) ble grad av FIF hos erfarne terapeuter funnet å predikerer utfall, mens selvrapporterte interpersonlige ferdigheter og teoretisk orientering ikke var signifikant. En svakhet var at FIF ble målt retrospektivt, etter at behandlingene var avsluttet. I en prospektiv studie (Anderson et al., 2016b) ble grad av FIF hos terapeuter under utdanning funnet å predikere utfall, mens selvrapporterte interpersonlige ferdigheter ikke var signifikant. I en tredje randomisert kontrollert studie (Anderson et al., 2016a) ble klienter tilfeldig fordelt til terapeuter (studenter i klinisk psykologi) og ikke-terapeuter (doktorgradsstudenter i andre fag) som hadde ulik grad av FIF. Studenter som var høyere på FIF, oppnådde større symptomlette hos sine klienter enn de som skåret lavere på FIF, uavhengig av utdanningsprogram, og de hadde også bedre allianse. En fjerde prospektiv studie på terapeuter under utdanning (fra en annen forskergruppe) fant også at grad av FIF predikerte utfall, etter at det blant annet var kontrollert for teoretisk orientering (Schöttke et al., 2017). Effekten var imidlertid bare signifikant når grad av FIF ble vurdert av uavhengige observatører (objektivt) i en gruppediskusjon, og ikke når dette ble vurdert av en enkelt ekspert i et intervju.

I alle de fire studiene fant man altså at objektive mål på FIF, men ikke selvrapportert eller ekspertvurdert grad av FIF, predikerte behandlingsutfall (Anderson et al., 2009; 2016a, 2016b; Schöttke et al., 2017). I to studier fant man en korrelasjon mellom ferdighetsbaserte og selvrapporterte mål på interpersonlige ferdigheter (Anderson et al., 2016a; 2016b), men andre studier har ikke funnet en signifikant sammenheng (Munder et al., 2019; Anderson et al., 2009; Hill et al., 2016). Samlet tyder dette på at ferdighetstesten (objektivt mål) fanger opp noe unikt ved terapeuters fasiliterende interpersonlige ferdigheter som har betydning for behandlingsutfall, og som ikke fanges opp av mer subjektive mål. Metoden kan slik ha et potensial både hva gjelder forskning og opplæring/utdanning også i Norge, gitt at måleegenskapene ved testen er tilfredsstillende. Sentralt ved en slik vurdering er å undersøke grad av samsvar (enighet) mellom uavhengige observatører; altså hvorvidt disse er i stand til å vurdere grad av fasiliterende interpersonlige ferdigheter i en gitt respons på en pålitelig måte. Målet med denne pilotstudien var å undersøke de psykometriske egenskapene ved en norsk oversettelse av denne ferdighetstesten i et norsk utvalg av psykologstudenter.

METODE

Prosedyre og måleinstrument

FIF Ferdighetstest (Anderson et al., 2019) består av et sett med korte videofilmet vignetter (stimulusklipp) med klienter som viser utfordrende terapisituasjoner. Terapeuten sitter alene og ser videoene. Når stimuliklippene stopper, er det terapeutens oppgave å forsøke å respondere på en måte som kan være til hjelp for klienten, altså til å si noe som man tror kan være til hjelp for akkurat denne klienten i denne situasjonen. Terapeutene blir filmet mens de gir sin respons.

Stimuliklippene representerer vanlige, men også særlig utfordrende terapisituasjoner. Noen eksempler er en sint og konfronterende klient («Du klarer ikke å hjelpe meg»), en passiv, stille og tilbaketrukket klient («Jeg vet ikke hva jeg skal snakke om»), en forvirret, ettergivende og passivt krevende klient («Jeg har en tendens til å enten sette høye standarder for folk rundt meg eller til å ikke ha noen standard i det hele tatt»), samt en aktivt kontrollerende og klandrende klient («Du burde passe på å være der du skal være når du faktisk skal være der!»). Klientene i vignettene er valgt ut med tanke på at alle kvadrantene i den interpersonlige sirkumpleksmodellen (Alden et al., 1990) skal være representert, og framstår derfor med varierende grad av dominans/underkastelse og varme/kulde. Alle klientene er polikliniske pasienter med problemstillinger som relasjonelle vansker, depresjon, somatisering, utbrenthet m.m.

Den engelske FIF-manualen (FIS English v.2, fisresearch.com) ble oversatt ved Institutt for psykologi, NTNU under ledelse av Patrick A. Vogel og Truls Ryum, etter tillatelse fra Timothy Anderson ved Ohio University, USA.

FIF Ferdighetstesten gjennomføres ved at en terapeut sitter alene i et rom og hører en kort presentasjon av en klient på en tv-skjerm. Denne presentasjonen inneholder typisk noen bakgrunnsopplysninger om klientens vansker og/eller en beskrivelse av kvaliteten i samarbeidet mellom terapeuten og klienten. Deretter spilles det av et videoopptak av denne klienten som varer i 1–2 minutter. Vignettene er laget slik at terapeuten skal få en opplevelse av at klienten snakker til dem. På et kritisk punkt stopper vignetten, og terapeuten blir bedt om å formulere en umiddelbar respons. Responsene tas opp på video. De syv vignettene ble vist i samme rekkefølge til alle «terapeutene» i vår pilotstudie.

Terapeutenes responser skåres for grad av fasiliterende interpersonlige ferdigheter for hver av de åtte FIF-domenene på en skala fra 1 (ikke karakteristisk) til 5 (ekstremt karakteristisk). Skåringsmanualen gir utdypende beskrivelser for hvert skåringsnivå for å hjelpe skårere å identifisere riktig nivå (Anderson et al., 2019). Se tabell 1 for en oversikt over egenskapene som vurderes, og eksempler på lav (1), middels (3) og høy (5) skår.

Deltagere

«Klienter»

Frivillige studenter ble rekruttert som skuespillere, og disse ble matchet med hensyn til alder og kjønn fra de originale stimuliklippene. For denne pilotstudien ble det spilt inn syv stimuliklipp ved hjelp av profesjonelt opptaksutstyr. Senere er ytterligere syv stimuliklipp blitt oversatt og innspilt.

«Terapeuter»

For å rekruttere «terapeuter» til pilotstudien fikk førsteårsstudenter ved profesjonsstudiet i psykologi ved NTNU informasjon om prosjektet, «Terapeutkompetanse hos psykologstudenter», FIS og behovet for deltagere gjennom studentassistenter på forelesninger og gjennom andre sosiale kanaler som Facebook. Femten studenter ble rekruttert, som utgjorde et bekvemmelighetsutvalg for denne pilotstudien. Gjennomsnittsalderen på «terapeutene» var 23.8 (SD 3.0), og ti studenter (67 %) var kvinner.

Skårere

Studenter på profesjonsstudiet i psykologi ved NTNU fikk informasjon om muligheten for lønnet arbeid som studentassistenter på prosjektet. Interesserte studenter henvendte seg til prosjektlederne, og aktuelle kandidater ble invitert til en samtale om motivasjonen for å søke, tidligere erfaring med tilsvarende arbeid og så videre. Tre viderekomne studenter (som var i gang med den kliniske delen av studiet) ble rekruttert, alle kvinner. Disse tre studentene fikk en teoretisk og praktisk innføring i FIF-manualen og skåringsprosedyren av prosjektlederne. Først leste skårerne seg opp på manualen og skåringsprosedyren hver for seg, og deretter ble det holdt møter der FIF-domener, skåringskriterier og prosedyrer ble drøftet med prosjektlederne. Deretter skåret studentassistentene videopptak av responser som allerede var skåret, men som ikke var del av det aktuelle prosjektet, for å sammenligne egne skårer opp mot disse («gullstandard»). Den praktiske oppøvingen foregikk dels ved at skårerne sammenlignet sine respektive skårer med hverandre, og dels ved at dette også ble gjennomgått og drøftet i møter med prosjektledelsen.

Opplæringen ble avsluttet da skårerne oppnådde tilstrekkelig høy interrater reliabilitet (ICC ≥ .70). De tre skårerne skåret deretter videoene av «terapeutene», og alle skårere gjorde uavhengige skåringer. Det ble holdt jevnlige kalibreringsmøter mellom skårerne for å sikre at vurderingene var samstemte, og for å unngå drift, uten at dette påvirket uavhengigheten i skåringene. Prosjektlederne undersøkte også interrater reliabiliteten underveis i skåringen, og de deltok på møter med skårerne etter behov.

Statistiske analyser

En toveis «mixed-model» (absolutt enighet) ble brukt for å undersøke interrater reliabilitet (ICC). Ettersom tre uavhengige skårere ble brukt, ble interrater reliabilitet for gjennomsnittsmål oppgitt. Følgende kutteskårer ble brukt for å tolke ICC-verdiene (Fleiss, Levin & Paik, 2013): < 0.40 = dårlig, 0.40–0.59 = akseptabel, 0.60–0.74 = god, og 0.75–1.00 = utmerket. Deskriptiv statistikk ble brukt for å undersøke gjennomsnittsskårer for FIF-domenene og totalskåren. Cronbachs alpha ble brukt for å undersøke indre konsistens, mens gjennomsnittlig item-korrelasjon og spredning (range) for individuelle inter-item korrelasjoner ble brukt for å undersøke unidimensjonalitet. For Cronbachs alpha regnes en verdi på .80 eller mer for å indikere adekvat indre konsistens. Verdier på 0.15 eller mer for gjennomsnittlig item-korrelasjon og individuelle inter-item korrelasjoner regnes for å indikere en unidimensjonell skala.

RESULTATER

Det var 105 responser tilgjengelige for analyser (15 studenter som responderte på syv stimuliklipp). Utregning av interrater reliabilitet ble gjort på råskårer for hvert FIF-domene og FIF-totalskåren. Tabell 2 presenterer resultatene fra de statistiske analysene, sammenholdt med funn i fra to tidligere studier på engelsk- og tyskspråklige utvalg.

Interrater reliabilitet for hvert enkelt FIF-domene var i området god til utmerket, og interrater reliabilitet for FIF-totalskår var utmerket. Indre konsistens var også meget god. Gjennomsnittlig item-korrelasjon var på 0.59, og spredning (range) for inter-item korrelasjoner var 0.25 til 0.83, som tyder på at FIF-domenene måler unidimensjonelle kvaliteter.

Diskusjon

Målsettingen med denne studien var å undersøke de psykometriske egenskapene ved en norskspråklig oversettelse av en ferdighetstest for å måle grad av fasiliterende interpersonlige ferdigheter (FIF). Resultatene er lovende, men utvalget er lite i det som må betraktes som en pilotstudie av metoden i en norsk oversettelse. Interrater reliabilitet var akseptabel for alle 8 FIF-domener (ICC ≥ .70), utmerket for totalskåren (.84), og indre konsistens var høy (α = .92). FIF-totalskåren synes å kunne betraktes som en unidimensjonell skala. De psykometriske egenskapene ved testen er sammenlignbare med det som er rapportert i tidligere engelsk- (Anderson et al., 2019) og tyskspråklige (Munder et al., 2019) utvalg. I likhet med tidligere studier på FIF oppnådde tre uavhengige skårere tilstrekkelig interrater reliabilitet, som gir støtte både til operasjonaliseringen av domenene i FIF-manualen og opplæringsprosedyren. Studenter med nokså begrenset klinisk erfaring kan slik læres opp til å skåre relativt komplekse kliniske fenomen på kort tid, som vist i andre studier (se f.eks. Valen et al., 2011). Skårerne var imidlertid intervjuet og selekterte for studien, og det kan tenkes at skårernes egen grad av FIF her kan spille inn.

FIF operasjonaliserer mange av de antatt mest sentrale grunnleggende interpersonlige ferdighetene som er nødvendige for alle som arbeider innenfor hjelpeprofesjonene. Det kan forstås som et paraplybegrep eller en form for «meta-kompetanse» (Munder et al., 2019), som også omfatter valg av mer spesifikke teknikker og måter å tilpasse seg den interpersonlige konteksten på (Constantino et al., 2013; Hatcher, 2015). Det kan innvendes at FIF inneholder både for mange og for få domener, og at de er så høyt korrelert med hverandre at de måler én grunnleggende faktor/ferdighet. Både teoretisk og praktisk er det likevel nyttig å skille domenene fra hverandre, da en ikke kan fokusere på alt samtidig verken i forskning eller praktisk ferdighetsoppøving. Et innovativt aspekt ved FIF-metoden er at den fokuserer på praktiske, målbare ferdigheter i en standardisert testsituasjon. FIF skiller seg dermed fra mål som i større grad fokuserer på indre kvaliteter hos respondenten (f.eks. personlighet, mentalisering, osv.) eller selvrapporterte mål på interpersonlige ferdigheter.

Vi ser ingen direkte motsetning mellom FIF og bruken av strukturerte behandlingsmetoder. Grad av etterlevelse og kompetanse i en bestemt behandlingsmanual undersøker imidlertid først og fremst hvor dyktig terapeuten er i å utføre en bestemt type behandling. Til sammenligning dreier FIF seg om kvaliteter man antar er sentrale for alle terapeuter, uavhengig av hvilken metode/manual man arbeider etter. Ferdighetstesten måler for eksempel terapeutens overbevisningsevne, altså evne til å formidle et (nytt) faglig perspektiv på klientens vansker, men det er av underordnet betydning hvilket perspektiv dette er. Fokuset blir dermed på den psykologiske effekten dette kan ha for klienten, heller enn på hvor godt terapeuten sosialiserer klienten til en bestemt tenkemåte/manual. At man som terapeut har et solid teoretisk rammeverk, er dermed sannsynligvis nødvendig, men ikke tilstrekkelig, for å skåre høyt på FIF. Det er imidlertid ingen grunn til å tro at FIF blir mindre aktuelt når terapeutene er godt trente i spesifikke behandlingsmetoder, og terapeuters grad av etterlevelse og kompetanse i spesifikke behandlingsmanualer er i hovedsak ikke funnet å predikere utfall i behandlingsstudier (Webb et al., 2010).

FIF har til nå blitt undersøkt som prediktor for behandlingsutfall og allianse i psykoterapi. Det foreligger imidlertid lite kunnskap om hvorvidt grunnleggende interpersonlige ferdigheter generelt, og FIF spesielt, er noe som kan øves opp, slik at man blir en bedre og mer effektiv terapeut (Ryum, 2014). Metoden er dermed interessant å bruke både som et utfallsmål i studier som evaluerer metoder for terapeututvikling, og som et verktøy i undervisning og opplæring. Generelt gir norske psykologstudenter god behandling (se f.eks. Ryum et al., 2007), og den terapeutiske alliansen – som er et viktig FIF-domene – predikerer behandlingsutfall her som i andre populasjoner (Ryum et al., 2009). Derimot bekymrer norske psykologstudenter seg for å ikke gjøre en god nok jobb i sine første terapier på klinikken (Hansen et al., 2010). Mer erfarne terapeuter rapporterer også at enkelte klienter er utfordrende å møte, særlig personer med suicidproblematikk, passive personer eller hvor det er vanskelig å bli enige om mål og metoder for behandlingen (Stige et al., 2019). Metoden synes slik å kunne ha et bredt anvendelsesområde. En kan få tillatelse til å bruke stimuliklippene i forskning eller annet faglig utviklingsarbeid ved å kontakte forfatterne og/eller fisresearch.com.

Som et eksempel på FIF som utfallsmål i evaluering av opplæringsmetoder gjennomfører vi nå en randomisert kontrollert pilotstudie, Praksiserfaringer i psykoterapeut-utvikling (PEPU). Her tester vi om førsteårs profesjonsstudenter i psykologi kan forbedre sine FIF gjennom å delta som koterapeuter i ukentlige pasientsamtaler med erfarne terapeuter ved en DPS. Ferdighetsbaserte in-vivo-tilnærminger til terapeutopplæring fremheves i hvert fall ofte som viktige (Hill & Knox, 2013), og ferdighetstesten kan også enkelt tilpasses og brukes som et læringsverktøy og stimuli for målrettet trening / «deliberate practice» (Rousmaniere, 2016). Å øve på terapeutrollen i en «terapisimulator», og kanskje spesielt på krevende interpersonlige situasjoner, kan gjøre en bedre rustet til å møte utfordrende situasjoner i den virkelige kliniske hverdagen. Å forholde seg til et ukjent fjes, som i vignettene, i stedet for studievenner/ kollegaer gjennom rollespill, kan oppleves som mer virkelighetsnært. Erfaringer med ferdighetstesten og konkrete responser kan være et godt utgangspunkt for faglig refleksjon og veiledning som fremmer trygghet i den fremtidige yrkesrollen som psykolog. Sammenlignet med opplæring i yrker som lege, sykepleier, blålyspersonell, sjømann og pilot, der analoge opplæringsmetoder (simulator) står sentralt, har slike metoder i liten grad blitt tatt i bruk i terapeutopplæring.

Begrensninger

Hovedbegrensningene ved denne pilotstudien er at utvalget er lite, og det er behov for framtidige studier på større utvalg.

Konklusjon

Denne pilotstudien viste at en norsk oversettelse av en ferdighetstest for fasiliterende interpersonlige ferdigheter (FIF performance test) hadde gode psykometriske egenskaper, på linje med studier fra engelsk- og tyskspråklige utvalg. Man kan derfor vurdere å  implementere testen i framtidige studier som har til hensikt å undersøke behandlingseffekt eller opplæring av terapeuter.

Teksten sto på trykk første gang i Tidsskrift for Norsk psykologforening, Vol 58, nummer 4, 2021, side 256-265

Alden, L. E., Wiggins, J. S. & Pincus, A. L. (1990). Construction of circumplex scales for the Inventory of Interpersonal Problems. Journal of Personality Assessment, 55, 521–536. https://doi.org/10.1080/00223891.1990.9674088

Anderson, T., Crowley, M. E. J., Himawan, L., Holmberg, J. K. & Uhlin, B. D. (2016a). Therapist facilitative interpersonal skills and training status: A randomized clinical trial on alliance and outcome. Psychotherapy Research, 26, 511–529. https://doi.org/10.1080/10503307.2015.1049671

Anderson, T., McClintock, A. S., Himawan, L., Song, X. & Patterson, C. L. (2016b). A prospective study of therapist facilitative interpersonal skills as a predictor of treatment outcome. Journal of Consulting and Clinical Psychology, 84, 57. https://doi.org/10.1037/ccp0000060

Anderson, T., Ogles, B. M., Patterson, C. L., Lambert, M. J. & Vermeersch, D.A. (2009). Therapist effects: Facilitative interpersonal skills as a predictor of therapist success. Journal of Clinical Psychology, 65, 755–768. https://doi.org/10.1002/jclp.20583

Anderson, T., Patterson, C., McClintock, A. S., McCarrick, S. M., Song, X. & The  Psychotherapy and Interpersonal Lab Team (2019). Facilitative Interpersonal Skills Task and Rating Manual. Ohio University, Athens, Ohio. Upublisert.

Constantino, M. J., Boswell, J. F., Bernecker, S. L. & Castonguay, L. G. (2013). Context-responsive psychotherapy integration as a framework for a unified clinical science: conceptual and empirical considerations. Journal of Unified Psychotherapy and Clinical Science, 2, 1–20.

Cuijpers, P. (2017). Four decades of outcome research on psychotherapies for adult depression: An overview of a series of meta-analyses. Canadian Psychology, 58, 7–19. https://doi.org/10.1037/cap0000096

Fleiss, J. L., Levin, B. & Paik, M. C. (2013). Statistical methods for rates and proportions (3. utg.). Hoboken, NJ: Wiley.

Hansen, T. I., Svendsen, B. & Hagen, R. (2010). Studentterapeuters bekymringer og opplevelser av profesjonsstudiet. Tidsskrift for Norsk psykologforening, 47, 505–510.

Hatcher, R. L. (2015). Interpersonal competencies: Responsiveness, technique, and training in psychotherapy. American Psychologist, 70, 747–757. https://doi.org/10.1037/a0039803

Heinonen, E. & Nissen-Lie, H. A. (2019). The professional and personal characteristics of effective psychotherapists: A systematic review. Psychotherapy Research, 30, 417 - 432. https://doi.org/10.1080/10503307.2019.1620366

Hill, C. E., Anderson, T., Kline, K., McClintock, A., Cranston, S., McCarrick, S., Petrarca, A., Himawan, L., Pérez-Rojas, A. E., Bhatia, A., Gupta, S. & Gregor, M. (2016). Helping skills training for undergraduate students: Who should we select and train? The Counseling Psychologist, 44, 50–77. https://doi.org/10.1177/0011000015613142

Hill, C. E. & Knox, S. (2013). Training and supervision in psychotherapy. I M. J. Lambert (red.), Bergin and Garfield’s handbook of psychotherapy and behavior change (6 utg., s. 775–811). John Wiley & Sons, Inc. Hoboken, New Jersey.

Lambert, M. J. (2013). The efficacy and effectiveness of psychotherapy. I M. J. Lambert (red.), Bergin and Garfield’s handbook of psychotherapy and behavior change (6. utg., s. 169–218). John Wiley & Sons, Inc. Hoboken, New Jersey.

Munder, T., Schlipfenbacher, C., Toussaint, K., Warmuth, M., Anderson, T. & Gumz, A. (2019). Facilitative interpersonal skills performance test: Psychometric analysis of a German language version. Journal of Clinical Psychology, 75, 1–11. https://doi.org/10.1002/jclp.22846

Rousmaniere, T. (2016). Deliberate practice for psychotherapists. Routledge, New York, NY. https://doi.org/10.4324/9781315472256

Ryum, T. (2014). Terapeutkompetanse og personlige egenskaper. I L. E. Ottesen Kennair & R. Hagen (red.), Psykoterapi: Tilnærminger og metoder (s. 49–70). Gyldendal Akademiske, Oslo.

Ryum, T. & Halvorsen, J. Ø. (2014). Psykoterapiforskning. I L. E. Ottesen Kennair & R. Hagen (red.), Psykoterapi: Tilnærminger og metoder (s. 25–48). Gyldendal Akademiske, Oslo. 

Ryum, T., Stiles, T., C. & Vogel, P. A. (2007). Effektivitet av psykoterapeutisk behandling gjort av viderekommende studenter. Tidsskrift for Norsk psykologforening, 44, 1005–1011.

Ryum, T., Stiles, T. C. & Vogel, P. V. (2009). Kvaliteten på tidlig terapeutisk allianse som prediktor for behandlingsutfall for behandlingseffekt ved depresjon og angst. Tidsskrift for Norsk psykologforening, 46, 651–657.

Schöttke, H., Flückiger, C., Goldberg, S. B., Eversmann, J. & Lange, J. (2017). Predicting psychotherapy outcome based on therapist interpersonal skills. A five-year longitudinal study of a therapist assessment protocol. Psychotherapy Research, 27, 642–652. https://doi.org/10.1080/10503307.2015.1125546

Stige, S. H., Dundas, I., Schanche, E. & Hjeltnes, A. (2019). Kva typar mellommenneskelege situasjonar opplever norske psykologar oftast og som mest krevjande? Tidsskrift for Norsk psykologforening, 56, 573–580.

Valen, J., Ryum, T., Svartberg, M., Stiles, T. C. & McCullough, L. (2011). The Achievement of Therapeutic Objectives Scale: Interrater reliability and sensitivity to change in short-term dynamic psychotherapy and cognitive therapy. Psychological Assessment, 23, 848–855. https://doi.org/10.1037/a0023649

Webb, C. A., DeRubeis, R. J. & Barber, J. P. (2010). Therapist adherence/competence and treatment outcome: A metaanalytic review. Journal of Consulting and Clinical Psychology, 78, 200–211. https://doi.org/10.1037/a0018912