Du er her

Målbevisst ferdighets­trening for psykotera­peuter

Kvinner på danseøving i New York i 1947
ØVINGSKUNST Psykologer kan lære av tiår med forskning på ferdighetstrening for å øke ekspertisen, argumenter Vidar Huseby. Her fra en danseøving i New York i 1947. Foto: William P. Gottlieb/Ira and Leonore S. Gershwin Fund Collection, Music Division, Library of Congress.

Vi må tenke nytt om hvordan vi lærer. 

Publisert
1. juli 2021

Psykologer har utviklet sterk kultur for læring. Men får vi bedre terapiresultater? Forskningen viser svak, inkonsistent eller ingen sammenheng mellom tradisjonelle metoder for læring, ferdigheter i psykoterapi og terapiresultater. Det finnes imidlertid kunn-skap om virksom ferdighetsbygging vi kan se til. Denne kunnskapen løfter fram «deliberate practice», eller målbevisst ferdighetstrening, som en lovende metode. La oss ta den i bruk og se hva vi kan hente.

I psykoterapifeltet er veiledning, kurs, workshops, lesning av faglitteratur og trening i terapimodeller utbredte måter å bygge kompetanse på. I tillegg er lang arbeidserfaring generelt antatt å øke kliniske ferdigheter og dermed terapiutfall. Imidlertid trekker tiår med forskning disse antakelsene i tvil (Castonguay & Hill, 2017; Rousmaniere, 2016).

Psykologer og arbeidsgivere setter av store ressurser til disse anerkjente læringsaktivitetene. Det er ikke uvanlig at en psykolog tar spesialistutdanning samtidig med utdanning i en terapimodell. I sum blir dette 24 dagers med fravær fra jobb og 50 000–70 000 kroner i kursavgifter i året per psykolog. Læring har eksepsjonell anseelse og prioritet i faget vårt. Da er det viktig at vi bruker ressursene på en måte som gir terapeutene best mulig læring, pasientene størst mulig utbytte, og klinikkene mest mulig hjelp med sine ventelister og re-henvisninger.

Når det gjelder læring og klinisk ekspertise, er psykologer mer enige med hverandre enn ellers om to antakelser:

  1. Man blir en mer hjelpsom kliniker med erfaring.
  2. Veiledning er en avgjørende del av psykoterapeutisk praksis.

Er dette myter eller sannheter?

Hva sier forskningen om tradisjonelle metoder for læring?
Finnes det noen som tviler på disse oppfatningene? Faktisk gjør psykoterapi- og veiledningsforskerne det. De er ikke like sterke i troen som resten av oss, men de er sterkere i empirien, den skal de ha. La oss se på tre eksempler:

Blir vi bedre med erfaring? En utpreget grundig studie som tok for seg terapiresultater hos klienter av 170 klinikere over en periode på opptil 18 år, gjorde et uventet funn. Noen terapeuter blir bedre med tiden, mange blir det ikke, og gjennomsnittsterapeuten har en liten, men signifikant forverring i effektivitet over tid (Goldberg et al., 2016). Andre studier har kommet til samme konklusjon: at mange års erfaring ikke nødvendigvis korrelerer med terapiresultat (Atkins & Christensen, 2001; Rønnestad & Ladany, 2006). Dette er overraskende funn for oss klinikere, men de samme funnene er demonstrert gjentatte ganger av ekspertiseforskere på tvers av et bredt spekter av ferdighetsområder (Ericsson, 2006).

Det andre eksemplet handler om veiledning. Veiledning har en rekke formål, men det som har vært beskrevet som «syretesten», er hvorvidt det til syvende og sist bidrar til bedre terapiresultat (Ellis & Ladany, 1997; Lambert & Arnold, 1987). En omfattende oversiktsartikkel (Watkins, 2011) konkluderer slik etter en gjennomgang av veiledningslitteraturen:
We do not seem any more able to say now (as opposed to 30-years ago) that psychotherapy supervision contributes to patient outcome. (s. 235)

Terapeuter som ikke får veiledning, tenderer til å ha like gode allianser og terapiresultater som terapeuter som får veiledning (Hill & Knox, 2013). Sammenhengen mellom veiledning og terapiresultat viser seg rett og slett ikke konsistent i forskningen.

Dette er provoserende funn om metoder vi fester lit til. Men de betyr ikke at tradisjonelle læringsmetoder i psykoterapi er unyttige og må erstattes. Funnene peker i stedet på at en kritisk komponent mangler i pedagogikken. Vi må se på hvordan terapilæring kan forbedres og suppleres for å oppnå bedre læring av terapiferdigheter og terapiutfall.

Denne teksten står ikke for devaluering av tradisjonelle læringsaktiviteter i psykoterapifeltet. Vi ønsker, sannsynligvis i likhet med leseren, å bidra til å forbedre dem, og å begrunne hvorfor dette er viktig for fagets videre utvikling.

Forståelse konverterer ikke automatisk til ferdigheter
Så hvorfor er tradisjonelle læringsmetoder så begrensede når det gjelder å forbedre det kliniske utfallet?Et sannsynlig svar er at hvordan vi lærer, ikke passer til hva vi trenger å lære.

Tradisjonelle læringsformer fokuserer ofte på forståelse av pasienter, kliniske fenomener og teoretiske begreper, eller instruktiv gjennomgang av terapeutiske grep og prinsipper. Det er ofte mulig å delta på veiledning, workshops og psykoterapitrening innenfor terapimodeller uten å måtte øve på ferdigheter aktivt. Det finnes hederlige unntak til denne tendensen, men det store bildet er preget av passiv konseptuell teoretisk læring.

Teoretisk og passiv læring kan være egnet til å utvikle teoretisk forståelse, men ikke til å forbedre ferdigheter – altså hvordan klinikeren faktisk ter seg i terapirommet. Jeg kan for eksempel forstå hva distansering er hos en pasient som i utviklingstraumer har lært at kontakt er truende, og at han er tryggest når han er distansert. Jeg kan snakke, skrive, gi og få veiledning om det. Men dette konverterer ikke automatisk til at jeg i terapirommet har en tilgjengelig, anvendelig, godt innlært ferdighet i å arbeide med dette. Passiv og konseptuell læring kan være bra for å forbedre forståelsen, men ikke for å forbedre hva vi faktisk gjør i terapi.

FIGUR 1 Uoverensstemmelsen mellom hva vi lærer og hvordan vi lærer
FIGUR 1 Uoverensstemmelsen mellom hva vi lærer og hvordan vi lærer. Tradisjonelle måter å lære psykoterapi på er hovedsakelig teoretiske og passive læringsformater, med bare en liten andel ferdighetstrening, hvis noen. På den annen side er faktisk psykoterapi et håndverk med høy bruk av praktisk kompetanse. Vi antar at denne uoverensstemmelsen bidrar til redusert effektivitet i psykoterapiopplæring, og redusert anvendelighet av det som blir lært.

Vi er avanserte håndverkere

Psykoterapi krever mer enn teoretisk forståelse. Alle modeller har sine ferdighetssett. Uavhengig av teoretisk ståsted må terapeuter trygt og fleksibelt anvende ferdigheter som bidrar til ønskelige kliniske resultater. Psykoterapi krever spesifikke mellommenneskelige ferdigheter som er så automatiserte at de uten problemer kan hentes fra langtidsminnet, tilpasses dialogen og brukes når det er nødvendig under terapi.

Vi er veldig avanserte håndverkere. Lorna Smith Benjamin (2015) skriver dette mange tiår ut i karrieren:

If psychotherapy is a craft, then we should train therapists as craftspeople. It is not the case that if trainees learn the science, such as it may be, then they will know how to deliver the treatment effectively. (s. 1074)

Teoretiske læringsformater viser begrenset effekt på tilegnelse av ferdigheter, spesielt sammenlignet med praktisk ferdighetstrening. Studier av «helping skills training» er et eksempel. I slik trening får man opplæring i spesifikke og konkretiserte nøkkelferdigheter, for eksempel empatiske intervensjoner. Hovedfunnet er svært illustrerende. Når treningen innebærer modellering av en målferdighet, etterfulgt av gjentatt øving, er den mer effektiv for ferdighetsbygging enn instruksjonslæring (Hill & Lent, 2006). Når det gjelder instruksjonslæring, fant man ved en gjennomgang av 55 studier om effekter av klinisk trening at lesing og å delta på workshops ikke med sikkerhet førte til positive treningsresultater (Herschell et al., 2010). Tradisjonelle passive læringsaktiviteter er ineffektive for å endre atferd (Beidas & Kendall, 2010; Farmer et al., 2008), mens aktive og praktiske læringsprosedyrer er gjennomgående mer effektive i ferdighetsbygging (Cook et al., 2013; Cross et al., 2011; McGaghie et al., 2011; Milne et al., 2008). Kort sagt: Hvis vi forsøker å lære oss et håndverk, altså prosedurale ferdigheter og teoretisk kompetanse integrert i mentale representasjoner, hovedsakelig med forståelse, altså teoretisk kunnskap, så er dette sannsynligvis ikke effektivt. Metodene man bruker i læring, må passe til den spesifikke kunnskapen og de ferdighetene som skal formidles (Shulman, 1987).

Hva er implikasjonen?

Vi bør tenke nytt om hvordan en psykoterapeut skal utvikle seg for å bli mer virksom. Vi kan ta inn over oss at konseptuell læring trenger et praktisk tillegg for å kunne bli til økte kliniske ferdigheter. Implikasjonen er at vi må ha et større innslag av aktiv ferdighetstrening i læringsmetodene våre.

Bedre hjelp

Ekspertiseforskningen har studert hvordan sjakkspillere, matematikere, piloter, kirurger, idrettsutøvere og musikere greier å flytte grensen for egne ferdigheter, og fortsette å utvikle seg forbi gjennomsnittlig prestasjon, tidligere personlige rekorder og det man trodde var fysisk mulig. Den svenske psykologen K. Anders Ericsson har forsket på dette siden slutten av 80-tallet (for samlet fremstilling, se Ericsson et al., 2018). Han har forsøkt å forstå hvordan dette går an. Er det talent? Er det treningen? Hva kan vi lære om hvordan utøvere går fram for å bedre sine ferdigheter? 

Implikasjonen er at vi må ha et større innslag av aktiv ferdighetstrening i læringsmetodene våre

Dette feltet har utviklet en kunnskap om ferdighetsutvikling som kan være en gavepakke til oss psykoterapeuter. «Kan man generalisere fra sjakk til terapi?» hører vi noen spørre. Det er et rimelig, godt og viktig spørsmål – ferdighetsområdene ekspertiseforskningen har tatt for seg, skiller seg på mange måter fra psykoterapi (Clements-Hickman & Reese, 2020). Det er likevel interessant at til tross for at feltene som er studert i ekspertiseforskningen er svært ulike, så har de dette til felles: En utøver skal oppøve ferdigheter. Og siden virksom metode for ferdighetsutvikling følger et konsistent mønster på tvers av disse feltene, peker dette i retning av mulig generaliserbarhet. Det er derfor interessant å undersøke om metodene lar seg anvende også på psykoterapifeltet. Det kommer vi straks tilbake til.

Men før vi går videre inn i ekspertiseforskningen, må vi presisere: Uttrykket «høyere prestasjon» kan gi negative assosiasjoner. I klinikken er det ofte forbundet med selvkritikk, selvsabotasje og selvstraffende atferd og tenkning, både hos pasient og terapeut. Eller det kan være forbundet med konkurranse, der målet er å kåre en individuell vinner. I vår sammenheng betyr «høyere prestasjon» noe helt annet. Vi ser ikke «høyere prestasjon» fra utøverens perspektiv, som i idrett. Vi ser det fra pasientens: Det betyr «Jeg får bedre hjelp». «Jeg trenger færre timer». Eller klinikkens perspektiv: «Vi kan hjelpe flere». «Vi får færre re-henvisninger». Det er et sterkt og lite kontroversielt funn i psykoterapiforskningen at til tross for at psykoterapi er en virksom behandling, så er det omtrent halvparten av pasientene som profitterer lite på terapi (Swift & Greenberg, 2015). Noen stagnerer, noen dropper ut, noen blir dårligere enn de var. Denne statistikken vil vi forbedre. Det er bedre terapiutfall som er hovedmålet. Som Goodyear og kollegaer (2017) sier:

Psychotherapy expertise should mean superior outcomes and demonstrable improvement over time. (s. 54)

Ferdighetsbygging i andre felt: Hva kan vi lære?

Flere tiårs forskning på ekspertise (Ericsson & Pool, 2016; Ericsson et al., 2018) løfter fram følgende kjerneprinsipper. Effektiv ferdighetsbygging

Et sannsynlig svar er at hvordan vi lærer, ikke passer til hva vi trenger å lære
  • opprettholder konsistent prosedural trening, til forskjell fra i vårt felt hvor læringsaktivitetene ofte er passive og teoretiske
  • innebærer en høy grad av egeninnsats, det vil si øving på egen hånd, til forskjell fra i vårt felt hvor vi ikke har kultur for å trene og terpe på intervensjoner alene – treningen vi får, kommer gjennom erfaring på jobb, som en fiolinist som kun tar i fiolinen når hun skal framføre noe foran et publikum
  • er informert av en veileder eller trener med spesiell kompetanse til å lære bort ferdigheter på feltet, til forskjell fra psykoterapifeltet hvor vi har kultur for å anta at det å være erfaren kliniker kvalifiserer til å virke som veileder
  • innebærer en meget nøyaktig skreddersøm av intensitet i treningsbelastning, til forskjell fra vårt felt hvor vi inkonsistent eller ikke i det hele tatt monitorerer vanskelighet i veiledning og trening, og risikerer at veilanden er for lite eller for mye utfordret og dermed får redusert læringsutbytte
  • innebærer svært konkret ekspert-tilbakemelding som det går an å handle på. Det er for eksempel vanskelig for meg å bruke informasjonen hvis min veileder sier «Kontakten er litt off her, Vidar». Det er lettere for meg å bruke det om veilederen sier: «Du er litt distansert her, Vidar. Legg merke til at du ser vekk når pasienten avbryter deg. La oss rollespille at jeg avbryter deg, og så er jobben din å 1) holde blikkontakten med meg og 2) forsøke deg fram med ulike formuleringer på påpekning av avbrytelse til du finner en som føles ok for deg – og så looper vi på den når vi finner den sammen.»

Her har vi som felt en vei å gå – en gyllen mulighet til å oppgradere praksis. Vi bør legge til en aktiv, praktisk og fokusert komponent, assistert av en presist utfordrende, aksepterende og støttende veileder som har kompetanse i å hjelpe veilanden med å tilbringe mest mulig tid i sin nærmeste utviklingssone. Hvor kan vi lete etter en slik måte å lære på?

Ferdighetstrening i psykoterapi

Ekspertiseforskningen løfter fram et sett av treningsaktiviteter som inngår i effektiv ferdighetsbygging, og samler disse under begrepet «deliberate practice», eller målbevisst ferdighetstrening. En måte å fremstille målbevisst ferdighetstrening på er som en syklus med fem komponenter, illustrert i figur 2 (Rousmaniere, 2016; Vaz & Rousmaniere, 2021).

Anvendt på vårt felt vil dette se slik ut. Veilanden tar med materiale til veiledning. Det kan være en utfordrende pasientsak, en bestemt ferdighet hen vil forbedre, eller et tilbakevendende klinisk tema eller utfordring. Først studerer veileder og veiland illustrerende segmenter av video eller lydopptak fra timen, eller forsøker å gjenskape fokuset gjennom rollespill. Det andre er at veileder hjelper til med å sirkle inn et utviklingsområde som ligger akkurat utenfor veilandens nåværende ferdighetsnivå, og gir tilbakemelding på dette. Det tredje er at veiland og veileder sammen utvikler små læringsmål basert på observasjonene av veilandens arbeid, for å hjelpe veilanden inn i sin sone for nærmeste utvikling (Vygotsky, 1978, s. 86). Det fjerde er at man modellerer og øver på de kliniske ferdighetene veilanden trenger å tilegne seg – repetitivt, i flere runder, mens reaksjoner og vanskelighetsgrad møysommelig monitoreres og justeres. Det femte er at man går tilbake til pasienten og fanger opp pasientens opplevelse av timen og utvikling i symptombelastning – som igjen informerer om hvilke problemstillinger man kan ha nytte av å jobbe med i neste veiledning. Og slik fortsetter syklusen, karrieren gjennom. Dette er livslang læring.

Interessante resultater

Hvis du har lært deg å spille piano eller en idrett, så kjenner du igjen denne syklusen. Ferdighetstrening for disse utøverne kan hente «teknologi» fra en flere hundre år gammel pedagogisk tradisjon. Bruken av målbevisst ferdighetstrening i psykoterapifeltet er til sammenligning i sin spede barndom. Imidlertid er nå fremtredende psykoterapiforskere og forfattere enige om at målbevisst ferdighetstrening er et av de mest lovende bidragene til framtiden for psykoterapitrening og veiledning (Anderson & Perlman, 2020; Miller, Hubble & Chow, 2020; Norcross & Karpiak, 2017; Rousmaniere et al., 2017; Wampold et al., 2019).

FIGUR 2 Hovedkomponentene i målbevisst ferdighetstrening
FIGUR 2 Hovedkomponentene i målbevisst ferdighetstrening. Målbevisst ferdighetstrening er et system av læringsaktiviteter som sikter mot å konkretisere veiledning for å muliggjøre tilpasset, praktisk og aktiv trening på ferdigheter. Denne måten å lære på opprettholdes karrieren gjennom. Deliberate practice­begrepet stammer fra ekspertiseforsk ningen (oppsummert i Ericsson et al., 2018), og figurens fremstilling er basert på Rousmaniere (2016).

De siste årene har man sett et tilfang av studier som antyder at målbevisst ferdighetstrening kan ha fornuftig anvendelse i psykoterapifeltet. Et typisk forskningsdesign har vært å undersøke tilegnelse av definerte nøkkelferdigheter hos sammenlignbare grupper. Den ene får målbevisst ferdighetstrening som beskrevet over, den andre et mer tradisjonelt læringsformat som instruksjonslæring eller formidling av teori. En av disse studiene (Westra et al., 2020) fokuserte på ferdigheter knyttet til hvordan terapeuten håndterte pasientens ambivalens og motstand mot terapi. De fant at deltakere i begge betingelsene hadde likt selvrapportert ferdighetsutbytte og tilfredshet med workshopen. Det oppsiktsvekkende var at målbevisst ferdighetstrening-gruppen hadde bedre observatør-vurderte ferdigheter på alle prestasjonsmål enn den andre gruppen. Denne relative forskjellen i ferdighetsnivå mellom gruppene var lik fire måneder senere (Westra et al., 2020). I en annen studie fant Di Bartolomeo et al. (2021) at gruppen som brukte målbevisst ferdighetstrening, tilegnet seg faktiske ferdigheter innenfor motiverende intervju bedre. To andre studier fant at en gruppe som fikk målbevisst ferdighetstrening i fasiliterende interpersonlige ferdigheter, som empati og brudd-reparasjons-responsivitet, ble signifikant bedre i disse spesifikke ferdighetene enn kontrollgruppen (Anderson, Perlman, McCarrick & McClintock, 2019; Perlman et al., 2020). En annen studie (Chow et al., 2015) tok for seg psykoterapeuter med spesielt gode terapiresultater, litt i samme ånd som i ekspertiseforskningen vi så på tidligere. De oppsummerte: 

Consistent with the literature on expertise and expert performance, the amount of time spent targeted at improving therapeutic skills was a significant predictor of client outcomes. Further, highly effective therapists indicated requiring more effort in reviewing therapy recordings alone than did the rest of the cohort. (s. 337)

Disse foreløpige funnene antyder at prinsippene i målbevisst ferdighetstrening med hell kan implementeres innen psykoterapifeltet, og at dette kan føre til pålitelig bedre tilegnelse av ferdigheter og terapiresultatet. Vi har utviklet omfattende ressurser som vi tilbyr gratis til terapeuter, veiledere og lærere, slik at de skal kunne implementere målbevisst ferdighetstrening i sitt arbeid. Fremtidig forskning vil raffinere disse og forhåpentligvis føre til stadig mer effektive treningsmetoder.

Oppsummering

Klinikker, klinikere, veiledere og pasienter ønsker alle så gode terapiresultater som mulig. Men ser vi på hvordan vi oftest lærer psykoterapi, ser vi en pedagogikk som fremmer klinisk forståelse, på bekostning av kliniske ferdigheter og pasientens terapiutfall. Imidlertid er terapeuten på mange måter en utøver av et håndverk. Vi ønsker ikke å redusere terapi til atferd og teknikk. Vi peker simpelthen på at terapi har en større prosedural komponent enn det som vektlegges i vår signaturpedagogikk. Uoverensstemmelsen mellom hvordan vi lærer og hva vi trenger, bidrar til redusert effektivitet i psykoterapiopplæring, og redusert anvendelighet av det som blir lært. Denne vissheten tvinger fram et ansvar i feltet for å utvikle en ny kultur for læring av psykoterapiferdigheter. Det finnes solid tilgjengelig forskning som løfter fram metoder som pålitelig fremmer ferdighetsbygging og profesjonell ekspertise. Vi er godt i gang med å modifisere og tilpasse denne læringsmetodikken til vårt felt. Arbeidet er befengt med diskusjonspunkter og er i en tidlig fase, men det er ikke lenger kontroversielt å påstå dette: Det er fullt mulig å trene opp viktige nøkkelferdigheter i psykoterapi ved hjelp av målbevisst ferdighetstrening.

Merknad

Teksten sto på trykk første gang i Tidsskrift for Norsk psykologforening, Vol 58, nummer 7, 2021, side 594-601

Kommenter denne artikkelen

Anderson, T. & Perlman, M. R. (2020). Therapeutic interpersonal skills for facilitating the working alliance. I J. N. Fuertes (red.), Working alliance skills for mental health professionals. Oxford. https://doi.org/10.1093/med-psych/9780190868529.003.0003

Anderson, T., Perlman, M. R., McCarrick, S. M. & McClintock, A. S. (2019). Modeling therapist responses with structured practice enhances facilitative interpersonal skills. Journal of Clinical Psychology, 76, 659–675. https://doi.org/10.1002/jclp.22911

Atkins, D. C. & Christensen, A. (2001). Is professional training worth the bother? A review of the impact of psychotherapy training on client outcome. Australian Psychologist36(2), 122–130. https://doi.org/10.1080/00050060108259644

Beidas, R. S. & Kendall, P. C. (2010). Training therapists in evidence‐based practice: A critical review of studies from a systems‐contextual perspective. Clinical Psychology: Science and Practice, 17(1), 1–30. https://doi.org/10.1111/j.1468-2850.2009.01187.x

Benjamin, L. S. (2015). The arts, crafts, and sciences of psychotherapy. Journal of Clinical Psychology: 71(11), 1070–1082. https://doi.org/10.1002/jclp.22217

Castonguay, L. G. & Hill, C. E. (2017). How and why are some therapists better than others?: Understanding therapist effects (s. xv–356). American Psychological Association. https://doi.org/10.1037/0000034-000

Chow, D. L., Miller, S. D., Seidel, J. A., Kane, R. T., Thornton, J. A. & Andrews, W. P. (2015). The role of deliberate practice in the development of highly effective psychotherapists. Psychotherapy52(3), 337. https://doi.org/10.1037/pst0000015

Clements-Hickman, A. L. & Reese, R. J. (2020). Improving Therapists’ Effectiveness: Can Deliberate Practice Help? Professional Psychology: Research and Practice. Advance online publication. https://doi.org/10.1037/pro0000318

Cook, D. A., Brydges, R., Zendejas, B., Hamstra, S. J. & Hatala, R. (2013). Mastery learning for health professionals using technology-enhanced simulation: a systematic review and meta-analysis. Academic medicine, 88(8), 1178–1186. https://doi.org/10.1097/ACM.0b013e31829a365d

Cross, W. F., Seaburn, D., Gibbs, D., Schmeelk-Cone, K., White, A. M. & Caine, E. D. (2011). Does practice make perfect? A randomized control trial of behavioral rehearsal on suicide prevention gatekeeper skills. The journal of primary prevention, 32(3–4), 195. https://doi.org/10.1007/s10935-011-0250-z

Di Bartolomeo, A., Shukla, S., Westra, H., Ghashghaei, N. & Olson, D. (2021). Rolling with resistance: A client language analysis of deliberate practice in continuing education for psychotherapists. Counselling and Psychotherapy Research, 21(2), 433-441. https://doi.org/10.1002/capr.12335

Ellis, M. V. & Ladany, N. (1997). Inferences concerning supervisees and clients in clinical supervision: An integrative review. I C. E. Watkins, Jr. (red.), Handbook of psychotherapy supervision (s. 447–507). Wiley.

Ericsson, K. A. (2006). The influence of experience and deliberate practice on the development of superior expert performance. I Ericsson, K. A., Charness, N., Feltovich, P. J., Hoffman, R. R. (red.), The Cambridge handbook of expertise and expert performance, (s. 685­–705). Cambridge: Cambridge University press https://doi.org/10.1017/CBO9780511816796.038

Ericsson, K. A., Hoffman, R. R. & Kozbelt, A. (red.). (2018). The Cambridge handbook of expertise and expert performance. Cambridge University Press. https://doi.org/10.1017/9781316480748

Ericsson, A. & Pool, R. (2016). Peak: Secrets from the new science of expertise. Houghton Mifflin Harcourt.

Farmer, A. P., Légaré, F., Turcot, L., Grimshaw, J., Harvey, E., McGowan, J. L., & Wolf, F. Printed educational materials: effects on professional practice and health care outcomes. Cochrane Database of Systematic Reviews. 2008 Jul 16;(3): CD004398. doi: 10.1002/14651858.CD004398.pub2. Oppdatering i: Cochrane Database Syst Rev. 2012;10:CD004398. PMID: 18646106.

Goldberg, S. B., Rousmaniere, T., Miller, S. D., Whipple, J., Nielsen, S. L., Hoyt, W. T. & Wampold, B. E. (2016). Do psychotherapists improve with time and experience? A longitudinal analysis of outcomes in a clinical setting. Journal of Counseling Psychology, 63(1), 1–11. https://doi.org/10.1037/cou0000131

Goodyear, R. K., Wampold, B. E., Tracey, T. J. & Lichtenberg, J. W. (2017). Psychotherapy expertise should mean superior outcomes and demonstrable improvement over time. The Counseling Psychologist45(1), 54–65. https://doi.org/10.1177/0011000016652691

Herschell, A. D., Kolko, D. J., Baumann, B. L. & Davis, A. C. (2010). The role of therapist training in the implementation of psychosocial treatments: A review and critique with recommendations. Clinical psychology review, 30(4), 448–466. https://doi.org/10.1016/j.cpr.2010.02.005

Hill, C. E. & Knox, S. (2013). Training and supervision in psychotherapy: Evidence for effective practice. I M. J. Lambert (red.), Handbook of psychotherapy and behavior change (6. utg., s. 775–811). John Wiley.

Hill, C. E. & Lent, R. W. (2006). A narrative and meta-analytic review of helping skills training: Time to revive a dormant area of inquiry. Psychotherapy: Theory, Research, Practice, Training, 43(2), 154. https://doi.org/10.1037/0033-3204.43.2.154

Lambert, M. & Arnold, R. (1987). Research and the supervisory process. Professional https://doi.org/10.1037/0735-7028.18.3.217

Psychology, Research and Practice, 18, 217–224.

McGaghie, W. C., Issenberg, S. B., Cohen, M. E. R., Barsuk, J. H. & Wayne, D. B. (2011). Does simulation-based medical education with deliberate practice yield better results than traditional clinical education? A meta-analytic comparative review of the evidence. Academic medicine: journal of the Association of American Medical Colleges, 86(6), 706. https://doi.org/10.1097/ACM.0b013e318217e119

Miller, S. D., Hubble, M. A. & Chow, D. (2020). Better results: Using deliberate practice to improve therapeutic effectiveness. American Psychological Association. https://doi.org/10.1037/0000191-000

Milne, D., Aylott, H., Fitzpatrick, H. & Ellis, M. V. (2008). How does clinical supervision work? Using a «best evidence synthesis» approach to construct a basic model of supervision. The clinical supervisor, 27(2), 170–190. https://doi.org/10.1080/07325220802487915

Norcross, J. C. & Karpiak, C. P. (2017). Our best selves: Defining and actualizing expertise in psychotherapy. The Counseling Psychologist45(1), 66–75. https://doi.org/10.1177/0011000016655603

Perlman, M. R., Anderson, T., Foley, V. K., Mimnaugh, S. & Safran, J. D. (2020). The impact of alliance-focused and facilitative interpersonal relationship training on therapist skills: An RCT of brief training. Psychotherapy Research, 1–14. https://doi.org/10.1080/10503307.2020.1722862

Rousmaniere, T. (2016). Deliberate practice for psychotherapists: A guide to improving clinical effectiveness. Taylor & Francis. https://doi.org/10.4324/9781315472256

Rousmaniere, T., Goodyear, R. K., Miller, S. D. & Wampold, B. E. (red.). (2017). The cycle of excellence: Using deliberate practice to improve supervision and training. John Wiley & Sons. https://doi.org/10.1002/9781119165590

Rønnestad, M. & Ladany, N. (2006). The impact of psychotherapy training: Introduction to the special section. Psychotherapy Research16(03), 261–267. https://doi.org/10.1080/10503300600612241

Shulman, L. (1987). Knowledge and teaching: Foundations of the new reform. Harvard educational review, 57(1), 1–22. https://doi.org/10.17763/haer.57.1.j463w79r56455411

Swift, J. K. & Greenberg, R. P. (2015). Premature termination in psychotherapy: Strategies for engaging clients and improving outcomes. American Psychological Association. https://doi.org/10.1037/14469-000

Vaz, A. & Rousmaniere, T. (2021). Reaching for Expertise: A Primer on Deliberate practice for Psychotherapists. Deliberate practice Institute.

Vygotsky, L. (1978). Mind in Society: The Development of Higher Psychological Processes. Cambridge, MA: Harvard University Press.

Wampold, B. E., Lichtenberg, J. W., Goodyear, R. K. & Tracey, T. J. (2019). Clinical Expertise. I S. Dimidjian (red.), Evidence-Based Practice in Action: Bridging Clinical Science and Intervention (s. 152–166). Guilford Publications.

Watkins, C. E. (2011). Does psychotherapy supervision contribute to patient outcomes? Considering thirty years of research. Clinical Supervisor, 30, 235-56. https://doi.org/10.1080/07325223.2011.619417

Watkins, C. E. & Milne, D. L. (2014). The Wiley International Handbook of Clinical Supervision. Wiley Blackwell. https://doi.org/10.1002/9781118846360

Westra, H. A., Norouzian, N., Poulin, L., Coyne, A., Constantino, M. J., Hara, K. & Antony, M. M. (2020). Testing a deliberate practice workshop for developing appropriate responsivity to resistance markers. Psychotherapy. Advance online publication, https://doi.org/10.1037/pst0000311