Psykologtidsskriftet

Implementering i psykologisk praksis og forskning ‒ Del 1

Brobyggeren mellom helseforskning og praksis: implementeringsvitenskap og psykologi

Thomas Engell
  • Thomas Engell

    Regionsenter for barn og unges psykiske helse, øst og sør, Seksjon for tjenesteforskning og innovasjon

Publisert: 27.02.2025

Evidensbaserte tiltak som skal bidra til bedre psykisk helse og velferd, står overfor flere implementeringsutfordringer.

Forskningsbaserte innovasjoner innen psykiske helse kommer ikke folk til gode med mindre de når ut. Enten det er psykologiske tiltak, behandlinger, pakkeforløp, brukermedvirkningsrutiner, psykologfaglige retningslinjer eller andre helse- og velferdsinnovasjoner, kreves det god og bærekraftig implementering for at de skal fungere over tid. Mangelfull implementering legger alvorlige begrensninger på helse og velferd globalt, og derfor er implementeringsvitenskap i fremmarsj. Implementeringsvitenskap er vitenskap om hvordan vi omsetter kunnskap fra forskning til nytteverdi i samfunnet. Det er en av de raskest voksende forskningsfeltene innen helse- og velferdsforskning, men i Norge henger vi bakpå andre høyinntektsland når det gjelder prioritering av implementeringsforskning og bruk av kunnskapsbasert implementering i politikkutforming, helseforvaltning og psykologisk praksis. Fagartikkelen her er den første i en netteksklusiv publikasjon om implementering som gir en oppdatert introduksjon til implementeringsvitenskap, nyere implementeringsteori og praktiske råd om gjennomføring av implementering med spesielt søkelys på tjenester i psykisk helse.

Fagartikkelen er den første i en tre-delt oversikt om implementeringsvitenskap og implementering i praksis og praksisnær forskning i psykisk helsefeltet. Les også:

Del 2: Implementeringteori og det paradoksale implementeringsgapet

Del 3: Kjerneelementer i implementering: forskningsbaserte råd om implementering i psykologien

Kvalitetsgapet

Gapet mellom forskningskunnskap og omsetting av kunnskapen til praksis er en barriere for fremskritt. Hvert år dør mellom 6 og 9 millioner mennesker i lav- og middelinntektsland fordi vi ikke har lyktes med å implementere den beste tilgjengelige behandling og omsorg (Committee on Improving the Quality of Health Care Globally [CIHCG], 2018). Globalt står mangelfull implementering i veien for bedre helse, velferd, utdanning og likere muligheter for folk, og det å lukke kvalitetsgapet er et prioritert fokusområde for å nå FNs bærekraftsmål (CIHCG, 2018). Klassiske studier innen somatisk helse har indikert at kun 5–15 % av forskningsbaserte helseinnovasjoner tas i bruk i praksis, og at det tar 17 til 20 år før det eventuelt skjer (Balas & Boren, 2000; Morris et al., 2011). Årsakene til manglende implementering er ofte sammensatte, men implementeringsvitenskapen peker på forbedringspotensialer både på system- og tjenestenivå. Det gjelder i psykologisk forskning, i forvaltning og i praksis. Kunnskap, gode intensjoner eller sterk evidens er sjelden nok for å realisere endringer, det må handles strategisk. Det er det implementering handler om: å omsette kunnskap og intensjoner om endring til reell endring – endringsrealisering.

Implementering av psykologiske tiltak

I psykologien er det lite som tyder på at det beryktede 17-årsgapet mellom forskning og praksis er noe mindre – snarere tvert imot. En nylig studie av over 1000 implementeringer av psykososiale tiltak i USA fant at kun 15 % lykkes med tilstrekkelig implementering (Alley et al., 2023). De få som lyktes, hadde særlig én ting de felles; de jobbet grundig og kunnskapsbasert i forberedelsene. I gjennomføring fulgte de også flere av rådene jeg kommer til å presentere senere.

Evidensbaserte tiltak, tiltakene vi har mest tiltro til skal hjelpe mennesker til bedre psykisk helse og velferd, står overfor mange implementeringsutfordringer. For det første strever vi med å implementere tiltakene i klinikkene og tjenestene som ikke driver med forskning (Tackett et al., 2019). Og når vi først lykkes, er det sjelden det varer over tid (Shelton et al., 2018). For det andre har evidensbaserte tiltak en tendens til å forandre seg når de kommer ut i praksis (Stirman et al., 2019), for eksempel kognitiv atferdsterapi for barn og unge (Meza et al., 2020). Metodene brukes ofte annerledes enn i forskning. Noen ganger forandrer de seg på grunn av utilstrekkelig implementering (Kirchner et al., 2020), andre ganger må metodene brukes annerledes fordi de ikke lar seg bruke på samme måte i praksis som i forskning – de mangler implementerbarhet i konteksten (Engell et al., 2021). Vi ser også at effekten av tiltakene ofte er lavere i praksis, og at effekten minsker med tid (Weisz et al., 2019), og at forskjellene i nytteverdi fra det praktikere gjør fra før, begrenses (Kazdin, 2015; Weisz et al., 2017). Det kan skyldes at tiltakene sjelden overlever i sin evidensbaserte form (Stirman et al., 2019), og man sier gjerne at de blir «vannet ut». Utvanningen kan komme av flere forståelige grunner, men uansett forklaring er resultatet at folk flest ikke mottar de evidensbaserte tiltakene man forskningsmessig har størst tiltro til at hjelper. De får mest sannsynlig en utvannet versjon eller noe annet.

Implementering av KI-evolusjonen

En av de største implementeringsutfordringene vi nå står overfor, handler om å realisere nytteverdi av ny informasjonsteknologi (IT). Både offentlige og private sektorer strever med implementering, og det er en av hovedgrunnene til at godt over halvparten av IT-utviklingsprosjekter feiler (Standish Group, 2015). Teknologier med kunstig intelligens (KI) er på full fart inn i psykologien. Vi er fortsatt tidlig i KI-evolusjonen innen helse og velferd (Matheny et al., 2020), men KI får antagelig store implikasjoner for blant annet utforming av helsetjenester og individuell skreddersøm i psykologiske tiltak. KI-systemer for datainnsamling og maskinlæringsalgoritmer skal gi mer presis kvalitetssikring, og mer presise kartlegginger og prediksjoner av hva som hjelper for det enkelte individ, og under hvilke omstendigheter. Allerede finnes KI-systemer som i nær sanntid analyserer opptak av terapisesjoner ved å kombinere datalingvistikk og maskinlæring (Ahmadi et al., 2021), og som gir automatiske tilbakemeldinger både på etterlevelse av tiltak, fellesfaktorer og terapeutferdigheter (f.eks. allianse, empati, kommunikasjon), og klientens respons og emosjonelle tilstand (f.eks. www.lyssn.io). KI-systemer tilbyr muligheter for å redusere psykologens tidsbruk på instrumentelle oppgaver og registreringer for å frigjøre mer tid til pasientene og fagutvikling (Nilsen et al., 2024). Det er også en risiko for at systemene implementeres med andre motiver, som effektiviseringsverktøy og økt pasientgjennomstrømning. Alt nevnt er IT-prosjekter, med mange etiske og praktiske utfordringer som potensielt kan ha alvorlige negative konsekvenser (Matheny et al., 2020). KI-eksperter peker også på at en av de største utfordringene med AI-evolusjonen innen helse er implementering fra lab til den virkelig verden (Davenport & Kalakota, 2019). Man kan lure på hva som vil skje om halvparten av disse kompliserte innsatsene feiler i implementeringen.

Implementeringsutfordringer i Norge

Få land i verden har bedre betingelser for implementering enn Norge, men vi henger etter andre høyinntektsland i prioritering av implementeringsvitenskap og -kompetanse. Flere av verdens fremste universiteter satser på implementeringsvitenskap (f.eks. Standford, Oxford, Singapore NUS, Melbourne), og land som USA, Storbritannia, Canada, Sverige, Sveits og Australia har egne institutter og organisasjoner dedikert til implementeringsvitenskap og praksis, og finansieringsinstanser med øremerkede midler til implementeringsforskning og kunnskapsbasert implementering. Det har vi enn så lenge lite av i Norge, noe som hemmer spredningen av implementeringskunnskap (Engell et al., 2021). Folk har det generelt godt i Norge, men flere kunne hatt det bedre om vi var bedre på implementering. Her følger noen eksempler.

Pakkeforløpet for psykisk helse og rus har opplevd mye kritikk fra praksisfeltet (se f.eks. Ottesen, 2021). Den første evalueringsrapporten av pakkeforløpet kom i 2020 (Ådnanes et al., 2020). I rapporten kan man lese tegn på undervurdering av implementeringsprosessen, feilslåtte implementeringsstrategier, manglende brukervennlighet i rapporterings- og tilbakemeldingssystemer og lite samsvar mellom implementeringen og de opplevde behovene i praksisfeltet. Alt dette er kjerneelementer implementeringsvitenskapen tilbyr kunnskap om. Og selv om resultatene i rapporten virket nedslående, kunne vi ikke på bakgrunn av den dømme pakkeforløp som konsept, for pakkeforløp ble ikke evaluert i sin rette form – det ble ikke godt nok implementert.

Ungdomskriminalitet er igjen i søkelyset. Folkehelseinstituttet publiserte i 2020 (Aase et al., 2020) en rapport med navn Hvordan forhindre at barn og unge kommer inn i eller forblir i en kriminell løpebane? Rapporten konkluderer med at det finnes flere virksomme tiltak – for eksempel Tidlig innsats for barn i risiko (TIBIR) og Funksjonell familieterapi – som kan tas i bruk, men at de i altfor liten grad blir implementert. De peker på for lite satsing og søkelys på implementering.

Ellers har vi flere godt implementerte evidensbaserte tiltak i barnevernet som kan være nyttige for barn og familier (se Christiansen, 2015 for eksempler). Av tiltak barnevernet gir som innebærer veiledning til barn og familier, utgjorde de evidensbaserte tiltakene i 2020 under 4 % (Engell, 2021; SSB, 2020). De evidensbaserte barnevernstiltakene er omdiskuterte; de er ressurskrevende å implementere, og de kan ikke hjelpe alle barn og familier i barnevernet. Godt sosialt arbeid i barnevernet lar seg heller ikke evidensbasere like lett som et mer avgrenset manualisert tiltak innen et spesifikt område – i hvert fall ikke med tradisjonelle forskningsmetoder for effektevaluering, så 100 % rekkevidde er neppe ønskelig heller. Allikevel kunne de evidensbaserte tiltakene trolig hjulpet langt flere enn de gjør i dag, men vi strever med bredden i implementering.

Oppsummert er det liten tvil om at vellykket og bærekraftig implementering er vanskelig. Om vi vil ha mer helse og velferd ut av ressursene våre, trenger vi mer kunnskap om implementering i Norge, og vi bør i større grad bruke kunnskapen som allerede er tilgjengelig.

Kort historie

Røttene til implementeringsforskningen går over 100 år tilbake. Den vokste for alvor frem etter at evidensbevegelsen fikk sitt fotfeste i medisinen i 1990-årene (Djulbegovic & Guyatt, 2017), og kort tid etter i psykologien også (Bertram et al., 2021). Forenklet kan vi si at forskning etter den medisinske modellen fremskaffet evidensbaserte behandlinger og tiltak som skulle spres bredt for å forbedre helse og velferd. Spredningen viste seg å være utfordrende, og man slet med å få tiltakene tatt i bruk i praksis og med å gjenskape resultatene fra forskning (Greenhalgh et al., 2004). Man snakket om et translasjonsgap – altså et gap i overgangen fra forskning til praksis, og så behovet for å forstå gapet bedre og å redusere det. Det førte til at implementeringsvitenskapen vokste frem for alvor, og i 2006 fikk implementeringsforskning sitt første vitenskapelige tidsskrift, Implementation Science.

Forskningsreisen – translasjonskontinuumet

Metaforen «gapet mellom forskning og praksis» stammer fra translasjonskontinuumet (Drolet & Lorenzi, 2011), eller hva vi kan kalle forskningsreisen for helseinnovasjoner. Reisen beskriver hvordan forskningsbaserte helseinnovasjoner, som behandlinger og tiltak, blir forsket frem og skal nå ut i praksis (se Figur 1). Tradisjonelt har man tenkt at en innovasjon som viser pålitelige effekter i effektivitetsstudier, kan spres rett ut i vanlig praksis, men implementeringsvitenskapen har vist at det oftere feiler enn det lykkes (Alley et al., 2023; Lau et al., 2015). Derfor har implementeringsstudier vokst frem for å undersøke hvordan man best kan implementere innovasjonene i vanlig praksis, men slike studier er langt sjeldnere enn tiltaksstudier, og selv implementeringsstudier møter et krevende translasjonsgap (se Implementeringsteori og det paradoksale implementeringsgapet). Ved siste steg skal så hensiktsmessige implementeringsstrategier brukes til å omsette tiltaket til nytte i samfunnet. Dessverre bryter forskningsreisen ofte ned mot slutten og hindrer den vitenskapelige kunnskapen i å komme folks helse og velferd til gode. Som illustrert i figur 1 opererer implementeringsforskning tradisjonelt i den siste delen av reisen.

Definisjoner og omfang frem til i dag

Implementeringsvitenskap er en ung vitenskap som først ble døpt: «Det vitenskapelige studiet av metoder for å fremme systematisk bruk av forskningskunnskap og evidensbaserte innovasjoner i rutinemessig praksis for og med det bedre kvaliteten og effekten i helse- og omsorgstjenester» (Eccles & Mittman, 2006, s. 1, egen oversettelse). Omfang og definisjoner har nå endret seg, og en bredere og forenklet definisjon av implementeringsvitenskap er: «det vitenskapelige studiet av spørsmål om realisering av intensjoner» (Nilsen & Birken, 2020, s. 1, egen oversettelse). Den siste definisjonen resonerer med senere utvikling og trender i feltet: (1) Kunnskap fra implementeringsvitenskap kan brukes utover implementering av evidensbaserte intervensjoner, og (2) implementeringsvitenskapens virkeområde og nedslagsfelt bør starte tidligere i forskningsreisen og omfatte konteksten forskningsreisen foregår i (Engell, 2021; Rudd et al., 2020). Med kontekst mener jeg blant annet den forsknings- og fagpolitiske konteksten og forvaltningen og utformingen på samfunns-, system- og tjenestenivå. En av grunnene til denne utvidelsen av implementeringsvitenskapen er at implementering ofte møter problemer det er for sent eller for vanskelig å løse, men som sannsynligvis kunne vært unngått. Videre frembringer feltet da kunnskap om hvordan vi kunne unngått eller løst problemene gjennom for eksempel forsknings- og fagpolitiske endringer, justeringer på offentlig tjenesteutforming og styring, og bruk av implementeringsvitenskap tidligere i forskningsreisen.

Sentrale begreper og fenomener i implementering

Med en vitenskap som er ung og til dels i trassalderen, er det naturlig med begrepsvariasjon og kanskje også en del forvirring. Tabell 1 oppsummerer nøkkelbegreper i implementeringsvitenskapen med forklaringer og eksempler. I artikkelen Implementation Science made too simple (Curran, 2020) er noen sentrale begreper forklart slik: Implementeringsobjektet er tingen vi skal implementere. Det kan for eksempel være et psykologisk tiltak, et kvalitetssystem, en rutineendring eller noe annet som innebærer endring. Implementeringsstrategiene er greiene vi gjør for at tingen skal bli gjennomført av for eksempel praktikere eller en tjeneste. Dette kan blant annet være veiledning, fasilitering, strategisk valgarkitektur, tilbakemeldingssystemer og sjekklister.

Implementeringsdeterminanter er faktorer som påvirker implementering. Ofte kalt barrierer og fasilitatorer, eller hemmere og fremmere for implementering. Eksempler kan være organisasjonskultur, lederstiler og implementeringskompetanse, ressurser og kapasitet samt ansattes verdier og preferanser. Implementeringsmekanismer er blitt et sentralt begrep som handler om hvordan implementeringen faktisk fungerer – det er der årsaksforklaringene ligger, som vi kommer tilbake til i neste artikkel. En annen viktig side ved implementering er de-implementering, som handler om å redusere eller stoppe tjenester og praksiser som er ineffektive, skadelige, upassende eller brukes feil (Norton & Chambers, 2020).

Det som gjerne anses som de mest sentrale implementeringsutfallene, sier noe om hvor godt tingen blir gjort. Et utfallsmål som ofte brukes for å måle dette, er fidelitet til tingen, som kort sagt skal indikere om praktikeren gjør tingen slik den er ment å gjøres. Det bør også nevnes at man gjerne måler fidelitet til implementeringsstrategier også, som for eksempel kan indikere i hvilken grad praktikeren får veiledning slik hensikten var med implementeringen. Mer detaljer om implementeringsutfall følger under.

Implementeringsutfall: Virkningene av implementering

Implementeringsutfall er viktig i implementeringsforskning og er avgjørende for tiltaksevaluering; man må vite om et tiltak er tilstrekkelig implementert, hvis man skal evaluere tiltaket på en pålitelig måte. Å forkaste et tiltak som mislykket uten å vite om tiltaket var implementert etter hensikten, kalles gjerne type 3-feil og er en kardinalsynd i evaluering. Proctor og kolleger (2011) publiserte en liste med implementeringsutfall som i teorien var knyttet til vellykket implementering, også kjent som høy implementeringskvalitet. Utfallene er listet opp og definert i tabell 2, med noen oppdateringer og tilpasninger (Engell, 2021). Disse implementeringsutfallene er ment å være indikatorer på hvordan implementeringen fungerer og brukes i stor grad i dag. Implementeringsvitenskapen er dog ung, og jeg spår at vi vil se utvikling i hvordan implementeringsutfall teoretiseres fremover, for eksempel utfall som representerer mer relasjonelle fenomener og faktorer. Min bok om kunnskapsbasert implementering som utgis i 2026, vil ha oversikt over spørreskjemaer og verktøy tilgjengelig på norsk som kartlegger flere implementeringsdeterminanter og utfall.

Dette var en kort introduksjon til implementeringsvitenskapen og noen av dens grunnleggende elementer. Neste artikkel i serien - Implementeringsteori og det paradoksale implementeringsgapet – handler om implementeringsteori og et paradoksalt gap som har oppstått mellom implementeringsforskning og praktisk implementering.

Referanser

  1. Ahmadi, A., Noetel, M., Schellekens, M., Parker, P., Antczak, D., Beauchamp, M., Dicke, T., Diezmann, C., Maeder, A. & Ntoumanis, N. (2021). A Systematic Review of Machine Learning for Assessment and Feedback of Treatment Fidelity. Psychosocial Intervention, 30(3), 139–153. https://doi.org/10.7440/res64.2018.03

  2. Alley, Z. M., Chapman, J. E., Schaper, H. & Saldana, L. (2023). The relative value of Pre-Implementation stages for successful implementation of evidence-informed programs. Implementation Science, 18(1), 30. http://dx.doi.org/10.1186/s13012-023-01285-0

  3. Balas, E. A. & Boren, S. A. (2000). Managing Clinical Knowledge for Health Care Improvement. Yearbook of Medical Informatics, 09(01), 65–70. https://doi.org/10.1055/s-0038-1637943

  4. Bertram, R., Edwards, D., Engell, T., Kerns, S. E. U., Øvretveit, J., Rojas-Andrade, R., Sarkies, M. & Williams, C. R. (2021). Welcome to Global Implementation Research and Applications. Global Implementation Research and Applications, 1(1), 1–4. https://doi.org/10.1007/s43477-021-00006-3

  5. Christiansen, Ø. (2015). Hjelpetiltak i barnevernet—En kunnskapsstatus [Research report]. RKBU Vest, Uni Research Helse. https://hdl.handle.net/11250/2722377

  6. Committee on Improving the Quality of Health Care Globally, Board on Global Health, Board on Health Care Services, Health and Medicine Division & National Academies of Sciences, Engineering, and Medicine. (2018). Crossing the Global Quality Chasm: Improving Health Care Worldwide (p. 25152). National Academies Press. https://doi.org/10.17226/25152

  7. Curran, G. M. (2020). Implementation science made too simple: a teaching tool. Implementation Science Communications, 1, 1–3. http://dx.doi.org/10.1186/s43058-020-00001-z

  8. Davenport, T. & Kalakota, R. (2019). The potential for artificial intelligence in healthcare. Future Healthcare Journal, 6(2), 94–98. https://doi.org/10.7861/futurehosp.6-2-94

  9. Djulbegovic, B., & Guyatt, G. H. (2017). Progress in evidence-based medicine: a quarter century on. The lancet, 390(10092), 415-423. https://doi.org/10.1016/S0140-6736(16)31592-6

  10. Drolet, B. C. & Lorenzi, N. M. (2011). Translational research: Understanding the continuum from bench to bedside. Translational Research, 157(1), 1–5. https://doi.org/10.1016/j.trsl.2010.10.002

  11. Eccles, M. P. & Mittman, B. S. (2006). Welcome to Implementation Science. Implementation Science, 1(1). https://doi.org/10.1186/1748-5908-1-1

  12. Engell, T. (2021). Co-design and implementation of common elements-based academic support in Norwegian Child Welfare Services. [Doktorgradsavhandling]. Universitetet i Oslo. http://urn.nb.no/URN:NBN:no-89115

  13. Engell, T., Varsi, C., Graverholt, B. & Egeland, K. M. (2021). Launch of the Norwegian Network for Implementation Research (NIMP): Proceedings from the First Annual Conference. Global Implementation Research and Applications, 1(4), 223–232. https://doi.org/10.1007/s43477-021-00027-y

  14. Greenhalgh, T., Robert, G., Macfarlane, F., Bate, P. & Kyriakidou, O. (2004). Diffusion of innovations in service organizations: systematic review and recommendations. The milbank quarterly82(4), 581–629.

  15. Kazdin, A. E. (2015). Treatment as usual and routine care in research and clinical practice. Clinical Psychology Review, 42, 168–178. https://doi.org/10.1016/j.cpr.2015.08.006

  16. Kirchner, J. E., Smith, J. L., Powell, B. J., Waltz, T. J. & Proctor, E. K. (2020). Getting a clinical innovation into practice: An introduction to implementation strategies. Psychiatry Research, 283, 112467. https://doi.org/10.1016/j.psychres.2019.06.042

  17. Lau, R., Stevenson, F., Ong, B. N., Dziedzic, K., Treweek, S., Eldridge, S., Everitt, H., Kennedy, A., Qureshi, N., Rogers, A., Peacock, R. & Murray, E. (2015). Achieving change in primary care—causes of the evidence to practice gap: Systematic reviews of reviews. Implementation Science, 11(1), 40. https://doi.org/10.1186/s13012-016-0396-4

  18. Matheny, M. E., Whicher, D. & Thadaney Israni, S. (2020). Artificial Intelligence in Health Care: A Report From the National Academy of Medicine. JAMA, 323(6), 509. https://doi.org/10.1001/jama.2019.21579

  19. Meza, R. D., Jungbluth, N., Sedlar, G., Martin, P., Berliner, L., Wiltsey-Stirman, S., & Dorsey, S. (2020). Clinician-reported modification to a CBT approach in children’s mental health. Journal of Emotional and Behavioral Disorders28(2), 104-113. https://doi.org/10.1177/1063426619828369

  20. Moore, J. E., Mascarenhas, A., Bain, J. & Straus, S. E. (2017). Developing a comprehensive definition of sustainability. Implementation Science, 12(1), 110. https://doi.org/10.1186/s13012-017-0637-1

  21. Morris, Z. S., Wooding, S. & Grant, J. (2011). The answer is 17 years, what is the question: Understanding time lags in translational research. Journal of the Royal Society of Medicine, 104(12), 510–520. https://doi.org/10.1258/jrsm.2011.110180

  22. Nilsen, P. & Birken, S. A. (Red.). (2020). Handbook on implementation science. Edward Elgar Publishing.

  23. Nilsen, P., Sundemo, D., Heintz, F., Neher, M., Nygren, J., Svedberg, P. & Petersson, L. (2024). Towards evidence-based practice 2.0: Leveraging artificial intelligence in healthcare. Frontiers in Health Services4, 1368030.

  24. Norton, W. E. & Chambers, D. A. (2020). Unpacking the complexities of de-implementing inappropriate health interventions. Implementation Science15(1), 2.

  25. Proctor, E., Silmere, H., Raghavan, R., Hovmand, P., Aarons, G., Bunger, A., ... & Hensley, M. (2011). Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and policy in mental health and mental health services research38, 65–76.

  26. Rudd, B. N., Davis, M. & Beidas, R. S. (2020). Integrating implementation science in clinical research to maximize public health impact: A call for the reporting and alignment of implementation strategy use with implementation outcomes in clinical research. Implementation Science, 15(1), 1–11. https://doi.org/10.1186/s13012-020-01060-5

  27. Shelton, R. C., Cooper, B. R. & Stirman, S. W. (2018). The Sustainability of Evidence-Based Interventions and Practices in Public Health and Health Care. Annual Review of Public Health, 39(1), 55–76. https://doi.org/10.1146/annurev-publhealth-040617-014731

  28. Standish Group. (2015). Chaos Report 2015. Standish Group. https://www.standishgroup.com/sample_research_files/CHAOSReport2015-Final.pdf

  29. Statistisk sentralbyrå. (2020). Barnevern, statistikk og analyse. https://www.ssb.no/sosiale-forhold-og-kriminalitet/barne-og-familievern/statistikk/barnevern

  30. Stirman, S.W., Baumann, A. A. & Miller, C. J. (2019). The FRAME: An expanded framework for reporting adaptations and modifications to evidence-based interventions. Implementation Science, 14(1), 58. https://doi.org/10.1186/s13012-019-0898-yhttps://doi.org/10.1186/s13012-019-0898-y

  31. Tackett, J. L., Brandes, C. M., King, K. M. & Markon, K. E. (2019). Psychology’s Replication Crisis and Clinical Psychological Science. Annual Review of Clinical Psychology, 15(1), 579–604. https://doi.org/10.1146/annurev-clinpsy-050718-095710

  32. Weisz, J. R., Kuppens, S., Ng, M. Y., Eckshtain, D., Ugueto, A. M., Vaughn-Coaxum, R., Jensen-Doss, A., Hawley, K. M., Krumholz Marchette, L. S., Chu, B. C., Weersing, V. R. & Fordwood, S. R. (2017). What five decades of research tells us about the effects of youth psychological therapy: A multilevel meta-analysis and implications for science and practice. American Psychologist, 72(2), 79–117. https://doi.org/10.1037/a0040360

  33. Weisz, J. R., Kuppens, S., Ng, M. Y., Vaughn-Coaxum, R. A., Ugueto, A. M., Eckshtain, D. & Corteselli, K. A. (2019). Are Psychotherapies for Young People Growing Stronger? Tracking Trends Over Time for Youth Anxiety, Depression, Attention-Deficit/Hyperactivity Disorder, and Conduct Problems. Perspectives on Psychological Science, 14(2), 216–237. https://doi.org/10.1177/1745691618805436

  34. Aase, H., Lønnum, K., Sørlie, M.-A., Amlund Hagen, K., Gustavson, K. & Utgarden, I.-H. (2020). Barn, unge og kriminalitet. Hvordan forhindre at barn og unge kommer inn i eller fortsetter med en kriminell løpebane? Oppsummering og vurdering av virksomme tiltak, behandling og organisering. Norwegian Institute of public Health. https://www.fhi.no/publ/2020/barn-unge-og-kriminalitet/

  35. Ådnanes, M., Kaspersen, S. L., Melby, L. & Lassemo, E. (2020). Pakkeforløp for psykisk helse og rus—Fagfolks erfaringer første året (SINTEF Rapport 64). https://hdl.handle.net/11250/2719242