Ønsket om å påvise effekt

For 13 år siden startet vi utviklingen av en manualbasert intervensjon for søsken og foreldre til barn med kronisk sykdom, SIBS, med mål om å forebygge psykiske helseplager blant søsken gjennom å styrke kommunikasjonen mellom foreldre og barn (Vatne et al., 2019). Vi har holdt tilbake fullskala implementering i Norge da vi mener det er uetisk å spre tiltak uten evidens. Vi har nylig avsluttet en randomisert kontrollert studie (RCT) av SIBS som har mange fellestrekk med TIK-studien.

Mens Bjørk skriver fra rollen som stipendiat, skriver vi som hovedutvikler av SIBS (Vatne) og som prosjektleder for RCT-studien av SIBS (Fjermestad). Vi hadde jobbet med intervensjonen i syv år før vi påbegynte RCT-studien. Basert på våre evalueringsstudier i Norge og Kambodsja, som viste signifikant bedring på søskens psykiske helse (Fjermestad et al., 2020; Haukeland et al., 2020), hadde vi et solid grunnlag for en hypotese om effekt av intervensjonen. Vi fikk midler fra Forskningsrådet til en RCT, preregistrerte studien og publiserte protokollen med mål om å rekruttere 288 familier basert på styrkeberegning. Studien startet høsten 2019 med siste datainnsamling høsten 2023.

Ønsket om å påvise effekt var stort. I søknader skrev vi at det er viktig å avdekke eventuelle nulleffekter eller negative effekter. Familier og helsepersonell skal jo ikke investere tid og krefter i tiltak som ikke virker. Men mente vi virkelig dette? Et mindre risikabelt prosjekt ville ha vært å implementere intervensjonen basert på gode evalueringer, høy tilfredshet og ønsker fra tjenester og familier. Det har vi holdt tilbake med.

Usikkerhet og press

Gjennom prosjektperioden hadde prosjektleder Fjermestad våkenetter: «Tenk om det ikke virker. Tenk om familiene blir verre.» Det er knapt mulig å forestille seg kompleksiteten i gjennomføringen av en RCT, hva det krever av samarbeid og logistikk, og alle (u)ventede komplikasjoner (en verdensomspennende pandemi, rettighetsproblemer med spørreskjema, datasystemer som krasjer). SIBS hovedutvikler Vatne opplevde samtidig sterkt press fra aktører om å implementere intervensjonen – uavhengig av evidens. Det faktum at Bjørk og Havighurst er uenige om Bjørks rolle i prosjektet, reflekterer kompleksiteten i store RCT-er.

Selvfølgelig blir man som forsker og fagperson opptatt av at prosjektet skal lykkes. Det edruelige, sannferdige, moralske, nøytrale «I only care about what the data says» forsvinner (tidvis). Etter vi åpnet randomiseringsnøkkelen, fant vi noen forskjeller som ikke gikk i forventet retning. Kunne det stemme at intervensjonsgruppa ble verre? Vi lette med lys og lykte i data, og etter flere runder fant vi kodingsfeilen og kunne fastslå at forskjellen var i «riktig» retning. Dersom vi hadde funnet det vi forventet, med én gang – hadde vi da kvadrupelsjekket resultatene på samme måte? Det ærlige svaret er nei.

Publisering av nullfunn

Vi publiserte effektartikkelen med nullfunn (Kirchhofer et al., 2025). Vi fant forskjell mellom gruppen som gjennomgikk intervensjonen, og gruppen som stod på venteliste, men forskjellen er ikke signifikant når det tas hensyn til varians på gruppenivå (de 288 deltakerne ble randomisert til 69 grupper). Forskjellene er i retningen vi forventet: bedre mental helse og kommunikasjon. Effektene er høyere enn i mange andre forebyggingsstudier, men etterlengtede p < .05 mangler. Når vi på kammerset kjører enklere analyser (uavhengige t-tester) kun på deltakere med komplette data, finner vi p < .05. Vi kunne ha valgt å se bort fra vår egen preregistrering, men kravet om å preregistrere kom for 20 år siden (De Angelis et al., 2004). Vi kunne ha sendt artikkelen til et lavere nivå tidsskrift med de enkle testene, de fine p-verdiene og vist et flott, men spekulativt, resultat.

Vi som forskningsgruppe har fått råd fra kolleger: «Hva? Skal dere publisere nullfunn? Er det ikke mer kreative måter dere kan utforske data på? Dette er jo en så viktig studie.» Prosjektleder har vært frustrert på stipendiater som har stilt (betimelige) kritiske spørsmål til studien og analysene, og har nok (skamfullt) innimellom tenkt «gjør nå det du får beskjed om, ikke mas». Hadde vi ikke vært så investert i intervensjonen, hadde vi aldri orket å gjøre en RCT. Og ære være den som gjør en RCT av en intervensjon de ikke tror på.

Problemstillingene Bjørk tar opp, er gjenkjennbare og trolig noe flere har latt seg påvirke av. Derfor må vi som forskere og fagmiljø diskutere de forskningsetiske spørsmålene han tar opp.