Du er her

Språkanalyse må erstatte empirisk forskning

Språkanalyse må erstatte empirisk forskning

Overvurderingen av det empiriske og undervurderingen av det selvfølgelige har ført oss inn i teoretiske og metodiske blindgater og til en praktisk lite anvendbar psykologi.

Publisert
1. august 2019

Et yrkesliv som akademiker og praktiker har fått meg til å undre over hvor mye og på hvilken måte psykologers reelle viten og ferdigheter har økt de siste hundre årene. Særlig er jeg i tvil om det enorme og stadig stigende antallet empiriske studier gir forventet resultat. Hvis resultatet faktisk har uteblitt, hvordan kan dette forklares, og hvorfor fortsetter forskningen allikevel i det samme, tilsynelatende ufruktbare sporet?

Jeg tror at innsamlingen av data blir holdt ved like av et sosialt belønningssystem (grader og stillinger) og fortsetter fordi man ikke har gjort en tilstrekkelig grundig vurdering av holdbarheten av de forutsetninger man implisitt bygger på, og som ikke tar i betraktning særegne trekk ved psykologiske fenomener.

Den ensidige vektleggingen av empirisk forskning går også parallelt med en manglende erkjennelse av hvor mye som er nødvendig sant i psykologien, og av at det ikke er mulig å finne noe prinsipielt nytt i faget. Psykologi handler om oss selv, og kanskje kan vi ikke oppdage noe grunnleggende nytt om oss selv da vi ikke kan se oss selv utenfra. En analogi er at man ikke kan blåse opp en ballong innenfra.

Her skal jeg forsøke å sammenfatte og argumentere for mitt standpunkt, som også er gjort rede for i en rekke internasjonale publikasjoner (se Smedslund, 2009, 2012a, 2012b, 2016a, 2016b, i trykk).

Det viste seg umulig å eksperimentere på klassisk vis annet enn med grupper av forsøkspersoner og med støtte i statistikk. Resultatet ble RCT­-paradigmet som metodisk gullstandard

Jeg vil først sammenfatte de prinsipielle vanskelighetene som empirisk psykologisk forskning møter innenfor sitt eget paradigme, og siden presentere en alternativ språkbasert tilnærming til tenkning og praksis i vårt fag. Den første delen av artikkelen drøfter problemene i det nåværende forskningsparadigmet, mens den andre delen introduserer et alternativt språkbasert paradigme.

I Smedslund-debatten som løp i Psykologtidsskriftet fra april 2017 til august 2018 lå psykologiens kjerne i nøtteknekkeren.

Empirisk psykologisk forskning

Moderne psykologi er et prosjekt som ble inspirert av naturvitenskapens suksesshistorie, men som etter min vurdering har feilet, først og fremst fordi psykologi er et område som passer spesielt dårlig for empirisk forskning, og sekundært fordi den metodikk som har utviklet seg som tilpasning til dette, gir resultater som er lite anvendbare i praksis.

Moderne psykologi var fra begynnelsen tenkt som en erfaringsvitenskap, det vil si tenkt å bygge på empiri og søke etter generelle lover. I møtet med de psykologiske fenomenenes egenart har dette prosjektet ført til en særegen type metodikk man nok kan fortsette med i ubegrenset tid, men som aldri vil gi teoretisk og praktisk nyttige resultater.

Kort fortalt begynte problemene umiddelbart med at klassiske eksperimenter med enkeltmennesker viste seg å være vanskelige, fordi forsøkspersonene husket sine opplevelser og altså forandret seg. Psykologiske prosesser er irreversible (vi «lærer av erfaring»), og vi kan aldri helt gå tilbake til et tidligere stadium. Derfor kan man ikke avgjøre om en endring i en persons reaksjon fra når personen testes under én betingelse, til når personen testes under en annen betingelse, kommer av forandring av betingelsen eller av forandring av personen. Det er også umulig å vite om en forskjell i atferd mellom to personer i to forskjellige betingelser kommer av situasjon eller person.

Nokså tidlig kom derfor tanken om i stedet å sammenligne gjennomsnittene av to like grupper av personer, en gruppe i hver betingelse. Da ville en gruppeforskjell måtte forklares av variasjonen i betingelse og ikke av endring i personene. Man prøvde å gjøre gruppene så like som mulig med hensyn til deltakernes personlige egenskaper, men etter hvert ble det klart at antallet relevante variabler var ubestemmelig stort, og derfor tungvint eller umulig å manipulere. Neste trinn ble å gi opp forsøket på å likestille («matche») gruppene med hensyn til et stort antall variabler, og i stedet sammenligne to tilfeldig utvalgte grupper fra samme befolkningsunivers i to situasjoner. En statistisk signifikant forskjell i gjennomsnittlig reaksjon vil da måtte forklares ut fra forskjellen mellom situasjonene. Med andre ord viste det seg umulig å eksperimentere på klassisk vis annet enn med grupper av forsøkspersoner og med støtte i statistikk. Resultatet ble RCT­-metoden som gullstandard. Psykologisk forskning kom utelukkende til å omfatte gjennomsnittlige statistiske tendenser i grupper trukket tilfeldig fra samme populasjon og testet under kontrollerte betingelser, og med stor avstand til psykologiske prosesser hos enkeltmennesker. Denne varianten av vitenskap ble utformet uten å ta tilstrekkelig hensyn til to hovedtrekk ved psykologiske prosesser: deres irreversibilitet og det ubegrensete antallet determinanter (samtidige og historiske kontekster). Resultatet var minst to typer av vedvarende hovedproblemer.

Det ene hovedproblemet vedrører teori og henger sammen med at psykologiske prosesser er avhengige av kontekst, og at antallet forskjellige kontekster (variabler) er ubegrenset stort. Dette har ført til at «The Age of Theory» og leting etter generelle empirisk baserte prinsipper nærmest har opphørt (Teigen, 2001). Empirisk prøvbare teoretiske modeller blir nå for det meste bare laget for stabile, mindre områder. I dag finner man som oftest bare enkelthypoteser om mulige sammenhenger. Vanskelighetene med replikasjon av eksperimentelle funn (Collaboration, 2015) hører også med i dette bildet fordi de viser utfordringene i nøyaktig å gjenskape betingelser i en ubegrenset komplisert verden i stadig irreversibel forandring. 

Fordi psykologiske undersøkelser gjennomgående viser sammenhenger som bare forklarer en meget liten del av variasjonen, blir de nærmest verdiløse som støtte for psykologisk praksise

Det andre hovedproblemet vedrører praksis og henger sammen med at bruken av gruppegjennomsnitt vanskeliggjør anvendelsen av funnene. Nytteverdien av å trekke slutninger fra gjennomsnitt til enkelttilfeller er direkte proporsjonal med hvor sterk en sammenheng er. Hvis en hypotese forklarer en stor del av variasjonen, er sannsynligheten for å gjøre feil liten. Det er sikrere å slutte fra gjennomsnitt til enkelttilfeller når det dreier seg om store forskjeller og høye korrelasjoner, enn når det bare er svake statistiske sammenhenger. Men fordi psykologiske undersøkelser gjennomgående viser sammenhenger som bare forklarer en meget liten del av variasjonen, blir de nærmest verdiløse som støtte for psykologisk praksis.

Behandling av enkeltindivider er avhengig av kompliserte, stadig skiftende og unike samspill og situasjoner. Svake gjennomsnittlige funn i standardiserte situasjoner har derfor minimal veiledende verdi i det enkelte unike tilfelle. Psykologisk forskning genererer etter min mening ytterst sjelden tilstrekkelig pålitelige holdepunkter for praksis. 

Mennesker er forutsigbare bare i den grad forholdene ikke endrer seg (for mye)

Jeg har ovenfor pekt på to hovedsvakheter ved den særegne type forskning som forsøker å vinne ny generell kunnskap om psykologi ved empiriske metoder. Man har blitt tvunget til å gi opp drømmen om å formulere generelle teorier og å kunne bruke dem til å lage regler for korrekt praksis. Men forskningen fortsetter i form av enorme mengder av undersøkelser som rapporterer små forskjeller og lave korrelasjoner.

Jeg tror at mange i dag innser at det man finner av psykologisk lovmessighet, alltid bare er lokal og temporær fordi mennesker er aktive og målrettede, lærer, og kontinuerlig møter ubegrenset varierende situasjoner. Alle psykologiske sammenhenger står i relasjon til foranderlige kontekster.

Sagt med andre ord, det vi kan lære av erfaring, er knyttet til unike personer og situasjoner, eller til konsekvenser av lover, regler og skikker som er etablert i angjeldende samfunn. Det finnes neppe hittil ukjente psykologiske «lover» som kan avdekkes ved å samle inn data.

I lys av ovenstående negative konklusjon kan man forstå to tydelige bevegelser i dagens psykologi. Den ene er at mange akademiske psykologer og deres studenter forlater tradisjonell psykologi og går over til nevrovitenskap eller hybridstudier. Dette er et område der naturvitenskapelige metoder og teori kan anvendes. Den reelle forbindelsen til psykologisk praksis blir imidlertid redusert til punktvise eksempler og programmatiske tekster, for eksempel i forbindelse med hjerneskader. Den andre bevegelsen er såkalt kvalitativ forskning som inngående studerer enkeltpersoner, men som ikke fører til generaliserbar vitenskapelig kunnskap i tradisjonell betydning.

Med bakgrunn i de nevnte svakhetene ved empirisk forskning som grunnlag for teori og praksis vil jeg nå beskrive en alternativ mulighet for videre utvikling av psykologien.

Språkanalytisk tilnærming

For å ha psykologi trenger vi et språk, både for å beskrive, for å tenke over og for å dele med hverandre hva vi erfarer og tenker. Menneskelige språk har en felles basal begrepsstruktur, og alle språk synes å inneholde de samme grunnbegrepene (Wierzbicka, 1996). Disse danner «kjellergulvet» i den menneskelige begrepsverdenen, og kan ikke analyseres videre. Noen av dem som er særlig sentrale i psykologien, kan på norsk antydningsvis uttrykkes som «vite», «tenke», «ønske», «føle» og «gjøre». Disse og andre begreper i språket forutsetter at mennesker er «bevisste», «målrettede», «aktive», «husker», osv. Dette peker på at all psykologi bygger på et felles system av innbyrdes relaterte forutsetninger. De utsier hva vi vet om oss selv forut for all erfaring og som gir struktur til alt vi erfarer. For eksempel vet vi at atferd er målrettet. Dette er selvfølgelig sant fordi språket forutsetter det.

Grunnordene i språket – og dermed også alle høyere ordens ord og uttrykk sammensatt av grunnordene – har faste innbyrdes relasjoner (danner et system), og dette gir grunnlag for mange nødvendig sanne utsagn. La meg gi to enkle eksempler på relasjoner mellom noen av grunnordene.

Hva du føler i en situasjon, følger nødvendig av forholdet mellom hva du tenker om (hvordan du oppfatter) situasjonen, og hva du ønsker i situasjonen. Eksempel: Når du tenker du kan være smittet av ebola og du ønsker å leve, føler du redsel. Et annet eksempel er at hvis du ønsker å utføre en handling og tenker at du kan utføre den, så vil du forsøke å utføre den (når ingen andre ønsker og tanker spiller en rolle). Hvis du ønsker å bestå en opptaksprøve og tror du kan greie det, og ingen andre hensyn spiller inn, så forsøker du.

Fordi språket er en struktur av innbyrdes relaterte begreper, vil noen setninger være nødvendige og andre umulige. For eksempel må alle forbausete personer ha opplevd noe uventet (fordi det følger av ordenes mening). Videre kan det umulig være sant at alle eiere av seilbåt må foretrekke epler fremfor bananer. Den siste hypotesen er meningsløs og uforenlig med forutsetninger vi lever med. Vi kan, for eksempel, ikke tro at en person som liker bananer bedre enn epler, alltid må skifte til å like epler bedre når hun kjøper en seilbåt.

Paradoksalt nok får språket ofte psykologer til å prøve om nødvendig sanne hypoteser stemmer. Pseudoempiriske studier – studier der hypotesene følger logisk av meningen med ordene – er derfor meget utbredt. I pseudoempiriske studier søker man å teste plausible teorier og enkelthypoteser, uten å tenke over at resultatene er gitt på forhånd, fordi det ikke gir mening å benekte dem. Det finnes mange studier av forskning som kunne vært unngått hvis man hadde spurt seg om alternative resultater overhodet var mulige. Se for eksempel Arnulf, Dysvik og Larsen (2018), Semin og Krahé (1987), Smedslund (1991), Wallach og Wallach (2010) og G. Smedslund (1997).

Genuint empiriske generelle hypoteser, der variablene er klart logisk uavhengige, blir derimot sjelden studert, fordi språket gjør dem svært usannsynlige. Jf. eksemplet med preferanse for frukt og eierskap av seilbåt.

Det bør legges til at psykologisk forskning ofte har benyttet seg av begreper som er uklart definert, og der det derfor tas for gitt at en sammenheng mellom dem må studeres empirisk. Eksempel: forskningen som pretenderte å vise empirisk at frustrasjon førte til aggresjon, uten at man reflekterte over at begrepet aggresjon logisk forutsetter frustrasjon. Ingen kan være sint uten å være frustrert.

Men selv om mange psykologiske studier vedrører språklig nødvendige forhold og derfor er pseudoempiriske, finnes det selvfølgelig også observerte regelmessigheter i atferd som ikke følger av ordenes mening, og må anses som empiriske. Men alle disse forutsetter en stabilitet i kontekst og konsekvenser. Eksempler på dette er atferd bestemt av språk, lover, skikk og bruk, personlige vaner, mm. Regelmessig atferd må alltid ses på som resultat av dynamisk likevekt, det vil si opprettholdes bare så lenge relevante aspekter av kontekst og konsekvenser ikke forandrer seg. Når psykologiske hypoteser blir bekreftet, dreier det seg derfor bare om bestemmelse av atferd og opplevelse under midlertidig stabile lokale forhold, og ikke om «forskning» i betydningen søken etter ny generell kunnskap. Sagt på en annen måte: Mennesker er forutsigbare bare i den grad forholdene ikke endrer seg (for mye).

Et annet trekk ved psykologisk språk som jeg alt har antydet, spiller også en rolle, fordi det skiller seg fra naturvitenskapelig språk, for eksempel i nevrofag. Psykologiske begreper er gjennomgående utviklet fra begreper i dagligspråket. En direkte konsekvens av dette er at psykologiske hypoteser lett blir pseudoempiriske, det vil si tester hypoteser som følger nødvendig av innbyrdes relasjoner mellom ordene som er brukt.

Naturvitenskapelige begreper, for eksempel i hjerneforskning, er derimot knyttet til målinger gjort med tekniske instrumenter, og er svakt knyttet til dagligspråket. Relasjoner mellom naturvitenskapelige variabler er derfor som regel genuint empiriske, det vil si, følger ikke av ordenes mening.

Det foregående betyr at språket gir antydninger om hva som er tilfelle og ikke tilfelle, og om hva som må skje og ikke kan skje. Når det skjer noe uventet, forventer vi at personen blir forbauset, og hvis noen er forbauset, forventer vi at hun har opplevd noe uventet. På den annen side forventer vi at det å kjøpe seilbåt ikke virker på preferanse for type frukt, og at preferanse for type frukt ikke forteller noe om eierskap av seilbåt. Språket kanaliserer våre forventninger.

Språket forbereder oss altså ikke bare på at en sammenheng er der, men også på at den kan variere og altså ikke er generelt gyldig

En viktig komplikasjon er at også logisk nødvendige hypoteser kan gi gale forutsigelser. Man overser da at hypoteser i virkeligheten aldri kan prøves uten bruk av hjelpehypoteser, som stilltiende tas for gitt. Hvis man, for eksempel, vil undersøke om det stemmer at alle blir forbauset når det skjer noe uventet, eller at preferanse for frukt ikke henger sammen med å eie eller ikke eie seilbåt, kan man gjøre det ved å spørre personer direkte eller bruke spørreskjemaer. Resultatene er imidlertid gyldige bare hvis vi kan stole på hjelpehypoteser, som at forsøkspersonene har hørt eller lest instruksene, at de forstår instruksene riktig, at de ikke lyver, osv. Dette betyr at også logisk nødvendige hypoteser noen ganger kan se ut som om de er svekket av data, men dette kommer da alltid av at en eller flere hjelpehypoteser er gale. Det kan være at forsøkspersonene ikke har hørt eller lest instruksene, misforstått spørsmålene, løyet osv. Det er også mulig at psykologen ikke har hørt eller lest svarene riktig, ikke har forstått dem, har feilrapportert dem, osv. I en debatt med Albert Bandura hevdet han at selv om hans teori var logisk nødvendig, måtte den allikevel testes empirisk. Han overså da at det ikke var hans teori, men bare forskjellige hjelpehypoteser som da ble testet.

Dynamisk likevekt

Selv om mange psykologiske studier er pseudoempiriske fordi variablene er logisk relatert, kan man selvfølgelig også formulere hypoteser som er klart empiriske, det vil si kan tenkes å være riktige eller gale. I genuint empiriske hypoteser er variablene alltid logisk uavhengige. Det vil si at språket åpner for alternative muligheter. Da gir det god mening at man må ty til data for å bestemme hvilke muligheter som er realisert, og altså prøve sannhetsverdien av en hypotese i en gitt sammenheng. Det interessante her er at det er vanskelig å finne eksempler på helt generelle empiriske psykologiske hypoteser som er prøvbare. De som finnes, er alltid bare lokale og tidsavgrensete. Dette er en observasjon som har vidtrekkende konsekvenser.

Empirisk forskning skiller seg fra hva vi lærer av hverdagens erfaringer med mennesker, på ett avgjørende punkt, nemlig at den søker etter noe som er generelt gyldig. Vitenskapelig kunnskap går alltid ut over lokal og tidsbegrenset viten, og her finner vi en grunnleggende forskjell mellom resultatene av empirisk psykologisk forskning og den psykologi som er innebygget i språket. Empirisk forskning leter etter og søker å formulere hittil ukjente allmenngyldige relasjoner mellom logisk uavhengige variabler, mens det menneskelige språk utviklet gjennom uminnelige tider tvert imot peker på at logisk uavhengige variable nettopp må forventes å være empirisk urelaterte. Språket forbereder oss altså på at en sammenheng kan variere og altså ikke er generelt gyldig.

Det kan altså se ut som om vi på forhånd vet at språklig urelaterte variabler ikke kan ha en helt generell empirisk relasjon. Vi vet på forhånd at det ikke kan være en helt generelt gyldig sammenheng mellom å være eier av en seilbåt og preferanse for epler. Selv om vi kan tenke oss helt spesielle forhold der det er en slik sammenheng, tror vi ikke den kan være helt generell, og at det alltid er mulig for en som foretrekker bananer fremfor epler, å kjøpe en seilbåt uten å begynne å foretrekke epler. Sagt på en annen måte: En hypotese om en fast sammenheng mellom eierskap av seilbåt og en fruktpreferanse er uforenlig med en rekke andre forutsetninger som vi til daglig lever med.

Jeg mener altså at det system av språklige grunnbegreper og forutsetninger som er utviklet gjennom menneskelig samliv i uminnelige tider, ikke bare viser oss hva som må være allmenngyldig, men også hva som må variere.

Sammenfattende kan man si at mens empirisk forskning går ut fra at det finnes hittil ukjente sammenhenger mellom psykologiske fenomener, går språkanalysen ut fra at vi allerede i utgangspunktet kjenner oss selv, og at vi bare kan forsøke å sette bedre ord på strukturen i det vi alle vet.

Konklusjon: Empirisk forskning versus språkanalyse

Jeg har forsøkt å vise at det ikke er mulig å vinne ny generell kunnskap i form av generelle prinsipper eller lover gjennom å samle inn data, fordi mennesker er irreversibelt aktive, målrettede, lærer, og er åpne for ubegrenset skiftende miljøer og inntrykk. Ved å analysere vårt språk kan vi derimot se tydeligere hva vi allerede implisitt og eksplisitt vet, og våre muligheter for å tenke og oppleve, forstå og forutsi. Vi kan ikke endre eller overskride vår basale forståelsesform fordi den allerede er forutsatt i hvordan vi oppfatter, handler og rapporterer. Omvendt kan man ikke lære noe allment om relasjonen mellom psykologiske variabler som ikke allerede er kjent og diskriminert. Uttrykt i terminologien fra Jean Piaget kan man si at man ikke kan akkommodere til det som ikke er assimilert. For eksempel viste jeg i en studia (Smedslund,1961) at forsøkspersoner ikke kunne lære en korrelasjon på +.93 mellom diskriminerbare, men ikke diskriminerte variable selv etter 4500 forsøk. Med andre ord, personer kan ikke lære selv en meget høy korrelasjon mellom to variabler som de ikke persiperer.

Mens empirisk forskning går ut fra at det finnes hittil ukjente sammenhenger mellom psykologiske fenomener, går språkanalysen ut fra at vi allerede i utgangspunktet kjenner oss selv.

I stedet for å bygge på empirisk baserte teorier og diagnosebaserte manualer tror jeg vi må fortsette arbeidet med å analysere «sunn fornuft» (common sense) som er innebygget i språket, og som jeg har kalt psykologikk (se Smedslund, 1988 og 1997). Dette begrunner en praksis der psykologen fungerer som bricoleur («alt-mulig-mann/-kvinne»)(Smedslund 2016b), det vil si at han eller hun møter klienter med en mest mulig forutsetningsløs åpenhet, og bruker seg selv i samarbeid med klienten. Begreper som for eksempel tillit spiller en sentral rolle i denne prosessen (Smedslund, i trykk). En nærmere analyse av dette begrepet viser fem logisk nødvendige (og sammen logisk tilstrekkelige) betingelser, nemlig omsorg, forståelse, egenkontroll, selvkontroll og relevant kompetanse.

Innholdet i denne artikkelen kan sammenfattes på følgende måte: Overvurderingen av det empiriske og undervurderingen av det selvfølgelige har ført oss inn i teoretiske og metodiske blindgater og til en praktisk lite anvendbar psykologi. I stedet bør vi fortsette analysen av den psykologi som er innebygget i språket, og implikasjonene av dette for hva vi gjør i praksis. Jeg vet ikke sikkert om vi i dag er bedre psykologer enn for hundre år siden. Men hvis vi er bedre, kommer det neppe av innsamling av data, men av dypere refleksjon over det vi alle vet på forhånd.

Sett i et større perspektiv kan vi anta at grunnbegrepene i språket er utviklet i menneskenes sosiale liv gjennom utallige generasjoner og etter hvert også nedfelt i vårt genetiske utstyr. Vi er ikke konstituert av enkle og konstante atferdsdisposisjoner (universelle lover) som ville gjort oss til et lett bytte for overgripere og rovdyr. Vi overlever fordi vi er relativt uforutsigbare «sjakkspillere», samtidig som vi søker å etablere og leve i tillitsfulle samarbeidsforhold med andre. I lys av dette er det lite reelt håp for at empirisk forskning kan bli annet enn statistisk kartlegging av ulike lokale forhold som eksisterer i nåtid.

Teksten sto på trykk første gang i Tidsskrift for Norsk psykologforening, Vol 56, nummer 8, 2019, side

Kommenter denne artikkelen

Arnulf, J.K., Dysvik, A., & Larsen, K. (2018). Measuring Semantic Components in Training and Motivation: A Methodological Introduction to the Semantic Theory of Survey Response. Human Resource Development Quarterly, Doi: 10.1002/hrdq.21324.

Collaboration, Open Science (2015-08-28). Estimating the reproducibility of psychological science. Science. Doi:10.1126/science aac4716.

Roediger, H.L. (2008). Relativity of remembering: Why the laws of memory vanished. Annual Review of Psychology, 59, 225-50.

Semin, G.R. & Krahé, B. (1987). Lay Conceptions of Personality: Eliciting Tiers of a Scientific Conception of Personality. European Journal of Social Psychology, 17, 199-209.

Smedslund, G. (1997). Some psychological theories are not empirical: A conceptual analysis of the «stages of change» model. Theory & Psychology, 7, 529–544.

Smedslund, J. (1988). Psychologic. Heidelberg: Springer Verlag.

Smedslund, J. (1991). The pseudoempirical in psychology and the case for psychologic. Psychological Inquiry, 2, 325-338. (Target article.)

Smedslund, J. (1997). The Structure of Psychological Common Sense. Mahwah: NJ.:Erlbaum.

Smedslund, J. (2009). The mismatch between current research methods and the nature of psychological phenomena: What researchers must learn from practitioners. Theory and Psychology, 19(6), 1-17.

Smedslund, J. (2012a). The bricoleur-model in psychological practice. Theory & Psychology, 22, 643-657.

Smedslund, J. (2012b). What follows from what we all know about human beings. Theory & Psychology, 22, 658-668.

Smedslund, J. (2016a). Why Psychology cannot be an Empirical Science. Integrative Psychological and Behavioral Science, 50, 185-195.

Smedslund, J. (2016b). Practicing Psychology without an Empirical Evidence-Base: The Bricoleur-Model. New Ideas in Psychology, 43, 50-56.

Smedslund, J. (i trykk). Professional Practice without Empirical Evidence: The Psycho-Logic of Trust. I T. Lindstad, E. Stanicke og J. Valsiner (red.), Respect for Thought: The Legacy of Jan Smedslund to Psychology. Heidelberg: Springer Verlag.

Teigen, K.H. (2002). One hundred years of laws in psychology. American Journal of Psychology. 115, 103-118.

Wallach, L. & Wallach, M. (2010). Some theories are unfalsifiable. Theory & Psychology, 20, 702-706.

Wierzbicka, A. (1996). Semantics: Primes and Universals. Oxford. Oxford University Press.