Derfor kan to forskere få forskellige svar på det samme spørgsmål\nHaven med de forgrenede stier\nPå jagt efter signifikante resultater\nNår nulfund bliver liggende i skuffen\nDe ubetrådte stier i haven\nEt studie kan sjældent stå alene

Gennem grundige og nøje tilrettelagte studier forsøger forskere at undersøge store og små videnskabelige spørgsmål på en fordomsfri og objektiv måde. Der er bare ét stort problem, som står i vejen for objektiviteten: Vi forskere skal træffe valg. Hvordan skal vi indsamle og håndtere data? Hvilke antagelser lægger vi til grund for vores analyser? Og hvilke målestokke skal vi bruge? På den ene side er disse spørgsmål en styrke ved forskningen, der kan føre til mange forskellige videnskabelige tilgange. På den anden side efterlader det forskere med subjektive valg, der kan påvirke de endelige resultater. I denne artikel vil jeg se nærmere på de uheldige konsekvenser, det kan have, når forskere står med for mange valg. Forskerne Andrew Gelman og Eric Loken har beskrevet de mange subjektive valg med en metafor kaldet 'Haven med de forgrenede stier'. Forskeren bevæger sig gennem haven ('det videnskabelige spørgsmål'), og ved hver forgrening tager forskeren et valg – bevidst eller ubevidst – om at bevæge sig i den ene eller anden retning. To forskellige forskere kan derfor ende vidt forskellige steder i den samme have. Det kan potentielt føre til forskellige resultater i en videnskabelig undersøgelse. Mængden af valg (forgreninger i haven) kaldes for forskerens frihedsgrader. I en have med mange stier har forskeren stor frihed, mens friheden er begrænset, når der er få stier at gå ad. De mange frihedsgrader har blandt andet den konsekvens, at andre forskere kan have svært ved at identificere den samme sti i haven og dermed genskabe resultaterne. Et problem der bidrager til 'replikationskrisen', som du kan læse mere om i denne Videnskab.dk-artikel. Hvis vi nu sender en masse forskere gennem den samme have, kan man opfatte haven som en stemmeboks. Hvis et flertal af forskere vælger at følge en bestemt sti, er netop denne sti nok det bedste valg... Eller hvad? For hvad sker der, når forskerens valg ikke alene er afgjort af forskningsmæssige overvejelser, men også af om studiet kan udgives i et tidsskrift? Det har i mange år været et problem for forskningen, at positive (signifikante) fund oftere finder vej til tidsskrifter end de såkaldte nulfund. Eksempelvis vil et studie, der påviser en sammenhæng mellem skærmtid og mistrivsel muligvis have mere held i et tidsskrift end et andet studie, der ingen sammenhæng finder. Det skaber en gevinst for de forskere, der vader rundt i haven, indtil de har ramt en interessant sti, der afføder et positivt fund. I dette scenarie er forskerne altså på jagt efter signifikante resultater. Fænomenet er kendt som 'p-hacking', og det er et stort problem for troværdigheden af et studie. Man hører nemlig ikke om alle de stier, som gav andre resultater. Det forvrænger vores forståelse af virkeligheden. Hvis vi forestiller os, at forskeren holdt sig til sin sti, der førte til et ikke-signifikant resultat, ville studiet måske aldrig blive publiceret. Mange forhold kan have indflydelse på, hvorfor nulfunds-studier ikke udkommer. Hvis forskeren ikke kunne bekræfte sin hypotese, kan studiet hurtigt vurderes som uinteressant for både praktikere og tidsskrifter. Men det kan være problematisk at lægge resultaterne i skuffen. Hvis en forskerkollega på et senere tidspunkt forsøger at besvare samme spørgsmål, kan det ske, at de følger en ny sti og finder et signifikant resultat. Nu vælger kollegaen at skrive en videnskabelig artikel om sit fund og sender den til et tidsskrift, som siger ja tak. På den måde skabes et 'arkivskuffe-problem', hvor nulfund gemmes væk, mens positive fund udgives. Konsekvensen af denne 'publikationsbias' er, at vi får ensidige svar på de videnskabelige spørgsmål. I haven (på illustrationen ovenfor) vil det svare til, at det kun er forskere, der ender ved bestemte træer, som får deres studier publiceret, mens dem, der finder vej til de øvrige træer, sjældent gør. Som forsker vil man aldrig vælge en tilfældig sti i haven. Man træffer oplyste valg, ligesom man forsøger at sætte tal på usikkerh...