Kan vi lita på (andras) publicerade forskningsresultat?

“Hardly anyone takes data analysis seriously. Or perhaps more accurately, hardly anyone takes anyone else’s data analysis seriously.”

 

Ovanstående citat härstammar från en över 30-årig artikel av nationalekonomen Edward Leamer.[i] Ett citat som ganska ofta dyker upp i debatter om forskningsresultat som baserar sig på olika typer av statistiska metoder och data.

 

Det hela handlar om vi kan lita på forskningsresultat eller rättare sagt andras forskningsresultat. Det finns flera faktorer som spelar in huruvida vi kan vara någorlunda säkra på nya forskningsresultat. En kvalitetsstämpel är givetvis den vetenskapliga granskningen av publicerade artiklar. En annan, att nya studier kan replikeras med hjälp av samma eller oberoende datamaterial. I detta avseende finns det en idé om att forskningen är en självkorrigerande process. Att forskare har en sund skepticism till enskilda och nya forskningresultat vilket uppmuntrar till replikationer och nya relaterade studier, vilket i slutändan kan leda till att de forskningsresultat som till slut blir mer eller mindre etablerade ”sanningar” faktiskt har en gedigen vetenskaplig grund.

 

Inom delar av samhällsvetenskapen, eller i alla fall inom statsvetenskapen, fungerar detta inte speciellt bra i praktiken. Dels finns det sällan strikta krav att göra datamaterialet tillgängligt i samband med publicering eller att förse granskarna med det aktuella datamaterialet (om det skulle röra sig av data som av olika skäl inte kan eller får spridas).  Dels publicerar de vetenskapliga tidskrifterna helst artiklar med nya fynd och påståenden, än korrigeringar av gamla. Och ett flertal tidskrifter publicerar överhuvudtaget inte kritik mot publicerade artiklar i den egna tidskriften.

 

Sedan diskussionen om att försöka få mer transparenta forskningsprocesser tog fart för drygt 30 år sedan har det blivit bättre, men ännu är det långt till en tillfredställande granskning av nya forskningsresultat.[ii] Ser du påståenden som t.ex. att kvinnors menstruationscykel eller mäns armstyrka påverkar hur de röstar, finns det anledning att vara skeptisk! Båda är dessutom exempel på påståenden som blivit avfärdade, dvs. där den självkorrigerade processen fungerat. Vilka andra forskningsresultat som aldrig skulle blivit publicerade eller relativt snabbt tillbakavisats är svårt att svara på. För detta krävs det att datamaterial för forskning blir mer tillgängligt under granskningsprocesser och/eller i samband med publicering.

 


[i] Leamer, Edward (1983). Let’s Take the Con Out of Econometrics, American Economic Review 73, 1, 31-43.

[ii] Inom statsvetenskapen var ett viktigt bidrag till debatten Gary King:s rekommendationer om hur vi möjliggör granskningar av publicerad forskning, se t.ex. King, Gary (1995). Replication, Replication. PS: Political Science & Politics,28(03), 444-452.

0 Kommentarer

Lämna en kommentar

Lämna ett svar

E-postadressen publiceras inte. Obligatoriska fält är märkta *