Fagfellevurdering uten tidsskrifter for å takle de vanskeligste feilkildene i vitenskap.

Vi lever i 2018, der jeg ved å gå inn på Elektrolux og skrive inn serienummeret på kjøleskapet for å få nytt håndtak, undervarmeelementer i stekeovnen, støttestag i forstillingen på bilen, lett kan skaffes via bildeler.no ved å skrive inn registreringsnummeret på bilen min. Det er bare helt utrolig hvor lett det begynner å bli å skaffe alskens reservedeler som man før var helt avhengig av hjelp til fra fagfolk. Denne observasjonen brukte Timothy Gowers for å vise hvor tilbakestående tidsskrifter er sammenlignet med forbrukerverdenen på Muninkonferansen 2017.

Og "fagfellevurderingene" av forbrukervarer på nettet er bare helt utrolig presis. Hvis man trenger spesialdeler og detaljert instruksjon om hvordan skifter den til en gammel Toyota fra 1949 så finnes det kanskje en lang forumtråd om dette på diverse nettforum. Skal man ha en spesiell blyant, så er det detaljerte tester av hvordan de er å skrive med på diverse blyantblogger og på Amazon sine "Reviews", antagelig enda mer detaljert enn de fleste fagfellevurderinger innen vitenskap. Denne observasjonen gjorde Michael Eisen seg også nylig:

"If you buy pen refills on Amazon, you get far more useful feedback about the benefits and deficits of a particular product than you do about a work of science that represents years and years of peoples' work and millions of dollars of public investment," Eisen says.

 Arild Haraldsen sa på Partnerforums Blockchain konferanse i vinter at en ekspert på flybilletter hadde fortalt han på 90-tallet at flybilletter aldri kom til å bli mulig å kjøpe via internett fordi det var altfor komplisert å få koordinert alle avganger og transaksjoner fra millioner av brukere og utallige aktører.

Men bedre datasystemer og åpen fagfellevurdering kommer ikke til å løse forskningskvalitet av seg selv fordi de fundamentale feilene blir introdusert på tidligere tidspunkter:

Dr. Michael Lauer, a deputy director of the National Institutes of Health, told the meeting that one huge problem is that scientists often fail to ask a fundamental question before starting an experiment, which is how many people or animals should be included in a study. By the time a study is done and submitted for publication, it's too late.

Derfor prøver Michael Eisen nå å sette sammen et system som han kaller Appraise som skal styrke fagfellevurdering ved å utelate de forstyrrende insentivene som tidsskrift-prestisjen introduserer.

In that spirit I describe here a new project – called Appraise – that is both a model and experimental platform for what peer review can and should look like in a world without journals. 

Tidsskriftenes rolle blir da ifølge redaktøren Bloom i BMJ å gå fra en portvokter  til å bli en kurator i et midlertidig parallelløp med preprint for å hjelpe forskerne til å sortere ut klinten fra hveten:

So she still sees a role for journalists, if not as gatekeepers, at least as curators. "I think probably for a while we'll see a parallel track where the journals still provide some imprint of thorough review, statistical review, methodological review," she says, while preprints will "allow the community to share more with each other much more rapidly."