The San Francisco Declaration on Research Assessment (DORA)

Det har vært mye kritikk av impact-factor i mange år, og et Googlesøk på "impact factor criticism" viser at det er mye kritikk av dette målet på tidsskriftkvalitet. Så hva er alternativet? Det prøvde Independent Review of the Role of Metrics in Research Assessment and Management å besvare i sin rapport som kom ut i juli i år, og i følge artikkelen i The Guardian uttalte lederen av gruppen på hvor viktig det var å få innført OrcID og andre åpne og interoperative datastrukturer for at indikatorer kan støtte oppunder målet om å tilføre ressursene dit de gjør mest nytte for seg.

Indicators can only meet their potential if they are underpinned by an open and interoperable data infrastructure. How underlying data are collected is crucial. If we want agreed, standardised indicators, we need unique, unambiguous, persistent, verified, open, global identifiers; standard data formats; and standard data semantics. Without putting this holy trinity in place, we risk developing metrics that are not robust, trustworthy or properly understood.

The San Francisco Declaration on Research Assessment (DORA) har nå 12616 underskrifter fra individer og 592 organisasjoner så skepsisen mot impact factor øker jevnt og trutt i forskermiljøene. Denne etter mitt skjønn grundige vitenskapelige undersøkelsen av et stort forskerteam, hovedsakelig fra Universitetet i Edinburgh, med tittelen "Risk of Bias in Reports of In Vivo Research: A Focus for Improvement" prøver å besvare hvor unøyaktig Impact Factor er for forskningsadministrasjon og forskningsfinansiering og viser at bruk av Impact Factor er med på å allokere forskningspengene fra vitenskapelige gjennombrudd og over til forskning som viser seg å være blindspor. Av en eller annen grunn så var ikke "Research Excellence Framwork" i Storbritannia interessert i å bidra til deres undersøkelser. Jeg tipper "Research Excellence Framwork" foretrekker å gjøre sine egne analyser for å ikke avsløre hvor feilslått forskningsfinansieringen har vært de siste årene.

Of greater concern is that there still appears to be a lack of engagement with these issues amongst those charged with assessing the quality of published research. In the course of this work, we approached the UK Higher Education Funding Council (HEFC) seeking details of those publications submitted to them in the context of the 2014 REF; they declined a Freedom of Information request on the basis that disclosure would not, in their view, be in the public interest. The REF should of course have a role in championing good science, but it should also be a force for improvement, seeking to provide measures against which institutions and scientists can monitor improvements in the rigour of their Research.

 "The Metric Tide"-rapporten viser at de er klar over problemstillingen og planleggingen av OrcID i Storbritannia viser at de jobber med situasjonen. Åpen interoperatibel infrastruktur er en global bølge, blant annet så har Italia satt seg fore å få 80 prosent av forskerne sine over på OrcID innen 2016.

Hanne Skartveit fortalte denne vitsen på et seminar i Norges Bank 2012 som illustrerer godt problemet med impact factor også:

 

Let me conclude with a story. A shepherd in Hallingdal is out tending a huge flock. A man comes walking over the hill with self-assurance in his stride. He calls out to the shepherd, saying: “I’ll wager that I can tell you the exact number of sheep in your flock. If I’m wrong, I’ll give you ten thousand kroner, but if I’m right, I get a sheep. The shepherd thought this was a nifty idea; it was, after all, a large flock. The man says, “By my calculations, there are 354 sheep”. The shepherd stood aghast, because that indeed was the correct number! The man picked up an animal, placed it under his arm and started to leave. The shepherd then came to his senses and called out to the man, “I’ll double your bet. I’ll wager that I can tell you exactly what your line of work is!” “Oh? All right,” said the man, accepting the bet. “I am certain that you work in New Public Management!” said the shepherd. Now it was the man’s turn to be dumbfounded, for that was absolutely right. He asked, “How did you know that I work in the New Public Management?” And the Shepherd replied, “Put down my dog and I’ll tell you…”

http://www.norges-bank.no/pages/94855/skartveit.pdf