Mulig gjennombrudd for måling av kvalitet?

Ikke så nytt, men nok en grundig studie fra et de store (USA baserte National Institute of Health) bekrefter tidligere funn om at gjennombruddsforskning innen livsvitenskap skjer utenfor de store tidsskriftene. "What if I told you that nearly 90 percent of the publications which have profoundly influenced the life sciences did not appear in a high-impact factor journal?"

Det som er nytt er at de forslår en ny metode som er fundamentalt ny og akkurat det som man har tenkt på i flere år og som nå er i ferd med å bli en realitet:

Key to the RCR is the concept of co-citation network. In essence, this new metric compares the citations an article receives to a custom-built citation network which is relevant to that particular paper. The relevant network is defined by the entire collection of papers which are referenced in the papers that cite the reference paper.

Les mer http://www.ascb.org/nature-of-scientific-impact/

Kvifor brukar ikkje juristar Git-teknologien for å lage lovar?

Clay Shirky har ein flott video frå 2012 om kvifor vitskapsfolk, spesifikt juristar, ikkje brukar teknologiske mulegheiter som GIT når det er åpenbart at den både er effektiv og kompatibel med demokrati. Han fortel at det tok 164 år frå erotiske noveller kom, til vitskapsfolk fant ut at trykkjeteknologien kunne brukast for å effektivisere vitskap. Det går framover, men det er heilt klart mange som enno ikkje har høyrt om desse ideane. Lærebøkene innan forskningsjournalistikk og forskningsformidling som er nyleg utgitt tek utgangspunkt i einvegskommunikasjon fordi brukarane vert sett på som ute av stand til å bidra tovegs ser det ut til. http://prosa.no/essay/ingen-sporsmal-er-for-dumme/ Det er nok diverre denne holdninga som ligg til grunn for ordet "formidling" og det vil nok ta litt tid før forskninga ser på "hvermannsen" som noko anna enn "ankelbitarar".

Fem spådommer for åpen vitenskap i 2016

Det ser ut til at USA, Storbritannia og EU i løpet av det neste året vil ha fortgang i datautvinning, kortere og mer fagtilpassede embargoer, teknisk interoperatibilitet og mer konkurranse i forfatterbetalinger i løpet av 2016. Åpning av flere deler enn sluttproduktet kommer nok til å bli mye mer utviklet:

9. Opening Up the Publishing Process

We can expect to see the principle of openness increasingly applied not only to articles, but to the publishing process itself. New initiatives will seek to open up the “black box” of peer review, through greater transparency in reviewer identities, and increased interactions between editors, reviewers and authors.

Jeg synes alle 10 spådommene treffer veldig godt, blant annet fordi dette er endringer som allerede er i gang slik som F1000 sin post-publikasjon-fagfellevurdering, så den kan jeg anbefale å lese dem her:

http://publishingperspectives.com/2015/10/the-next-wave-of-open-access-5-predictions-for-2016/

og her:

http://publishingperspectives.com/2015/10/the-next-wave-of-open-access-5-more-predictions-for-2016/

Elsevier og åpen vitenskap

Verdens største vitenskapelige forlag, Elsevier, prøver å tilpasse seg de økende kravene om åpen vitenskap. I dette intervjuet av Dr. Stephane Berghmans (@StefEurope), Elsevier’s VP of Global Academic & Research Relations, får ser man at Elsevier har skjønt at åpen vitenskap kommer og at de prøver å tilpasse seg. Jeg merker meg særlig at de begynner å bli klar over "borgervitenskap":

Q: Which other stakeholders are involved in this development, and how? And why is it important to have conferences or discussions like the Quadriga Debate on Science 2.0?
One comment I recently heard was that when moving from open access to open data and open science, the biggest challenge has been the drastic increase in the number of stakeholders. Beside researchers and the scientific community, one of the most interesting stakeholder groups is Citizens.

OrcID på Oxford

University of Oxford har nå en løsning for å få verifisert sin tilknytning til universitetet på OrcID til de ansatte. Les mer her.

Vitenskapen er nå i et fundamentalt irreversibelt paradigmeskifte

Denne videoen er verd å få med seg. "Jean-Claude Burgelman (European Commision) argues that transition in science is a matter of facts, not beliefs."

Fra denne siden: https://www.fosteropenscience.eu/content/we-need-demonstrate-empirical-basis-our-policy-has-effect-and-impact

EU Research Commissioner Carlos Moedas har gitt klar beskjed til forlagene: “There is a revolution happening in the way science works. Every part of the scientific method is nowadays becoming an open, collaborative and participative process,” Moedas said. “Can publishers afford to stay out of that trend? I believe that much effort [is] need[ed] ….. by the main publishers to adjust their business models to the realities of the 21st century.”

Foster open science har noen veldig gode opplæringsmoduler, og der fant jeg denne gode skissen under "View the taxonomy Three." https://www.fosteropenscience.eu/foster-taxonomy/open-science

Det er utrolig mange gode ressurser for åpen vitenskap, myntet særlig på unge forskere og studenter, på opplæringssiden:
https://www.fosteropenscience.eu/ som for eksempel denne 16 siders introduksjonen til åpen innovasjon og hvordan utdanningsinstitusjonene må bli grunnlagsleverandører til innovasjon. Forfatter er Henry Chesbrough fra Berkeley: https://www.fosteropenscience.eu/content/open-science-open-innovation

The San Francisco Declaration on Research Assessment (DORA)

Det har vært mye kritikk av impact-factor i mange år, og et Googlesøk på "impact factor criticism" viser at det er mye kritikk av dette målet på tidsskriftkvalitet. Så hva er alternativet? Det prøvde Independent Review of the Role of Metrics in Research Assessment and Management å besvare i sin rapport som kom ut i juli i år, og i følge artikkelen i The Guardian uttalte lederen av gruppen på hvor viktig det var å få innført OrcID og andre åpne og interoperative datastrukturer for at indikatorer kan støtte oppunder målet om å tilføre ressursene dit de gjør mest nytte for seg.

Indicators can only meet their potential if they are underpinned by an open and interoperable data infrastructure. How underlying data are collected is crucial. If we want agreed, standardised indicators, we need unique, unambiguous, persistent, verified, open, global identifiers; standard data formats; and standard data semantics. Without putting this holy trinity in place, we risk developing metrics that are not robust, trustworthy or properly understood.

The San Francisco Declaration on Research Assessment (DORA) har nå 12616 underskrifter fra individer og 592 organisasjoner så skepsisen mot impact factor øker jevnt og trutt i forskermiljøene. Denne etter mitt skjønn grundige vitenskapelige undersøkelsen av et stort forskerteam, hovedsakelig fra Universitetet i Edinburgh, med tittelen "Risk of Bias in Reports of In Vivo Research: A Focus for Improvement" prøver å besvare hvor unøyaktig Impact Factor er for forskningsadministrasjon og forskningsfinansiering og viser at bruk av Impact Factor er med på å allokere forskningspengene fra vitenskapelige gjennombrudd og over til forskning som viser seg å være blindspor. Av en eller annen grunn så var ikke "Research Excellence Framwork" i Storbritannia interessert i å bidra til deres undersøkelser. Jeg tipper "Research Excellence Framwork" foretrekker å gjøre sine egne analyser for å ikke avsløre hvor feilslått forskningsfinansieringen har vært de siste årene.

Of greater concern is that there still appears to be a lack of engagement with these issues amongst those charged with assessing the quality of published research. In the course of this work, we approached the UK Higher Education Funding Council (HEFC) seeking details of those publications submitted to them in the context of the 2014 REF; they declined a Freedom of Information request on the basis that disclosure would not, in their view, be in the public interest. The REF should of course have a role in championing good science, but it should also be a force for improvement, seeking to provide measures against which institutions and scientists can monitor improvements in the rigour of their Research.

 "The Metric Tide"-rapporten viser at de er klar over problemstillingen og planleggingen av OrcID i Storbritannia viser at de jobber med situasjonen. Åpen interoperatibel infrastruktur er en global bølge, blant annet så har Italia satt seg fore å få 80 prosent av forskerne sine over på OrcID innen 2016.

Hanne Skartveit fortalte denne vitsen på et seminar i Norges Bank 2012 som illustrerer godt problemet med impact factor også:

 

Let me conclude with a story. A shepherd in Hallingdal is out tending a huge flock. A man comes walking over the hill with self-assurance in his stride. He calls out to the shepherd, saying: “I’ll wager that I can tell you the exact number of sheep in your flock. If I’m wrong, I’ll give you ten thousand kroner, but if I’m right, I get a sheep. The shepherd thought this was a nifty idea; it was, after all, a large flock. The man says, “By my calculations, there are 354 sheep”. The shepherd stood aghast, because that indeed was the correct number! The man picked up an animal, placed it under his arm and started to leave. The shepherd then came to his senses and called out to the man, “I’ll double your bet. I’ll wager that I can tell you exactly what your line of work is!” “Oh? All right,” said the man, accepting the bet. “I am certain that you work in New Public Management!” said the shepherd. Now it was the man’s turn to be dumbfounded, for that was absolutely right. He asked, “How did you know that I work in the New Public Management?” And the Shepherd replied, “Put down my dog and I’ll tell you…”

http://www.norges-bank.no/pages/94855/skartveit.pdf

63 prosent av Nature publiseringer i 2015 blir publisert open access, 96 prosent av dem CC-BY

CC-BY er i ferd med å bli standardlisens slik open access bevegelsen har anbefalt i flere år. 96 prosent av alle open access artikler i Nature blir nå publisert med denne lisensen som gir alle de viktigste fordelene fra opphavsretten, og ingen av de dårlige. Nature vet hvor det bærer hen så de posisjonerer seg klokt.

OVER 60% OF 2015 RESEARCH ARTICLES ON NATURE.COM ARE OPEN ACCESS

Nature Publishing Group publishes 63% of research articles via open access models; 96% of authors choose CC BY

Les mer her.

Farida Shaheed om copyright og patenter sin betydning for utbredelse av vitenskap, pluss litt om sirkelargumentasjon.

Den pakistanske sosiologen og feministen Farida Shaheed er FNs spesialrådgiver innen kulturelle rettigheter. Hun og hennes rådgivere har utgitt en rapport om copyright på 24 sider i 2014 og en rapport nå om patenter i 2015 på 26 sider. Det er uhyre sjelden jeg kommer over en så fortettet og samtidig lettlest og helhetlig framstilling av så kompliserte spørsmål som internasjonal intellektuell eiendomsrett. Hun må ha hatt fri tilgang til verdens ypperste ekspertise på disse områdene samtidig som hun må ha hatt sterk støtte for sitt mandat i ryggen siden hun har operert på et av de mest hemmelighetsfulle, penge- og maktinfiserte delene innen internasjonale handelsavtaler som Transatlantic Trade and Investment Partnership (TTIP) mellom USA og Europa og Trans-Pacific Partnership (TPP).

Joseph Stiglitz advarer i en nylig artikkel i Project syndicate spesielt mot TTIP og TTP sin misbruk av intellektuelle rettigheter som på det beste har lite å gjøre med økonomisk vekst. Stitlitz henviser til Journal of Economic Perspectives Symposium fra 2013 der Boldrin, Michele, and David K. Levine skriver følgende:

The case against patents can be summarized briefl y: there is no empiricalevidence that they serve to increase innovation and productivity, unlessproductivity is identififi ed with the number of patents awarded—which, asevidence shows, has no correlation with measured Productivity.

Petra Moser skriver i en annen artikkel:

Historical evidence suggests that in countries with patent laws, the majorityof innovations occur outside of the patent system. Countries without patent lawshave produced as many innovations as countries with patent laws during some timeperiods, and their innovations have been of comparable quality. Even in countrieswith relatively modern patent laws, such as the mid-nineteenth-century UnitedStates, most inventors avoided patents and relied on alternative mechanisms whenthese were feasible. 

Det som særpreger forskning på patenter, opphavsrett, siteringer og fagfellevurderinger er at man bruker sirkelargumentasjon i stor grad som denne fiktive uttalelsen: 

"I am an excellent researcher, the system recognizes that I am excellent, therefore the system must be excellent".

Eller at de universitetene som har flest patenter, er mest innovative, derfor er patenter bra for innovasjon. Eller de landene som har mest copyright er mest innovative, derfor er copyright bra. Eller de som blir sitert mest av de beste tidsskriftene er best, derfor er siteringer et godt mål på kvalitet. Det er pussig hvor lett skjevheter får fotfeste i akademia. Impact factor og universitetsrangeringer er jo ikke mulig å undersøke vitenskapelig engang, og sannhetsgehalten i dem er nok veldig tilfeldig.

Viktigheten av crowdsourcing og åpen vitenskap i viktige samfunnsspørsmål

Raphael Silberzahn& Eric L. Uhlmann har skrevet en veldig spennende artikkel i Nature om viktigheten av åpen vitenskap for forskning som har særlig stor viktighet for samfunnet. De har fått stor respons fra forskningsmiljøene i verden og har lansert portalen Manylabs. Noe å tenke på i forbindelse med ebolaforskning, flyktningepolitikk og klimapolitikk?

The transparency resulting from a crowdsourced approach should be particularly beneficial when important policy issues are at stake. The uncertainty of scientific conclusions about, for example, the effects of the minimum wage on unemployment, and the consequences of economic austerity policies should be investigated by crowds of researchers rather than left to single teams of analysts.

Academia.edu har fått en fagfellevurderingsmodul som kalles for Sessions som har 6000 besøk om dagen uttaler Richard Price til Nature News:

"We’re just coming out of a closed-stage trial, which has been wildly popular. Literally hundreds of people are coming together to discuss a single paper. On any given day right now, there are 6,000 Sessions under way."

Hvordan forskere lurer seg selv - Kahneman støtter åpen forskning

Regina Nuzzo hadde en interessant artikkel i Nature 7. oktober om hvordan forskere lurer seg selv. Jeg synes Daniel Kahneman har den beste argumentasjonen for åpen vitenskap som handler om å poste ideer for samarbeid istedenfor konkurranse:

When it comes to replications and controversial topics, a good debiasing approach is to bypass the typical academic back-and-forth and instead invite your academic rivals to work with you. An adversarial collaboration has many advantages over a conventional one, says Daniel Kahneman, a psychologist at Princeton University in New Jersey. “You need to assume you're not going to change anyone's mind completely,” he says. “But you can turn that into an interesting argument and intelligent conversation that people can listen to and evaluate.” With competing hypotheses and theories in play, he says, the rivals will quickly spot flaws such as hypothesis myopia, asymmetric attention or just-so storytelling, and cancel them out with similar slants favouring the other side.

Sitering som kvalitetsindikator

Curt Rice skrev en tankevekkende bloggpost i fjor om hvordan en evaluering av den norske forskningsindikatoren konkluderte med at indikatoren har hjulpet til med å øke antall publiseringer, men ikke hevet kvaliteten:

"Regarding the overall conclusion it is natural to return to the evaluation questions: has the Publication Indicator stimulated more research, and research of higher quality? Our assessment here is that the indicator has likely helped regarding the first part of the question, but not compared to the last - at least not when we measure quality in terms of impact."

Curt Rice skriver:

"In 2000, 25% of Norwegian articles remained uncited in their first four years of life. By 2009, this had fallen to about 15%. "

og Björn Brembs trekker følgende konklusjon dersom man legger som premiss at færre usiterte artikler er like ille som færre avviste artikler til tidsskriftene:

"An increasing number of articles with any citations at all can thus only mean one thing: the Dunning-Kruger Effect has come to science."

Dette er ikke Curt Rice eller Björn Brembs sitt inntrykk. Men det er derimot sterke indikasjoner på at fagfellevurderingen ikke virker for å sortere ut kvalitet og at siteringer er et dårlig mål på kvalitet, mest sansynlig kontraproduktivt. I artikkelen "How to Make More Published Research True" så skriver John P. A. Ioannidis i Summary Points:

Currently, many published research findings are false or exaggerated, and an estimated 85% of research resources are wasted.

Institusjonelle arkivers potensiale som institusjonens utstillingsvindu

OpenAIRE ønsker å gjøre de disiplinære arkivene mer attraktive, og jeg kan tenke meg at disse arkivene har et stort potensiale for å bli institusjonene og vitenskapelige selskapers utstillingsvindu i framtiden når fagfellevurderingsmoduler blir lagt inn. Med OrcID og DOI så skulle det bli mulig å få importert fagfellevurderinger utenifra arkivene også, slik at dette utstillingsvinduet blir langt mere interessant å innhente informasjon fra enn i dag.

Why aren’t articles on arXiv or any other open access repository formally credited as publications? What is it exactly that separates open access repositories from Publishers?

Les mer om dette prosjektet "Developing the first Open Peer Review Module for Institutional Repositories"

Publisering av ideer og fagfellevurdering og risikoen for å bli kopiert

Research Ideas and Outcomes (RIO) er verdens første tidsskrift som tar sikte på å publisere hele forskningsprosessen fra A til Å, inkludert ideer, fagfellevurderinger, datamateriale, programvare, samskrivingen og alt annet. Det er en interessant gjennomgang av hvor stor suksess dette vil bli i forskermiljøene. "In today's impact factor-dominated scientific community this primary purpose of research too often takes the back seat." sier Lisa Vincenz-Donnelly, a PhD student from the Max Planck Institute of Biochemistry i en kommentar til lanseringen av Research Ideas and Outcomes. En av grunnleggerne av ScienceOpen, Prof. Alexander Grossmann kommer med noen svært interessante historiske betraktninger som viser at forskerne ikke stjeler ideer slik kritikerne mener kommer til å skje med RIO:

“It’s the same as going to a conference - you can imagine someone seeing a poster, taking some notes, returning home and saying “Now I will do a couple more experiments and it will be accepted by Nature.” I think there is a 1 to 1000 chance or less that it will happen in a way which will harm the researcher who presented the original findings. There has been 1 million preprints published on arXiv for the past 24 years and I have never heard of such a story. The principle of posting or publishing new results immediately on a publishing platform could support the researcher to get priority for that work – if the publication has received a unique identifier, which makes it citeable.”

Med en DOI og en OrcID tilknyttet denne DOI, så kan det erstatte en gammeldags CV, der man kan lagre alle sine bidrag til vitenskap i den nye løsningen som OrcID lanserer om noen dager, slik at man selv kan framheve sine bidrag til store samarbeidsprosjekter i forbindelse med jobbsøknader eller søknad om forskningsmidler. OrcID-merittlisten kan gjøre det mere treffsikkert for arbeidsgivere å få tak i riktig person eller forskningsfond å tildele midler til riktige prosjekter sammenlignet med dagens svært usofistikerte og vitenskapelig bevist svært feilaktige Impact Factor system. Løsningen er trolig å oppheve tidsskriftenes monopol på kvalitetsvurdering slik Independent Peer Review Manifesto foreslår og erstatte den med ett sett av nye digitale muligheter basert på OrcID og DOI:

Since the problem has its roots in the combined power of evaluation and publication under a single authority (journals), the solution lies in separating these powers. Although the majority of researchers feel that journals are essential to scholarly communication, more and more voices are being raised and are questioning the way journal peer review is used to certify the validity and quality of our work.

Som en bonus, politikere, private donorer, vitenskapsfolk og allmennheten kan med åpen vitenskap sansynligvis også i økende grad måle mer nøyaktig om forskningen blir anvendt i det praktiske livet. Harvard har et spennende "Internet Monitor Dashboard" prosjekt på gang som gjør at den stadig viktigere forskningen kan få en mer direkte innvirkning på samfunnets behov.

Åpen vitenskap: kartleggingen av livets tre er i gang, første publikasjon i PNAS er ute

Aftenposten har en flott reportasje 24. september 2015 om det banebrytende åpen vitenskapprosjektet "Open Three of Life". Denne grunnforskningen åpner opp for nedstrøms anvendelser innen klimaforskning, landbruk, økologi, biologi, naturvern i følge forfatterne i den første artikkelen fra det velrennomerte tidsskriftet Open Access så klart.

Our open source framework facilitatescommunity comment and contribution, enabling the tree to becontinuously updated when new phylogenetic and taxonomic data become digitally available. Although data coverage and phylogenetic conflict across the Open Tree of Life illuminate gaps in both the underlyingdata available for phylogenetic reconstruction and the publication of trees as digital objects, the tree provides a compelling starting point for community contribution. This comprehensive treewill fuel fundamental research on the nature of biological diversity, ultimately providing up-to-date phylogenies for downstream Applications in comparative biology, ecology, conservation biology, climate change, agriculture, and genomics.

 
 Åpen vitenskap er egentlig bare vitenskap slik den bør være, og for grunnforskningen så har den bevist sin styrke ved fullstendige kartleggingen av det menneskelige genet fra tidligere.