Boklansering av "Sannhet til salgs"

I kveld så jeg på et videoopptak boklanseringen av Dag Olav Hessen sin nye bok "Sannhet til salgs" og skrev en kommentar i Khrono.no  Det var interessant at ingen nevnte ordene "åpen vitenskap" og tatt i betraktning det enorme gjennombruddet som åpen vitenskap har internasjonalt var dette en interessant observasjon synes jeg. En annen ting var den litt påfallende enigheten og understrekingen at man ikke måtte begynne å skyte på hverandre, at det ikke var meningen å svartmale situasjonen, hvor glad man var i den offentlige interessen for temaet, at politikerne var så interessert, hvor fornøyde og idealistiske forskerne og studentene var med oppmerksomheten. Hmm, dette virker ikke helt logisk på meg. Her sitter en ansvarlig minister med et årlig budsjett på 35 milliarder kroner og trenger gode kandidater, men makter universitetene å produsere dette? Det har kommet en del bøker og artikler som ikke tar universitetenes glansbilder om kunnskapsrike kandidater helt ukritisk. Jeg tror kanskje den kommende boka  "The Coddling of the American Mind" kan ha fanget litt av tidsånden, men når jeg snakker med tidligere medstudenter og finner ut at de knapt har oppdatert seg siden de ble uteksaminert, og tror at fagfellevurdering har "kvalitetssikret" informasjon slik at man kan stole på den ukritisk, og at så godt som bare noen håndfuller har hørt om åpen vitenskap så er det noe som ikke stemmer med min definisjon på "topp kandidater". En annen ting er at kvalitetsprosenten på vitenskapelige fagfellevurderte tidsskrifter ofte ikke er kjent i forskermiljøene selv engang. De som vet det pleier å si den ligger på rundt halvparten usant. Selv om forskning handler om å prøve ut idéer og skal være eksperimentelt, og det er helt i orden å teoretisere, så må man for eksempel ikke framstille eksplorativ forskning som deduktiv, og man bør rapportere negative funn og legge ved datamaterialet der det er mulig.

Situasjonen er derfor mest sannsynlig at høyere utdanning og forskning er i en dyp krise som er internasjonal og alvorlig. Det ble delvis erkjent av paneldeltakerne at det var viktig å gå i seg selv og praktisere indremedisin. Men jeg fikk inntrykk av at erkjennelsen kanskje ikke stikker så dypt når forskningsministeren lurer på om universiteter kan se på DORA  (vurdering av innhold ved ansettelse), at h-indeks er et utmerket verktøy ved ansettelser, hegne om de gode journalene og tradisjonell fagfellevurdering. Hvis man sliter med berøringsangst til løsningen også så er det tegn til så sakte progresjon at man risikerer at samfunnet blir ustabilt over tid. Glipper tilliten til eliten på det økonomiske og utdanningsmessige så får hele samfunnet et stort problem. Og den vanlige akademiske innstillingen om at man bare kan vente og se hva som skjer kan bli en farlig blindgate. Paneldeltakerne sa også at ikke alle phd kandidatene kunne regne med en foskerkarriere, det er litt av et understatement fordi bare 0,45 prosent internasjonalt av phd kandidatene blir professorer, men de bør ha lært vitenskapelige metoder uansett hva de ender opp som.

Open Science made easy

Her er en fin 7 punkts brosjyre om hvordan man kan praktisere åpen vitenskap enkelt:

https://osf.io/hktmf/

Mobiltelefoner som rusmidler og slanketips uten å anstrenge seg.

Mathilde Tybring-Gjedde er oppdatert på forskning om mobiltelefonibruk blandt unge, og har skrevet en kjempefin oppsummering av nyere forskning som viser at det kan være en sammenheng mellom  blandt annet skjermtid og selvmord. Jeg synes Mathilde er på rett spor ved å orientere seg i forskningen, men vil gjerne helle litt malurt i begeret fordi dette temaet er opplagt noe som er lett å få publisert forskningsartikler på, og som er lett å markedsføre via media.

Slankeråd er også et tema som lett får stor oppmerksomhet fordi overvekt er et stort problem i vårt overflodssamfunn. Det åpner for mange muligheter til å få forskningsfinansiering og publisering på temaet naturlig nok. Gunnhild Stordalen har prøvd å finne mest mulig forskning på området, og har samarbeidet med blant andre Brian Wansink som har blitt kritisert for feilaktig forskning. En av hans anbefalinger har vært å spise på mindre talerkner. Her er en oppsummering av kritikken mot Brian Wansink av Stephanie M. Lee "The Inside Story Of How An Ivy League Food Scientist Turned Shoddy Data Into Viral Studies" i BuzzFeed News.

Forskere har i mange år visst at omtrent halvparten av forskningsartiklene er usanne, men disse kvalitetsproblemene har forskerne ikke vært så flinke til å fortelle om til resten av samfunnet fordi det selvfølgelig krasjer med universitetenes markedsføringsstrategi om at de tilfører samfunnet solid fundert kunnskap. I dagens samfunn som interessen for forskningsresultater er veldig høy, og brukes av politikere og en stadig mer utdannet befolkning, så er det viktig å formidle denne usikkerheten, mener jeg. Brian Wansink er med i rådgivningsgruppen for GreeNudge som Stordalen Foundation har tatt initiativet til. GreenNudge har nært samarbeid med OsloMet og Helse og omsorgsdapartementet. Stordalen Foundation beskriver GreeNudge slik:

The GreeNudge International Advisory Board (IAB) consists of the world's leading thinkers and researchers in behavioral economics. The IAB provides expertise and guidance related to the GreeNudge scientific research program and to applications of behavioral economics to achieve behavioral changes among consumers. The IAB members are Cass Sunstein (Harvard University), Richard Thaler (Chicago University), George Loewenstein (Carnegie Mellon University), Brian Wansink (Cornell University), Max H. Bazerman (Harvard University), and David Halpern  Chief Executive of the Behavioural Insights Team BIT).  

Lars Akerhaug har skrevet artikkelen "Gunhild Stordalens samarbeidspartner tatt for store feil" i Minervanett og fikk dette som svar fra GreeNudges direktør Knut Ivar Karevold:

GreeNudge har undersøkt kvaliteten på arbeidet Wansink har gjort for dem, forteller Karevold.
– Gjennomgangen viser at den vitenskapelige kvaliteten er god.
Nå har GreeNudge imidlertid omorganisert virksomheten.
– Brian Wansink har som følge av dette i dag ikke en rolle som forskningsdirektør i GreeNudge, og vi har ingen pågående felles prosjekter, sier Karevold.

 Dersom man lager systematiske studier basert på artikler som for en stor grad er usanne, så kan man risikere at man ikke får fram det systematiske studier er ment til, nemlig å fortelle en historie som sier noe mer enn enkeltstudiene hver for seg kan fortelle. Man risikerer at systematiske studier samlet peker mot at mobiltelefoni fører til selvmord, og kan på feilaktig grunnlag gjøre mobiltelefonen til syndebukk, uten at man får gjordt noe med selvmordsraten. Jeg kan tenke meg at det blir satt igang kampanjer fra skoleverket om farene med mobilbruk, og informasjonsmateriell til helsesøstre PPP rådgivere i hele landet uten grunn. Skeptikere vil raskt bli avfeid som noen som ikke ønsker å gjøre noe med selvmord blant unge. Et av problemene med systematiske studier er at de kun leter etter publiserte studier, og da vet man at negative funn ikke er blant disse. For eksempel, dersom 10 studier viser en sammenheng mellom mobiltelefonbruk og selvmord, mens 990 studier viser at det ikke er noen sammenheng, så vil bare de 10 studiene som viser en sammenheng bli publisert. Sanjay Srivastava har skreve om problemet i "Everything i fucked" serien sin:  "Why summaries of research on psychological theories are often uninterpretable"

Forskning er fint, men man skal være veldig på vakt når det begynner å komme rapporter om feil fra kompetente faktasjekkere som Nick Brown og James Heathers. Disse har en helt annen metode med blant annet sine SPRITE og GRIM tester enn Faktasjekk  og Faktisk.no har kompetanse til. Og disse faktasjekkerne går så dypt og utfordrer ledende forskningsmiljøer på en måte som ligger langt utenfor de fleste sin kompetanse. Åpen vitenskap er det nå etterhvert stor konsensus er det eneste som kan bidra til nøyaktig og sannferdig vitenskapelig kunnskapsproduksjon fordi forskningsinfrastrukturen fra 1700-tallet og dagens fagfellevurdering har i liten grad vært selvkorrigerende for feil. Mens disse systemene etterhvert blir en realitet, så må man i mellomtiden være veldig kritisk til forskning uansett hvor prestisjetunge de er og uansett fagfelt slik Björn Brembs har en god oppsummering på i Frontier.

Fagfellevurdering uten tidsskrifter for å takle de vanskeligste feilkildene i vitenskap.

Vi lever i 2018, der jeg ved å gå inn på Elektrolux og skrive inn serienummeret på kjøleskapet for å få nytt håndtak, undervarmeelementer i stekeovnen, støttestag i forstillingen på bilen, lett kan skaffes via bildeler.no ved å skrive inn registreringsnummeret på bilen min. Det er bare helt utrolig hvor lett det begynner å bli å skaffe alskens reservedeler som man før var helt avhengig av hjelp til fra fagfolk. Denne observasjonen brukte Timothy Gowers for å vise hvor tilbakestående tidsskrifter er sammenlignet med forbrukerverdenen på Muninkonferansen 2017.

Og "fagfellevurderingene" av forbrukervarer på nettet er bare helt utrolig presis. Hvis man trenger spesialdeler og detaljert instruksjon om hvordan skifter den til en gammel Toyota fra 1949 så finnes det kanskje en lang forumtråd om dette på diverse nettforum. Skal man ha en spesiell blyant, så er det detaljerte tester av hvordan de er å skrive med på diverse blyantblogger og på Amazon sine "Reviews", antagelig enda mer detaljert enn de fleste fagfellevurderinger innen vitenskap. Denne observasjonen gjorde Michael Eisen seg også nylig:

"If you buy pen refills on Amazon, you get far more useful feedback about the benefits and deficits of a particular product than you do about a work of science that represents years and years of peoples' work and millions of dollars of public investment," Eisen says.

 Arild Haraldsen sa på Partnerforums Blockchain konferanse i vinter at en ekspert på flybilletter hadde fortalt han på 90-tallet at flybilletter aldri kom til å bli mulig å kjøpe via internett fordi det var altfor komplisert å få koordinert alle avganger og transaksjoner fra millioner av brukere og utallige aktører.

Men bedre datasystemer og åpen fagfellevurdering kommer ikke til å løse forskningskvalitet av seg selv fordi de fundamentale feilene blir introdusert på tidligere tidspunkter:

Dr. Michael Lauer, a deputy director of the National Institutes of Health, told the meeting that one huge problem is that scientists often fail to ask a fundamental question before starting an experiment, which is how many people or animals should be included in a study. By the time a study is done and submitted for publication, it's too late.

Derfor prøver Michael Eisen nå å sette sammen et system som han kaller Appraise som skal styrke fagfellevurdering ved å utelate de forstyrrende insentivene som tidsskrift-prestisjen introduserer.

In that spirit I describe here a new project – called Appraise – that is both a model and experimental platform for what peer review can and should look like in a world without journals. 

Tidsskriftenes rolle blir da ifølge redaktøren Bloom i BMJ å gå fra en portvokter  til å bli en kurator i et midlertidig parallelløp med preprint for å hjelpe forskerne til å sortere ut klinten fra hveten:

So she still sees a role for journalists, if not as gatekeepers, at least as curators. "I think probably for a while we'll see a parallel track where the journals still provide some imprint of thorough review, statistical review, methodological review," she says, while preprints will "allow the community to share more with each other much more rapidly." 

Åpen vitenskap må læres på grunnskole og videregående

For noen dager siden så snakka jeg med en professor som sa at åpen vitenskap er interessant for forskere, men ikke studenter og og Phd studenter. Jeg mener det er motsatt ved at åpen vitenskap bør inn allerede på grunnskolen ved at elevene annoterer avisartikler med Hypothes.is og at man lærer dem kildekritikk og Mertons Cudos prinsipper og hvordan disse brukes for å skape viten, dvs. Vitenskap. På videregående kan man lære å bruke Zotero, og når de kommer til universitetet så kan de skaffe seg en OrcID første dagen og gjerne tatovere den på kroppen. Så kan de begynne å bruke ex phil og ex fac på sine første oppgaver på noe som det forskes på med en gang. Jeg har prøvd å fortelle om åpen vitenskap til professorer og masterstudenter og Phd, men til liten nytte. Det er for seint. I natt så ble dette inntrykket mitt bekreftet i The conversation av

Jeffrey R. Spence, David Stanley, and Ian Newby-Clark

The missing link

While psychological science has been moving toward more open and transparent methods, graduate student training has been largely left out of discussions.

Many of the practices that created the crisis are embedded in our research culture: We do things a certain way because we have always done things this way and other people do too. Much of this culture is assimilated when researchers are in graduate school.

Jeg har lagt merke til at det gir mest status å undervise Phd studenter, men jeg har satsa på bachelorstudentene og undervist dem med omtrent samme bibliotekskurset som for Phd og forskere, og det fungerer overraskende bra. Særlig de siste årene har det gått bedre fordi studenter idag er gode på kildekritikk, referanseforståelse og ikt-systemer. 

26.02.2018 oppdatering: Ser på Twitter at Eric Vanman allerede introduserer studentene til replikasjonskrisen:

My first year psychology students are introduced to the replication crisis...

Kom over en interessant artikkel i kveld som jeg skulle likt å sett flere av:

"Universitetene må skrote karakterer | Solve Sæbø Vi utdanner oss for å forbedre samfunnet. Men dagens karaktersystem motiverer ikke til læring." Av Solve Sæbø Aftenposten Jeg er en av dem som demotiveres av karakterer og å produsere bare for å produsere. 

En annen interessant artikkel fra Aftenposten var " Ex.phil. er kunnskap, ikke arroganse | Dag Rune Olsen Ex.phil. er en glimrende start og viktig for dem som går et utfordrende studium i møte." Og som jeg er veldig enig i, men jeg vil si det burde blitt undervist mere i vitenskapelige metoder og særlig åpen vitenskapelige metoder allerede i grunnskolen og videregående skoler. For eksempel burde Zotero referansehåndtering og hypotese.is vært standardverktøy. Særlig med tanke på å få noe utbytte vitenskapelige metoder i et livslangt læreperspektiv. Fordi Endnote koster 2487,50 og rundt tusenlappen i oppgradering. Tidsskrift- modell burde også bli skiftet ut fordi den gir dårlige sluttresultat som sansynligvis kan spores tilbake til selve idsskriftmodellenìì. 

Viljen til å være skuldre for andre og viljen til å stå på andres skuldre

Når jeg jobber med å klassifisere og indeksere fagbøker så må jeg finne hovedpoengene med en bok på noen minutter og triangulere kjapt for å dobbeltsjekke at jeg har truffet sånn noenlunde blink. Når det gjelder innkjøp så sjekker jeg ut bøker omtalt i sosiale medier, tidsskrifter og aviser/magasiner. Deretter finner jeg ut poengene med bøkene på amazon og sjekker ut om de som anbefaler boka selv har noe interessant. Jeg synes der nyttig å ta noen dypdykk med dyplesing av bøker og artikler i emneområder og følge forskningsfelt over noen år. For min del har det gått i emnene intellektuell eiendomsrett, åpen vitenskap, innvandringspolitikk, overvåkning og mediepolitikk, og økonomisk teorihistorie. Når man har lest noen bøker og blir kjent på fagfeltet så ser man fort hva som menes med det ofte siterte utsagnet at dersom en akademiker er heldig så får ha/hun/hen en eller to gode idéer i løpet av karrieren. Man ser også at kloke vurderinger på ett fagområde ikke trenger å bety at man er god på andre fagfelt, og gode idéer kommer ofte fra miljøer og "ligger i lufta" som man kopierer mer enn man finner opp av egen maskin. Men jo mer man er villig til å hente og kopiere fra andre, desto mer orginale idéer dukker opp. Da The Beatles turnerte i begynnelsen av sin karriere i Tyskland så spilte de opp mot 8 timer om dagen og kopierte svart musikk fra New York til minste detalj, og da utviklet de sin orginalitet. Så istedenfor å sitte å nifilosofere på sine egne tanker så har jeg som mål å få flest mulig idéer fra andre. Denne latskapen har vært god å ha, de fleste innovasjoner kommer fra late folk som vil spare seg for arbeid. Men som "Fortune favors the well read" av  Julian G. West  påpeker så leder denne interessen for artikler i utkantene av fagområdet til nyttige kombinasjoner av idéer. West er helt klar på dette (mine uthevninger):

These are my favorite moments in research; the thrill of finally fitting disparate pieces together is tough to beat.  One of the new first-year students in our department recently asked me for advice on making it through graduate studies. I typically find that type of vague question tough to answer succinctly, but this one was easy: Read widely and voraciously.   

Hvis man får bygget opp interessen for vitenskap på denne måten så slipper man mesteparten av slitet, og de gangene man må slite så blir til og med slitet morsomt og meningsfylt å gå gjennom. Jeg vil legge til som et tips til nye studenter at de sansynligvis ikke har så mye peiling på om de kan bli en god og arbeidsom forsker. Mange av de beste forskerne har vært latsabber, usikre på seg selv, intellektuelt uinteressert, tilsynelatende  talentløse, og til og med uerfarne tenåringer. Derfor behandler jeg alle studenter på bibliotekskurs og biblioteksveiledning temmelig likt og gir dem tøffe utfordringer. Og både jeg og dem selv blir oftest overrasket over hva de er istand til, hver gang. Da ser man det enorme potensialet som den vitenskapelige tenkningen kan ha på samfunnet.

Men det enorme konkurransejaget har ført til mange demotiverende studenter og forskere også. Dag Olav Hessen tar dette opp i den kommende boka "Sannhet til salgs" og den anonyme kronikken "Performance-driven culture is ruining scientific research I was told impact metrics could make or break careers. Instead, they broke my faith in scientific research"

Løsningen ligger kanskje i samme måten som viljen til å stå på andre sine skuldre når man leser ved å også være villig til å være skuldre for andre når man skriver ved å dele. For eksempel med Hypothesis i artikkelen "The afterlife of the humanities"
https://via.hypothes.is/https://humafterlife.uchri.org/#annotations:OCdjpBKSEeiIQEPuqoRIZg

Kritikk av åpen vitenskap

Åpen vitenskap deler etter min mening en ganske interessant likhet med religionskritikk, og det er at man har så monopol på rasjonalitet, empiri og logikk at det er sjelden man hører motargumenter. Men i kveld så dukka det jammen opp en artikkel av Michael Hagner som er professor i vitenskapsstudier i Zürich. Hagner har uttrykker seg upresist gjennom hele denne lange artikkelen som enten betyr at han ikke vet hva han snakker om, ellers/også så har han til hensikt å tåkelegge. For eksempel da han skriver om predatortidsskrifter så mener han at folk ikke så markedet for slike tidsskrifter. Det så man selvfølgelig veldig raskt men man hadde jo et håp om at de vitenskapelige komiteene ikke lot seg lure av kvantum og indikatorer, men det gjorde de. Og interessant nok så har ikke vitenskapelige selskaper og universitetsledelsen gjort noe med situasjonen fordi de jobber etter samme prinsipper selv med å evaluere overfladisk. Innholdet i forskningen er like usentralt som politikken er det for politikere, dvs. kortsiktighet og selve spillet står i sentrum.

Alexⓐnder Grossmann retweetet

Peter

@PeterRolandG

·

14. feb.

Why does #research not change? Journals say, researchers should act researchers say, they only do what institutions help them with. institutions say, they only follow funders in agenda-setting. funders say they only look at important research in journals. Journals say.. #hkneuro

Ikke skjønner jeg hvordan Hagner har blitt professor og enda mindre at han er professor i vitenskapsstudier. Men det bekrefter hvor ille det står til, og hvor viktig det er med åpen vitenskap.

This verdict stands at odds with that pronounced by EU Commissioner Moeda: far from promoting greater transparency, OA has led to greater uncertainty with regard to the quality of scientific publications, since quality control, even in the STM disciplines, is far more fragile than had previously been thought. The idea of OA is not to blame for this development, but rather the fact that OA has so quickly and unforeseeably turned into a lucrative business model.

Universitetet i Zürich har imidlertid noen andre professorer som har skjønt tegninga intervjuet av Stefan Stöcklin

Motstanden mot åpen vitenskap fra de ledende vitenskapsmiljøene

Mikael Laakso har publisert "Green open access policies of scholarly journal publishers: a study of what, when, and where self-archiving is allowed" i Scientometrics. 99 (2) 475-494 og hans undersøkelser viser at mens 89 prosent av kommersielle forlag tillater offentlig tilgjengelig preprint, så er det bare 58 prosent av vitenskapelige selskaper som tillater preprint. (se side 9)

Dette betyr antagelig at mange av de mektigste motstanderne mot åpen vitenskap hovedsakelig kommer innenfra de ledende vitenskapelige miljøene selv. Argumentene deres handler vel om at de synes den tradisjonelle vitenskapelige infrastrukturen bør forbedres framfor å skifte den ut med åpen vitenskap. Dette synet er på defensiven argumentasjonsmessig fordi det bygger seg opp en enorm dokumentasjon som peker på problemer med den tradisjonelle infrastrukturen og sluttresultatene av forskningen.

På samme tid, så er det også helt tydelig at det bygger seg opp et minst like sterkt momentum med ledende vitenskapsmiljøer og ledende forskere som ønsker åpen vitenskap. Og de som betaler for forskningen er jo først og fremst interessert i sluttresultatene av forskningen for næringsliv, demokrati og samfunnet. Det brygger opp til en enorm maktkamp mellom de ulike miljøene, og det skal bli interessant å se hvordan dette kommer til uttrykk med kompromisser, taushet, domestisering, fantasifulle "oversettelser" osv.

Forlagene og tradisjonelle akademikere er så vandt med at de har makten, at de skjønner ikke at det ikke nødvendigvis går deres vei ser det ut til. På Redux 2018, en forlagskonferanse for universitetsforlagene i Storbritannia, så hadde ikke forlagene fått med seg at de hadde fått lengre frist på seg enn tidsskriftene til å bli open access, slik at Steven Hill, Head of Research Policy at the Higher Education Funding Council for England. Interested in research policy, science, evidence and innovation Twittret:

Some of the tweets from #redux18 today seemed to imply I announced something new about OA monographs and the REF after next. We published this text in Dec 2016

(link: http://www.hefce.ac.uk/pubs/year/2016/201636/)

hefce.ac.uk/pubs/year/2016…

Nå har forlagene såvidt over 1000 dager igjen før vitenskapelige bøker som får finansiering fra HEFC krever åpen tilgang til bøker finansiert fra dem, og mange av forfatterne og forlagene kommer neppe til å innse denne situasjonen før bommen er nede.

To gode manuskripter til kurs er nå tilgjengelig

Foster Open Science Book Sprint har nå levert første utkast til "training for trainers" her: : https://docs.google.com/document/d/1Tn83XYXoRv74Pl38vsPaQIcC9rO3tC7maJ3N2gqae-8/edit#

Og sluttbrukerkurset i åpen vitenskap for studenter og forskere er nå tilgjengelig her:  https://drive.google.com/drive/folders/0B8feXr2D75GWTnduS3M4ZlRSZ3M

Disse to miljøene har skrevet kursene slik at de passer sammen og kan oppdateres kontinuerlig etterhvert som nye ressurser strømmer til.

Begge kursene er tilgjengelig for å redigere og kommentere for hvem som helst i god åpen vitenskapsånd selvsagt.

Det er mange lignende kurs som Transparent and Open Social Science Research fra Berkeley https://www.futurelearn.com/courses/open-social-science-research og Software Carpentry og Research Bazaar som UiO er med på å arrangere. 

Nå er det mange gode lærebøker om åpen vitenskap ute også, som "Opening Science" fra Springer http://book.openingscience.org.s3-website-eu-west-1.amazonaws.com/ 

og "The Practice of Reproducible Research Case Studies and Lessons from the Data-Intensive Sciences Justin Kitzes, Daniel Turek, Fatma Deniz (Eds.)"  https://www.practicereproducibleresearch.org   og 

"Open Science, open data, Open Source"  https://pfern.github.io/OSODOS/gitbook/