Everythin is fucked: Perverse insentiver, Induktive-, deduktive-, og gruppe-feilslutninger i forbindelse med Impactfactor

Jeg kom over et spennende preprint i bioRxiv for et par dager siden "The impact factor fallacy" av Frieder Michel Paulus, Nicole Cruz, Soeren Krach. Her går de først gjennom hvordan impactfactor er påvirket av den deduktive feilslutninger som benektelsen av det omvendte. "De som publiserer i prestisjetunge tidsskrifter har gode artikler. Du har ikke publisert i et prestisjetungt tidsskrift. Ergo artikkelen er dårlig". Deretter går de gjennom hvordan impactfactoren er påvirket av induktive slutninger som argumentering fra uvitenhet som at "ingen har bevist at artikkelen er dårlig, derfor er artikkelen bra" er gyldig fra denne tankegangen. Det spennende poenget er at argumentet fra uvitenhet kan fungere i "lukkede miljøer" som en bibliotekskatalog. Har man sjekket om en bok er i biblioteket med en bibliotekskatalog, så kan man trygt gå ut ifra at boka ikke er i biblioteket. Sjekker man en togtabell, og ikke finner en by blant stoppestedene, så stopper sansynligvis ikke toget i byen. Forskningsmijøer er er ikke som en togtabell, de er derimot åpne og kaotiske miljøer som er vanskelige å sjekke ut. Ingen sokkeskuff for å si det slik. Jeg brukte engang en periode på to-tre år med jevnlige omfattende søk i en rekke databaser og kataloger på å finne ut at den ideen jeg hadde var tidligere publisert og i en veldig utilgjengelig avhandling og som hadde fått nær null oppmerksomhet. Så kommer forfatterne inn på autoritetsargumentet der impactfactoren som lett kan forveksles med argumentet fra det omvendte. Eksempel: "Denne artikkelen er publisert i et tidsskrift med høy impactfactor, derfor er artikkelen bra". Så kommer det motsatte av autoritetsargumentet, ad hominem, som går ut på at personen som framfører arguementet mangler kvalifikasjonene, og derfor er påstandene tvilsomme. Så til slutt kommer artikkelforfatterne inn på den økologiske feilslutningen som slutter fra gruppenivå til individnivå. At en artikkel skal få høyere kvalitet målt med impact factor av at en annen artikkel på et senere tidspunkt i samme tidsskrift får mange siteringer er selvsagt feil. Jeg tror at mange byråkrater tenker at "de store talls lov" jevner ut ulempene, og at den konkurransemessige seleksjonen slår til slik som en hard narkotikapolitikk brutalt selekterer ut de smarteste narkotikahandlerne samtidig som den sørger for en jevn strøm av forhåpningsfulle rekrutter. Det ligner på akademia ved at man får noen som ofte er sosialt dyktige på toppen, men ikke nødvendigvis de kloke hodene. Hvordan det kan gå ser man ut ifra teorien om perverse insentiver "Academic Research in the 21st Century: Maintaining Scientific Integrityin a Climate of Perverse Incentives and Hypercompetition" av  Marc A. Edwards og Siddhartha Roy. Se tabell 1 og figur 1 (anbefales).


Forklaringen ligger nok mye i biologifaget. I dag kom jeg over en fin artikkel i The New Yorker av Elizabeth Kolbert med tittelen: "Why Facts Don’t Change Our MindsNew discoveries about the human mind show the limitations of reason."


Her refererer Kolbert til den snart utkomne boka "The Enigma of Reason" av Hugo Mercier og Dan Sperber publisert på Harvard University Press. Særlig denne setningen gir et innblikk i den kontinuerlige målkonflikten mellom "interaksjonistene" og "de kloke" i akademia.

Habits of mind that seem weird or goofy or just plain dumb from an “intellectualist” point of view prove shrewd when seen from a social “interactionist” perspective. 

Når det interaksjonistiske perspektivet får overtaket over det intellektuelle, så går det galt av sted slik denne nye undersøkelsen av over 10 000 psykologiske tidsskriftartikler gir en indikasjon på: "Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature" Denes Szucs, John PA Ioannidis.


Man kan kanskje si som Prof. Sanjay Srivastava i det veldig humoristiske kurset "PSY 607: Everything is Fucked" og dermed er også metaanalysene helt ubrukelige viser det seg når man prøver å replikere artiklene som metaanalysene er gjordt på.


Her er et ferskt eksempel på en årsak til den store feilmarginen med tilbakekallelsen fra et paper av William Hart. Tidsskriftet nekter å beklage det temmelig åpenbare jukset med å ta ut og legge inn duplikate data helt til man får riktig p-verdi.

The upshot of all this commotion was that this version of the commentary was withdrawn. The issue of Perspectives on Psychological Science went to press with the RRR but without the commentary.  In a subsequent issue, a commentary appeared with Hart as its sole author and without the new "data."

 Daniel Kahneman som var en av dem som advarte mot replikasjonskrisa, har selv vært ærlig nok til å innrømme "underpowered studies". Det har derimot ikke flere høyt rangerte forskere som Susan Fiske på Princeton selv om hun har fått sterk kritikk av Andrew Gelman på Columbia University: 

This paper was just riddled through with errors. First off, its main claims were supported by t statistics of 5.03 and 11.14 . . . ummmmm, upon recalculation the values were actually 1.8 and 3.3. So one of the claim wasn’t even “statistically significant” (thus, under the rules, was unpublishable).

But that wasn’t the worst of it. It turns out that some of the numbers reported in that paper just couldn’t have been correct. It’s possible that the authors were doing some calculations wrong, for example by incorrectly rounding intermediate quantities. Rounding error doesn’t sound like such a big deal, but it can supply a useful set of “degrees of freedom” to allow researchers to get the results they want, out of data that aren’t readily cooperating.

There’s more at the link. The short story is that Cuddy, Norton, and Fiske made a bunch of data errors—which is too bad, but such things happen—and then when the errors were pointed out to them, they refused to reconsider anything.

Selv om Fiske og de andre prominente forskerne ser at deres profesjonelle liv havner i grus, så innrømmer de ingenting. De angriper ad hominem med ord som "methodological terrorists" og  "replication bullies". Det er interessant at verdens nest høyest rangerte kvinnelige psykolog reagerer så irrasjonelt, og forklaringen på det finner man kanskje i boka, hvis den er basert på replikert og åpen forskning da ;-)


"Denying to the Grave: Why We Ignore the Facts That Will Save Us" av Sara E. Gorman og Jack M. Gorman.


Oppdatering fra Nature News: "Peer-review activists push psychology journals towards open data"