Di Richard Horton, redattore capo di The Lancet.

“Gran parte di ciò che viene pubblicato è errato“. Non mi è permesso rivelare chi abbia pronunciato questa frase perché ci è stato chiesto di rispettare le regole di Chatham House. Ci è stato anche chiesto di non scattare fotografie alle slide. Coloro che lavoravano per agenzie governative hanno implorato che i loro commenti rimanessero in particolar modo non citati, poiché le imminenti elezioni nel Regno Unito significavano che stavano vivendo in uno stato di “purdah” — una condizione agghiacciante in cui severe restrizioni alla libertà di parola vengono imposte a chiunque sia sul libro paga del governo.

Perché questa paranoica preoccupazione per la segretezza e la non-attribuzione? Perché questo simposio sulla riproducibilità e l’affidabilità della ricerca biomedica, tenutosi alla Wellcome Trust di Londra la scorsa settimana, ha toccato uno dei temi più sensibili della scienza odierna: l’idea che qualcosa sia andato fondamentalmente storto in una delle nostre più grandi creazioni umane.

La tesi contro la scienza è semplice: gran parte della letteratura scientifica, forse la metà, potrebbe essere semplicemente falsa. Afflitta da studi con campioni di piccole dimensioni, effetti minimi, analisi esplorative non valide e palesi conflitti di interesse, insieme all’ossessione di perseguire tendenze alla moda di dubbia importanza, la scienza ha preso una piega verso l’oscurità. Come ha affermato un partecipante, “i cattivi metodi ottengono risultati”. L’Academy of Medical Sciences, il Medical Research Council e il Biotechnology and Biological Sciences Research Council hanno ora messo il loro peso istituzionale dietro un’indagine su queste pratiche di ricerca discutibili.

L’apparente endemicità di cattivi comportamenti nella ricerca è allarmante. Nella loro ricerca di una storia avvincente, gli scienziati troppo spesso scolpiscono i dati per adattarli alla loro teoria preferita del mondo. Oppure adattano a posteriori le ipotesi ai loro dati. Anche i redattori delle riviste meritano la loro quota di critiche. Noi agevoliamo e favoriamo i peggiori comportamenti. La nostra acquiescenza verso l’impact factor alimenta una competizione malsana per ottenere un posto in poche riviste selezionate. Il nostro amore per la “significatività” inquina la letteratura con molte favole statistiche. Rifiutiamo importanti conferme.

Le riviste non sono le uniche colpevoli. Le università sono in una lotta perpetua per denaro e talento, obiettivi che favoriscono metriche riduttive, come la pubblicazione ad alto impatto. Le procedure di valutazione nazionale, come il Research Excellence Framework, incentivano le cattive pratiche. E i singoli scienziati, compresi i loro leader più anziani, fanno ben poco per modificare una cultura della ricerca che a volte rasenta la cattiva condotta.

È possibile correggere le cattive pratiche scientifiche? Parte del problema è che nessuno è incentivato ad avere ragione. Al contrario, gli scienziati sono incentivati a essere produttivi e innovativi. Un Giuramento di Ippocrate per la scienza potrebbe aiutare? Certamente non bisogna aggiungere ulteriori strati di burocrazia alla ricerca. Invece di cambiare gli incentivi, forse si potrebbero rimuovere del tutto. Oppure insistere su dichiarazioni di replicabilità nelle domande di sovvenzione e nei documenti di ricerca. O enfatizzare la collaborazione, non la competizione. O insistere sulla preregistrazione dei protocolli. O premiare una migliore revisione paritaria pre e post pubblicazione. O migliorare la formazione e il tutoraggio nella ricerca.

Una delle proposte più convincenti è arrivata dall’esterno della comunità biomedica. Tony Weidberg è un professore di fisica delle particelle a Oxford. In seguito a diversi errori di alto profilo, la comunità della fisica delle particelle investe ora grandi sforzi nel controllo intensivo e nel ricontrollo dei dati prima della pubblicazione. Filtrando i risultati attraverso gruppi di lavoro indipendenti, i fisici sono incoraggiati a criticare. La buona critica viene premiata. L’obiettivo è un risultato affidabile e gli incentivi per gli scienziati sono allineati intorno a questo obiettivo.

Weidberg teme che la soglia per i risultati in biomedicina sia fissata troppo in basso. Nella fisica delle particelle, la significatività è fissata a 5 sigma — un valore p di 1 su 3,5 milioni (se il risultato è falso, questa è la probabilità che i dati siano il frutto di una coincidenza), cioè c’è solo 1 possibilità su 3,5 milioni che i dati ottenuti siano un semplice “errore statistico” o un caso fortunato

La conclusione del simposio è stata che bisogna fare qualcosa. In effetti, tutti sembravano concordare sul fatto che fosse in nostro potere fare quel qualcosa. Ma su cosa fare esattamente o come farlo, non c’erano risposte certe. Coloro che hanno il potere di agire sembrano pensare che qualcun altro debba agire per primo. E ogni azione positiva (ad esempio, finanziare replicazioni ben potenziate) ha una controargomentazione (la scienza diventerà meno creativa).

La buona notizia è che la scienza sta iniziando a prendere molto sul serio alcuni dei suoi peggiori difetti. La cattiva notizia è che nessuno è pronto a fare il primo passo per pulire il sistema.

Tratto da: www.thelancet.com Vol 385 April 11, 2015

Richard Horton è una delle figure più influenti e autorevoli nel panorama della medicina globale. Dal 1995 ricopre il ruolo di redattore capo di The Lancet, una delle riviste scientifiche più antiche e prestigiose al mondo. In questo articolo, Horton riflette proprio sulla crisi di affidabilità della letteratura biomedica, suggerendo che per “salvare” la medicina sia necessario un cambio radicale di cultura e di incentivi