Prosopopea

Avete mai provato a leggere un articolo scientifico ? Non quelli su Le Scienze o Focus o il blog di medbunker, proprio uno di quelli che gli addetti ai lavori chiamano “papers”, perché l’inglese è la lingua internazionale della scienza, e che io metto ogni tanto nei riferimenti bibliografici dei post del blog o della pagina di facebook ?

Facciamo un esperimento. Diciamo che volete controllare che io non abbia detto fregnacce nel mio vecchio articolo su cavoli e pesci che subappaltano il sistema immunitario. Andate alla fine dell’articolo, e trovate due riferimenti il primo punta a una pubblicazione scientifica che si chiama PloS One, l’altro ad un Journal (perché siamo international) un po’ più famoso, un certo Science.

Cliccate sul link che vi porta all’articolo di Science, e tutto quello che trovate è un paragrafo di testo.  Si  chiama abstract: è un riassuntino, asciutto asciutto, senza critiche ne senso, con il minimo indispensabile di informazioni per farvi sapere di che parla l’articolo intero. Però sotto vedete che c’è un link cliccabile con su scritto “Read Full Text”. E lo cliccate. E una bella mascherina vi salta fuori chiedendovi di fare login. Non siete iscritti a Science ? Facile, sborsate 150 dollaroni, e vi abbonate per un anno. Non vi frega niente di abbonarvi a Science ? Potete comprare il singolo articolo. Sono solo 20 dollari. Per 6 pagine. E, non è che lo pagate, ed è vostro: sarebbe il colmo. No, potete accedervi per un giorno soltanto.
Per fortuna è Science, e quindi la vostra biblioteca universitaria sicuramente paga l’editore perché voi, studenti, professori, ricercatori, possiate accedervi tramite Università.
Non siete universitari o accademici ? Eh, o trovate l’articolo per vie traverse usando la vostra abilità nel Google-fu, o dovete svuotarvi le tasche.

Il secondo link manda a PloS One. Un po’ scorati dall’esperienza precedente, cliccate lì. E, meraviglia, l’articolo c’è tutto, con tutti i grafici, i dati, la discussione, tutto scaricabile, senza sborsare un centesimo.

Qual’è la differenza ? Science è un Journal in abbonamento, PloS One è Open Access, a libero accesso. Non dovete avere niente più di una connessione internet per poterlo leggere. ” Bello! ” pensate. ” Dov’è la fregatura ? ”

Nel caso specifico, per voi che leggete la fregatura non c’è. PloS One è uno dei più rispettati giornali Open Access in assoluto: nella sua categoria, è l’equivalente di Science, e potete essere ragionevolmente certi che quello che c’è scritto nell’articolo sia passato attraverso la revisione paritaria o, per restare international, la ” Peer Review “.

E come funziona la Peer Review ?

Facciamo finta che io voglia pubblicare un articolo sul sistema immunitario degli invertebrati. Voglio dire che, checché ne dica il consenso generale della “scienza ufficiale”, gli invertebrati hanno un sistema immunitario adattativo, che si ricorda gli insulti precedenti, che può essere vaccinato. E’ una tesi controversa, perché ben poca gente, ad oggi, crede che ci sia questo tipo di immunità negli invertebrati. Ma io ho accumulato prove, riferimenti, fatto esperimenti, e voglio finalmente urlare alla comunità scientifica ” C’ho ragione io e voi non capite niente “.  Cambiare il consenso scientifico, di modo che cambi la pagina di wikipedia sull’evoluzione del sistema immunitario.

La Dafnia, o pulce d’acqua, è uno degli invertebrati su cui si fanno più studi per capire se questa immunità adattativa esiste o meno. Sì, non ho veramente idea di che immagini mettere in questo articolo, ma qualcosa devo pur mettere perché la pagina piombata è proprio brutta. Photocredits: Wikimedia Commons

Quindi io scrivo il mio bell’articolo, e lo invio ad una rivista scientifica. Che rivista? Sparo in alto, voglio pubblicare su Science. Science a questo punto cerca degli esperti  nel campo specifico di cui tratta il mio lavoro (evoluzione del sistema immunitario, quindi sicuramente almeno un immunologo e un biologo evoluzionista) normalmente almeno due ma più spesso 3, e se il lavoro richiede numerose competenze, anche di più. Questi sono i così detti referee: gli arbitri, che indipendentemente valutano il mio lavoro. Sono anonimi, per permettere la loro più completa libertà di espressione senza ritorsione; sono ignoti a me, cioè all’autore, perché io non possa influenzarli in nessun modo; non sono pagati in alcun modo da Science, lavorano puramente gratis per amor di scienza, per non avere  (almeno in teoria) interessi economici o di status sociale in gioco. Questi scienziati valutano il mio lavoro. A me ritorna un documento, da Science, con i commenti anonimi di questi revisori, che discutono i miei risultati in ogni minimo dettaglio: se non sono convinti, possono chiedere ulteriori esperimenti, analisi statistiche o biologiche da laboratori indipendenti, più riferimenti bibliografici per convincerli; oppure possono respingere il mio lavoro direttamente, giudicandolo inattendibile o non interessante o non abbastanza rivoluzionario per meritarsi le luci della ribalta su Science.  Questo processo, di solito, dura mesi.
L’idea di base è che una nuova affermazione scientifica è considerata abbastanza credibile da essere presentata al mondo se due (o più) arbitri con le adeguate competenze, poste davanti alle stesse prove, giungono alle stesse conclusioni in maniera indipendente.

Perché voglio pubblicare su Science ? Perche Science ha quello che viene definito un “Impact Factor” molto alto. Quando metto un articolo su Science questo raggiunge un pubblico molto ampio di esperti,  e quindi ha molte possibilità di essere letto e il risultato utilizzato nel lavoro di altri ricercatori, che quindi lo citeranno come fonte  nei loro riferimenti. L’Impact Factor, infatti, in maniera un po’ autoreferenziale, misura quanto le cose pubblicate in un giornale vengono citate da altre parti. Science ha quindi tutto l’interesse possibile a pubblicare lavori solo di altissima qualità ed importanza, perché questo garantisce non solo la sua buona reputazione, ma anche il fatto che molti si vogliano abbonare a Science per leggere i risultati.  E’ un modello di business che si basa su convincere l’abbonato che quello che gli dai tu non lo può trovar da nessuna altra parte. Nota bene: per pubblicare Open su Science, ci vogliono bei soldoni. Anche senza entrare nei dettagli, le cosiddette “Publication fees” per science sono dell’ordine delle decine di migliaia di euro. Ma la fonte principale del profitto sono gli abbonamenti, con un giro di business dell’ordine dei miliardi di dollari.

Se siete abbastanza bravi, l’articolo va su Science e il mondo intero lo vede. Ma questo è solo il primo passo verso cambiare un consenso: perché, tendenzialmente, se avete una tesi controversa, il mondo non aspetta altro che il segnale di via per demolirvi. Ad esempio, forse vi ricordate il caso di Felicia Simon-Wolfe, quella che sosteneva di aver trovato una forma di vita in grado di incorporare Arsenico nel DNA; appena l’articolo uscì ci fu subito scetticismo. Nel giro di pochi mesi il risultato era completamente screditato, e numerosi tentativi di replicarli falliti. Nessuno citava il risultato, se non per sostenere che fosse totalmente sballato. Carriere sono state costruite sul dimostrare che lei aveva torto, e alla fine, il processo scientifico, in cui la Peer Review è solo il primo passo ha funzionato.  La Scienza si è corretta da sola, giungendo al risultato più verosimile e più dimostrato.

E chi può biasimarli, in fondo ?

Ma se Science non mi prende ? Non è una cosa così insolita: gli editori sono costretti, per semplice questione di sovraccarico, a scartare il 90% degli articoli che gli vengono inviati. Quindi mandi l’articolo ad altre testate. Magari più specifiche: provi con il Journal of Molecular Entomology, che ha una tiratura bassa, ma viene letta dalla gente giusta, quella che può veramente utilizzare il tuo lavoro. Ma se lo fai, puoi star certo che non finirai su Repubblica o il Corriere, perché è abbastanza probabile che nessun giornalista abbia l’abbonamento a quel giornale, e neppure quelle Università che non hanno un dipartimento di entomologia andranno a sprecar quei soldi.

Soldi che non ci sono mai. A esser maliziosi, si può dire che è un meccanismo veramente perverso: Uno scienziato, spesso coi soldi pubblici, fa una ricerca e ottiene dei risultati. Paga 7000 euro per ogni grafico a colori perché Nature lo pubblichi. I referee fanno la revisione paritaria, gratis. Dopodiché la comunità scientifica paga miliardi di dollari (spesso di soldi pubblici) ogni anno agli editori perché gli ridiano in mano i risultati a cui loro sono arrivati e che hanno giudicato, ribadiamo, gratis. Risultati a cui la gente comune, che de facto ha finanziato con le sue tasse, non può accedere se non attraverso il filtro di giornalisti.

Che si fa dunque? Esistono allora i journal open access.  Lavorano in maniera più low-cost possibile, sono solo online, e sono accessibili da tutti. Anche queste fanno fare generalmente la Peer-Review ad arbitri in maniera gratuita, o funzionano come archivi di pre-pubblicazioni: ci metti l’articolo aspettando che venga giudicato dai referee di Science, e intanto, come dicevano i latini, Caveat Emptor. Il business model è diverso: sono gli scienziati che si fanno carico delle spese, e i Journal si mantengono in vita con i soldi che guadagnano pubblicando quei lavori. Pubblicare su PloS un articolo ad esempio costa intorno ai 3000 euro tutto incluso, circa un decimo rispetto a Science.  Ci sono anche giornali ibridi, tipo Genome Biology, che è un giornale ad alto impact factor ma solo online, che ti permettono di pubblicare un tuo specifico articolo open access nonostante loro siano normalmente ad abbonamento, semplicemente pagando (tu ricercatore) una sovrattassa. Gli paghi, in pratica, gli abbonamenti e gli accessi mancati in anticipo.

Sembrano una buona idea questi giornali open access: più onesti, più low cost, più giusti per il pubblico che alla fine ci mette i soldi. Ci sono centinaia di giornali scientifici Open Access che funzionano, e alla fine degli anni 90, c’è stata una positiva rivoluzione. Dov’è la fregatura? La fregatura è che si può facilmente sfruttare il sistema per pubblicare spazzatura.

Il mio articolo sull’immunologia degli invertebrati fa schifo. Non lo vuole nessuno. Sono però costretto a pubblicare, perché ho già speso i soldi che mi avevan dato per le mie ricerche, e se non pubblico qualcosa a) non avrò mai altri soldi per provare a far qualcosa di meglio b) mi cacciano a pedate dall’università/istituto in cui lavoro. ” Publish or Perish”, lo chiamano: pubblica o muori.
Oppure, sono uno pseudoscienziato. Un avvocato di mi ha appena pagato per fare una ricerca fasulla su come i vaccini facciano male per poter far causa ad una Big Pharma. Ho falsificato i dati, ma è un po’ troppo evidente e quindi  nessun giornale serio vuole pubblicarmi.
Oppure: sono un creazionista, e voglio dare “credibilità ” scientifica a l’ultimo sermone del mio pastore pubblicandolo ” in letteratura scientifica ”

Che faccio ? Vado a cercarmi un “Vanity Journal”, uno di quei giornali Open Access che esiste soltanto per pubblicare qualsiasi articolo previo bonifico bancario. O, ancora meglio, ci sono i “Predatory Journal”: pubblicazioni “”””””scientifiche””””” che spammano ricercatori vari chiedendo se hanno vecchi risultati poco rilevanti da qualche parte nel cassetto, e si offrono di pubblicarli per una quantità di soldi ridicola, o offrono addirittura di pagarti per pubblicare!

Queste pubblicazioni spazzatura sono tante, e vivono sul ritorno di immagine. Ad esempio, uno dice di aver scoperto la fusione fredda, pubblica un articolo su un Vanity Journal di cui è editore finanziatore e arbitro, nascondendo la cosa dietro un muro di fuffa, spedisce la cosa alle istituzioni e boom, ecco che gli arriva ritorno d’immagine e magari anche soldi pubblici. Il Creazionista pubblica su un giornale fasullo e Puff! per magia diventa uno scienziologo qualificato per parlare al Congresso degli Stati Uniti sull’insegnamento dell’evoluzione nelle scuole.

Ma se c’è una cosa che accomuna in generale gli scienziati è che, almeno nel loro campo, non sono stupidi: esistono quindi in rete liste e compilation di giornali inattendibili e di cui diffidare, e di giornali che invece hanno una qualche credibilità accademica. Sono “i profani” della scienza, i giornalisti, i politici, quelli a cui non è mai stato insegnato come si legge un paper, quelli che non hanno le competenze e che sono costretti a fidarsi degli “esperti”, che cadono spesso in queste trappole. E ciò è male, perché generalmente gli scienziati mica fanno divulgazione ed aiutano gli altri a capire, ma  se ne stanno sulle loro torri eburnee finché qualcuno non gli appicca fuoco alle fondamenta e li costringe a svegliarsi.

Oggi, una ricerca pubblicata sul Science che ha provato a mandare un articolo chiaramente bufala ad un gran numero di Journal Open Access ha  avuto tanto eco, vedete ad esempio questo articolo, sorprendentemente ben fatto, su Repubblica.  Circa il 60% (157 su 300) dei Journal contattati ha pubblicato la fregatura senza neppure rendersi conto che era una bufala, in una operazione che ricorda in qualche modo l’Affaire Sokal.

E si fa presto a far di tutta l’erba un fascio, e sostenere che questa è una scandalosa condanna dell’editoria Open Access. Gli articoli pubblicati in Open Access, esattamente come quelli pubblicati su riviste prestigiose e in abbonamento, vanno sempre considerate nei loro meriti e nei loro difetti individualmente. Per la legge dei grandi numeri, anche su Science e Nature e il Lancet prima o poi viene pubblicata roba fasulla: il che non è una condanna del metodo o della comunità scientifica, perché la Peer Review è solo il primo passo.

Facciamo quindi i bravi Scienziologi e consideriamo nel merito questa indagine che è stata pubblicata su Science.  Specifichiamo bene che l’articolo è stato sì pubblicato su Science, ma nella sezione News: non ha cioè dovuto passare attraverso la noiosa Peer Review. E’ un indagine giornalistica, in pratica, anche se è finita su Science.

Il problema principale che ho con l’articolo è che gli autori, che criticano gli standard lassi dei Journal Open Access, non hanno inserito un gruppo di controllo. Come insegna Medbunker, se voglio testare un farmaco per l’influenza, confronto un gruppo a cui somministro il farmaco con un altro gruppo a cui do soltanto un placebo, per assicurarmi che la forza del farmaco non sia soltanto forza della suggestione, ma esista veramente una differenza.

In questo caso, invece, come fa notare tale David Ross nell’articolo di Repubblica, la bufala non è stata somministrata anche ai giornali tradizionali. Il che significa che, fino a prova contraria, tolte le riviste con Impact Factor galattico come Science, Nature, etc, non c’è nessuna prova che gli standard editoriali delle testate a pagamento siano molto più rigidi rispetto a quelli dei Journal Open Access. Il sospetto è che i giornali tradizionali più piccoli pubblichino più o meno la stessa quantità di cattiva scienza: sospetto che è corroborato da iniziative come Retraction Watch, il principale sito che prende nota di tutti gli articoli che vengono ritrattati e ritirati dopo la pubblicazione.

C’è anche un secondo problema in questa ricerca: la lista degli editori  a cui mandare il paper bufala è stata ottenuto combinando la Directory Of Open Access Journals, una iniziativa non-profit che indicizza giornali open access ritenuti attendibili e una lista di 121 ” Predatory Journals” compilata da Jeffrey Bealls. Il rischio ovvio è quello del selection bias: nella lista dei 300 contattati ci sono molti editori (121) che vengono da una lista che puzzava in partenza di frode, mentre dalla DOAJ, che indicizza in totale 9987 Journals, ne sono stati scelti 168, 50 dei quali sono stati rimossi come inattendibili tra il momento d’invio della bufala cinque mesi fa e la pubblicazione su Science dei risultati in questi giorni.

Visti questi particolari criteri di selezione, è molto azzardato cercare di trarre conclusioni sui giornali Open Access in generale.  C’è l’ovvio rischio che i mega editori utilizzino questo risultato come un randello per lobbyzzare in loro favore, nonostante molti dei journal fasulli siano in mano agli stessi conglomerati industriali che pubblicano cose dalla reputazione intoccabile.

Esistono un numero sostanziale di giornali open access spazzatura ? Non è una novità. La situazione è peggio di quello che pensavamo ? Non possiamo dirlo, perché l’articolo, pubblicato su un journal in abbonamento, e andato a cercare tra il peggio del peggio dell’Open Access. C’è una soluzione ? Se c’è, non è certamente ovvia, visto che un sacco di menti brillanti stanno cercando di arginare il problema da un sacco di tempo. C’è chi dice “Costringi l’arbitro a metterci la faccia! “, ma così si rischiano amicizie e baronati e collusioni e corruzioni. Si va avanti a tentativi, e la situazione, sebbene non esaltante, non è neanche tragica come potrebbe sembrare. Ma sicuramente servono soluzioni.

Una mia personalissima idea, che non è una soluzione ma potrebbe aiutare: far capire alla gente il problema e aiutare a dargli gli strumenti per giudicare. Servono un sacco di parole, e un sacco di sforzo, e un sacco di tempo, ma se magari si fosse in tanti a farlo funzionerebbe.