Cochrane Fact-Checked con risultati assurdi

Il 17 febbraio fact-checker Iria Carballo-Carbajal, un neuroscienziato di formazione, ma apparentemente senza alcuna formazione in epidemiologia, ha pubblicato un "fact-check" articolo sul sito Web Health Feedback. Nel suo titolo, Carballo-Carbajal fa la seguente dichiarazione: “Diversi studi dimostrano che le mascherine riducono la diffusione del COVID-19; una revisione Cochrane non dimostra il contrario.

Questo articolo viene ora utilizzato dalle società di social media per sopprimere tutti i riferimenti allo studio Cochrane. Ne sono venuto a conoscenza il 10 marzo quando ho ricevuto una notifica secondo cui un post di un membro di un gruppo Facebook che gestisco conteneva "informazioni false".

Il post si riferiva a un opinione pezzo sulla revisione Cochrane nel New York Times, pubblicato il 10 febbraio. La risorsa di "controllore indipendente dei fatti" a cui si fa riferimento era il già citato articolo di Carballo-Carbajal. Ottenere un timbro di verifica dei fatti può essere un problema serio per un giornale, non meno per un'istituzione scientifica. Pertanto non è stata una sorpresa che già il 10 marzo l'editore di Cochrane Karla Soares-Weiser abbia pubblicato una dichiarazione cercando di minimizzare i risultati dello studio, affermando erroneamente che lo studio mirava solo a valutare l'efficacia degli interventi per promuoverlo maschera che indossa, mentre chiaramente indicato obiettivo dello studio è quello di valutare l'efficacia degli interventi fisici stessi, non solo l'efficacia della loro promozione.

Lo stesso giorno il New York Times pubblicato un pezzo affermando nel titolo che le maschere funzionano sicuramente, ma per la maggior parte dedicato a diffamare l'autore dello studio Cochrane, il dottor Tom Jefferson. Ad esempio, l'articolo afferma che Jefferson ha dichiarato in an colloquio che non ci sono prove che il virus SARS-CoV-2 sia disperso nell'aria, mentre quello che dice in realtà è che ci sono molte vie di trasmissione e sono necessarie ulteriori prove per accertare con precisione come avviene la trasmissione.

Questa catena di eventi è un esempio sorprendentemente chiaro di come funziona l'industria della censura. È tanto più scioccante se si considera quanto l'articolo di "verifica dei fatti" di Carballo-Carbajal sia gravemente viziato, dal punto di vista fattuale, logico ed etico.

1. L'uomo di paglia

Carballo-Carbajal inizia creando un uomo di paglia, in questo caso un'affermazione attribuita al Dr. Robert Malone, riferendosi a un recente settimana sul suo blog. Sotto il titolo "Affermazione", la presunta affermazione è così affermata: "Le mascherine sono inefficaci nel ridurre la diffusione del COVID-19 e di altre malattie respiratorie, dimostra una revisione Cochrane". Questa affermazione, citata oltre a una foto del dottor Malone, non si trova da nessuna parte nel suo post sul blog.

Come se ciò non bastasse, Carballo-Carbajal continua, presentando quella che definisce una "affermazione completa:" Review "non è riuscito a trovare nemmeno un 'effetto modesto' sul tasso di infezione o malattia:" "il CDC ha grossolanamente esagerato le prove a sostegno dei mandati di maschera .”

Il problema con questo è che mentre il Dr. Malone è citato correttamente nella prima parte del paragrafo, la seconda è qualcosa che semplicemente non dice nel suo post sul blog.

2. L'ad hominem

Carballo-Carbajal si prende quindi la responsabilità di attaccare il dottor Malone, sostenendo che ha diffuso "disinformazione sui vaccini Covid-19", riferendosi a un altro articolo, pubblicato anche da Health Feedback. Ora, in cosa consiste la presunta disinformazione, secondo quell'articolo? IL articolo è un "controllo dei fatti" di a Washington Times pezzo di opinione del dottor Malone e del dottor Peter Navarro pubblicato nel 2021, in cui discutono contro la politica di vaccinazione universale del governo degli Stati Uniti, sostenendo che si basa su quattro presupposti errati. In primo luogo, la vaccinazione universale può sradicare il virus, in secondo luogo che i vaccini sono altamente efficaci, in terzo luogo che sono sicuri e in quarto luogo che l'immunità mediata dal vaccino è duratura.

Carballo-Carbajal non avrebbe potuto essere meno fortunata con la sua referenza. È ormai ampiamente chiaro che la vaccinazione universale non può eradicare il virus, che l'immunità mediata dal vaccino diminuisce molto rapidamente, fino al punto di diventare negativa, poiché l'infezione studi e reinfezione studi hanno già mostrato. Il fatto che i vaccini non siano “(quasi) perfettamente efficaci”, citando l'articolo di Malone e Navarro, è da tempo ovvio; è infatti il ​​motivo per cui non riescono a debellare il virus.

Quanto al terzo punto, così dicono Malone e Navarro nel loro articolo: “Il terzo presupposto è che i vaccini siano sicuri. Eppure scienziati, medici e funzionari della sanità pubblica ora riconoscono rischi che sono rari ma non banali. Gli effetti collaterali noti includono gravi condizioni cardiache e trombotiche, interruzioni del ciclo mestruale, paralisi di Bell, sindrome di Guillain-Barre e anafilassi. In altre parole, non sono al sicuro, ne hanno molti conosciuto rari effetti collaterali, e questo in realtà diventa più chiaro come il tempo passa.

In breve, Carballo-Carbajal cerca di squalificare la dottoressa Malone accusandola di "disinformazione" su qualcos'altro rispetto all'argomento del suo articolo. Questa è la classica tattica ad-hominem quasi universale nei pezzi di "controllo dei fatti". Il suo fallimento è spettacolare, poiché tutti i presunti pezzi di "disinformazione" sono ora fatti già verificati.

3. L'argomentazione

La sintesi principale di Carballo-Carbajal (inclusi “Dettagli” e “Key take away”) è la seguente:

Le affermazioni secondo cui le maschere per il viso sono inefficaci nel ridurre la diffusione di COVID-19 sulla base di una revisione Cochrane non hanno tenuto conto dei limiti della revisione. Mentre molti utenti hanno presentato questa revisione come prova di altissima qualità, i singoli studi che ha valutato variavano notevolmente in termini di qualità, disegno dello studio, popolazioni studiate e risultati osservati, il che ha impedito agli autori di trarre conclusioni definitive. 

Gli studi controllati randomizzati sono considerati il ​​gold standard per valutare l'efficacia di un intervento. Tuttavia, questo tipo di studio può variare notevolmente in termini di qualità, in particolare in interventi complessi come le maschere facciali, influenzando l'affidabilità dei risultati. In questo contesto, molti scienziati ritengono che gli studi controllati randomizzati dovrebbero essere visti come parte di prove più ampie che includono altri progetti di studio. Quando si prendono in considerazione questi studi, le prove suggeriscono che l'uso diffuso della maschera può ridurre la trasmissione comunitaria di SARS-CoV-2, specialmente se combinato con altri interventi come il lavaggio frequente delle mani e il distanziamento fisico.

Ora suddividerò questa affermazione in parti e poi verificherò la validità di ogni parte. Dobbiamo tenere presente che la fonte citata è il post del blog del Dr. Malone, quindi qualsiasi riferimento alle "affermazioni" deve essere al post del blog di Malone, che è l'unica fonte citata. I riferimenti a fonti non identificate, come "molti siti Web e post sui social media" devono essere ignorati per l'ovvia ragione che non vengono forniti riferimenti:

1. Dichiarazione: il dottor Malone afferma che la revisione Cochrane mostra che le maschere sono inefficaci nel ridurre la diffusione di Covid-19.

Discussione: come mostrato sopra, il Dr. Malone non fa questa affermazione. Invece rivendica lo studio "non è riuscito a trovare nemmeno un 'effetto modesto' sul tasso di infezione o malattia". C'è una distinzione fondamentale tra affermare che A non funziona e affermare che A non ha dimostrato di funzionare. I due non hanno lo stesso significato.

Verdetto: l'affermazione di Carballo-Carbajal è falsa.

2. Dichiarazione: il Dr. Malone non tiene conto dei limiti della revisione quando fa questa affermazione.

Discussione: per cominciare, il Dr. Malone non fa mai l'affermazione a cui si fa riferimento, ma un'affermazione diversa. Ciò nonostante, nel suo post sul blog cita chiaramente il disclaimer degli autori dello studio sull'incertezza sugli effetti delle mascherine: "La certezza bassa-moderata delle prove significa che la nostra fiducia nella stima dell'effetto è limitata e che il vero effetto potrebbe essere diverso dalla stima osservata dell'effetto."... “[t] l'alto rischio di parzialità negli studi, la variazione nella misurazione dei risultati e la conformità relativamente bassa con gli interventi durante gli studi ostacolano il trarre conclusioni definitive e la generalizzazione dei risultati all'attuale pandemia di COVID-19.  Non è quindi vero che il dottor Malone “non abbia tenuto conto dei limiti della revisione."

Verdetto: l'affermazione di Carballo-Carbajal è falsa.

3. Dichiarazione: "[I] singoli studi […] valutati [nella revisione] variavano notevolmente in termini di qualità, disegno dello studio, popolazioni studiate e risultati osservati, [...] [impedendo] agli autori di trarre conclusioni definitive .”

Discussione: Il studio i risultati parlano chiaro: "Ci sono prove a bassa certezza da nove studi (3,507 partecipanti) che indossare una maschera può fare poca o nessuna differenza per l'esito della malattia simil-influenzale (ILI) rispetto al non indossare una maschera (rapporto di rischio (RR) 0.99, 95 percento intervallo di confidenza (CI) da 0.82 a 1.18 Vi sono prove di certezza moderata che indossare una maschera probabilmente fa poca o nessuna differenza per l'esito dell'influenza confermata in laboratorio rispetto al non indossare una maschera (RR 0.91, IC 95% da 0.66 a 1.26; 6 prove; 3,005 partecipanti).... L'uso di un respiratore N95/P2 rispetto a una maschera medico/chirurgica probabilmente fa poca o nessuna differenza per l'esito oggettivo e più preciso dell'infezione influenzale confermata in laboratorio (RR 1.10, IC 95% da 0.90 a 1.34; prove di moderata certezza; 5 studi; 8,407 partecipanti)."

Tali risultati sono ripetuti nelle conclusioni degli Autori, aggiungendo il disclaimer che "[t] l'alto rischio di parzialità negli studi, la variazione nella misurazione dei risultati e la conformità relativamente bassa con gli interventi durante gli studi ostacolano il trarre conclusioni definitive e la generalizzazione dei risultati all'attuale pandemia di COVID-19".

Questo disclaimer è la goccia a cui Carballo-Carbajal si aggrappa con tutte le sue forze. Ma come ha spiegato l'autore principale dello studio, ciò non modifica i risultati dello studio, afferma solo che i risultati possono essere influenzati da incertezze derivanti dai limiti degli studi utilizzati. Nelle sue stesse parole:

“Si chiama cautela, e si chiama essere onesti con le prove che abbiamo trovato. Questa è la migliore prova che abbiamo” (vedi riferimento sotto).

Sembra che Carballo-Carbajal non capisca il significato di un disclaimer in un articolo scientifico; invece cerca di usarlo per invalidare i risultati dello studio e sostenere la sua affermazione che le maschere funzionano, nonostante le prove. Una dichiarazione di non responsabilità in uno studio non invalida i suoi risultati.

Verdetto: La dichiarazione di Carballo-Carbajal è fuorviante.

4. Dichiarazione: gli studi controllati randomizzati sono considerati il ​​gold standard per valutare l'efficacia di un intervento.

Discussione: il riferimento su cui si basa questa affermazione è il blog del Dr. Malone. Sebbene questa affermazione possa essere vera, dedurre che qualcosa sia generalmente "considerato il gold standard" sulla base dell'opinione di uno scienziato, è un grave errore logico.

Verdetto: l'affermazione di Carballo-Carbajal è logicamente invalida.

5. Dichiarazione: gli studi sul gold standard variano notevolmente in termini di qualità.

Discussione: questa affermazione non è supportata da alcuna prova. Potrebbe essere vero, oppure no.

Verdetto: La dichiarazione di Carballo-Carbajal non è supportata da prove.

6. Affermazione: molti scienziati ritengono che gli studi controllati randomizzati debbano essere visti come parte di un'evidenza più ampia.

Discussione: la fonte per questo è un articolo in The Conversazione di tre epidemiologi e un esperto di sanità primaria. Gli autori fanno certamente questa affermazione, ma senza citare alcun riferimento. Pertanto, l'affermazione secondo cui si basa sull'opinione di "molti epidemiologi" è semplicemente falsa. Questa è un'affermazione fatta da tre epidemiologi e considerando il vasto numero di persone con quella formazione, la parola "molti" non è certamente giustificata. Bisogna aggiungere che il ricorso ai numeri (argumentum ad populum) è un errore logico.

Verdetto: La dichiarazione di Carballo-Carbajal non è supportata da prove. La sua presunta rilevanza si basa sull'argomentum ad populum, un errore logico.

7. Dichiarazione: quando vengono presi in considerazione gli studi che non soddisfano i requisiti della ricerca gold standard, mostrano che l'uso diffuso della maschera può ridurre la trasmissione della comunità.

Discussione: è ovviamente vero che abbassando lo standard si possono ottenere risultati diversi, ma questa affermazione è problematica, poiché Carballo-Carbajal sembra trarne la conclusione che, nonostante il risultato della revisione Cochrane, le maschere impediscono effettivamente la trasmissione . Ciò è evidente da questo passaggio, verso la fine dell'articolo: “Un numero crescente di prove da RCT e studi osservazionali suggerisce che l'uso costante della maschera può ridurre efficacemente la diffusione di virus respiratori come SARS-CoV-2 sia in ambito sanitario che comunitario. … Per il momento, le maschere per il viso sono un altro livello di protezione oltre alla vaccinazione, al lavaggio frequente delle mani e al distanziamento fisico quando la circolazione dei virus respiratori è elevata”.

Ciò significa che l'affermazione di Carballo-Carbajal non è solo che studi di bassa qualità suggeriscono qualcosa; la dichiarazione finale mostra che afferma chiaramente che ciò che suggeriscono è effettivamente vero. Questa affermazione è ancora più chiara nel suo titolo: "Diversi studi dimostrano che le mascherine riducono la diffusione del COVID-19." Una sottile differenza in superficie, ma importantissima. Significa che è giustificato riformulare la dichiarazione originale come: “Quando vengono presi in considerazione gli studi che non soddisfano i requisiti della ricerca gold standard, mostrano che l'uso diffuso della maschera può ridurre la trasmissione della comunità e questa è una conclusione valida. "

Questo ci porta alla domanda sul perché le citazioni di Carballo-Carbajal degli studi di bassa qualità non siano state incluse nella revisione Cochrane. Per fortuna abbiamo un trascrizione di un'intervista dettagliata tra l'autore principale dello studio, il Dr. Tom Jefferson (JF) e il Dr. Carl Heneghan (CH), dove questo è discusso in dettaglio:

CH. Ora guarda, ti porterò al compito qui. Nelle conclusioni dell'autore le persone leggeranno questa recensione e inizieranno a guardare questo e diranno, guarda, abbiamo prove di alta qualità, abbiamo studi controllati randomizzati e in particolare a livello di maschera che diranno , guarda, stai mostrando nella comunità questa mancanza di effetto, ma inizi con l'alto rischio di parzialità nello studio, variazione nella misurazione dei risultati e aderenza relativamente bassa con l'intervento durante gli studi, che ci impedisce di trarre conclusioni definitive . Ora insisto su questo punto perché la risposta ovvia è allora quella di andare a tutti gli studi osservazionali in cui le persone hanno fatto revisioni sistematiche e sicuramente tratto conclusioni definitive su cosa fare. Quindi potresti approfondire cosa significa nel contesto di 78 studi - che sono molte prove di studi di controllo randomizzati - puoi approfondire cosa significa?

TJ. Si chiama cautela, e si chiama essere onesti con le prove che abbiamo trovato. Questa è la migliore prova che abbiamo, ma a differenza di alcuni degli ideologi che spingono l'idea che gli studi non randomizzati, gli studi osservazionali potrebbero dare risposte, alcuni di loro forniscono risposte radicali, affermazioni radicali, certezze, che semplicemente non appartengono a scienza. La scienza non riguarda la certezza, la scienza riguarda l'incertezza, si tratta di cercare di muoversi nell'agenda e accumulare conoscenza. L'uso di studi non randomizzati nella valutazione del virus respiratorio degli interventi con virus respiratori significa che le persone non capiscono, coloro che hanno fatto quegli studi non capiscono il gioco di diversi fattori. Ad esempio la stagionalità, ad esempio il capriccioso andirivieni di questi agenti, un giorno sono qui e il giorno dopo se ne sono andati. Se osservi il comportamento della SARS-CoV-2 nella sorveglianza del Regno Unito negli ultimi 12 mesi, è su e giù, ed è completamente indipendente da qualsiasi intervento, e inoltre è molto rapidamente su e molto rapidamente giù. Gli studi osservazionali non possono spiegarlo. Inoltre, una percentuale molto ampia di studi osservazionali è retrospettiva e quindi è soggetta a spietati bias di richiamo; i ricercatori traggono conclusioni dai dati che hanno ottenuto ponendo domande come "Riesci a ricordare un mese fa quante volte hai indossato una maschera" o "Cosa hai fatto su questo o cosa hai fatto l'altro giorno" senza tenere un diario. Questa semplicemente non è scienza. Dedurre la misurazione, la distanza, quando gli studi originali non hanno fatto nulla del genere. Quindi questo è solo un elenco infinito di pregiudizi che non possono essere presi in considerazione dagli studi osservazionali. E l'unico modo che abbiamo per rispondere alle domande è eseguire ampi studi di controllo randomizzati prospettici per rispondere a una domanda specifica in una popolazione specifica.

Come spiega qui Jefferson, i limiti degli studi osservazionali rendono praticamente impossibile trarre da essi la conclusione che Carballo-Carbajal fa. Carballo-Carbajal cita una serie di studi osservazionali a sostegno della sua affermazione. Non li esaminerò tutti qui, ma guardare alcuni esempi dovrebbe essere sufficiente per fornire prove per alcuni dei problemi discussi da Jefferson, oltre a confutare alcune delle conclusioni prive di fondamento di Carballo-Carbajal.

Ad esempio uno degli studi citati, Wang et al, conclude che l'uso della maschera facciale da parte del caso primario e dei contatti familiari prima che il caso primario sviluppasse i sintomi era efficace al 79% nel ridurre la trasmissione. Questo è uno studio osservazionale retrospettivo in cui le prove dell'uso della maschera si basano esclusivamente sull'autosegnalazione post-fatto del partecipante. 

Un altro, Mello et al. mostra come le particelle virali si accumulano nelle maschere, ma Carballo-Carbajal lo prende come prova "[a]i dati disponibili indicano che l'uso della maschera è più efficace se combinato con altre misure di controllo, come il distanziamento fisico e il lavaggio frequente delle mani".

In sintesi, Carballo-Carbajal sostiene che poiché studi di alta qualità non dimostrano l'efficacia delle mascherine contro la trasmissione, allora studi osservazionali inaffidabili, esclusi dalla meta-revisione del “gold standard”, proprio a causa della loro inaffidabilità, dimostrano quanto l'elevata studi di qualità non riescono a dimostrare.

Verdetto: l'affermazione (riformulata) di Carballo-Carbajal è falsa. Senza riformulare è irrilevante.

8. Dichiarazione: l'effetto dell'uso della maschera è maggiore se combinato con altri interventi.

Discussione: Questa affermazione è problematica. È già chiaro dalle prove di alta qualità fornite dalla revisione Cochrane che l'affermazione secondo cui le maschere riducono la trasmissione non è provata. Ciò significa che l'affermazione che si aggiungono alla protezione fornita da altri interventi deve essere errata.

Verdetto: l'affermazione di Carballo-Carbajal è falsa.

Carballo-Carbajal inizia attribuendo falsamente al Dr. Robert Malone due affermazioni che non ha mai fatto. Quelle false affermazioni diventano la base del suo "controllo dei fatti".

Quindi accusa ingiustamente il dottor Malone di aver rilasciato dichiarazioni false su una questione diversa, un argomento ad hominem irrilevante per l'oggetto dell'articolo.

Delle otto affermazioni fatte da Carballo-Carbajal nel suo riassunto, sostenute dal suo testo principale, quattro sono palesemente false, una è logicamente invalida, una è fuorviante e due non sono supportate da alcuna prova, di cui una si basa su anche un errore logico.

Considerando come questo articolo gravemente viziato sia ora apparentemente utilizzato per sopprimere la diffusione di un importante articolo scientifico, per spingere il caporedattore di Cochrane a fare affermazioni false sull'obiettivo dell'articolo e minimizzarne i risultati, e per censurare una revisione di i risultati di un importante quotidiano mainstream, c'è chiaramente un urgente bisogno di agire con forza contro la cosiddetta industria del "controllo dei fatti". Il livello raggiunto da questa censura è una minaccia chiara e presente per la ricerca scientifica e lo sviluppo.