Negli anni in cui ho lavorato come redattore associato (per L'American Journal of Epidemiology), ho visto l'intero spettro delle "revisioni tra pari" – da critiche meticolose e ponderate, i cui autori evidentemente hanno dedicato diverse ore al compito, a recensioni approssimative che riflettevano negligenza e incompetenza. Ho letto recensioni amichevoli da parte di ammiratori degli autori e recensioni ostili da parte dei loro nemici. (Non è difficile capirlo dal tono.) Nella pratica scientifica, gli esseri umani si comportano ancora come esseri umani.
La situazione è peggiorata durante la pandemia. Gli studi che elogiavano i vaccini contro il Covid sono stati rapidamente certificati "peer-reviewed", mentre la revisione paritaria critica post-pubblicazione è stata soppressoDi conseguenza, ora abbiamo una raccolta storica di dati scientifici scadenti pubblicati. Non può essere cancellata, ma è tempo di iniziare a correggere il passato.
Le riviste biomediche non sono la piattaforma. In primo luogo, non esiste una sezione formale per la revisione paritaria aperta di articoli pubblicati molto tempo fa. In secondo luogo, i redattori non hanno alcun interesse a smascherare falsità pubblicate sulle loro riviste. In terzo luogo, censura la macchina è ancora al suo posto. Finora sono riuscito a romperla solo una voltae non è stato facile.
Quindi, come possiamo provare a correggere il record e dove?
Vorrei dare un suggerimento ai miei colleghi in epidemiologia, biostatistica e discipline metodologiche correlate che hanno mantenuto il loro pensiero critico durante la pandemia. Scegliete uno o più articoli sui vaccini contro il Covid e inviate la vostra peer review a Giornale di BrownstoneSe è interessante e ben scritto, ci sono buone probabilità che venga pubblicato. Consiglio di fare una selezione accurata: trova quegli articoli sottoposti a revisione paritaria che ti hanno irritato di più, sia perché erano puramente sciocchezza o perché l'inferenza corretta era sorprendentemente diversoE se avete pubblicato brevi critiche su Twitter (ora X) o recensioni approfondite su altre piattaforme, ampliatele, rivedetele e inviatele a Brownstone. Forse possiamo creare gradualmente un inventario di recensioni critiche, ripristinando una certa fiducia nel metodo scientifico e nella scienza biomedica.
Ecco un esempio.
Una revisione e una rianalisi di uno studio in Ontario, Canada
Pubblicato in British Medical Journal nell'agosto 2021, il carta hanno segnalato l'efficacia dei vaccini a mRNA all'inizio del 2021, poco dopo la loro autorizzazione.
Questa ricerca era tipica degli studi sui vaccini di quel periodo. L'efficacia è stata stimata in un contesto "reale", ovvero uno studio osservazionale durante una campagna di vaccinazione. Il periodo di studio (da metà dicembre 2020 a metà aprile 2021) includeva il picco di un'ondata invernale di Covid a inizio gennaio. Discuteremo più avanti di un forte bias chiamato "confondimento da rischio di infezione di base".
Il disegno sperimentale era una variante dello studio caso-controllo, il disegno test-negativo. I soggetti idonei sono stati sottoposti a un test PCR a causa di sintomi simil-Covid. I casi sono risultati positivi; i controlli sono risultati negativi. Come di consueto, sono stati calcolati gli odds ratio e l'efficacia è stata calcolata come 1 meno l'odds ratio (espresso in percentuale). La dimensione del campione era ampia: 53,270 casi e 270,763 controlli.
Gli autori hanno riportato i seguenti risultati chiave (il corsivo è mio):
"L'efficacia del vaccino contro l'infezione sintomatica osservata ≥14 giorni dopo una dose è stata del 60% (intervallo di confidenza al 95% dal 57% al 64%), aumentando dal 48% (dal 41% al 54%) a 14-20 giorni dopo una dose al 71% (dal 63% al 78%) a 35-41 giorni. L'efficacia del vaccino osservata ≥7 giorni dopo due dosi è stata del 91% (dall'89% al 93%)."
Come quasi tutti gli studi sull'efficacia, gli autori hanno scartato gli eventi precoci. Come spiegato altrove, questa pratica introduce un pregiudizio chiamato tempo immortale, o distorsione della finestra di conteggio dei casiNon solo oscura i possibili effetti dannosi precoci, ma porta anche effettivamente a una sovrastima dell'efficacia. RFK, Jr. ha accennato a questo pregiudizio in termini non tecnici (vedi video clip).
. approccio corretto è semplice. Dovremmo stimare l'efficacia dalla somministrazione della prima dose a punti temporali successivi (immunità consolidata). La tabella sottostante mostra i dati dello studio e i risultati della nuova analisi. Ogni riga mostra il calcolo dell'efficacia entro il giorno indicato.
L'efficacia era negativa entro la fine delle prime due settimane dopo la prima dose e aveva raggiunto circa il 30% prima di una seconda dose, non il 70%. Ha raggiunto solo circa il 50% al momento della piena immunità, non il 90%. Sebbene le mie stime non siano aggiustate, eTabella 2 (materiale supplementare) indica che l'aggiustamento non ha praticamente modificato le stime degli autori.
Tuttavia, i miei risultati sono ancora influenzati da quello che in precedenza ho definito "fattore di confondimento dovuto al rischio di infezione di base".
La figura sottostante è stata presa dal sito web di Salute pubblica OntarioLa linea nera mostra la media mobile a 7 giorni dei nuovi casi. Ho aggiunto linee rosse che mostrano il periodo di studio, suddiviso in due intervalli. Ho anche aggiunto stime del numero di persone vaccinate in ciascun intervallo.
Il primo intervallo, che ha incluso il picco dell'ondata invernale, è stato un periodo di lento avvio della campagna vaccinale. In quel periodo, la distribuzione dello stato vaccinale era sbilanciata verso la non vaccinazione, il che significa che lo stato di non vaccinazione coincideva con un'alta probabilità di contrarre l'infezioneAl contrario, il tasso di infezione di base è stato inferiore per gran parte del secondo periodo, quando diversi milioni di persone hanno ricevuto la prima dose. Solo a metà marzo il numero di nuovi casi ha superato di nuovo la linea tratteggiata. In breve, l'associazione inversa tra vaccinazione e infezione è stata fortemente influenzata dall'andamento temporale del rischio di infezione. Anche un'iniezione di placebo sarebbe sembrata efficace.
Non posso eliminare il bias, ed è forte. La vera efficacia, se esiste, è molto inferiore alle stime che ho calcolato dopo aver rimosso il bias temporale immortale. Che sia del 10% entro sei settimane o del 20% non fa differenza. Quello non è un vaccino.
Gli autori hanno utilizzato un altro gruppo di casi: ospedalizzazione o morte. Questi dati sono soggetti non solo ai precedenti bias ma anche al pregiudizio del vaccinato sanoTuttavia, non posso apportare alcuna correzione. La maggior parte dei dati sui casi è stata soppressa a causa dei numeri esigui e il gruppo di controllo era errato. Hanno utilizzato "lo stesso gruppo di controllo della prima analisi dell'esito primario (ovvero, individui con sintomi risultati negativi al test per SARS-CoV-2)". Questa è una violazione di un principio fondamentale del disegno sperimentale basato sul test negativo. I controlli avrebbero dovuto essere persone ricoverate in ospedale o decedute risultate negative al test.
La frase seguente riflette un'incomprensione del modello di regressione che hanno adattato. Scrivono: "Abbiamo utilizzato modelli di regressione logistica multivariata per stimare l'odds ratio, confrontando le probabilità di vaccinazione (corsivo mio) tra casi positivi al test e controlli negativi al test (con persone non vaccinate come gruppo di riferimento)." La variabile dipendente era lo stato caso-controllo (logaritmo delle probabilità di essere un caso). Tecnicamente, vengono confrontate le probabilità di essere un caso (rispetto a quelle di essere un controllo), non le probabilità di vaccinazione.
Stranamente, il post materiale supplementare Porta ancora la dicitura "RISERVATO - VIETATA LA DISTRIBUZIONE, 5 AGOSTO 2021". Solo nell'era del Covid si può trovare tanta sciatteria. Osserviamo qui una gestione parziale (e negligente) di un articolo che serviva alla narrazione.
Concluderò la mia recensione con uno dei miei argomenti preferiti: risultati senza senso.
La figura seguente mostra le stime di efficacia, così come calcolate dagli autori. La freccia indica un risultato che non ha senso. Non ci aspettiamo alcun beneficio incrementale dalla seconda dose entro 6 giorni dall'iniezione, eppure l'efficacia è aumentata, raggiungendo quasi la stima per l'intervallo successivo (7+ giorni). Se la stima per 0-6 giorni è chiaramente distorta, perché dovremmo fidarci di quella successiva?
Epilogo
Come ho scritto all'inizio, dovremmo cercare di correggere la storia. La strada è lunga, ma come dice il proverbio, "Un viaggio di mille miglia inizia con un singolo passo". Mi rivolgo in particolare ai metodologi di alto livello che erano soliti smantellare studi scadenti e criticare metodi instabili. La maggior parte di loro è rimasta in silenzio durante la pandemia, probabilmente temendo le conseguenze di mettere in discussione la narrativa "sicura ed efficace".
Cominciamo a leggere le coraggiose recensioni di studi che hanno riportato la straordinaria efficacia dei vaccini anti-Covid, poi rivelatesi false. Non mancano problemi da individuare, evidenziare e correggere, se possibile, con dati reali o simulazioni:
Se non facciamo questo lavoro, continueremo a leggere stime false basate sull'efficacia di vite salvate. Era vicino a 2.5 milioni, come alcuni hanno sostenuto, o non rilevabile nelle statistiche di mortalità, o probabilmente circa zero? E otterremo mai delle risposte da prove rilevanti?
Ripubblicato da Medio
Unisciti alla conversazione:
Pubblicato sotto a Licenza internazionale Creative Commons Attribution 4.0
Per le ristampe, reimpostare il collegamento canonico all'originale Istituto di arenaria Articolo e Autore.
