La plausibilità ma non la scienza ha dominato le discussioni pubbliche sulla pandemia di Covid

“Gli attacchi contro di me, francamente, sono attacchi contro scienza.” ~ Anthony Fauci, 9 giugno 2021 (MSNBC).

assurdo.

Per prima cosa, il dottor Fauci non ha riferito accuratamente su questioni scientifiche durante la pandemia di Covid-19. Dall'altro, la dialettica essenziale della scienza è discutere, mettere in discussione, discutere. Senza dibattito, la scienza non è altro che propaganda. 

Eppure, ci si potrebbe chiedere, come è stato possibile presentare materiale tecnico al pubblico americano, se non internazionale, per quasi tre anni e giungere a una comprensione generale che le cose erano “scientifiche”, quando in realtà non lo erano ? Affermo che ciò che è stato fornito a questo pubblico attraverso i media tradizionali nel corso della pandemia è stato in gran parte plausibilità, ma non scienza, e che sia il pubblico americano che quello internazionale, così come la maggior parte dei medici e gli stessi scienziati, non possono dirlo la differenza. Tuttavia, la differenza è fondamentale e profonda.

La scienza parte da teorie, ipotesi, che hanno ramificazioni empiriche esaminabili. Tuttavia, quelle teorie non sono scienza; essi motivare scienza. La scienza si verifica quando gli individui fanno esperimenti o fanno osservazioni che riguardano le implicazioni o le ramificazioni delle teorie. Tali scoperte tendono a supportare o confutare le teorie, che vengono poi modificate o aggiornate per adattarsi alle nuove osservazioni o scartate se prove convincenti dimostrano che non riescono a descrivere la natura. Il ciclo viene quindi ripetuto. Scienze è l'esecuzione di un lavoro empirico o osservativo per ottenere prove che confermano o confutano teorie.

In generale, le teorie tendono ad essere affermazioni plausibili che descrivono qualcosa di specifico su come opera la natura. La plausibilità è negli occhi di chi guarda, poiché ciò che è plausibile per un esperto tecnicamente esperto potrebbe non essere plausibile per un profano. Ad esempio, forse semplificato eccessivamente, l'eliocentrismo non era plausibile prima che Niccolò Copernico pubblicasse la sua teoria nel 1543, e non fu particolarmente plausibile in seguito per un bel po' di tempo, fino a quando Johannes Kepler capì che le misurazioni astronomiche effettuate da Tycho Brahe suggerivano di affinare le orbite circolari di Copernicano in ellissi. , così come le regole matematiche sembravano governare i moti planetari lungo quelle ellissi, eppure le ragioni di quelle regole matematiche, anche se erano buone descrizioni dei moti, non erano plausibili fino a quando Isaac Newton nel 1687 postulò l'esistenza di un sistema gravitazionale universale forza tra le masse, insieme a una legge della distanza proporzionale alla massa, inverso del quadrato, che regola l'entità dell'attrazione gravitazionale, e ha osservato numerosi fenomeni quantitativi coerenti e a sostegno di questa teoria.

Per noi oggi, difficilmente pensiamo alla plausibilità delle orbite ellittiche del sistema solare eliocentrico, perché i dati osservativi che coprono 335 anni sono stati altamente coerenti con quella teoria. Ma potremmo esitare a pensare che sia plausibile che la luce viaggi simultaneamente sia come particelle che come onde, e che effettuare misurazioni sulla luce, ciò che facciamo come osservatori, determini se vediamo il comportamento delle particelle o il comportamento delle onde, e possiamo scegliere di osservare entrambe le particelle o onde, ma non entrambe allo stesso tempo. La natura non è necessariamente plausibile.

Tuttavia, le teorie plausibili sono facili da credere, e questo è il problema. Questo è ciò che ci è stato nutrito per quasi tre anni di pandemia di Covid-19. In realtà, però, siamo stati nutriti di plausibilità invece che di scienza per molto più tempo.

Scienza del culto del carico

I ciarlatani che pretendevano di piegare i cucchiai con la mente, o che affermavano di studiare la "percezione extrasensoriale" non confermabile e irreplicabile erano molto popolari negli anni '1960 e '1970. Strane convinzioni su ciò che la "scienza" poteva stabilire raggiunsero un livello tale che il premio Nobel per la fisica Richard Feynman pronunciò il discorso di inizio del Caltech del 1974 (Feynman, 1974) lamentandosi di tali convinzioni irrazionali. Le sue osservazioni non erano rivolte al grande pubblico, ma agli studenti laureati del Caltech, molti dei quali erano destinati a diventare scienziati accademici.

Nel suo discorso, Feynman ha descritto come gli abitanti delle isole del Mare del Sud, dopo la seconda guerra mondiale, abbiano imitato i soldati statunitensi di stanza lì durante la guerra che avevano guidato gli atterraggi di rifornimenti aerei. Gli abitanti dell'isola, utilizzando materiali locali, hanno riprodotto la forma ei comportamenti di ciò a cui avevano assistito dei GI americani, ma non sono arrivati ​​rifornimenti.

Nel nostro contesto, il punto di Feynman sarebbe che fino a quando una teoria non ha prove empiriche oggettive a sostegno di essa, rimane solo una teoria, non importa quanto plausibile possa sembrare a chiunque la consideri. Agli isolani mancava il fatto cruciale che non capivano come funzionava il sistema di approvvigionamento, nonostante quanto fosse plausibile per loro la loro riproduzione. Che Feynman si sentì in dovere di avvertire gli studenti laureandi del Caltech della differenza tra plausibilità e scienza, suggerendo che questa differenza non era adeguatamente appresa nella loro formazione all'Istituto. Non è stato insegnato esplicitamente quando questo autore era uno studente universitario lì in quegli anni, ma in qualche modo ci si aspettava che lo avessimo imparato "per osmosi".

Medicina basata sulle prove

Forse oggi non c'è mistificazione di plausibilità più grande di “medicina basata sull'evidenza” (EBM). Questo termine è stato coniato da Gordon Guyatt nel 1990, dopo che il suo primo tentativo, "Medicina scientifica", non era riuscito a ottenere l'accettazione l'anno precedente. Come epidemiologo universitario nel 1991, sono stato insultato dall'arroganza e dall'ignoranza nell'uso di questo termine, EBM, come se le prove mediche fossero in qualche modo "non scientifiche" fino a quando non è stata proclamata una nuova disciplina con nuove regole per le prove. Non ero il solo a criticare l'EBM (Sackett et al., 1996), anche se gran parte di quella risposta negativa sembra essere stata basata sulla perdita del controllo narrativo piuttosto che sulla revisione obiettiva di ciò che la ricerca medica aveva effettivamente realizzato senza "EBM".

La conoscenza medica occidentale si è accumulata per migliaia di anni. Nella Bibbia ebraica (Esodo 21:19), "Quando due parti litigano e una colpisce l'altra... la vittima sarà completamente guarita" [traduzione mia] il che implica che esistevano individui che avevano tipi di conoscenze mediche e che un certo grado di efficacia inerente. Ippocrate, nel V-IV secolo a.C., suggerì che lo sviluppo della malattia potrebbe non essere casuale ma correlato all'esposizione dall'ambiente oa determinati comportamenti. In quell'epoca, c'erano molti di quelli che oggi considereremmo controesempi alla buona pratica medica. Tuttavia, è stato un inizio pensare a prove razionali per la conoscenza medica.

James Lind (1716-1794) sosteneva la protezione dallo scorbuto attraverso il consumo di agrumi. Questo trattamento era noto agli antichi, e in particolare era stato precedentemente raccomandato dal chirurgo militare inglese John Woodall (1570-1643), ma Woodall fu ignorato. Lind ottiene il merito perché nel 1747 ha condotto un piccolo ma riuscito esperimento non randomizzato e controllato di arance e limoni rispetto ad altre sostanze tra 12 pazienti affetti da scorbuto.

Durante il 1800, l'uso del vaiolo bovino da parte di Edward Jenner come vaccino contro il vaiolo fu elaborato coltivando altri animali e messo in uso generale nelle epidemie, così che al tempo del caso della Corte Suprema del 1905 di Jacobson v. Massachusetts, il Presidente della Corte Suprema potrebbe affermare che la vaccinazione contro il vaiolo è stata concordata dalle autorità mediche come una procedura comunemente accettata. Le riviste mediche iniziarono a pubblicare regolarmente anche nell'Ottocento. Ad esempio, il Lancetta iniziò a pubblicare nel 1824. L'accrescimento delle conoscenze mediche iniziò a essere condiviso e dibattuto in modo più generale e ampio.

Avanti veloce al 1900. Nel 1914-15, Joseph Goldberger (1915) condusse uno studio di intervento dietetico non randomizzato che concluse che la pellagra era causata dalla mancanza di niacina nella dieta. Negli anni '1920 furono sviluppati vaccini per difterite, pertosse, tubercolosi e tetano. L'insulina è stata estratta. Furono sviluppate vitamine, inclusa la vitamina D per prevenire il rachitismo. Negli anni '1930 iniziarono a essere creati e utilizzati in modo efficace gli antibiotici. Negli anni '1940 fu sviluppato il paracetamolo, così come le chemioterapie, e gli estrogeni coniugati iniziarono ad essere usati per trattare le vampate di calore della menopausa. Nuovi farmaci, vaccini e dispositivi medici efficaci sono cresciuti esponenzialmente di numero negli anni '1950 e '1960. Tutto senza EBM.

Nel 1996, rispondendo alle critiche all'EBM, David Sackett et al. (1996) hanno tentato di spiegarne i principi generali. Sackett ha affermato che l'EBM deriva da "I buoni medici usano sia l'esperienza clinica individuale che le migliori prove esterne disponibili". Questa è un'implicazione di plausibilità anodina, ma entrambi i componenti sono fondamentalmente sbagliati o almeno fuorvianti. Esprimendo questa definizione in termini di ciò che i singoli medici dovrebbero fare, Sackett intendeva insinuare che i singoli professionisti dovrebbero utilizzare le proprie osservazioni ed esperienze cliniche. Tuttavia, è probabile che la rappresentatività probatoria generale dell'esperienza clinica di un individuo sia debole. Proprio come altre forme di prova, le prove cliniche devono essere sistematicamente raccolte, riviste e analizzate, per formare una sintesi del ragionamento clinico, che fornirebbe quindi la componente clinica delle prove medico-scientifiche.

Un fallimento più grande del ragionamento probatorio è l'affermazione di Sackett secondo cui si dovrebbero usare "le migliori prove esterne disponibili" piuttosto che contro tutti i prove esterne valide. I giudizi su ciò che costituisce la prova "migliore" sono altamente soggettivi e non producono necessariamente risultati complessivi quantitativamente i più accurati e precisi (Hartling et al., 2013; Bae, 2016). Nel formulare i suoi "aspetti" ora canonici del ragionamento causale probatorio, Sir Austin Bradford Hill (1965) non ha incluso un aspetto di ciò che costituirebbe la "migliore" prova, né ha suggerito che gli studi dovrebbero essere misurati o classificati per la "qualità dello studio". ” né che alcuni tipi di disegni di studio potrebbero essere intrinsecamente migliori di altri. Nel Manuale di riferimento sulle prove scientifiche, Margaret Berger (2011) afferma esplicitamente: “… molti degli organismi scientifici più rispettati e prestigiosi (come l'Agenzia internazionale per la ricerca sul cancro (IARC), l'Istituto di medicina, il Consiglio nazionale delle ricerche e l'Istituto nazionale per le scienze della salute ambientale) prendere in considerazione tutte le prove scientifiche pertinenti disponibili, prese nel loro insieme, per determinare quale conclusione o ipotesi riguardante un'affermazione causale sia meglio supportata dal corpus di prove. Questo è esattamente l'approccio di Hill; i suoi aspetti del ragionamento causale sono stati ampiamente utilizzati per più di 50 anni per ragionare dall'osservazione alla causalità, sia nella scienza che nel diritto. Il fatto che l'EBM si basi sulla selezione soggettiva delle "migliori" prove è un metodo plausibile ma non scientifico.

Nel corso del tempo, l'approccio EBM per considerare selettivamente le "migliori" prove sembra essere stato "smorzato", in primo luogo ponendo gli studi randomizzati controllati (RCT) in cima a una piramide di tutti i disegni di studio come il presunto disegno "gold standard", e successivamente, come l'unico tipo affermato di studio di cui ci si può fidare per ottenere stime imparziali degli effetti. Tutte le altre forme di evidenza empirica sono "potenzialmente distorte" e quindi inaffidabili. Questa è una presunzione di plausibilità, come mostrerò di seguito.

Ma è così plausibile che viene abitualmente insegnato nella moderna educazione medica, così che la maggior parte dei medici considera solo le prove RCT e respinge tutte le altre forme di prove empiriche. È così plausibile che questo autore abbia avuto una battaglia verbale in onda su di esso con un commentatore televisivo non istruito dal punto di vista medico che non ha fornito alcuna prova oltre alla plausibilità (Whelan, 2020): non è "semplicemente ovvio" che se si randomizzano i soggetti, qualsiasi le differenze devono essere causate dal trattamento e non ci si può fidare di altri tipi di studi? Ovvio, sì; vero, no.

Chi beneficia di un'attenzione esclusiva e ossessiva alle prove RCT? Gli RCT sono molto costosi da condurre se devono essere epidemiologicamente validi e statisticamente adeguati. Possono costare milioni o decine di milioni di dollari, il che limita il loro fascino in gran parte alle aziende che promuovono prodotti medici che potrebbero portare profitti sostanzialmente maggiori di tali costi. Storicamente, il controllo farmaceutico e la manipolazione delle prove RCT nel processo di regolamentazione hanno fornito un enorme impulso alla capacità di spingere i prodotti attraverso l'approvazione normativa nel mercato, e la motivazione per farlo continua ancora oggi.

Questo problema è stato riconosciuto dal Congresso, che ha approvato il Food and Drug Administration Modernization Act del 1997 (FDAMA) che ha istituito nel 2000 il ClinicalTrials.gov sito web per la registrazione di tutti gli studi clinici eseguiti nell'ambito di nuove domande di farmaci sperimentali per esaminare l'efficacia dei farmaci sperimentali per i pazienti con condizioni gravi o pericolose per la vita (National Library of Medicine, 2021). Per ragioni correlate che coinvolgono conflitti di interessi nelle sperimentazioni cliniche, il sito Web ProPublica "Dollars for Docs" (Tigas et al., 2019) che copre i pagamenti delle aziende farmaceutiche ai medici negli anni 2009-2018 e il sito Web OpenPayments (Centers for Medicare & Medicaid Services , 2022) relativi ai pagamenti dal 2013 al 2021 sono stati stabiliti e resi consultabili pubblicamente. Questi sistemi di informazione sono stati creati perché la "plausibilità" che la randomizzazione renda automaticamente i risultati dello studio accurati e imparziali è stata riconosciuta come insufficiente per far fronte alle frodi della ricerca e ai motivi inappropriati di conflitto di interessi degli investigatori.

Sebbene questi tentativi di riformare o limitare la corruzione della ricerca medica abbiano aiutato, persiste la falsa rappresentazione delle prove sotto le spoglie dell'EBM. Uno dei peggiori esempi è stato un documento pubblicato nel New England Journal of Medicine 13 febbraio 2020, all'inizio della pandemia di Covid-19, intitolato "The Magic of Randomization versus the Myth of Real-World Evidence", di quattro noti statistici medici britannici che hanno legami sostanziali con le aziende farmaceutiche (Collins et al. ., 2020). Probabilmente è stato scritto nel gennaio 2020, prima che la maggior parte delle persone sapesse che la pandemia stava arrivando. Questo documento afferma che la randomizzazione crea automaticamente studi solidi e che tutti gli studi non randomizzati sono spazzatura probatoria. Al momento della lettura, l'ho sentito come un massetto contro la mia intera disciplina, l'epidemiologia. Ne sono stato subito offeso, ma ho poi compreso i gravi conflitti di interesse degli autori. Rappresentare che solo prove RCT altamente inaccessibili sono appropriate per le approvazioni normative fornisce uno strumento per le aziende farmaceutiche per proteggere i loro prodotti brevettati costosi e altamente redditizi dalla concorrenza di farmaci generici approvati off-label efficaci ed economici i cui produttori non sarebbero in grado di permettersi su larga scala RCT.

La randomizzazione

Quindi, qual è il difetto della randomizzazione a cui ho alluso, che richiede un esame più approfondito per comprendere la validità relativa degli studi RCT rispetto ad altri disegni di studio? Il problema sta nella comprensione di confusione. Il confondimento è una circostanza epidemiologica in cui una relazione tra un'esposizione e un esito non è dovuta all'esposizione, ma a un terzo fattore (il confondente), almeno in parte. Il confondente è in qualche modo associato all'esposizione ma non è il risultato dell'esposizione.

In tali casi, l'apparente relazione esposizione-risultato è in realtà dovuta alla relazione confondente-risultato. Ad esempio, uno studio sul consumo di alcol e sul rischio di cancro potrebbe essere potenzialmente confuso dalla storia del fumo che si correla con l'uso di alcol (e non è causato dall'uso di alcol) ma sta davvero guidando l'aumento del rischio di cancro. Una semplice analisi del rischio di alcol e cancro, ignorando il fumo, mostrerebbe una relazione. Tuttavia, una volta controllato o aggiustato l'effetto del fumo, la relazione tra alcol e rischio di cancro diminuirebbe o scomparirebbe.

Lo scopo della randomizzazione, di bilanciare tutto tra i gruppi di trattamento e di controllo, è rimuovere potenziali fattori di confusione. C'è un altro modo per rimuovere potenziali fattori di confusione? Sì: misurare i fattori in questione e regolarli o controllarli nelle analisi statistiche. È quindi evidente che la randomizzazione ha esattamente un possibile vantaggio non disponibile per gli studi non randomizzati: il controllo di unconfondenti misurati. Se le relazioni biologiche, mediche o epidemiologiche sono comprese in modo incompleto su un risultato di interesse, allora non tutti i fattori rilevanti possono essere misurati e alcuni di quei fattori non misurati potrebbero ancora confondere un'associazione di interesse.

Quindi, la randomizzazione, in teoria, rimuove il potenziale confondimento da fattori non misurati come spiegazione per un'associazione osservata. Questo è l'argomento della plausibilità. La domanda, tuttavia, riguarda quanto funziona bene la randomizzazione nella realtà e chi deve esattamente essere bilanciato dalla randomizzazione. Gli studi clinici applicano la randomizzazione a tutti i soggetti partecipanti per determinare l'assegnazione dei gruppi di trattamento. Se nell'evento dell'esito dello studio gli individui comprendono un sottoinsieme dello studio totale, allora anche quelle persone dell'esito devono essere bilanciate nei loro potenziali fattori di confusione. Ad esempio, se tutti i decessi nel gruppo di trattamento sono maschi e tutti nel gruppo placebo sono femmine, è probabile che il genere confonda l'effetto del trattamento. 

Il problema è che gli studi RCT essenzialmente non dimostrano mai in modo esplicito un'adeguata randomizzazione dei loro soggetti risultati e ciò che pretendono di mostrare della randomizzazione per i loro gruppi di trattamento totali è quasi sempre scientificamente irrilevante. Questo problema sorge probabilmente perché le persone che effettuano studi RCT e i revisori e gli editori di riviste che considerano i loro articoli non comprendono a sufficienza i principi epidemiologici.

Nella maggior parte delle pubblicazioni RCT, i ricercatori forniscono una tabella descrittiva iniziale superficiale dei gruppi di trattamento e placebo (come colonne), rispetto a vari fattori misurati (come righe). Ovvero, le distribuzioni percentuali dei soggetti in trattamento e del placebo per genere, gruppo di età, razza/etnia ecc. La terza colonna in queste tabelle è solitamente la statistica del valore p per la differenza di frequenza tra i soggetti in trattamento e quelli del placebo su ciascun fattore misurato. In parole povere, questa statistica stima una probabilità che una differenza di frequenza così grande tra i soggetti trattati e quelli trattati con placebo possa essersi verificata per caso. Dato che i soggetti sono stati assegnati ai loro gruppi di trattamento interamente per caso, l'esame statistico del processo casuale di randomizzazione è tautologico e irrilevante. Il fatto che in alcuni RCT alcuni fattori possano sembrare più estremi di quanto il caso consentirebbe in caso di randomizzazione è solo perché più fattori nelle righe sono stati esaminati per differenze distributive e in tali circostanze è necessario invocare il controllo statistico di confronti multipli.

Ciò che è necessario nella terza colonna della tabella descrittiva dell'RCT non è il p-value, ma una misura dell'entità del confondimento del particolare fattore di riga. Il confondimento non si misura da come si è verificato, ma da quanto è grave. Nella mia esperienza di epidemiologo di carriera, la migliore singola misura di confusione è la variazione percentuale dell'entità della relazione trattamento-esito con vs senza aggiustamento per il fattore di confusione. Quindi, ad esempio, se con l'aggiustamento per genere, il trattamento riduce la mortalità del 25% (rischio relativo = 0.75), ma senza aggiustamento la riduce del 50%, allora l'entità del confondimento per genere sarebbe (0.75 – 0.50)/0.75 = 33 %. Gli epidemiologi generalmente considerano una variazione superiore al 10% con tale aggiustamento per implicare che il confondimento è presente e deve essere controllato.

Come ho osservato, la maggior parte delle pubblicazioni RCT non fornisce l'entità delle stime confondenti per i loro gruppi di trattamento complessivi e mai per i loro soggetti di esito. Quindi non è possibile dire che i soggetti risultati siano stati adeguatamente randomizzati per tutti i fattori indicati nella tabella descrittiva del documento. Ma il potenziale difetto fatale degli studi RCT, ciò che può renderli non migliori degli studi non randomizzati e in alcuni casi peggiori, è che la randomizzazione funziona solo quando un gran numero di soggetti è stato randomizzato (Deaton e Cartwright, 2018), e questo vale specificamente per i risultati soggetti, non solo per lo studio totale. 

Considera di lanciare una moneta dieci volte. Potrebbe uscire almeno sette teste e tre croci, o viceversa, facilmente per caso (34%). Tuttavia, l'entità di questa differenza, 7/3 = 2.33, è potenzialmente piuttosto ampia in termini di possibile confusione. D'altra parte, il verificarsi della stessa magnitudine 2.33 da 70 o più teste su 100 lanci sarebbe raro, p=.000078. Affinché la randomizzazione funzioni, deve esserci un numero considerevole di eventi di esito sia nel gruppo di trattamento che in quello placebo, diciamo 50 o più in ciascun gruppo. Questo è il potenziale difetto principale non detto degli studi RCT che rende inutile il loro argomento di plausibilità, perché gli studi RCT sono generalmente progettati per avere un potere statistico sufficiente per trovare un significato statistico del loro risultato primario se il trattamento funziona come previsto, ma non progettato per avere un risultato sufficiente soggetti per ridurre il potenziale confondimento a meno del 10% dicono.

Un esempio importante di questo problema può essere visto nel primo risultato RCT di efficacia pubblicato per il vaccino Pfizer BNT162b2 mRNA Covid-19 (Polack et al., 2020). Questo studio è stato considerato abbastanza ampio (43,548 partecipanti randomizzati) e abbastanza importante (Covid-19) che, a causa della sua presunta plausibilità RCT, ha assicurato la pubblicazione nel "prestigioso" New England Journal of Medicine. L'esito primario dello studio era l'insorgenza di Covid-19 con insorgenza almeno sette giorni dopo la seconda dose del vaccino o l'iniezione di placebo. Tuttavia, mentre ha osservato 162 casi tra i soggetti placebo, sufficienti per una buona randomizzazione, ha trovato solo otto casi tra i soggetti vaccinati, da nessuna parte abbastanza perché la randomizzazione abbia fatto qualcosa per controllare il confondimento. 

Dall'esperienza epidemiologica generale, è improbabile che un rischio relativo stimato così elevato (circa 162/8 = 20) sia interamente dovuto a confusione, ma l'accuratezza del rischio relativo o la sua efficacia implicita ((20 – 1)/20 = 95 %) è in dubbio. Il fatto che questo vaccino in uso sia stato osservato per non essere così efficace nel ridurre il rischio di infezione non è sorprendente data la debolezza del risultato dello studio a causa della dimensione inadeguata del campione per assicurare che la randomizzazione abbia funzionato per i soggetti risultati sia nel gruppo di trattamento che in quello placebo.

Questo "tuffo nelle erbacce" dell'epidemiologia illumina il motivo per cui uno studio RCT con meno di, diciamo, 50 soggetti con esito in ogni braccio di trattamento dello studio ha poca o nessuna pretesa di evitare possibili fattori di confusione dovuti a fattori non misurati. Ma rende anche evidente il motivo per cui una tale prova può essere peggio rispetto a uno studio controllato non randomizzato della stessa esposizione e risultato. Negli studi non randomizzati, i ricercatori sanno che molti fattori possono, come possibili fattori confondenti, influenzare il verificarsi del risultato, quindi misurano tutto ciò che ritengono rilevante, al fine di regolare e controllare tali fattori nelle analisi statistiche. 

Tuttavia, negli RCT, i ricercatori pensano abitualmente che la randomizzazione abbia avuto successo e quindi eseguono analisi statistiche non aggiustate, fornendo risultati potenzialmente confusi. Quando vedi gli RCT sfilati come studi "grandi" a causa delle loro decine di migliaia di partecipanti, guarda oltre, al numero di eventi di esito primario nei bracci di trattamento dello studio. Gli studi con un numero limitato di eventi di esito primario sono inutili e non dovrebbero essere pubblicati, per non parlare di considerazioni di salute pubblica o politiche.

Evidenza empirica

Dopo aver letto tutto quanto sopra, potresti pensare che questi argomenti riguardanti studi randomizzati e non randomizzati siano molto plausibili, ma per quanto riguarda le prove empiriche a loro sostegno? Per questo, è stata condotta un'analisi molto approfondita dal Cochrane Library Database of Systematic Reviews (Anglemyer et al., 2014). Questo studio ha cercato in modo completo sette database di pubblicazioni elettroniche per il periodo da gennaio 1990 a dicembre 2013, per identificare tutti i documenti di revisione sistematica che confrontassero "le stime quantitative dell'entità dell'effetto che misurano l'efficacia o l'efficacia degli interventi testati in studi [randomizzati] con quelli testati in studi osservazionali. " In effetti una meta-analisi di meta-analisi, l'analisi includeva molte migliaia di confronti di studi individuali riassunti in 14 articoli di revisione. 

La linea di fondo: una differenza media di solo l'8% (limiti di confidenza del 95%, da -4% a 22%, non statisticamente significativa) tra gli RCT e i corrispondenti risultati di studi non randomizzati. In sintesi, questo corpus di conoscenze - sia empirico che basato su principi epidemiologici - dimostra che, contrariamente alla cosiddetta "plausibilità", gli studi randomizzati non hanno una classificazione automatica come gold standard di evidenza medica o come l'unica forma accettabile di prove mediche e che ogni studio deve essere esaminato in modo critico e obiettivo per i propri punti di forza e di debolezza e per quanto tali punti di forza e di debolezza contino per le conclusioni tratte.

Altre plausibilità

Durante la pandemia di Covid-19, numerose altre affermazioni di evidenza scientifica sono state utilizzate per giustificare le politiche di sanità pubblica, anche per la stessa dichiarazione dell'emergenza pandemica stessa. Alla base di molti di questi c'era il principio plausibile ma fallace secondo cui l'obiettivo della gestione della pandemia di sanità pubblica è ridurre al minimo il numero di persone infette dal virus SARS-CoV-2. 

Questa politica può sembrare ovvia, ma è sbagliata come politica globale. Ciò che deve essere ridotto al minimo sono le conseguenze nefaste della pandemia. Se l'infezione porta a sintomi spiacevoli o fastidiosi per la maggior parte delle persone ma non a problemi seri o a lungo termine, come generalmente accade con SARS-CoV-2, in particolare nell'era Omicron, allora non ci sarebbe alcun beneficio tangibile per la salute pubblica generale interventi e limitazioni che violano i diritti naturali o economici di tali individui e causano danni a se stessi. 

Le società occidentali, inclusi gli Stati Uniti, sopportano le ondate annuali di infezione respiratoria senza emergenze pandemiche dichiarate, anche se producono milioni di individui infetti ogni anno, perché le conseguenze dell'infezione sono generalmente considerate minori dal punto di vista medico, consentendo anche alcune decine di migliaia di morti annualmente. 

È stato stabilito nei primi mesi della pandemia di Covid-19 che il rischio di mortalità per infezione variava di oltre 1,000 volte nel corso dell'età e che le persone senza condizioni di salute croniche come diabete, obesità, malattie cardiache, malattie renali, anamnesi di cancro, ecc., erano a rischio di mortalità trascurabile e a rischio di ospedalizzazione molto basso. A quel punto, è stato semplice definire categorie di individui ad alto rischio che in media avrebbero beneficiato di interventi di sanità pubblica, rispetto a individui a basso rischio che avrebbero resistito con successo all'infezione senza problemi apprezzabili oa lungo termine. Pertanto, uno schema di gestione della pandemia ossessivo e unico per tutti che non distingueva le categorie di rischio era irragionevole e opprimente fin dall'inizio.

Di conseguenza, le misure promosse dalla plausibilità per ridurre la trasmissione dell'infezione, anche se fossero state efficaci a tale scopo, non sono servite a una buona gestione della pandemia. Queste misure, tuttavia, non sono mai state giustificate da prove scientifiche in primo luogo. La regola del distanziamento sociale di sei piedi era un intruglio arbitrario del CDC (Dangor, 2021). Le rivendicazioni di vantaggio per l'uso di maschere facciali hanno raramente distinto il potenziale vantaggio per chi lo indossa - per il quale tale utilizzo sarebbe una scelta personale se accettare o meno un rischio più teorico - rispetto al vantaggio per gli astanti, il cosiddetto "controllo alla fonte", in cui il pubblico considerazioni sulla salute potrebbero essere correttamente applicate. Gli studi sul controllo della fonte basato sulla maschera per i virus respiratori, in cui gli studi sono privi di difetti fatali, non hanno mostrato alcun beneficio apprezzabile nella riduzione della trasmissione dell'infezione (Alexander, 2021; Alexander, 2022; Burns, 2022).

I blocchi della popolazione generale non sono mai stati utilizzati nei paesi occidentali e non hanno prove dell'effetto per fare altro che posticipare l'inevitabile (Meunier, 2020), come chiariscono i dati sulla popolazione australiana (Worldometer, 2022). Nella discussione definitiva sulle misure di sanità pubblica per il controllo dell'influenza pandemica (Inglesby et al., 2006), affermano gli autori, “Non ci sono osservazioni storiche o studi scientifici che supportino il confinamento mediante quarantena di gruppi di persone potenzialmente infette per periodi prolungati al fine di rallentare la diffusione dell'influenza. Un gruppo di scrittura dell'Organizzazione mondiale della sanità (OMS), dopo aver esaminato la letteratura e considerato l'esperienza internazionale contemporanea, ha concluso che "l'isolamento forzato e la quarantena sono inefficaci e poco pratici". … Le conseguenze negative della quarantena su larga scala sono così estreme (confinamento forzato dei malati presso il pozzo; completa restrizione del movimento di grandi popolazioni; difficoltà a fornire rifornimenti, medicinali e cibo essenziali alle persone all'interno della zona di quarantena) che questa mitigazione misura dovrebbe essere eliminata da una seria considerazione”.

Sulle restrizioni di viaggio, Inglesby et al. (2006) notano: “Le restrizioni di viaggio, come la chiusura degli aeroporti e lo screening dei viaggiatori alle frontiere, sono state storicamente inefficaci. Il gruppo di scrittura dell'Organizzazione mondiale della sanità ha concluso che "lo screening e la messa in quarantena dei viaggiatori che entrano ai confini internazionali non hanno ritardato in modo sostanziale l'introduzione del virus nelle passate pandemie... e probabilmente saranno ancora meno efficaci nell'era moderna". Sulla chiusura delle scuole (Inglesby et al., 2006): “Nelle precedenti epidemie influenzali, l'impatto della chiusura delle scuole sui tassi di malattia è stato misto. Uno studio israeliano ha riportato una diminuzione delle infezioni respiratorie dopo uno sciopero degli insegnanti di 2 settimane, ma la diminuzione è stata evidente solo per un solo giorno. D'altra parte, quando le scuole chiusero per le vacanze invernali durante la pandemia del 1918 a Chicago, 'si svilupparono più casi di influenza tra gli alunni... rispetto a quando le scuole erano aperte'”.

Questa discussione chiarisce che queste azioni che presumibilmente interferiscono con la trasmissione del virus sulla base di argomenti di plausibilità per la loro efficacia sono state sia fuorvianti per la gestione della pandemia, sia non comprovate da prove scientifiche di efficacia nel ridurre la diffusione. La loro promozione su larga scala ha dimostrato il fallimento delle politiche di sanità pubblica nell'era del Covid-19.

Plausibilità contro cattiva scienza

Si potrebbe sostenere che varie politiche di sanità pubblica e informazioni messe a disposizione del pubblico in generale non sono state supportate dalla plausibilità ma invece da una scienza cattiva o fatalmente imperfetta, che si atteggia a vera scienza. Ad esempio, nella sua rivista interna, non sottoposta a revisione paritaria, Rapporti settimanali su morbilità e mortalità, CDC ha pubblicato una serie di analisi sull'efficacia del vaccino. Questi rapporti descrivevano studi trasversali ma li analizzavano come se fossero studi caso-controllo, utilizzando sistematicamente parametri di odds ratio stimati invece di rischi relativi per calcolare l'efficacia del vaccino. Quando i risultati dello studio sono rari, diciamo meno del 10% dei soggetti dello studio, allora gli odds ratio possono approssimare i rischi relativi, ma in caso contrario, gli odds ratio tendono ad essere sovrastimati. Tuttavia, negli studi trasversali, i rischi relativi possono essere calcolati direttamente e possono essere aggiustati per potenziali fattori confondenti mediante la regressione del rischio relativo (Wacholder, 1986), simile all'uso della regressione logistica negli studi caso-controllo.

Un esempio rappresentativo è uno studio sull'efficacia dei vaccini Covid-19 di terza dose (Tenforde et al., 2022). In questo studio, "... la rete IVY ha arruolato 4,094 adulti di età ≥18 anni" e, dopo le relative esclusioni di soggetti, "sono stati inclusi 2,952 pazienti ospedalizzati (1,385 casi-pazienti e 1,567 controlli non COVID-19)". Gli studi trasversali - in base alla progettazione - identificano il numero totale di soggetti, mentre il numero di casi e controlli, e esposti e non esposti, avviene al di fuori dell'intervento del ricercatore, cioè, da qualunque processo naturale sia alla base dei meccanismi medici, biologici ed epidemiologici in esame. Selezionando un numero totale di soggetti, Tenforde et al. lo studio è per definizione un progetto trasversale. Questo studio ha riportato un'efficacia del vaccino dell'82% tra i pazienti senza condizioni di immunocompromissione. Questa stima riflette un odds ratio rettificato di 1 – 0.82 = 0.18. Tuttavia, la frazione di casi di pazienti tra i vaccinati era del 31% e tra i non vaccinati era del 70%, nessuno dei quali è sufficientemente raro da consentire l'uso dell'approssimazione dell'odd ratio per calcolare l'efficacia del vaccino. In base ai numeri nella Tabella 3 del rapporto sullo studio, ho calcolato un rischio relativo non aggiustato di 0.45 e un rischio relativo approssimativamente aggiustato di 0.43, fornendo la vera efficacia del vaccino di 1 – 0.43 = 57%, che è sostanzialmente diversa e molto peggiore dell'82% presentato nella carta.

In un contesto diverso, dopo aver pubblicato un articolo di revisione riassuntiva sull'uso dell'idrossiclorochina (HCQ) per il trattamento ambulatoriale precoce del Covid-19 (Risch, 2020), sono stati pubblicati numerosi articoli di studi clinici nel tentativo di dimostrare che l'HCQ è inefficace . La prima di queste cosiddette "confutazioni" è stata condotta in pazienti ospedalizzati, la cui malattia è quasi completamente diversa in fisiopatologia e trattamento rispetto alla malattia precoce ambulatoriale (Park et al., 2020). Gli esiti importanti che avevo affrontato nella mia recensione, i rischi di ricovero e mortalità, in questi lavori sono stati distratti concentrandosi su esiti soggettivi e minori come la durata della positività del test virale o la durata della degenza ospedaliera.

Successivamente, iniziarono a essere pubblicati RCT sull'uso ambulatoriale di HCQ. Uno tipico è quello di Caleb Skipper et al. (2020). L'endpoint primario di questo studio era un cambiamento nella gravità complessiva dei sintomi auto-riportati nell'arco di 14 giorni. Questo endpoint soggettivo era di scarsa importanza pandemica, soprattutto dato che i soggetti negli studi di questo gruppo di ricerca erano moderatamente in grado di dire se erano nei bracci HCQ o placebo dello studio (Rajasingham et al., 2021) e quindi l'auto- i risultati riportati non erano poi così ciechi rispetto ai bracci del farmaco. Dalle loro analisi statistiche, gli autori hanno giustamente concluso che "l'idrossiclorochina non ha ridotto sostanzialmente la gravità dei sintomi nei pazienti ambulatoriali con COVID-19 precoce e lieve". Tuttavia, i media generalisti hanno riferito che questo studio dimostra che "l'idrossiclorochina non funziona". Ad esempio, Jen Christensen (2020) in CNN Health ha dichiarato su questo studio, "Il farmaco antimalarico idrossiclorochina non ha giovato ai pazienti non ospedalizzati con sintomi lievi di Covid-19 che sono stati trattati all'inizio della loro infezione, secondo uno studio pubblicato giovedì sulla rivista medica Annals of Internal Medicine. " 

Ma in realtà, lo studio Skipper riportava i due esiti importanti, i rischi di ospedalizzazione e mortalità: con placebo, 10 ricoveri e 1 decesso; con HCQ, 4 ricoveri e 1 decesso. Questi numeri mostrano un rischio di ospedalizzazione ridotto del 60% che, sebbene non statisticamente significativo (p=0.11), è del tutto coerente con tutti gli altri studi sul rischio di ospedalizzazione per l'uso di HCQ nei pazienti ambulatoriali (Risch, 2021). Tuttavia, questi piccoli numeri di eventi di esito non sono abbastanza per la randomizzazione per bilanciare qualsiasi fattore, e lo studio è essenzialmente inutile su questa base. Ma è stato ancora interpretato erroneamente nella letteratura profana come una dimostrazione che l'HCQ non fornisce alcun vantaggio nell'uso ambulatoriale.

Conclusioni

Molti altri casi di plausibile claptrap scientifico o cattiva scienza si sono verificati durante la pandemia di Covid-19. Come si è visto con gli articoli ritirati di Surgisphere, le riviste mediche pubblicano regolarmente e acriticamente queste sciocchezze fintanto che le conclusioni sono in linea con le politiche del governo. Questo corpus di conoscenze fasulle è stato promulgato ai massimi livelli, da NSC, FDA, CDC, NIH, OMS, Wellcome Trust, AMA, commissioni di specialità mediche, agenzie di sanità pubblica statali e locali, aziende farmaceutiche multinazionali e altre organizzazioni in tutto il mondo che hanno violato le loro responsabilità nei confronti del pubblico o hanno scelto di proposito di non comprendere la falsa scienza. 

Il Senato degli Stati Uniti ha recentemente votato, per la terza volta, per porre fine allo stato di emergenza Covid-19, ma il presidente Biden ha dichiarato che avrebbe posto il veto alla misura per "paura" di recidive numeri di caso. I miei colleghi e io abbiamo discusso quasi un anno fa che l'emergenza pandemica fosse finita (Risch et al., 2022), eppure il falso affidamento sui conteggi dei casi per giustificare la soppressione dei diritti umani sotto la copertura dell'"emergenza" continua senza sosta.

La massiccia censura da parte dei media tradizionali e di gran parte dei social media ha bloccato la maggior parte delle discussioni pubbliche su questa scienza cattiva e falsa. La censura è lo strumento dell'indifendibile, poiché la scienza valida si difende intrinsecamente. Fino a quando il pubblico non comincerà a capire la differenza tra plausibilità e scienza e quanto grande è stato lo sforzo per produrre in serie un "prodotto" scientifico che sembra scienza ma non lo è, il processo continuerà e i leader che cercano il potere autoritario continueranno a fare affidamento su di esso per falsa giustificazione.

Riferimenti

Alexander, PE (2021, 20 dicembre). Più di 150 studi comparativi e articoli sull'inefficacia e sui danni delle maschere. Istituto Brownstone. https://brownstone.org/articles/more-than-150-comparative-studies-and-articles-on-mask-ineffectiveness-and-harms/

Alexander, PE (2022, 3 giugno). CDC si rifiuta di pubblicare la correzione per il suo studio sulla maschera. Istituto Brownstone. https://brownstone.org/articles/cdc-refuses-to-post-the-fix-to-its-mask-study/

Anglemyer, A., Horvath, HT, Bero, L. (2014). Risultati sanitari valutati con disegni di studi osservazionali rispetto a quelli valutati in studi randomizzati (revisione). Database Cochrane di revisioni sistematiche, 4, articolo MR000034. https://doi.org/10.1002/14651858.MR000034.pub2

Bae, J.‑M. (2016). Un suggerimento per la valutazione della qualità nelle revisioni sistematiche degli studi osservazionali in epidemiologia nutrizionale. Epidemiologia e salute, 38, articolo e2016014. https://doi.org/10.4178/epih.e2016014

Berger, Massachusetts (2011). L'ammissibilità della perizia. In Consiglio Nazionale delle Ricerche, Comitato per lo Sviluppo della Terza Edizione del Manuale di Riferimento sulle Evidenze Scientifiche, Manuale di riferimento sulle prove scientifiche, Terza edizione (pp. 11-36). Stampa delle accademie nazionali. https://nap.nationalacademies.org/catalog/13163/reference-manual-on-scientific-evidence-third-edition

Burns, E. (2022, 10 novembre). Un altro giorno, un altro terribile studio sulla maschera. Diamo un'occhiata sotto il cofano dell'ultimo pezzo di scienza di bassa qualità sulle maschere. Sottopila. https://emilyburns.substack.com/p/another-day-another-terrible-mask

Centri per i servizi Medicare e Medicaid. (2022, giugno). Cerca pagamenti aperti. Dipartimento della salute e dei servizi umani degli Stati Uniti, Centri per i servizi Medicare e Medicaid. https://openpaymentsdata.cms.gov/

Christensen, J. (2020, 16 luglio). Anche l'idrossiclorochina non aiuta i pazienti Covid-19 che non sono ricoverati in ospedale, rileva un nuovo studio. Salute della CNN. https://www.cnn.com/2020/07/16/health/hydroxychloroquine-doesnt-work-hospitalized-patients/

Collins, R., Bowman, L., Landray, M. e Peto, R. (2020). La magia della randomizzazione contro il mito delle prove del mondo reale. New England Journal of Medicine, 382 (7), 674-678. https://www.nejm.org/doi/10.1056/NEJMsb1901642

Dangor, G. (2021, 19 settembre). La regola del distanziamento sociale di sei piedi del CDC era "arbitraria", afferma l'ex commissario della FDA. Forbes. https://www.forbes.com/sites/graisondangor/2021/09/19/cdcs-six-foot-social-distancing-rule-was-arbitrary-says-former-fda-commissioner/

Deaton, A. e Cartwright, N. (2018). Comprensione e fraintendimento di studi controllati randomizzati. Scienze sociali e medicina, 210, 2-21. https://doi.org/10.1016/j.socscimed.2017.12.005

Feynman, RP (1974). Scienza del culto del carico. Ingegneria e Scienza, 37 (7), 10-13. https://resolver.caltech.edu/CaltechES:37.7.CargoCult

Goldberger, J., Waring, CH e Willets, DG (1915). La prevenzione della pellagra: un test di dieta tra i detenuti istituzionali. Rapporti sulla salute pubblica, 30 (43), 3117-3131. https://www.jstor.org/stable/4572932

Hartling, L., Milne, A., Hamm, MP, Vandermeer, B., Ansari, M., Tsertsvadze, A., Dryden, DM (2013). Il test della scala Newcastle Ottawa ha mostrato una bassa affidabilità tra i singoli revisori. Journal of Clinical Epidemiology, 66, 982-993. https://doi.org/10.1016/j.jclinepi.2013.03.003

Collina, AB (1965). L'ambiente e la malattia: associazione o causalità. Atti della Royal Society of Medicine, 58 (5), 295-300. https://doi.org/10.1177/003591576505800503

Inglesby, TV, Nuzzo, JB, O'Toole, T., Henderson, DA (2006). Misure di mitigazione della malattia nel controllo dell'influenza pandemica. Biosicurezza e bioterrorismo: strategia, pratica e scienza della biodifesa, 4 (4): 366-375. https://doi.org/10.1089/bsp.2006.4.366

Meunier, T. (2020, 1 maggio). Le politiche di blocco completo nei paesi dell'Europa occidentale non hanno impatti evidenti sull'epidemia di COVID-19. medRxiv. https://doi.org/10.1101/2020.04.24.20078717

MSNBC. (2021, 9 giugno). Fauci risponde agli attacchi dei repubblicani [Video]. Youtube. https://www.youtube.com/watch?v=z-tfZr8Iv0s

Biblioteca nazionale di medicina (2021, maggio). ClinicalTrials.gov. Storia, politiche e leggi. Dipartimento della salute e dei servizi umani degli Stati Uniti, National Institutes of Health, National Library of Medicine. https://clinicaltrials.gov/ct2/about-site/history

Park, JJH, Decloedt, EH, Rayner, CR, Cotton, M., Mills, EJ (2020). Studi clinici sugli stadi della malattia in COVID 19: complicati e spesso male interpretati. Salute globale di Lancet, 8(10), mi1249-mi1250. https://doi.org/10.1016/S2214-109X(20)30365-X

Polack, FP, Thomas, SJ, Kitchin, N., Absalon, J., Gurtman, A., Lockhart, S., Perez, JL, Pérez Marc, G., Moreira, ED, Zerbini, C., Bailey, R ., Swanson, KA, Roychoudhury, S., Koury, K., Li, P., Kalina, WV, Cooper, D., Frenck, RW, Jr., Hammitt, LL, …, Gruber, WC (2020). Sicurezza ed efficacia del vaccino BNT162b2 mRNA Covid-19. New England Journal of Medicine, 383 (27), 2603-2615. https://www.nejm.org/doi/full/10.1056/nejmoa2034577

Rajasingham, R., Bangdiwala, AS, Nicol, MR, Skipper, CP, Pastick, KA, Axelrod, ML, Pullen, MF, Nascene, AA, Williams, DA, Engen, NW, Okafor, EC, Rini, BI, Mayer , IA, McDonald, EG, Lee, TC, Li P., MacKenzie, LJ, Balko, JM, Dunlop, SJ, …, Lofgren, SM (2021). Idrossiclorochina come profilassi pre-esposizione per la malattia da coronavirus 2019 (COVID-19) negli operatori sanitari: uno studio randomizzato. Clinical Infectious Diseases, 72(11), mi835-mi843. https://doi.org/10.1093/cid/ciaa1571

Risch, HA (2020). Trattamento ambulatoriale precoce di pazienti COVID-19 sintomatici e ad alto rischio che dovrebbero essere intensificati immediatamente come chiave per la crisi pandemica. American Journal of Epidemiology, 189 (11), 1218-1226. https://doi.org/10.1093/aje/kwaa093

Risch, HA (2021, 17 giugno). Idrossiclorochina nel trattamento precoce dei pazienti ambulatoriali COVID-19 ad alto rischio: prove di efficacia e sicurezza. EarlyCovidCare.org, https://earlycovidcare.org/wp-content/uploads/2021/09/Evidence-Brief-Risch-v6.pdf

Risch, H., Bhattacharya, J., Alexander, PE (2022, 23 gennaio). L'emergenza deve essere finita, ora. Istituto Brownstone. https://brownstone.org/articles/the-emergency-must-be-ended-now/

Sackett, DL, Rosenberg, WMC, Gray, JAM, Haynes, RB e Richardson, WS (1996). Evidence based medicine: cos'è e cosa non è. BMJ, 312, articolo 71. https://doi.org/10.1136/bmj.312.7023.71

Skipper, CP, Pastick, KA, Engen, NW, Bangdiwala, AS, Abassi, M., Lofgren, SM, Williams, DA, Okafor, EC, Pullen, MF, Nicol, MR, Nascene, AA, Hullsiek, KH, Cheng , MP, Luke, D., Lother, SA, MacKenzie, LJ, Drobot, G., Kelly, LE, Schwartz, IS, …, Boulware, DR (2020). Idrossiclorochina in adulti non ospedalizzati con COVID-19 precoce: uno studio randomizzato. Annals of Internal Medicine, 173 (8), 623-631. https://doi.org/10.7326/M20-4207

Tenforde, MW, Patel, MM, Gaglani, M., Ginde, AA, Douin, DJ, Talbot, HK, Casey, JD, Mohr, NM, Zepeski, A., McNeal, T., Ghamande, S., Gibbs, KW, Files, DC, Hager, DN, Shehu, A., Prekker, ME, Erickson, HL, Gong, MN, Mohamed, A., …, Self, WH (2022). Rapporto settimanale su morbilità e mortalità, 71(4), 118-124. https://www.cdc.gov/mmwr/volumes/71/wr/mm7104a2.htm

Tigas, M., Jones, RG, Ornstein, C. e Groeger, L. (2019, 17 ottobre). Dollari per i documenti. Come i dollari dell'industria hanno raggiunto i tuoi medici ProPublica. https://projects.propublica.org/docdollars/

Wacholder, S. (1986). Regressione binomiale in GLIM: stima dei rapporti di rischio e delle differenze di rischio. American Journal of Epidemiology, 123 (1), 174-184. https://doi.org/10.1093/oxfordjournals.aje.a114212

Whelan, R. (2020, 3 agosto). 2020-08-03 - CNN COVID con intervista Harvey Risch, epidemiologo di Yale [Video]. Youtube. https://www.youtube.com/watch?v=gGO6Ke81bUQ

Worldometro. (2022, 15 novembre). Totale casi di coronavirus in Australia. Worldometro. https://www.worldometers.info/coronavirus/country/australia/