Rischio e Numeri
Questa sezione è diversa dalle altre: non riguarda una parte del corpo ma un modo di leggere. Sono i dodici strumenti che le altre sezioni usano continuamente — la differenza tra un rischio relativo e uno assoluto, il motivo per cui un test positivo può essere quasi sempre falso, la ragione per cui quasi tutto sembra funzionare. Nessuno di essi fa diagnosi: servono a capire che cosa dice un numero prima di deciderne il peso.
Nessuno sbaglia un calcolo
Costruendo queste dodici pagine è emerso un elemento comune a quasi tutte: in nessuno dei casi documentati qualcuno aveva sbagliato un conto.
L'82% di sopravvivenza era corretto, e la mortalità identica pure. Il 44% contro 35% delle ammissioni era corretto, e il vantaggio femminile nei dipartimenti anche. Il 91% di studi positivi nella letteratura era corretto, e il 51% nell'insieme completo anche. Gli istruttori di volo osservavano esattamente quello che dicevano di osservare.
In tutti questi casi il numero rispondeva a una domanda diversa da quella che chi lo leggeva aveva in mente. È il motivo per cui verificare i conti non serve, mentre chiedersi a quale domanda quel numero risponda serve quasi sempre.
Che cosa ti ha portato qui
Le quattro domande più frequenti, e la pagina che risponde davvero a ciascuna.
Il titolo più efficace del giornalismo scientifico, e il meno informativo. Serve un secondo numero.
Rischio relativo e assoluto → «Il test è risultato positivo»Quanto vale dipende da quanto è rara la condizione, e il calcolo si fa in tre righe.
Screening e falsi positivi → «A me ha funzionato»È un'osservazione sincera. Quanto ne sarebbe successo comunque si può calcolare.
Regressione verso la media → «Uno studio ha dimostrato che…»Tre controlli, nessuno dei quali richiede competenze tecniche: il verbo, il soggetto, il consiglio.
Numeri nei media →Tradurre un numero
Tre strumenti per convertire ciò che si legge in ciò che significa. Sono i più usati altrove in questo sito.
«Raddoppia» non dice quanto. Nel 1995 un avviso su un raddoppio fece smettere la pillola a molte donne: il numero era corretto, mancava la base di partenza.
converte in casi realicalcola il numero necessario Screening e Falsi PositiviSu 160 ginecologi, l'80% sbagliava il problema classico. Riscrivendo gli stessi dati come conteggi, le risposte corrette passarono dal 21% all'87%.
frequenze naturalirisposta corretta: 9% Sopravvivenza e Mortalità82% contro 44% di sopravvivenza, e mortalità identica. Due meccanismi spiegano come sia possibile, e li puoi simulare.
correlazione r = 0,0anticipazione e sovradiagnosiPerché sembra funzionare
Tre modi in cui dati corretti producono conclusioni sbagliate, senza che nessuno sbagli un calcolo.
Un rimedio si prova quando si sta peggio, e poi si sta meglio. Lo strumento calcola quanto sarebbe migliorato comunque, con efficacia esattamente zero.
gli istruttori di volopremiati per aver punito Paradosso di SimpsonMeglio in ogni dipartimento e peggio nel totale, con una causa legale a seguire. Puoi costruire il ribaltamento e vedere che non c'è alcun errore.
44% contro 35%più dati non aiutano Correlazione e Causa«Correlazione non è causa» chiude la discussione senza aprirla. I nove criteri esistono dal 1965, e cominciano con un avvertimento.
non sono una lista da spuntareil dose-risposta inganna in due modiCome funziona la macchina
Tre pagine su come le prove si producono e si selezionano, prima ancora di essere lette.
L'associazione statistica americana ha pubblicato sei principi, quattro dei quali dicono che cosa il valore p non è. Poi ha fatto un passo ulteriore.
«non ditelo e non usatelo»oltre 800 firme Bias di PubblicazioneIl 47% dei risultati non viene reso pubblico, e chi manca non è un campione casuale. Una metanalisi non protegge: somma ciò che c'è.
165.135 studi esaminati91% contro 51% Conflitti di InteresseGli studi finanziati dal produttore non sono metodologicamente peggiori — su un criterio sono migliori. La differenza si vede in un punto preciso.
risultati favorevoli +27%conclusioni che concordano menoDove i numeri ci incontrano
Tre pagine su come le prove arrivano fino a noi, e su che cosa succede nel tragitto.
Cinque studi randomizzati possono valere poco; uno osservazionale può valere molto. Nella piramide rivista le linee sono ondulate e la cima è stata tagliata.
3 criteri per salirele revisioni sono una lente Numeri nei MediaL'esagerazione non nasce in redazione: nasce nel comunicato stampa. Quando il comunicato esagera, l'86% delle notizie lo segue.
462 comunicati, 668 notizienon porta nemmeno più lettori Percezione del RischioGli esperti misurano la mortalità attesa, il pubblico anche altro. Molti conflitti nascono da definizioni diverse della parola, non da errori.
temuto e sconosciutola richiesta dell'autore sorprendeSei numeri di questa sezione
- 9%. La risposta corretta al problema classico sui falsi positivi. L'80% dei medici a cui è stato posto non la sapeva, con stime tra l'1% e il 90%.
- r = 0,0. La correlazione tra sopravvivenza a cinque anni e mortalità sui venti tumori solidi più comuni.
- 47%. La quota di risultati di studi clinici che non viene resa pubblica, su un'analisi di 165.135 studi.
- 2,8. Quante volte è più probabile che uno studio con risultati statisticamente significativi venga pubblicato.
- 0,83. Il rapporto che misura la minore concordanza tra risultati e conclusioni negli studi finanziati dal produttore.
- 86%. La quota di notizie che ripetono un'estensione indebita all'uomo quando il comunicato stampa la conteneva. Quando non la conteneva: 10%.
Che cosa questa sezione si rifiuta di fare
- Nessun invito alla sfiducia generale: la conclusione di queste pagine non è che la scienza sia inaffidabile, ma che i numeri vadano letti sapendo a che cosa rispondono.
- Nessun argomento contro gli screening: un valore predittivo basso è una proprietà aritmetica delle condizioni rare, non un difetto.
- Nessuna squalifica per finanziamento: gli effetti riportati sono medie su grandi insiemi e non si applicano al singolo studio.
- Nessun ribaltamento dell'errore: dove esiste una simmetria — il rischio relativo che a volte sottovaluta, gli studi osservazionali che a volte valgono di più — è scritta.
- Nessuna conclusione presentata come chiusa dove il dibattito è aperto: sul valore p, sulle gerarchie delle prove e sulla percezione del rischio le posizioni contrarie sono riportate.
- Nessuna scorciatoia: questi strumenti non dicono se qualcosa sia vero, ma quanta fiducia i dati disponibili sostengano.