Come si può rilevare ed è importante?
L’eterogeneità statistica è evidente solo dopo l’analisi dei risultati. L’eterogeneità può essere giudicata graficamente (guardando il forest plot) ed essere misurata statisticamente. In un forest plot della revisione sistematica sulla supplementazione di calcio,2 le barre di errore per ogni studio includono il risultato sintetico, il che suggerisce che l’eterogeneità statistica non è un problema e che il messaggio è coerente (fig. 22).
Forest plot adattato da Winzenberg et al2 che mostra l’assenza di eterogeneità statistica negli odds ratio per l’effetto dell’integrazione di calcio sulla densità minerale ossea. SMD=differenza media standardizzata
Per determinare se esiste un’eterogeneità significativa, cercate il valore P del test χ2 di eterogeneità. Un valore P alto è una buona notizia perché suggerisce che l’eterogeneità è insignificante e che si può andare avanti e riassumere i risultati. Poiché i test statistici per l’eterogeneità non sono molto potenti, è ragionevole usare un valore P più alto del solito (diciamo, P>0.1) come cut-off per una decisione e pensare comunque all’eterogeneità clinica.
La revisione sistematica della supplementazione di calcio supera il test, e gli autori hanno giustamente riassunto gli effetti sulla densità ossea utilizzando un semplice modello a effetti fissi. Questo modello presuppone che tutti i trial stiano cercando di misurare la stessa cosa e che si debba dare più influenza ai trial più grandi quando si calcola un effetto medio.4
Ma cosa succede se il valore P del test χ2 dell’eterogeneità è basso, suggerendo un’eterogeneità significativa? Cosa si può fare? Sono possibili due approcci. Possiamo evitare di riassumere il risultato e cercare le ragioni dell’eterogeneità, oppure possiamo riassumere gli effetti usando un altro metodo: il modello degli effetti casuali. Le ragioni dell’eterogeneità, oltre alle differenze cliniche, potrebbero includere questioni metodologiche come problemi con la randomizzazione, l’interruzione precoce degli studi, l’uso di misure di rischio assolute piuttosto che relative, e bias di pubblicazione.
Gli autori della revisione sistematica dei farmaci usati per prevenire le reazioni allergiche causate dai mezzi di contrasto hanno adottato il primo approccio.1 I diagrammi della foresta suggeriscono che le due classi di farmaci hanno effetti diversi, in particolare per le reazioni cutanee, e il valore P per il test statistico di eterogeneità era significativo a 0,03. Hanno deciso di non riassumere un effetto medio e hanno ritenuto che la differenza tra i trattamenti fosse parte del messaggio della revisione.
Gli autori della revisione degli interventi per prevenire le cadute e le fratture hanno adottato il secondo approccio.3 Il diagramma della foresta per le cadute in ospedale mostra una vasta gamma di risultati (fig. 33). Alcuni studi suggeriscono un beneficio e altri suggeriscono un danno dagli interventi multiforme. Gli autori presentano la statistica I 2, che misura la percentuale di variazione che non è dovuta al caso. Una percentuale elevata, come l’80% visto qui, suggerisce un’importante eterogeneità. (Un valore I 2 di <25% è considerato basso.5)
Forest plot da Oliver et al3 che mostra i rapporti di tasso (modello di effetti casuali) per gli effetti delle strategie per prevenire le cadute
Tuttavia, gli autori hanno ritenuto che tutti gli studi stavano cercando di misurare essenzialmente la stessa cosa e che vale la pena riassumere i risultati. Hanno usato il modello degli effetti casuali, che usa una formula diversa per calcolare intervalli di confidenza al 95% più conservativi. Si presume che gli effetti del trattamento varino intorno ad un qualche effetto medio complessivo del trattamento, al contrario di un modello ad effetti fissi, in cui si presume che ogni studio abbia lo stesso effetto fisso comune del trattamento.4
Le revisioni sistematiche con una meta-analisi cercano di fornire migliori risposte numeriche alle domande, “qual è l’effetto di questo intervento e quanto siamo sicuri di questo?” Ma prima di credere ai risultati di questo metodo, potrebbe essere utile considerare quattro domande (vedi box).
Domande utili da considerare
-
Era davvero una buona idea combinare le prove?
-
C’è troppa eterogeneità clinica perché la revisione abbia senso?
-
I diagrammi della foresta sono coerenti?
-
I test statistici suggeriscono che l’eterogeneità è un problema?