‘Niet alle resultaten uit het verleden zijn verkeerd’

Vroeger hielpen corticosteroïdeninjecties bij ernstige hooikoorts, tegenwoordig is dat niet meer zeker. Vreemd, aangezien de patiënt dezelfde bleef en alleen de regels voor systematische reviews strenger werden. Is daarom oud bewijs waardeloos en helpen de injecties daadwerkelijk niet? “Gooi bewijs niet weg omdat je een bias in het onderzoek kunt vinden”, betoogt KNO-arts in het Utrechtse Centraal Militair Hospitaal, Sander de Ru.               

Vorig jaar publiceerden De Ru en zijn collega’s een systematische review over het nut van intramusculaire corticosteroïdeninjecties bij hooikoorts. Volgens de huidige maatstaven voor systematische reviews bleek de kans op bias bij alle tien de gereviewde studies te groot. De KNO-arts verbaasde zich over de gevolgen van de strenge, maar voor publicatie noodzakelijke beoordeling. Ondanks het positieve resultaat van alle studies rest twijfel over het bewijs. Reden voor een nieuw artikel: ‘Brutalized by Bias.’
“Voor alle duidelijkheid, ik ben groot voorstander van strenge methodologische voorwaarden voor toekomstige studies”, zegt De Ru. “Ik ben ook van mening dat er zeer kritisch gekeken mag worden naar oudere studies. Maar, ik vind dat je niet vanwege de huidige criteria al het bestaande bewijs overboord mag gooien. Niet alle resultaten uit het verleden zijn verkeerd.”

Overschatting

De verschuiving in de bewijskracht van klinische studies komt voort uit strengere regels rondom het risico op bias. “Natuurlijk kan er onbedoeld en ongemerkt vooringenomenheid of partijdigheid in een studie sluipen en dat kan ten koste gaan van de betrouwbaarheid ervan”, zegt De Ru. “Door de jaren heen wordt de nadruk bij beoordeling steeds meer op potentiële vormen van bias gelegd. Hoe meer risk-of-bias, hoe groter de neiging tot het verwerpen van de totale studie.”
Volgens de KNO-arts betekent het verwerpen van, naar de huidige maatstaven, matige studies niet automatisch dat er geen effect van de behandeling is. “Als tien matige, maar verschillende studies allemaal een groot positief effect laten zien, dan is er een zeer reële kans dat er ook daadwerkelijk een effect is. Zelfs al is er een goede trial die geen effect laat zien, want ook dan bestaat de kans dat juist die ene trial een verkeerd resultaat laat zien. Gooi tien keer een muntje op en de kans bestaat dat je acht keer munt gooit. Pas als je dat experiment heel vaak herhaalt zal het gemiddelde resultaat ongeveer 50-50 zijn.” 

“Medici en epidemiologen gaan in mijn optiek vaak erg nihilistisch om met bewijs.”

Parachute          

De situatie die De Ru beschrijft doet denken aan een artikel uit 2003 in het British Medical Journal. Na strikte toepassing van methodologische regels lijkt er geen bewijs voor het nut van een parachute te bestaan. “Wat mij opvalt, is dat de meeste collega’s het stuk kennen en er om lachen, maar in de praktijk meteen weer op dezelfde manier doorgaan met bewijsvoering. Medici en epidemiologen gaan in mijn optiek vaak erg nihilistisch om met bewijs. Ze houden onvoldoende rekening met vragen als: wat kan dienen als ondersteunend bewijs? Hoe ga je om met expert opinion? Wat is het belang van klinische expertise?”
Volgens De Ru dragen de volgelingen van Evidence Based Medicine (EBM) tegenwoordig uit dat het enige bewijs uit goede RCT’s komt. “Terwijl de grondleggers van EBM – zeker in tweede instantie – claimden dat ze hun methode nooit zo bedoeld hebben. Zelfs Archibald Cochrane beschreef dat RCT’s niet de enige vorm van bewijs zijn.”

“Een betere redenering zou zijn: ‘Er bestaat een mogelijkheid dat het helpt, dus het kan overwogen worden’ ”

Dagelijkse praktijk

Het verwerpen van studies op basis van een risk-of-bias en het niet meewegen van andere vormen van bewijs raakt de medische praktijk van alle dag. “We voeren het niveau van bewijslast op naar ‘beyond reasonable doubt’. Een betere redenering zou zijn: ‘Er bestaat een mogelijkheid dat het helpt, dus het kan overwogen worden’, want dat is meestal het niveau van ons handelen. Penicilline en veel chirurgische technieken werden nooit met een RCT onderzocht. Omdat de huidige richtlijnen te weinig rekening houden met andere bewijsbronnen, mogen we in Nederland patiënten met plotseling gehoorverlies niet behandelen met hyperbare zuurstoftherapie. En patiënten met een klaringsprobleem van het middenoor krijgen daardoor een tubadilatatie niet vergoed.”

“De totale hoeveelheid bewijs over een onderwerp is meestal vele malen groter dan dat wat er in trials staat”

Sleutel

De Ru pleit voor gezond verstand bij het beoordelen van bewijs. “Het gaat om logisch redeneren naar aanleiding van alle informatie. Wat laten de data zien, welke klinische beslissingen wil ik hiermee onderbouwen en is het logisch om de data voor die onderbouwing te gebruiken? Het blijft van eminent belang om naar andere vormen van bewijs te kijken. De totale hoeveelheid bewijs over een onderwerp is meestal vele malen groter dan dat wat er in trials staat. Als je alleen die RCT’s beoordeelt, ben je als de dronkaard die onder de lantaarnpaal naar zijn sleutels zoekt; niet omdat hij ze daar verloor, maar omdat het licht daar schijnt.”                                                                                                                                           

Referenties:

1. Bayoumy AB, Van Schie F, Stegeman I, Blijleven EB, Van der Veen EL, De Ru JA. Intramuscular corticosteroid injections in seasonal allergic rhinitis: A systematic review. Laryngoscope. Investig Otolaryngol. 2021;6:911-923.
2. De Ru JA, Brutalized by Bias. Ear Nose Throat J. 2022; 14 May Online ahead of print.

Lees meer over: