ALS Instituut duidt op niet-reproduceerbare resultaten, een groot probleem in de wetenschap

Door Carolyn Y. Johnson | Globe personeel

Het is een verhaal in het biomedisch onderzoek dat zich vaker ontvouwt dan men zou willen: een veelbelovend onderzoeksresultaat geeft vonken van opwinding over een behandeling of inzicht in een ziekte. Vervolgens mislukken inspanningen om het experiment in andere laboratoria te herhalen.

In het meest recente voorbeeld van een crisis die gist in wetenschappelijke kringen, heeft een non-profit instituut uit Cambridge woensdag in het tijdschrift Nature gemeld dat meer dan 100 potentiële geneesmiddelen voor de dodelijke neurodegeneratieve ziekte Amyotrofische Laterale Sclerose geen voordeel in haar zorgvuldig ontworpen muisstudies laten zien. Bijna een vijfde van deze stoffen had eerder gemeld de ziekte in muizen te vertragen; 8 van hen werden uiteindelijk getest en werkten niet bij duizenden patiënten.

Het rapport van een wetenschapper bij het ALS TDI Instituut is slechts het laatste dat grote vraagtekens plaatst hoe de validiteit te verbeteren van onderzoek dat grotendeels wordt gefinancierd door de belastingbetaler. Resultaten die niet reproduceerbaar zijn als gevolg van gemakkelijk te voorkomen redenen, zoals onvoldoende inzicht in hoe een diermodel het menselijke model van de ziekte nabootst, betekent niet alleen geld weggooien, maar betekent ook het vergooien van kostbare tijd voor patiënten.

"Het probleem doet zich zeker niet alleen bij ALS voor. ... Het is een pandemie in de geneesmiddelen ontwikkeling," zei Steven Perrin, wetenschappelijk directeur van het ALS TD Instituut. "Een patiënt met een ziekte zoals ALS, of een zeer agressieve kanker zoals pancreas kanker, krijgt eventueel één poging om een behandeling die de ziekte kan vertragen te vinden. Het is onze verantwoordelijkheid als wetenschappers, artsen en clinici om de beste kansen voor patiënten naar voren te schuiven."

Holly Ladd, 58, uit Newton heeft ALS en heeft deelgenomen aan klinische proeven. Ze is verlamd vanaf de nek en hangt af voor voeding van een sonde.

"Ik ben optimistisch, als ik lees dat de dingen in muizen werken," schreef Ladd met een computer met oogbolbesturing. "Maar het is een lange weg tussen de muizen en de mens. Ik heb geleerd niet te opgewonden te zijn."

In de wetenschap is de gouden standaard voor alle nieuwe resultaten dat deze gereproduceerd kunnen worden door andere laboratoria. In zeer zeldzame gevallen, kunnen de resultaten niet worden herhaald vanwege wetenschappelijk wangedrag. Veel vaker mislukken experimenten wanneer andere laboratoria deze proberen te herhalen, omdat de steekproef in de oorspronkelijke studie niet van de juiste grootte was, omdat de beschrijving van de methode onnauwkeurig was, of omdat de oorspronkelijke wetenschappers niet goed oppasten met vertekening.

Twee jaar geleden, onthulde een kanker wetenschapper, die voorheen bij het farmaceutisch bedrijf Amgen werkte, dat zijn team slechts 6 van de 53 cruciale studies die honderden keren vermeld werden, met succes kon herhalen. De wetenschappers hadden contact opgenomen met sommige van de oorspronkelijke teams van die resultaten en vroegen hen om de experimenten te reproduceren, met één simpele verandering: dat de wetenschappers die het experiment uitvoeren niet weten welke groep de interventie krijgt en welke groep geen krijgt. Wanneer dit gebeurde, verdwenen de resultaten.

Een jaar eerder, hadden wetenschappers van Bayer HealthCare gemeld dat van de 67 studies die ze herzien hadden, slechts een kwart van de fundamenteel onderzoekstudies --de laboratoriumexperimenten die voorafgaan aan menselijke proeven-- de gerapporteerde gegevens met succes repliceerden.

"Wat we zeggen is dat in preklinisch onderzoek, de meerderheid--misschien de overgrote meerderheid--niet kan worden gereproduceerd," zei C. Glenn Begley, wetenschappelijk hoofd van het biotechnologiebedrijf TetraLogic Pharmaceuticals in Malvern, Penn., die voorheen bij Amgen werkte. "Ik begrijp niet hoe we kostbare onderzoeksdollars kunnen verspillen voor het genereren van resultaten waar we van weten dat misschien 70, 80, 90 procent niet correct zijn."

Betere reproduceerbaarheid, is een centraal thema geworden voor de NIH, de grootste funder van biomedisch onderzoek van het land Die heeft een aantal piloot programma's om te zien welke veranderingen het proces zouden kunnen verbeteren. Inspanningen variëren van de oprichting van een opleidingsmodule om jonge wetenschappers te helpen om te leren hoe rigoureus experimenten ontwerpen, tot wijzigingen in de manier waarop de subsidieaanvragen worden beoordeeld, met meer toetsing van het werk zelf waarvoor die subsidie van toepassing is.

"Met het oog op het beste gebruik van middelen voor onderzoek, moeten we beginnen uit te pluizen wat de onderliggende oorzaken zijn en de verschillende componenten met interventies aanpakken," zei Lawrence Tabak, de belangrijkste adjunct-directeur van de NIH.

Tabak zei dat het corrigeren van het probleem een team-aanpak zal vergen. Wetenschappelijke tijdschriften moeten dwingend strengere normen eisen voor studies die gepubliceerd worden, en meer overtuigend bewijs ter ondersteuning van de bevindingen eisen. Instellingen moeten de druk op de wetenschappers om te publiceren in toonaangevende tijdschriften onderkennen, een stimulans die het aantal valse resultaten kan verergeren.

Wat de oorzaak van het probleem is, kunnen de meeste mensen niet aanwijzen. Leonard Freedman, chief executive van de non-profitorganisatie Global Biological Standards Institute, die manieren probeert te vinden voor de verbetering van de kwaliteit van het biomedisch onderzoek, zei dat het probleem waarschijnlijk steeds meer aandacht krijgt vanwege een recente push voor translationeel onderzoek dat erop gericht is om fundamenteel onderzoek dichter bij het echte leven van de mensen te brengen.

"Het publiek is zich veel meer bewust van wat er gaande is," zei Freedman. Wanneer de studies "zo veel dichter zijn bij een klinische kandidaat of een klinische proef, is de inzet echt veel hoger."

Vertaling: ALS Liga: Anne

Bron: The Boston Globe

Een artikel in bionews-texas van 2014/04/09 geeft een technische samenvatting van de conclusies van Steve Perrin van ALS TDI ivm de muisstudies als volgt

Samenvatting van de 4 storende factoren

Irrelevante dieren uitsluiten en documenteren waarom.

Een evenwicht maken tussen de seksen vermits mannetjes en vrouwtjes variëren in symptomen en verschillend reageren op medicaties.

Dieren uit het dezelfde nest in verschillende experimentele groepen plaatsen vermits broers en zussen, geplaatst in dezelfde behandelingsgroep, tot vertekening van de resultaten kunnen leiden.

De genen onderzoeken (om ervoor te zorgen dat alle dieren alle kopieën van de gemuteerde genen hebben). Een afname van de dosering van de genen kan leiden tot minder ernstige symptomen waardoor de medicaties effectiever kunnen blijken dan ze werkelijk zijn.