Jeg leste nylig om et KI-verktøy utviklet ved et australsk universitet som har flagget over 250 000 kreftstudier fordi skrivestilen minner om artikler fra såkalte «paper mills», selskaper som produserer eller selger falske forskningsartikler. 

Jeg kjente igjen en uro fra egne IT-prosjekter da jeg leste tallene. Et system kan oppdage feilen. Men det hjelper lite hvis ingen har bestemt hva som skal skje etterpå.

Studier som er trukket tilbake, påvirker resultatene

Nyheten fra Australia er likevel ikke det som bekymrer meg mest. Det som berører meg, er hva som skjer etter at en slik artikkel er trykket. En BMJ-analyse av retningslinjearbeid viser at 157 kliniske retningslinjer fortsatt bygger på metaanalyser som inneholder minst én trukket studie. En tilsvarende gjennomgang i JAMA Internal Medicine fant 62 trukne studier fordelt på 173 metaanalyser i 50 systematiske overskrifter fra ledende tidsskrifter. 

Da forskerne fjernet de trukne studiene, endret 42 prosent av metaanalysene effektstørrelsen med minst ti prosent. Den statistiske signifikansen endret seg i 18 metaanalyser (11 prosent). Jeg har aldri sett en produksjonslinje i IT hvor en så høy feilrate ville blitt akseptert uten at noen stanset båndet.

Norge mangler oversikten

Jeg har forståelse for at de som utarbeider retningslinjer, arbeider under tidspress og sjelden har kapasitet til å sjekke hver eneste primærstudie manuelt. Det er ikke slurv. Det er en umulig oppgave uten riktig verktøy. Her hjemme viser tall fra Granskingsutvalget en klar økning i klagesaker – fra en sak i hele femårsperioden 2017 til 2021 til seks saker i 2024 alene. 

Jeg lurer på hvor mange norske retningslinjer som i dag hviler på minst én oversikt med en flagget eller trukket studie. Det spørsmålet har jeg ikke sett noen stille offentlig i Norge ennå, og jeg har heller ikke selv svaret.

Verktøyene finnes allerede

Verktøyene for å fange opp dette finnes allerede. Cochrane lanserte nylig en funksjon i CENTRAL-databasen sin som flagger trukne publikasjoner direkte i søkeresultatene koplet mot den kuraterte «Retraction Watch» databasen, og Cochrane planlegger å bruke flere kilder i framtid. 

STM Integrity Hub, et samarbeid mellom om lag 35–40 forlag, skanner over 125 000 manuskripter per måned og fanger opp rundt 1000 mistenkte «paper mill»-innsendinger hver måned. Jeg synes det er oppsiktsvekkende at slike systemer finnes på forlagssiden uten at noe tilsvarende krav finnes der retningslinjer faktisk settes sammen.

Norge bør innføre en evidensport

Etter min mening bør vi innføre et fast kontrollpunkt i det norske retningslinjearbeidet – en evidensport. Før en systematisk oversikt eller metaanalyse legges til grunn for en nasjonal faglig retningslinje, bør den sjekkes mot en oppdatert retraksjon og «paper mill»-database, og resultatet bør dokumenteres i retningslinjens metodekapittel. 

Som IT-arkitekt har jeg aldri godkjent at kode går til produksjon uten en automatisert sjekk først. Jeg foreslår at fagmiljøene, forlagene og de som koordinerer retningslinjearbeidet i Norge, sammen kan utvikle en tilsvarende rutine for forskningsevidens, gjerne bygget videre på verktøyene Cochrane og STM allerede har utviklet.

Pasientene trenger tryggere kunnskapsgrunnlag

Jeg er usikker på hvor stort ressursbehovet til en slik kontroll vil bli, og det bør utredes før noe vedtas. Men den usikkerheten er etter min vurdering et dårligere argument enn usikkerheten pasienter i dag lever med når retningslinjer kan bygge på studier som aldri skulle vært publisert. 

Jeg tror ikke løsningen ligger i å mistenkeliggjøre all forskning, men i å bygge en ekstra kontroll inn i systemet vi allerede stoler på slik at tilliten hviler på noe mer enn et håp om at ingen har oversett noe.