Veiledning for bruk av pilotstudier for å informere utformingen av intervensjonsstudier med kontinuerlige utfall

Introduksjon

før en endelig intervensjonsstudie kan det gjennomføres en pilotstudie. Pilotforsøk er ofte små versjoner av hovedforsøket, foretatt for å teste prøvemetoder og prosedyrer.1,2 det overordnede målet med pilotstudier er å demonstrere at en fremtidig studie kan gjennomføres. For å møte dette målet er det en rekke mål for en pilotstudie, inkludert vurdering av rekrutterings – og retensjonsrater, innhenting av estimater av parametere som kreves for utvalgsstørrelsesberegning og foreløpige bevis på effektpotensial.3-6

vi illustrerer hvordan man bruker pilotstudier for å informere utformingen av fremtidige randomiserte kontrollerte studier (Rct) slik at sannsynligheten for å svare på forskningsspørsmålet er høy. Vi viser hvordan pilotstudier kan adressere hvert av målene som er nevnt tidligere, hvordan man optimaliserer en pilotstudie, og hvordan man utfører teststørrelsesfølsomhetsanalyse. Vårt eksempel bruker et kontinuerlig utfall, men det meste av innholdet kan brukes til pilotstudier generelt.

Betraktninger for forsøksdesign

når man utformer en endelig studie, må man vurdere

• måleffektstørrelsen, for eksempel forskjellen i midler for kontinuerlige resultater;variansen om estimatene for kontinuerlige utfall, som brukes til å gi en rekke svar for enkeltpersoner i studien;
• Gjennomførbarhet, inkludert henvisning, rekruttering og retensjonsrater.

Pilotforsøksresultater kan informere hvert av disse elementene. Faktorer som type i-feil og kraft er satt uavhengig av piloten og diskuteres i detalj andre steder.7 vi fokuserer på eksterne pilotstudier, hvor forsøket kjøres før hovedforsøket, og resultatene ikke kombineres.8

Gjennomførbarhet

det første hensynet er gjennomførbarhet: vil forskerne kunne rekruttere det nødvendige antall deltakere innenfor studietiden og beholde dem i hovedforsøket? Mens gjennomgang av kliniske poster kan brukes til å gi noen indikasjon på potensielle deltaker pool, pilotstudier gi estimater av antall deltakere som faktisk melde og samtykke til randomisering, og disse estimatene bør inkluderes i manuskriptene som rapporterer pilotstudie resultater.9 Mange forsøk sliter med å nå sitt mål for prøvestørrelse, noe som kan resultere i prøveutvidelser eller manglende rekruttering til den forhåndsdefinerte prøvestørrelsen.10 Manglende rekruttering er et stort problem i BRITISKE offentlig finansierte forsøk, hvor 45% ikke klarer å nå målprøvestørrelsen.10 sammen med gjennomgang av tidligere forsøk på de samme sentrene i lignende populasjoner, kan pilotstudier også gi estimater av retensjonsrater og adhesjonsrater.11 Manglende data og frafall er problemer i de fleste Rcter12 og må vurderes på hvert trinn i forskningsprosessen, 13 inkludert design,rapportering, 9 og progresjon til en større definitiv studie.11,14

Måleffektstørrelse og potensiell effekt

Hislop et al15 foretok en systematisk oversikt for å identifisere syv tilnærminger for å bestemme måleffektstørrelsen for EN RCT og klassifiserte dem som klinisk viktige og/eller realistiske. En bestemt type klinisk viktig forskjell er den minste verdien som vil gjøre forskjell for pasienter eller som kan forandre omsorg, en mengde referert til som minimum viktig forskjell (MID), eller noen ganger minimal klinisk viktig forskjell. MID kan være vanskelig å fastslå, særlig ettersom det kan endre seg med pasientpopulasjonen. Imidlertid har forskere på ulike felt undersøkt MID estimering og gi veiledning om estimering.16,17 i fravær av et KJENT MID for kontinuerlige utfall, spesielt pasientrapporterte utfall, er en standardisert effektstørrelse15 mellom 0,3 og 0,5 anbefalt.17,18 Ekspertuttalelser brukes også til å spesifisere viktige forskjeller.15 Selv om enkelte forskere bruker piloteffektstørrelsen til å drive den endelige studien, er dette en praksis som bør unngås generelt, da estimeringen er dårlig på grunn av den lille utvalgsstørrelsen, og sannsynligvis vil villede.19

måleffektstørrelsen må også være realistisk, og estimert effektstørrelse og konfidensintervall (KI) fra piloten kan gi noen bevis her, dvs. om det er noen indikasjon på at tiltaket er effektivt og viktige forskjeller kan oppnås i hovedstudien.5 den lille prøvestørrelsen på en pilot gjør estimeringen usikker, så forsiktighet må utvises.19,20 en tilnærming for å håndtere denne usikkerheten er å bruke andre signifikansnivåer enn de «tradisjonelle» 5% for å gi foreløpige bevis for effekt, med tilsvarende CIs som 85 og 75% i tillegg til 95% CIs.21 en figur som viser Disse CIs, MID og null-verdien kan være en nyttig måte å vise pilotresultater på, ved å legge til rette for en vurdering av både statistisk signifikans og potensialet for klinisk signifikans.31 mens noen forfattere argumenterer mot å utføre hypotesetester og vurdere effekt fra piloter, selv potensiell effekt, utfører de fleste pilotstudier hypotesetester.6 vi understreker sterkt at foreløpige effektbevis fra en pilotstudie ikke bør overvurderes, og forskere bør unngå fristelser til å avstå fra hovedforsøket.20,22

Estimering av STANDARDAVVIKET (SD)

populasjonen SD er et annet sentralt element i estimering av utvalgsstørrelse for kontinuerlige resultater, og estimeringen er et av målene for å gjennomføre en pilotstudie. MEN i likhet med effektstørrelsen kan SD-en estimeres upresist på grunn av pilotens lille prøvestørrelse. Bruk av en pilotstudies SD for å designe en fremtidig utvalgsstørrelse har vist seg å resultere i en underpowered studie.23,24 følsomhetsanalyser bør derfor foretas.

Sensitivitetsanalyse for utvalgsstørrelse

Sensitivitetsanalyser er viktige for å vurdere studieresultatenes robusthet i forhold til forutsetningene i primæranalysen.25 Sensitivitetsanalyser bør også utføres i designstadiet26 og kan ta form av å regnskapsføre usikkerheten i estimeringen ved å beregne utvalgsstørrelser basert på en rekke plausible SDs og retensjons – /frafallsrater. Browne23 foreslo å bruke pilotstudiens øvre grense på 80% KI FOR SD for å beregne prøvestørrelse i den påfølgende studien. Man kan også vurdere SDs fra litteraturen.

Pilotstudie prøvestørrelse

for å få den beste muligheten til å svare på forskningsspørsmålet, bør forskerne nøye vurdere størrelsen på ikke bare den endelige studien, men også piloten også. Selv om tradisjonelle kraftberegninger er upassende for pilotstudier (siden det primære målet med en pilotstudie ikke er å teste overlegenhet av en behandling over den andre), er en prøvestørrelsesjustering viktig. Mens det er flere tommelfingerregler for størrelsen på en pilotstudie, som spenner fra 12 til 35 personer per arm,5,27, står ingen av disse retningslinjene for den sannsynlige størrelsen på den fremtidige studien.Whitehead Et al27 viste hvordan, hvis du kjenner hovedforsøkets måleffektstørrelse, kan du estimere pilotstudiens optimale prøvestørrelse, og minimere antall pasienter rekruttert over de to studiene. Fra dette arbeidet foreslo de tråkkede tommelfingerregler for pilotstudier basert på måleffektstørrelsen og størrelsen på den fremtidige studien. Disse reglene er oppsummert I Tabell 1. For eksempel, hvis den fremtidige studien vil bli utformet rundt en liten effekt, bør antall pasienter per arm for pilotstudien være 25 for 90% effekt. Ved hjelp av disse reglene øker sannsynligheten for riktig kraft for fremtidig rettssak. Cocks Og Torgerson5 anbefaler også å basere pilotstudiestørrelsen på fremtidig forsøksstørrelse, hvis SD er kjent.

Tabell 1 Trinnvise tommelfingerregler for prøvestørrelse for pilotstudie per arm, som en funksjon av måleffektstørrelsen (standardisert forskjell) og kraften i hovedforsøket merknader: . Den tilsvarende sannsynlige størrelsen på hovedforsøket er også vist. int er intervensjonsarmen, og ctl er kontrollarmen.

Eksempel

Anta at et forskerteam planlegger en pilot i påvente av å designe en endelig prøve. Hovedforsøket vil være en toarmet RCT som sammenligner et nytt støttende behandlingsregime for kreftpasienter med vanlig behandling, med vurderinger ved baseline, 6 uker og 3 måneder. Deres primære utfall er livskvaliteten ved 3 måneder målt Ved Functional Assessment Of Cancer Therapy-General (FACT-G), et 27-spørreskjema som dekker aspekter av fysisk, sosial, familie, emosjonell og funksjonell velvære.28

Pilotstudie prøvestørrelse

for å bruke de tråkkede tommelfingerreglene for pilotprøvestørrelse, må forskerne vurdere måleffektstørrelsen og SD for hovedforsøket for å beregne den standardiserte forskjellen (effektstørrelse). De finner at estimert FAKTUM-G MID er mellom tre OG seks poeng29 OG ET SD-estimat fra litteraturen30 er 14 i lignende populasjoner. Ved Å bruke ET midtestimat på fire poeng og ET SD på 14, er den standardiserte effektstørrelsen 4/14=0,29. For en 90% drevet hovedforsøk, bør de bruke en prøvestørrelse på 25 per arm for piloten (Tabell 1).

Pilotstudieresultater

Anta nå at forskerne gjennomfører pilotstudien av 50 deltakere med rekruttering over 2 måneder. Av de 100 potensielle deltakerne ble 70 deltakere henvist av onkologen, 60 deltakere møtte kvalifikasjonskriterier, og 50 deltakere ble enige om å delta. Dette indikerer en rekrutteringsrate på 50% av kvalifiserte pasienter, ved 25 rekrutteringer per måned. Av de 50 deltakerne fullførte 40 deltakere alle tre vurderingene; oppbevaring er 80%. Disse prisene vil hjelpe til med å estimere hovedforsøkets varighet.

forskjellen i livskvalitet mellom armene ved 3 måneder er estimert til 3,1 poeng, med 95% KI -1,8 til 8,0 og SD =11,2. Figur 1 viser flere CIs som viser at intervensjonen er lovende, da hvert KI inneholder MIDTEN av 4. Dermed er målet med pilotstudien for å gi foreløpige bevis på effekt blitt oppfylt.

Figur 1 Gjennomsnittlig forskjell I FAKTUM-G score MELLOM pilotstudieintervensjon og kontroller armene med konfidensintervall. Forkortelser: FAKTA-G, Funksjonell Vurdering Av Kreftbehandling-Slægter; MID, minimum viktig forskjell.

beregninger Av prøvestørrelse og følsomhetsanalyser

Tabell 2 viser utvalgsstørrelser basert på pilotstudiens SD, dens øvre 80% KI-grense (tatt som kvadratroten av KI for variansen), og det opprinnelige estimatet fra litteraturen. Utvalgsstørrelser er også gitt for observert frafall (20%) og for > 5 og < 5%. For 90% strøm varierer prøvestørrelsen fra 392 til 692. For 80% effekt varierer prøvestørrelser fra 296 til 518. Merk at sensitivitetsanalysen er kvantifisert når det gjelder effekten av antagelser på prøvestørrelsen. En alternativ tilnærming er å fikse prøvestørrelsen (ved 392 si) og observere hvordan kraften varierer basert på forutsetninger.

Tabell 2 et utvalg av utvalgsstørrelser med varierende frafall, rekrutteringsrate, og estimert sd antar en effektstørrelse på fire poeng merknader: abased på 1,5 års rekruttering. bbasert på rekrutteringsraten for pilotstudien på 25 deltakere per måned. Forkortelse: SD, standardavvik.

Gjennomførbarhet av hovedforsøket

vi vurderer nå gjennomførbarhet. Spesielt er forskerne sannsynlig å kunne rekruttere det nødvendige antall deltakere innenfor studietiden? Basert på finansiering og oppfølgingstid på 3 måneder, kan rekruttering ta 1,5 år. Hvis pilotrekrutteringsraten på 25 deltakere per måned er et godt estimat, vil studien kunne rekruttere og registrere 450 deltakere. Dette ligger under flere av estimatene I Tabell 2. Videre vurdering kan være nødvendig hvordan å utvide pool av deltakerne.Vi har illustrert hvordan pilotstudier kan hjelpe til med utformingen av fremtidige studier med kontinuerlige resultater ved å gi estimater av populasjons SD, bevis på potensial for intervensjonseffektivitet og kvantifisering av gjennomførbarhet i form av rekrutterings-og retensjonsrater. Vi har innført retningslinjer for prøvestørrelse og demonstrert sensitivitetsanalyse av prøvestørrelse. Eksemplet viste hvordan hovedforsøkets utvalgsstørrelsesestimater kan variere dramatisk ved å plausibelt endre antagelser.beslutningen om å gå videre fra en pilotforsøk til en hovedforsøk er vanligvis gjort ved hjelp av mulighetsestimater, samt problemer som protokollfeil. For mer informasjon om progresjon, se Avery et al,11 og for informasjon om sammenheng med interne piloter, se Hampson et al.14 om forskere velger å gå videre til en endelig studie eller ikke, bør resultater fra pilotstudier publiseres. EN KONSORTFORLENGELSE for rapportering av resultater fra pilot-og mulighetsstudier gir detaljerte retningslinjer.9

Bekreftelser

denne forskningen mottok ingen spesifikk støtte fra noen finansieringsbyrå i offentlig, kommersiell eller ikke-for-profit sektor. Den nåværende adressen TIL Alw Er Southampton Clinical Trials Unit, University Of Southampton, Southampton, STORBRITANNIA.

Disclosure

Professor MLB støttes Av University Of Arizona Cancer Center, GJENNOM NCI grant P30CA023074. Professor SAJ er finansiert av University Of Sheffield. Dr ALW ble finansiert av Et Universitet I Sheffield student. Forfatterne rapporterer ingen andre interessekonflikter i dette arbeidet.

Craig P, Dieppe P, Macintyre S, Et al. Utvikling og evaluering av komplekse tiltak: det Nye Medisinske Forskningsrådets veiledning. BMJ. 2008; 337: a1655.

Lancaster G, Campbell M, Eldridge S, et al. Forsøk i primærhelsetjenesten: statistiske problemstillinger i utforming, gjennomføring og evaluering av komplekse intervensjoner. Stat Metoder Med Res. 2010; 19 (4): 349-377.

Sully B, Julious SA, Nicholl J. En reinvestigation av rekruttering til randomiserte, kontrollerte, multisenterforsøk: en gjennomgang av forsøk finansiert av TO britiske finansieringsorganer. Trials. 2013;14:166.

Avery KNL, Williamson PR, Gamble C, Et al. Informere om effektive randomiserte kontrollerte studier: utforskning av utfordringer ved utvikling av progresjonskriterier for interne pilotstudier. BMJ Åpen. 2017; 7 (2): e013537.

Lancaster GA, Dodd S, Williamson PR. Design og analyse av pilotstudier: anbefalinger for god praksis. J Eval Clin Pract. 2004;10(2):307–312.

Estimere prøvestørrelsen for en randomisert pilotstudie for å minimere den totale prøvestørrelsen for den eksterne piloten og hovedstudien for en kontinuerlig utfallsvariabel. Stat Metoder Med Res. 2016; 25 (3): 1057-1073.

Thabane L, Ma J, Chu R, et al. En veiledning om pilotstudier: hva, hvorfor og hvordan. BMC Med Res Methodol. 2010;10:1.

Arain M, Campbell MJ, Cooper CL, Lancaster GA. Hva er en pilot eller feasibility study? En gjennomgang av gjeldende praksis og redaksjonell politikk. BMC Med Res Methodol. 2010;10:67.

Kuker K, Torgerson DJ. Utvalgsstørrelsesberegninger for pilot randomiserte studier: en konfidensintervalltilnærming. J Clin Epidemiol. 2013;66(2):197–201.

Shanyinde M, Pickering RM, Weatherall M. Spørsmål som stilles og besvares i pilot-og gjennomførbarhets randomiserte kontrollerte studier. BMC Med Res Methodol. 2011;11(1):117.

Julius SA. Prøvestørrelser for kliniske studier med normale data. Stat Med. 2004;23(12):1921–1986.

Wittes J, Brittain E. rollen til interne pilotstudier i å øke effektiviteten av kliniske studier. Stat Med. 1990;9(1–2):65–72.

Eldridge SM, Chan CL, Campbell MJ, et al. CONSORT 2010 statement: utvidelse til randomiserte pilot-og mulighetsstudier. BMJ. 2016; 355: i5239.

Bell ML, Fiero M, Horton NJ, Hsu CH. Håndtering av manglende data i RCTs; en gjennomgang av de beste medisinske tidsskriftene. BMC Med Res Methodol. 2014;14(1):118.

Bell ML, Fairclough DL. Praktiske og statistiske problemer i manglende data for longitudinelle pasientrapporterte utfall. Stat Metoder Med Res. 2014; 23 (5): 440-459.

Hampson LV, Williamson PR, Wilby MJ, Jaki T. et rammeverk for prospektivt å definere progresjonsregler for interne pilotstudier overvåking rekruttering. Stat Metoder Med Res. Epub 2017 Jan 01.

Hislop J, Adewuyi TE, Vale LD, et al. Metoder for å spesifisere målforskjellen i en randomisert kontrollert studie: Differanseeksponering i Studier (DELTA) systematisk gjennomgang. PLoS Med. 2014; 11 (5): e1001645.

Revicki DA, Cella D, Hays RD, Sloan JA, Lenderking WR, Aaronson NK. Responsivitet og minimale viktige forskjeller for pasientrapporterte utfall. Helse Qual Livet Utfall. 2006;4:70.

King M. et punkt med minimal viktig forskjell (MID): en kritikk av terminologi og metoder. Ekspert Rev Pharmacoecon Utfall Res. 2011; 11 (2):171–184.

Norman GR, Sloan JA, Wyrwich KW. Den virkelig bemerkelsesverdige universaliteten til et halvt standardavvik: bekreftelse gjennom et annet utseende. Ekspert Rev Pharmacoecon Utfall Res. 2004; 4 (5): 581-585.

Kraemer HC, Mintz J, Noda En, Tinklenberg J, Yesavage JA. Forsiktighet ved bruk av pilotstudier for å veilede kraftberegninger for studieforslag. Arch Gen Psykiatri. 2006;63(5):484–489.

Loscalzo J. Pilotforsøk i klinisk forskning: av hvilken verdi er de? Sirkulasjon. 2009;119(13):1694–1696.

Lee EF, Whitehead AL, Jacques RM, Julious SA. Den statistiske tolkningen av pilotforsøk: bør signifikansgrenser revurderes? BMC Med Res Methodol. 2014;14(1):41.

Browne RH. På bruk av en pilotprøve for prøvestørrelsesbestemmelse. Stat Med. 1995;14(17):1933–1940.

Vickers AJ. Underpowering i randomiserte forsøk som rapporterer en utvalgsstørrelsesberegning. J Clin Epidemiol. 2003;56(8):717–720.

Thabane L, Mbuagbaw L, Zhang S, et al. En veiledning om sensitivitetsanalyser i kliniske studier: hva, hvorfor, når og hvordan. BMC Med Res Methodol. 2013;13(1):92.

Lewis JA. Statistiske prinsipper for kliniske studier (ICH E9): et innledende notat om en internasjonal retningslinje. Stat Med. 1999; 18(15):1903–1942.

Cella DF, Tulsky DS, Grå G, Et al. Den funksjonelle vurderingen av kreftterapi skala: utvikling og validering av det generelle tiltaket. J Clin Oncol. 1993;11(3):570–579.

Webster K, Cella D, Yost K. den funksjonelle vurderingen av kronisk sykdomsterapi (FACIT) målesystem: egenskaper, applikasjoner og tolkning. Helse Qual Livet Utfall. 2003;1:79.

Bell ML, McKenzie JE. Utforming av psyko-onkologiske randomiserte studier og klynge-randomiserte studier: varianskomponenter og intra-klyngekorrelasjon av vanlig brukte psykososiale tiltak. Psykoonkologi. 2013;22(8):1738–1747.Dette er en av de mest populære variantene i Verden. Statistiske kontroverser i kreftforskning: bruk av standardiserte effektstørrelsesgrafer for å forbedre tolkbarheten av kreftrelaterte kliniske studier med pasientrapporterte utfall. Ann Oncol. 2017;28(8):1730–1733.