vägledning för användning av pilotstudier för att informera utformningen av interventionsstudier med kontinuerliga resultat

introduktion

innan en definitiv interventionsstudie kan en pilotstudie genomföras. Pilotförsök är ofta små versioner av huvudförsöket, som genomförs för att testa försöksmetoder och förfaranden.1,2 det övergripande syftet med pilotstudierna är att visa att en framtida prövning kan genomföras. För att ta itu med detta mål finns det ett antal mål för en pilotstudie, inklusive bedömning av rekryterings-och retentionsnivåer, erhållande av uppskattningar av parametrar som krävs för beräkning av provstorlek och tillhandahållande av preliminära bevis på effektpotential.3-6

vi illustrerar hur man använder pilotstudier för att informera utformningen av framtida randomiserade kontrollerade studier (RCT) så att sannolikheten för att svara på forskningsfrågan är hög. Vi visar hur pilotstudier kan hantera vart och ett av de tidigare angivna målen, hur man optimalt utformar en pilotstudie och hur man utför känslighetsanalys av provstorlek. Vårt exempel använder ett kontinuerligt resultat, men det mesta av innehållet kan tillämpas på pilotstudier i allmänhet.

överväganden för försöksdesign

vid utformning av en definitiv prövning måste man överväga

• måleffektstorleken, såsom skillnaden i medel för kontinuerliga resultat;
• variansen om uppskattningarna för kontinuerliga resultat, som används för att ge en rad svar för individer i försöket;
• genomförbarhet, inklusive remiss -, rekryterings-och retentionshastigheter.

Pilotprovresultat kan informera vart och ett av dessa element. Faktorer som typ i-fel och effekt ställs in oberoende av piloten och diskuteras i detalj någon annanstans.7 Vi fokuserar på externa pilotstudier, där försöket körs före huvudstudien, och resultaten inte kombineras.8

genomförbarhet

det första övervägandet är genomförbarhet: kommer forskarna att kunna rekrytera det önskade antalet deltagare inom studietiden och behålla dem i huvudförsöket? Medan granskning av kliniska register kan användas för att ge en viss indikation på potentiell deltagarpool, pilotstudier ger uppskattningar av antalet deltagare som faktiskt registrerar sig och samtycker till randomisering, och dessa uppskattningar bör ingå i manuskripten som rapporterar pilotstudieresultaten.9 många försök kämpar för att nå sitt mål för provstorlek, vilket kan leda till försökstillägg eller misslyckande med att rekrytera till deras förutbestämda provstorlek.10 underlåtenhet att rekrytera är en viktig fråga i brittiska offentligt finansierade försök, där 45% misslyckas med att nå målprovstorleken.10 tillsammans med granskning av tidigare försök vid samma centra i liknande populationer kan pilotstudier också ge uppskattningar av retentionshastigheter och vidhäftningshastigheter.11 saknade data och bortfall är problem i de flesta Rct12 och måste övervägas vid varje steg i forskningsprocessen,13 inklusive design, rapportering,9 och progression till en större definitiv studie.11,14

Måleffektstorlek och potentiell effekt

Hislop et al15 genomförde en systematisk granskning för att identifiera sju metoder för att bestämma måleffektstorleken för en RCT och klassificerade dem som kliniskt viktiga och/eller realistiska. En specifik typ av kliniskt viktig skillnad är det minsta värdet som skulle göra skillnad för patienter eller som kan ändra vård, en kvantitet som kallas den minsta viktiga skillnaden (MID), eller ibland minimalt klinisk viktig skillnad. Mitten kan vara svår att bestämma, särskilt eftersom det kan förändras med patientpopulationen. Forskare inom olika områden har dock undersökt MID estimation och ger vägledning om uppskattning.16,17 I frånvaro av en känd MID för kontinuerliga resultat, särskilt patientrapporterade resultat, har en standardiserad effektstorlek15 mellan 0.3 och 0.5 rekommenderats.17,18 expertutlåtande används också för att ange viktiga skillnader.15 även om vissa forskare använder piloteffektstorleken för att driva den definitiva försöket, är detta en praxis som bör undvikas i allmänhet, eftersom uppskattningen är dålig på grund av den lilla provstorleken och sannolikt kommer att vilseleda.19

måleffektstorleken måste också vara realistisk, och den uppskattade effektstorleken och konfidensintervallet (CI) från piloten kan ge några bevis här, dvs om det finns någon indikation på att interventionen är effektiv och viktiga skillnader kan erhållas i huvudförsöket.5 Den lilla provstorleken hos en pilot gör uppskattningen osäker, så försiktighet måste iakttas.19,20 en metod för att hantera denna osäkerhet är att använda andra signifikansnivåer än de” traditionella ” 5% för att ge preliminära bevis för effektivitet, med motsvarande CIs som 85 och 75% utöver 95% CIs.21 en figur som visar dessa CIs, mitten och nollvärdet kan vara ett användbart sätt att visa pilotresultat genom att underlätta en bedömning av både statistisk signifikans och potentialen för klinisk betydelse.31 medan vissa författare argumenterar mot att utföra hypotesprov och bedöma effektivitet från piloter, till och med potentiell effekt, genomför de flesta pilotstudier hypotesprov.6 Vi betonar starkt att preliminära effektivitetsbevis från en pilotstudie inte bör överdrivas, och forskare bör undvika frestelse att avstå från huvudförsöket.20,22

uppskattning av standardavvikelsen (SD)

populationen SD är ett annat nyckelelement i provstorleksuppskattningen för kontinuerliga resultat, och dess uppskattning är ett av målen för att genomföra en pilotstudie. I likhet med effektstorleken kan SD dock beräknas exakt på grund av pilotens lilla provstorlek. Att använda en pilotstudies SD för att utforma en framtida provstorlek har visat sig ofta resultera i en underpowered studie.23,24 således bör känslighetsanalyser göras.

känslighetsanalys för provstorlek

känslighetsanalyser är viktiga för att bedöma robustheten i studieresultaten till de antaganden som gjorts i den primära analysen.25 känslighetsanalyser bör också utföras i konstruktionsstadiet26 och kan ske i form av redovisning av osäkerheten i uppskattningen genom att beräkna provstorlekar baserade på ett antal troliga sdb och retention/bortfall. Browne23 föreslog att man använde pilotstudiens övre gräns för 80% ki för SD för att beräkna provstorleken i den efterföljande studien. Man kan också överväga SDs från litteraturen.

Pilotstudieprovstorlek

för att få den bästa chansen att svara på forskningsfrågan bör forskare noggrant överväga storleken på inte bara den definitiva försöket utan också piloten. Även om traditionella effektberäkningar är olämpliga för pilotstudier (eftersom det primära syftet med en pilotstudie inte är att testa överlägsenhet av en behandling över den andra) är en motivering av provstorleken viktig. Även om det finns flera tumregler för storleken på en pilotstudie, som sträcker sig från 12 till 35 individer per arm,5,27 ingen av dessa riktlinjer står för den troliga storleken på den framtida rättegången.Whitehead et al27 visade hur, om du känner till huvudprovets måleffektstorlek, kan du uppskatta pilotstudiens optimala provstorlek, vilket minimerar antalet patienter som rekryterats i de två studierna. Från detta arbete föreslog de stegade tumregler för pilotstudier baserade på måleffektstorleken och storleken på den framtida rättegången. Dessa regler sammanfattas i Tabell 1. Till exempel, om den framtida studien kommer att utformas kring en liten effekt, bör antalet patienter per arm för pilotstudien vara 25 för 90% effekt. Att använda dessa regler ökar sannolikheten för lämplig kraft för den framtida rättegången. Cocks och Torgerson5 rekommenderar också att basera pilotstudiens storlek på den framtida provets storlek, om SD är känt.

tabell 1 stegade tumregler för provstorlek för pilotstudie per arm, som en funktion av måleffektstorleken (standardiserad skillnad) och kraften i huvudförsöket anmärkningar: . Den motsvarande sannolika storleken på huvudförsöket visas också. int är interventionsarmen, och ctl är kontrollarmen.

exempel

Antag att ett forskargrupp planerar en pilot i väntan på att utforma en definitiv försök. Huvudförsöket kommer att vara en tvåarmad RCT som jämför en ny stödjande vårdregim för cancerpatienter med vanlig vård, med bedömningar vid baslinjen, 6 veckor och 3 månader. Deras primära resultat är livskvaliteten vid 3 månader mätt med funktionell bedömning av cancerterapi-General (FACT-G), ett frågeformulär med 27 artiklar som täcker aspekter av fysiskt, socialt, familjärt, emotionellt och funktionellt välbefinnande.28

Pilotstudieprovstorlek

för att använda de stegade tumreglerna för pilotprovstorlek måste forskarna överväga måleffektstorleken och SD för huvudförsöket för att beräkna den standardiserade skillnaden (effektstorlek). De finner att den uppskattade FACT – g MID är mellan tre och sex poäng29 och en SD-uppskattning från litteraturen30 är 14 i liknande populationer. Med hjälp av en MITTUPPSKATTNING på fyra punkter och en SD på 14 är den standardiserade effektstorleken 4/14=0,29. För en 90% driven huvudförsök bör de använda en provstorlek på 25 per arm för piloten (Tabell 1).

Pilotstudieresultat

Antag nu att forskarna genomför pilotstudien av 50 deltagare med rekrytering över 2 månader. Av de 100 potentiella deltagarna hänvisades 70 deltagare av sin onkolog, 60 deltagare uppfyllde behörighetskriterierna och 50 deltagare gick med på att delta. Detta indikerar en rekryteringsgrad på 50% av de berättigade patienterna, vid 25 rekryteringar per månad. Av de 50 deltagarna slutförde 40 deltagare alla tre bedömningarna; retentionen är 80%. Dessa priser kommer att hjälpa till att uppskatta den huvudsakliga försöksperioden.

skillnaden i livskvalitet mellan armarna vid 3 månader uppskattas till 3, 1 poäng, med 95% CI -1, 8 till 8, 0 och SD =11, 2. Figur 1 visar flera CIs som visar att interventionen är lovande, eftersom varje CI innehåller mitten av 4. Syftet med pilotstudien att tillhandahålla preliminära bevis på effekt har således uppfyllts.

Figur 1 genomsnittlig skillnad i själva verket-g poäng mellan pilotstudie intervention och kontrollarmar med konfidensintervall. förkortningar: fakta-G, funktionell bedömning av cancerterapi-Genera; mitten, minsta viktiga skillnad.

provstorleksberäkningar och känslighetsanalyser

tabell 2 visar provstorlekar baserade på pilotstudiens SD, dess övre 80% CI-gräns (tagen som kvadratroten av CI för variansen) och den ursprungliga uppskattningen från litteraturen. Provstorlekar ges också för det observerade bortfallet (20%) och för >5 och <5%. För 90% effekt varierar provstorleken från 392 till 692. För 80% effekt varierar provstorlekarna från 296 till 518. Observera att känslighetsanalysen kvantifieras i termer av effekten av antaganden på provstorleken. Ett alternativt tillvägagångssätt är att fixa provstorleken (vid 392 säger) och observera hur kraften varierar baserat på antaganden.

tabell 2, och beräknad SD antar en effektstorlek på fyra poäng anteckningar: abased på 1.5 års rekrytering. bbaserat på pilotstudiens rekryteringsgrad på 25 deltagare per månad. förkortning: SD, standardavvikelse.

genomförbarhet av huvudförsöket

vi överväger nu genomförbarhet. Specifikt är forskarna sannolikt att kunna rekrytera det önskade antalet deltagare inom studietiden? Baserat på finansieringen och uppföljningstiden på 3 månader kan rekryteringen ta 1,5 år. Om pilotrekryteringsgraden på 25 deltagare per månad är en bra uppskattning, kommer studien att kunna rekrytera och anmäla 450 deltagare. Detta ligger under flera av uppskattningarna i Tabell 2. Ytterligare överväganden kan behövas hur man utökar deltagarnas pool.

slutsats

Vi har illustrerat hur pilotstudier kan hjälpa till vid utformningen av framtida försök med kontinuerliga resultat genom att tillhandahålla uppskattningar av populations-SD, bevis på potential för interventionseffektivitet och kvantifiering av genomförbarhet i form av rekrytering och retention. Vi har infört riktlinjer för pilotstudieprovstorlek och visat provstorlekskänslighetsanalys. Exemplet visade hur huvudprovsprovstorleksuppskattningar kan variera dramatiskt genom att plausibelt ändra antaganden.

beslutet att gå från en pilotstudie till en huvudstudie görs i allmänhet med hjälp av genomförbarhetsuppskattningar, liksom frågor som protokollfrihet. För mer information om progression, se Avery et al,11 och för information om sammanhanget för interna piloter, se Hampson et al.14 oavsett om forskarna beslutar sig för att gå vidare till en definitiv prövning eller inte, bör resultaten av pilotstudierna offentliggöras. En KONSORTFÖRLÄNGNING för rapportering av resultat från pilot-och genomförbarhetsstudier ger detaljerade riktlinjer.9

erkännanden

denna forskning fick inget specifikt bidrag från något finansieringsorgan inom offentliga, kommersiella eller icke-vinstdrivande sektorer. Den nuvarande adressen till ALW är Southampton Clinical Trials Unit, University of Southampton, Southampton, Storbritannien.

avslöjande

Professor MLB stöds av University of Arizona Cancer Center, genom NCI grant P30CA023074. Professor SAJ finansieras av University of Sheffield. Dr ALW finansierades av en University of Sheffield studentship. Författarna rapporterar inga andra intressekonflikter i detta arbete.

			Thabane L, Ma J, Chu R, et al. En handledning om pilotstudier: vad, varför och hur. BMC med Res Methodol. 2010;10:1.
			Arain M, Campbell MJ, Cooper CL, Lancaster GA. Vad är en pilot-eller genomförbarhetsstudie? En genomgång av nuvarande praxis och redaktionell politik. BMC med Res Methodol. 2010;10:67.
			Craig P, Dieppe P, Macintyre S, et al. Utveckla och utvärdera komplexa insatser: den nya medicinska forskningsrådets vägledning. BMJ. 2008; 337: a1655.
			Lancaster G, Campbell M, Eldridge S, et al. Försök i primärvården: statistiska frågor vid utformning, genomförande och utvärdering av komplexa insatser. Stat Metoder Med Res. 2010;19 (4):349-377.
			tuppar K, Torgerson DJ. Provstorleksberäkningar för pilot randomiserade studier: ett konfidensintervall. J Clin Epidemiol. 2013;66(2):197–201.
Shanyinde M, Pickering RM, Weatherall M. frågor ställda och besvarade i pilot-och genomförbarhets randomiserade kontrollerade studier. BMC med Res Methodol. 2011;11(1):117.
			Julious SA. Provstorlekar för kliniska prövningar med normala data. Stat Med. 2004;23(12):1921–1986.
Wittes J, Brittain E. rollen av interna pilotstudier för att öka effektiviteten i kliniska prövningar. Stat Med. 1990;9(1–2):65–72.
		Eldridge SM, Chan CL, Campbell MJ, et al. CONSORT 2010 uttalande: utvidgning till randomiserade pilot-och genomförbarhetsstudier. BMJ. 2016; 355: i5239.
			Sully B, Julious SA, Nicholl J. En ny undersökning av rekrytering till randomiserade, kontrollerade multicenterförsök: en granskning av försök som finansieras av två brittiska finansieringsorgan. Prövningar. 2013;14:166.
			Avery KNL, Williamson PR, Gamble C, et al. Information om effektiva randomiserade kontrollerade studier: utforskning av utmaningar vid utveckling av progressionskriterier för interna pilotstudier. BMJ öppen. 2017; 7(2):e013537.
		Bell ML, Fiero M, Horton NJ, Hsu CH. Hantering av saknade data i RCT; en översyn av de bästa medicinska tidskrifterna. BMC med Res Methodol. 2014;14(1):118.
			Bell ML, Fairclough DL. Praktiska och statistiska problem i saknade data för longitudinella patientrapporterade resultat. Stat Metoder Med Res. 2014; 23 (5):440-459.
Hampson lv, Williamson PR, Wilby MJ, Jaki T. ett ramverk för att prospektivt definiera progressionsregler för interna pilotstudier som övervakar rekrytering. Stat Metoder Med Res. Epub 2017 Januari 01.
			Hislop J, Adewuyi TE, Vale LD, et al. Metoder för att specificera målskillnaden i en randomiserad kontrollerad studie: Difference ELicitation in TriAls (DELTA) systematisk granskning. PLoS Med. 2014; 11 (5): e1001645.
			Revicki DA, Cella D, Hays RD, Sloan JA, Lenderking WR, Aaronson NK. Responsivitet och minimala viktiga skillnader för patientrapporterade resultat. Hälsa Qual Livsresultat. 2006;4:70.
		Kung M. en punkt med minimal viktig skillnad( mitten): en kritik av terminologi och metoder. Expert Rev Pharmacoecon Utfall Res. 2011;11 (2):171–184.
			Norman GR, Sloan JA, Wyrwich KW. Den verkligt anmärkningsvärda universaliteten av en halv standardavvikelse: bekräftelse genom ett annat utseende. Expert Rev Pharmacoecon Utfall Res. 2004; 4 (5):581-585.
			Kraemer HC, Mintz J, Noda A, Tinklenberg J, Jaavage JA. Försiktighet när det gäller användning av pilotstudier för att styra effektberäkningar för studieförslag. Arch Gen Psykiatri. 2006;63(5):484–489.
		Loscalzo J. pilotstudier i klinisk forskning: av vilket värde är de? Omsättning. 2009;119(13):1694–1696.
		Lee EC, Whitehead AL, Jacques RM, Julious SA. Den statistiska tolkningen av pilotförsök: bör tröskelvärden för betydelse omprövas? BMC med Res Methodol. 2014;14(1):41.
			Lancaster GA, Dodd S, Williamson PR. Utformning och analys av pilotstudier: rekommendationer för god praxis. J Eval Clin Pract. 2004;10(2):307–312.
			Browne RH. Om användningen av ett pilotprov för bestämning av provstorlek. Stat Med. 1995;14(17):1933–1940.
			Vickers AJ. Underpowering i randomiserade studier som rapporterar en beräkning av provstorlek. J Clin Epidemiol. 2003;56(8):717–720.
		Thabane L, Mbuagbaw L, Zhang S, et al. En handledning om känslighetsanalyser i kliniska prövningar: vad, varför, när och hur. BMC med Res Methodol. 2013;13(1):92.
			Lewis Ja. Statistiska principer för kliniska prövningar (ICH E9): en inledande anteckning om en internationell riktlinje. Stat Med. 1999; 18(15):1903–1942.
		Whitehead A, Julious S, Cooper C, Campbell MJ. Uppskatta provstorleken för en randomiserad pilotstudie för att minimera den totala provstorleken för den externa piloten och huvudstudien för en kontinuerlig resultatvariabel. Stat Metoder Med Res. 2016; 25(3):1057-1073.
		Cella DF, Tulsky DS, grå G, et al. Den funktionella bedömningen av cancerterapiskala: utveckling och validering av den allmänna åtgärden. J Clin Oncol. 1993;11(3):570–579.
		Webster K, Cella D, Yost K. Den funktionella bedömningen av kronisk sjukdomsterapi (FACIT) mätsystem: egenskaper, tillämpningar och tolkning. Hälsa Qual Livsresultat. 2003;1:79.
			Bell ML, McKenzie JE. Utforma psyko-onkologi randomiserade studier och kluster randomiserade studier: varianskomponenter och intra-kluster korrelation av vanligt använda psykosociala åtgärder. Psykoonkologi. 2013;22(8):1738–1747.
			Bell, ML, Fiero MH, Dhillon HM, Bray VJ och Vardy JL. Statistiska kontroverser i cancerforskning: använda standardiserade effektstorleksdiagram för att förbättra tolkningsförmågan hos cancerrelaterade kliniska prövningar med patientrapporterade resultat. Ann Oncol. 2017;28(8):1730–1733.