Guida per l’uso di studi pilota per informare la progettazione di studi di intervento con risultati continui

Introduzione

Prima di un intervento definitivo di prova, uno studio pilota può essere intrapresa. Le prove pilota sono spesso piccole versioni della prova principale, intraprese per testare metodi e procedure di prova.1,2 L’obiettivo generale degli studi pilota è dimostrare che è possibile intraprendere una sperimentazione futura. Per far fronte a questo obiettivo, uno studio pilota ha una serie di obiettivi, tra cui la valutazione dei tassi di assunzione e di ritenzione, l’ottenimento di stime dei parametri necessari per il calcolo della dimensione del campione e la fornitura di prove preliminari del potenziale di efficacia.3-6

Illustriamo come utilizzare studi pilota per informare la progettazione di futuri studi randomizzati controllati (RCT) in modo che la probabilità di rispondere alla domanda di ricerca sia elevata. Mostriamo come gli studi pilota possono affrontare ciascuno degli obiettivi elencati in precedenza, come progettare in modo ottimale uno studio pilota e come eseguire l’analisi della sensibilità della dimensione del campione. Il nostro esempio utilizza un risultato continuo, ma la maggior parte del contenuto può essere applicato a studi pilota in generale.

Considerazioni per la progettazione di uno studio

Quando si progetta uno studio definitivo, è necessario considerare

• La dimensione dell’effetto target, ad esempio la differenza di mezzi per risultati continui;
• La varianza circa le stime per i risultati continui, che viene utilizzato per dare una serie di risposte per gli individui nello studio;
• Fattibilità, tra cui il rinvio, reclutamento, e tassi di ritenzione.

I risultati della prova pilota possono informare ciascuno di questi elementi. Fattori come l’errore di tipo I e la potenza sono impostati indipendentemente dal pilota e sono discussi in dettaglio altrove.7 Ci concentriamo su studi pilota esterni, in cui lo studio viene eseguito prima dello studio principale e i risultati non sono combinati.8

Fattibilità

La prima considerazione è la fattibilità: i ricercatori saranno in grado di reclutare il numero richiesto di partecipanti entro i tempi dello studio e di mantenerli nello studio principale? Mentre la revisione delle cartelle cliniche può essere utilizzata per dare qualche indicazione sul potenziale pool di partecipanti, gli studi pilota forniscono stime del numero di partecipanti che effettivamente si iscrivono e acconsentono alla randomizzazione, e queste stime dovrebbero essere incluse nei manoscritti che riportano i risultati dello studio pilota.9 Molti studi faticano a raggiungere il loro obiettivo di dimensione del campione, il che può comportare estensioni di prova o mancata assunzione alla dimensione del campione prespecificata.10 La mancata assunzione è un problema importante negli studi finanziati con fondi pubblici nel Regno Unito, dove il 45% non riesce a raggiungere la dimensione del campione obiettivo.10 Insieme alla revisione di studi precedenti presso gli stessi centri in popolazioni simili, gli studi pilota possono anche fornire stime dei tassi di ritenzione e dei tassi di aderenza.11 I dati mancanti e gli abbandoni sono problemi nella maggior parte degli RCT12 e devono essere considerati in ogni fase del processo di ricerca13,compresa la progettazione, la segnalazione,9 e la progressione verso uno studio definitivo più ampio.11,14

Dimensione dell’effetto target ed efficacia potenziale

Hislop et al15 hanno intrapreso una revisione sistematica per identificare sette approcci per determinare la dimensione dell’effetto target per un RCT e li hanno classificati come clinicamente importanti e / o realistici. Un tipo specifico di differenza clinicamente importante è il valore più piccolo che farebbe la differenza per i pazienti o che potrebbe cambiare la cura, una quantità indicata come la differenza minima importante (METÀ), o talvolta minimamente differenza importante clinica. Il MID può essere difficile da determinare, in particolare in quanto può cambiare con la popolazione di pazienti. Tuttavia, i ricercatori in vari campi hanno studiato la stima intermedia e forniscono indicazioni sulla stima.16,17 In assenza di un MID noto per i risultati continui, in particolare i risultati riportati dal paziente, è stato raccomandato un effetto standardizzato di dimensione compresa tra 0,3 e 0,5.17,18 L’opinione degli esperti viene anche utilizzata per specificare differenze importanti.15 Sebbene alcuni ricercatori utilizzino la dimensione dell’effetto pilota per alimentare lo studio definitivo, questa è una pratica che dovrebbe essere evitata in generale, poiché la stima è scarsa a causa della piccola dimensione del campione e rischia di indurre in errore.19

Anche la dimensione dell’effetto target deve essere realistica, e la dimensione dell’effetto stimato e l’intervallo di confidenza (CI) del pilota possono fornire alcune prove qui, cioè se vi è qualche indicazione che l’intervento è efficace e importanti differenze potrebbero essere ottenute nello studio principale.5 La piccola dimensione del campione di un pilota rende incerta la stima, pertanto occorre prestare attenzione.19,20 Un approccio per gestire questa incertezza consiste nell’utilizzare livelli di significatività diversi dal “tradizionale” 5% per fornire prove preliminari di efficacia, con CIS corrispondenti come 85 e 75% oltre a CIS 95%.21 Una figura che mostra questi valori CIs, MID e null può essere un modo utile per visualizzare i risultati pilota, facilitando una valutazione sia della significatività statistica che del potenziale di significatività clinica.31 Mentre alcuni autori sostengono contro l’esecuzione di test di ipotesi e la valutazione dell’efficacia da parte dei piloti, anche l’efficacia potenziale, la maggior parte degli studi pilota intraprende test di ipotesi.6 Sottolineiamo con forza che le prove preliminari di efficacia di uno studio pilota non dovrebbero essere sopravvalutate e i ricercatori dovrebbero evitare la tentazione di rinunciare allo studio principale.20,22

Stima della deviazione standard (SD)

La popolazione SD è un altro elemento chiave della stima della dimensione del campione per risultati continui e la sua stima è uno degli obiettivi per condurre uno studio pilota. Tuttavia, simile alla dimensione dell’effetto, la SD può essere stimata in modo impreciso a causa della piccola dimensione del campione del pilota. È stato dimostrato che l’utilizzo della SD di uno studio pilota per progettare una dimensione futura del campione si traduce spesso in uno studio sottodimensionato.23,24 Occorre quindi effettuare analisi di sensibilità.

Analisi di sensibilità per la dimensione del campione

Le analisi di sensibilità sono importanti per valutare la robustezza dei risultati dello studio rispetto alle ipotesi formulate nell’analisi primaria.25 Le analisi di sensibilità dovrebbero essere eseguite anche nella fase di progettazione26 e possono assumere la forma di tenere conto dell’incertezza nella stima calcolando le dimensioni del campione sulla base di una serie di SDs plausibili e tassi di ritenzione/abbandono. Browne23 ha suggerito di utilizzare il limite superiore dello studio pilota dell ‘ 80% di IC per la SD per calcolare la dimensione del campione nello studio successivo. Si può anche considerare SDs dalla letteratura.

Dimensione del campione dello studio pilota

Per avere le migliori possibilità di rispondere alla domanda di ricerca, i ricercatori dovrebbero considerare attentamente le dimensioni non solo dello studio definitivo ma anche del pilota. Sebbene i tradizionali calcoli di potenza siano inappropriati per gli studi pilota (poiché lo scopo principale di uno studio pilota non è quello di testare la superiorità di un trattamento rispetto all’altro), è importante una giustificazione della dimensione del campione. Mentre ci sono diverse regole empiriche per le dimensioni di uno studio pilota, che vanno da 12 a 35 individui per braccio,5,27 nessuna di queste linee guida rappresentano la probabile dimensione della sperimentazione futura.

Whitehead et al27 hanno mostrato come, se si conosce la dimensione dell’effetto target dello studio principale, è possibile stimare la dimensione ottimale del campione dello studio pilota, riducendo al minimo il numero di pazienti reclutati nei due studi. Da questo lavoro, hanno proposto regole empiriche a gradini per studi pilota basati sulla dimensione dell’effetto target e sulla dimensione del futuro studio. Queste regole sono riassunte nella Tabella 1. Ad esempio, se il futuro studio sarà progettato attorno a un piccolo effetto, il numero di pazienti per braccio per lo studio pilota dovrebbe essere di 25 per il 90% di potenza. L’utilizzo di queste regole aumenta la probabilità di potere appropriato per il processo futuro. Cocks e Torgerson5 raccomandano anche di basare le dimensioni dello studio pilota sulle dimensioni del futuro studio, se la SD è nota.

Tabella 1 Gradini regole di pollice per studio pilota dimensione del campione per braccio, in funzione della destinazione dimensione dell’effetto (standardizzato differenza) e la potenza del main di prova Note: . Viene anche mostrata la corrispondente dimensione probabile dello studio principale. int è il braccio di intervento e ctl è il braccio di controllo.

Esempio

Supponiamo che un team di ricerca stia pianificando un pilota in previsione di progettare una sperimentazione definitiva. Lo studio principale sarà un RCT a due bracci che confronta un nuovo regime di terapia di supporto per i pazienti oncologici con le cure usuali, con valutazioni al basale, 6 settimane e 3 mesi. Il loro risultato principale è la qualità della vita a 3 mesi misurata dalla valutazione funzionale della terapia del cancro – Generale (FACT-G), un questionario di 27 elementi che copre aspetti del benessere fisico, sociale, familiare, emotivo e funzionale.28

Dimensione del campione dello studio pilota

Per utilizzare le regole empiriche a gradini per la dimensione del campione pilota, i ricercatori devono considerare la dimensione dell’effetto target e la SD per lo studio principale al fine di calcolare la differenza standardizzata (dimensione dell’effetto). Scoprono che la stima di FACT-G MID è compresa tra tre e sei punti29 e una stima SD dalla letteratura30 è 14 in popolazioni simili. Utilizzando una stima MEDIA di quattro punti e una SD di 14, la dimensione dell’effetto standardizzata è 4/14=0,29. Per una prova principale alimentata al 90%, dovrebbero utilizzare una dimensione del campione di 25 per braccio per il pilota (Tabella 1).

Risultati dello studio pilota

Supponiamo ora che i ricercatori intraprendano lo studio pilota di 50 partecipanti con reclutamento in 2 mesi. Dei potenziali partecipanti 100, i partecipanti 70 sono stati indirizzati dal loro oncologo, i partecipanti 60 hanno soddisfatto i criteri di ammissibilità e i partecipanti 50 hanno accettato di partecipare. Ciò indica un tasso di reclutamento del 50% dei pazienti eleggibili, a 25 assunzioni al mese. Dei 50 partecipanti, 40 partecipanti hanno completato tutte e tre le valutazioni; la ritenzione è dell ‘ 80%. Questi tassi saranno di aiuto nella stima della durata della prova principale.

La differenza nella qualità della vita tra le braccia a 3 mesi è stimata in 3,1 punti, con IC al 95% da -1,8 a 8,0 e SD =11,2. La figura 1 mostra diversi CSI che dimostrano che l’intervento è promettente, poiché ogni IC contiene la METÀ di 4. Pertanto, l’obiettivo dello studio pilota di fornire prove preliminari di efficacia è stato raggiunto.

Figura 1 Differenza media nei punteggi di FATTO-G tra l’intervento dello studio pilota e i bracci di controllo con intervalli di confidenza. Abbreviazioni: FACT-G, Valutazione funzionale della terapia del cancro-Generi; MID, minima differenza importante.

calcoli di dimensioni del Campione e analisi di sensibilità

la Tabella 2 mostra le dimensioni del campione basato sullo studio pilota SD, il suo superiore 80% CI limite (come la radice quadrata di CI per la varianza), e la stima originale dalla letteratura. Le dimensioni del campione sono indicate anche per il tasso di abbandono osservato (20%) e per >5 e <5%. Per il 90% di potenza, la dimensione del campione varia da 392 a 692. Per l ‘ 80% di potenza, le dimensioni del campione vanno da 296 a 518. Si noti che l’analisi di sensibilità è quantificata in termini di effetto delle ipotesi sulla dimensione del campione. Un approccio alternativo consiste nel fissare la dimensione del campione (a 392 diciamo) e osservare come la potenza varia in base alle ipotesi.

Tabella 2 Una serie di campioni di dimensioni variabili di abbandono, di reclutamento, di tasso e di stima SD assumendo una dimensione dell’effetto di quattro punti Note: abbassato a 1,5 anni di assunzione. bBased sul tasso di reclutamento studio pilota di 25 partecipanti al mese. Abbreviazione: SD, deviazione standard.

Fattibilità dello studio principale

Consideriamo ora la fattibilità. In particolare, è probabile che i ricercatori siano in grado di reclutare il numero richiesto di partecipanti entro i tempi dello studio? Sulla base del finanziamento e del tempo di follow-up di 3 mesi, il reclutamento può richiedere 1,5 anni. Se il tasso di reclutamento pilota di 25 partecipanti al mese è una buona stima, lo studio sarà in grado di reclutare e iscrivere 450 partecipanti. Ciò è inferiore a molte delle stime della tabella 2. Potrebbe essere necessaria un’ulteriore considerazione su come espandere il pool di partecipanti.

Conclusione

Abbiamo illustrato come gli studi pilota possono aiutare nella progettazione di studi futuri con risultati continui fornendo stime della popolazione SD, prove di potenziale efficacia dell’intervento e quantificazione della fattibilità sotto forma di tassi di reclutamento e ritenzione. Abbiamo introdotto linee guida sulla dimensione del campione dello studio pilota e dimostrato l’analisi della sensibilità della dimensione del campione. L’esempio ha dimostrato come le principali stime delle dimensioni del campione di prova possono variare notevolmente modificando plausibilmente le ipotesi.

La decisione di passare da una prova pilota a una prova principale viene generalmente effettuata utilizzando stime di fattibilità, nonché questioni come la non conformità del protocollo. Per ulteriori informazioni sulla progressione, fare riferimento a Avery et al,11 e per informazioni sul contesto dei piloti interni, fare riferimento a Hampson et al.14 Sia che i ricercatori decidano di passare a una sperimentazione definitiva o meno, i risultati degli studi pilota dovrebbero essere pubblicati. Un’estensione CONSORT per la segnalazione dei risultati degli studi pilota e di fattibilità fornisce linee guida dettagliate.9

Riconoscimenti

Questa ricerca non ha ricevuto sovvenzioni specifiche da alcuna agenzia di finanziamento nei settori pubblico, commerciale o no-profit. L’indirizzo attuale di ALW è Southampton Clinical Trials Unit, Università di Southampton, Southampton, Regno Unito.

Divulgazione

Il professor MLB è supportato dall’Università dell’Arizona Cancer Center, attraverso NCI grant P30CA023074. Il professor SAJ è finanziato dall’Università di Sheffield. Dr ALW è stato finanziato da una Università di Sheffield studentship. Gli autori non riportano altri conflitti di interesse in questo lavoro.

		Thabane L, Ma J, Chu R, et al. Un tutorial su studi pilota: il cosa, perché e come. BMC Med Res Methodol. 2010;10:1.il nostro sito utilizza cookie tecnici e di terze parti per migliorare la tua esperienza di navigazione. Che cos’è uno studio pilota o di fattibilità? Una revisione della prassi corrente e della politica editoriale. BMC Med Res Methodol. 2010;10:67.
		Craig P, Dieppe P, Macintyre S, et al. Sviluppo e valutazione di interventi complessi: la nuova guida del Medical Research Council. BMJ. 2008; 337: a1655.
		Lancaster G, Campbell M, Eldridge S, et al. Sperimentazioni nelle cure primarie: problematiche statistiche nella progettazione, conduzione e valutazione di interventi complessi. Metodi Stat Med Res. 2010;19(4):349-377.il nostro sito utilizza cookie tecnici e di terze parti. Calcoli delle dimensioni del campione per studi pilota randomizzati: un approccio a intervalli di confidenza. J Clin Epidemiol. 2013;66(2):197–201.
		Shanyinde M, Pickering RM, Weatherall M. Domande poste e risposte in prove pilota e di fattibilità randomizzati controllati. BMC Med Res Methodol. 2011;11(1):117.
		Julious SA. Dimensioni del campione per studi clinici con dati normali. Subito Med. 2004;23(12):1921–1986.
		Wittes J, Brittain E. Il ruolo degli studi pilota interni nell’aumentare l’efficienza degli studi clinici. Subito Med. 1990;9(1–2):65–72.
		Eldridge SM, Chan CL, Campbell MJ, et al. Dichiarazione CONSORT 2010: estensione a prove pilota e di fattibilità randomizzate. BMJ. 2016; 355: i5239.
		Sully B, Julious SA, Nicholl J. Una nuova indagine di reclutamento per studi randomizzati, controllati e multicentrici: una revisione di studi finanziati da due agenzie di finanziamento del Regno Unito. Prova. 2013;14:166.
		Avery KNL, Williamson PR, Gamble C, et al. Informazione di studi randomizzati controllati efficienti: esplorazione delle sfide nello sviluppo di criteri di progressione per studi pilota interni. BMJ Aperto. 2017; 7(2): e013537.
		Bell ML, Fiero M, Horton NJ, Hsu CH. Gestione dei dati mancanti in RCT; una revisione delle migliori riviste mediche. BMC Med Res Methodol. 2014;14(1):118.
		Bell ML, Fairclough DL. Problemi pratici e statistici nei dati mancanti per i risultati longitudinali riportati dal paziente. Metodi Stat Med Res. 2014;23(5):440-459.
		Hampson LV, Williamson PR, Wilby MJ, Jaki T. Un quadro per la definizione prospettica delle regole di progressione per gli studi pilota interni di monitoraggio del reclutamento. Metodi Stat Med Res. Epub 2017 Gennaio 01.
		Hislop J, Adewuyi TE, Vale LD, et al. Metodi per specificare la differenza target in uno studio randomizzato controllato: la differenza di elicitazione negli studi (DELTA) revisione sistematica. PLoS Med. 2014; 11(5): e1001645.
		Revicki DA, Cella D, Hays RD, Sloan JA, Lenderking WR, Aaronson NK. Reattività e minime differenze importanti per i risultati riportati dal paziente. Salute Qual Risultati di vita. 2006;4:70.
		Re M. Un punto di minima differenza importante (MID): una critica della terminologia e dei metodi. Expert Rev Pharmacoecon Outcomes Res. 2011;11(2):171–184.
		Norman GR, Sloan JA, Wyrwich KW. L’universalità davvero notevole di mezza deviazione standard: conferma attraverso un altro sguardo. Expert Rev Pharmacoecon Outcomes Res. 2004;4(5):581-585.
		Kraemer HC, Mintz J, Noda A, Tinklenberg J, Yesavage JA. Attenzione per quanto riguarda l’uso di studi pilota per guidare i calcoli di potenza per le proposte di studio. Arch Gen Psichiatria. 2006;63(5):484–489.
		Loscalzo J. Sperimentazioni pilota nella ricerca clinica: di che valore sono? Circolazione. 2009;119(13):1694–1696.
		Lee EC, Whitehead AL, Jacques RM, Julious SA. L’interpretazione statistica delle sperimentazioni pilota: si dovrebbero riconsiderare le soglie di significatività? BMC Med Res Methodol. 2014;14(1):41.
		Lancaster GA, Dodd S, Williamson PR. Progettazione e analisi di studi pilota: raccomandazioni per le buone pratiche. J Eval Clin Pract. 2004;10(2):307–312.
		Browne RH. Sull’uso di un campione pilota per la determinazione della dimensione del campione. Subito Med. 1995;14(17):1933–1940.
		Vickers AJ. Underpowering in studi randomizzati che riportano un calcolo della dimensione del campione. J Clin Epidemiol. 2003;56(8):717–720.
		Thabane L, Mbuagbaw L, Zhang S, et al. Un tutorial sulle analisi di sensibilità negli studi clinici: cosa, perché, quando e come. BMC Med Res Methodol. 2013;13(1):92.
		Lewis JA. Principi statistici per gli studi clinici (ICH E9): una nota introduttiva su una linea guida internazionale. Subito Med. 1999; 18(15):1903–1942.
		Whitehead A, Julious S, Cooper C, Campbell MJ. Stima della dimensione del campione per uno studio pilota randomizzato per ridurre al minimo la dimensione complessiva del campione per lo studio pilota esterno e lo studio principale per una variabile di risultato continuo. Metodi Stat Med Res. 2016;25(3):1057-1073.
		Cella DF, Tulsky DS, Gray G, et al. La valutazione funzionale della scala di terapia del cancro: sviluppo e validazione della misura generale. J Clin Oncol. 1993;11(3):570–579.
		Webster K, Cella D, Yost K. The functional assessment of chronic illness therapy (FACIT) measurement system: properties, applications, and interpretation. Salute Qual Risultati di vita. 2003;1:79.
		Bell ML, McKenzie JE. Progettazione di trial psico-oncologici randomizzati e cluster randomizzati: componenti della varianza e correlazione intra-cluster di misure psicosociali di uso comune. Psicooncologia. 2013;22(8):1738–1747.
		Bell, ML, Fiero MH, Dhillon HM, Bray VJ e Vardy JL. Controversie statistiche nella ricerca sul cancro: utilizzo di grafici di dimensione degli effetti standardizzati per migliorare l’interpretabilità degli studi clinici correlati al cancro con risultati segnalati dal paziente. Ann Oncol. 2017;28(8):1730–1733.