Guide d’utilisation des études pilotes pour éclairer la conception des essais d’intervention avec des résultats continus

Introduction

Avant un essai d’intervention définitif, une étude pilote peut être entreprise. Les essais pilotes sont souvent de petites versions de l’essai principal, entrepris pour tester les méthodes et procédures d’essai.1,2 L’objectif général des études pilotes est de démontrer qu’un futur essai peut être entrepris. Pour atteindre cet objectif, il existe un certain nombre d’objectifs pour une étude pilote, notamment l’évaluation des taux de recrutement et de rétention, l’obtention d’estimations des paramètres requis pour le calcul de la taille de l’échantillon et la fourniture de preuves préliminaires du potentiel d’efficacité.3-6

Nous illustrons comment utiliser des études pilotes pour éclairer la conception de futurs essais contrôlés randomisés (ECR) afin que la probabilité de répondre à la question de recherche soit élevée. Nous montrons comment les études pilotes peuvent répondre à chacun des objectifs énumérés précédemment, comment concevoir de manière optimale un essai pilote et comment effectuer une analyse de sensibilité de la taille de l’échantillon. Notre exemple utilise un résultat continu, mais la majeure partie du contenu peut être appliquée aux études pilotes en général.

Considérations pour la conception de l’essai

Lors de la conception d’un essai définitif, il faut considérer

• La taille de l’effet cible, telle que la différence de moyennes pour des résultats continus;
• La variance sur les estimations des résultats continus, qui est utilisée pour donner une gamme de réponses pour les personnes de l’essai;
• Faisabilité, y compris les taux de référence, de recrutement et de rétention.

Les résultats des essais pilotes peuvent éclairer chacun de ces éléments. Des facteurs tels que l’erreur de type I et la puissance sont définis indépendamment du pilote et sont discutés en détail ailleurs.7 Nous nous concentrons sur des études pilotes externes, où l’essai est mené avant l’essai principal et où les résultats ne sont pas combinés.8

Faisabilité

La première considération est la faisabilité: les chercheurs seront-ils en mesure de recruter le nombre requis de participants dans le délai de l’étude et de les retenir dans l’essai principal? Bien que l’examen des dossiers cliniques puisse être utilisé pour donner une certaine indication du bassin de participants potentiels, les études pilotes fournissent des estimations du nombre de participants qui s’inscrivent réellement et consentent à la randomisation, et ces estimations devraient être incluses dans les manuscrits qui rapportent les résultats de l’étude pilote.9 De nombreux essais ont du mal à atteindre leur objectif de taille d’échantillon, ce qui peut entraîner des prolongations d’essai ou l’incapacité de recruter à leur taille d’échantillon prédéfinie.10 L’échec du recrutement est un problème majeur dans les essais financés par des fonds publics au Royaume-Uni, où 45% n’atteignent pas la taille cible de l’échantillon.10 Parallèlement à l’examen des essais antérieurs dans les mêmes centres dans des populations similaires, les études pilotes peuvent également donner des estimations des taux de rétention et des taux d’adhésion.11 Les données manquantes et les abandons sont des problèmes dans la plupart des ECR12 et doivent être pris en compte à chaque étape du processus de recherche13, y compris la conception, les rapports,9 et la progression vers un essai définitif plus vaste.11,14

Taille de l’effet cible et efficacité potentielle

Hislop et al15 ont entrepris une revue systématique pour identifier sept approches permettant de déterminer la taille de l’effet cible pour un ECR et les ont classées comme cliniquement importantes et/ou réalistes. Un type spécifique de différence cliniquement importante est la plus petite valeur qui ferait une différence pour les patients ou qui pourrait changer les soins, une quantité appelée différence importante minimale (MID), ou parfois différence importante clinique minimale. Le MID peut être difficile à déterminer, d’autant plus qu’il peut changer avec la population de patients. Cependant, des chercheurs de divers domaines ont étudié l’estimation MOYENNE et fournissent des conseils sur l’estimation.16,17 En l’absence d’un MILIEU connu pour les résultats continus, en particulier les résultats rapportés par les patients, une taille d’effet normalisée15 comprise entre 0,3 et 0,5 a été recommandée.17,18 L’opinion d’experts est également utilisée pour préciser les différences importantes.15 Bien que certains chercheurs utilisent la taille de l’effet pilote pour alimenter l’essai définitif, il s’agit d’une pratique qui devrait être évitée en général, car l’estimation est mauvaise en raison de la petite taille de l’échantillon et est susceptible d’induire en erreur.19

La taille de l’effet cible doit également être réaliste, et la taille de l’effet estimée et l’intervalle de confiance (IC) du pilote peuvent apporter des preuves ici, c’est-à-dire s’il existe une indication que l’intervention est efficace et que des différences importantes pourraient être obtenues dans l’essai principal.5 La petite taille de l’échantillon d’un pilote rend l’estimation incertaine, il faut donc faire preuve de prudence.19,20 Une approche pour gérer cette incertitude consiste à utiliser des niveaux de signification autres que les 5% « traditionnels” pour fournir des preuves préliminaires d’efficacité, avec des CIs correspondants tels que 85 et 75% en plus des CIs 95%.21 Une figure montrant ces valeurs CIs, MID et null peut être un moyen utile d’afficher les résultats pilotes, en facilitant l’évaluation de la signification statistique et du potentiel de signification clinique.31 Alors que certains auteurs s’opposent à la réalisation de tests d’hypothèse et à l’évaluation de l’efficacité des pilotes, voire de l’efficacité potentielle, la plupart des études pilotes entreprennent des tests d’hypothèse.6 Nous insistons fortement sur le fait que les preuves préliminaires d’efficacité d’une étude pilote ne doivent pas être surestimées et que les chercheurs doivent éviter la tentation de renoncer à l’essai principal.20,22

Estimation de l’écart-type (ET)

L’ET de la population est un autre élément clé de l’estimation de la taille de l’échantillon pour des résultats continus, et son estimation est l’un des objectifs de la réalisation d’une étude pilote. Cependant, comme pour la taille de l’effet, le SD peut être estimé de manière imprécise en raison de la petite taille de l’échantillon du pilote. Il a été démontré que l’utilisation du DD d’une étude pilote pour concevoir une taille d’échantillon future aboutit souvent à une étude sous-alimentée.23,24 Des analyses de sensibilité devraient donc être entreprises.

Analyse de sensibilité pour la taille de l’échantillon

Les analyses de sensibilité sont importantes pour évaluer la robustesse des résultats de l’étude par rapport aux hypothèses formulées dans l’analyse primaire.25 Des analyses de sensibilité devraient également être effectuées à l’étape de la conception26 et peuvent prendre la forme de comptabilisation de l’incertitude dans l’estimation en calculant la taille des échantillons en fonction d’une gamme de FDS plausibles et de taux de rétention/abandon. Browne23 a suggéré d’utiliser la limite supérieure de l’IC de 80 % de l’étude pilote pour le SD pour calculer la taille de l’échantillon dans l’essai ultérieur. On peut également considérer les FDS de la littérature.

Taille de l’échantillon de l’étude pilote

Afin d’avoir les meilleures chances de répondre à la question de recherche, les chercheurs doivent examiner attentivement la taille non seulement de l’essai définitif, mais également du pilote. Bien que les calculs de puissance traditionnels soient inappropriés pour les études pilotes (puisque l’objectif principal d’une étude pilote n’est pas de tester la supériorité d’un traitement par rapport à l’autre), une justification de la taille de l’échantillon est importante. Bien qu’il existe plusieurs règles empiriques pour la taille d’une étude pilote, allant de 12 à 35 personnes par bras5,27, aucune de ces lignes directrices ne tient compte de la taille probable de l’essai futur.

Whitehead et al27 ont montré comment, si vous connaissez la taille de l’effet cible de l’essai principal, vous pouvez estimer la taille optimale de l’échantillon de l’étude pilote, en minimisant le nombre de patients recrutés dans les deux études. À partir de ces travaux, ils ont proposé des règles empiriques échelonnées pour les études pilotes en fonction de la taille de l’effet cible et de la taille du futur essai. Ces règles sont résumées dans le tableau 1. Par exemple, si le futur essai sera conçu autour d’un petit effet, le nombre de patients par bras pour l’étude pilote devrait être de 25 pour une puissance de 90%. L’utilisation de ces règles augmente la probabilité de pouvoir approprié pour le futur essai. Cocks et Torgerson5 recommandent également de baser la taille de l’étude pilote sur la taille du futur essai, si le SD est connu.

Tableau 1 Règles empiriques échelonnées pour la taille de l’échantillon de l’étude pilote par bras, en tant que fonction de la taille de l’effet cible (différence normalisée) et de la puissance de l’essai principal Notes: . La taille probable correspondante de l’essai principal est également indiquée. int est le bras d’intervention et ctl est le bras de contrôle.

Exemple

Supposons qu’une équipe de recherche planifie un projet pilote en prévision de la conception d’un essai définitif. L’essai principal sera un ECR à deux bras comparant un nouveau régime de soins de soutien pour les patients atteints de cancer aux soins habituels, avec des évaluations au départ, 6 semaines et 3 mois. Leur principal résultat est la qualité de vie à 3 mois mesurée par l’Évaluation fonctionnelle de la thérapie contre le cancer – Général (FACT-G), un questionnaire en 27 points couvrant les aspects du bien-être physique, social, familial, émotionnel et fonctionnel.28

Taille de l’échantillon de l’étude pilote

Pour utiliser les règles empiriques échelonnées pour la taille de l’échantillon pilote, les chercheurs doivent tenir compte de la taille de l’effet cible et du SD pour l’essai principal afin de calculer la différence normalisée (taille de l’effet). Ils constatent que le milieu de FAIT-G estimé se situe entre trois et six points29 et qu’une estimation du DD tirée de la littérature30 est de 14 dans des populations similaires. En utilisant une estimation moyenne de quatre points et un écart-type de 14, la taille normalisée de l’effet est de 4/14 = 0,29. Pour un essai principal alimenté à 90 %, ils devraient utiliser une taille d’échantillon de 25 par bras pour le pilote (tableau 1).

Résultats de l’étude pilote

Supposons maintenant que les chercheurs entreprennent l’étude pilote de 50 participants avec un recrutement sur 2 mois. Sur les 100 participants potentiels, 70 participants ont été référés par leur oncologue, 60 participants répondaient aux critères d’admissibilité et 50 participants ont accepté de participer. Cela indique un taux de recrutement de 50% des patients éligibles, à 25 recrutements par mois. Sur les 50 participants, 40 participants ont terminé les trois évaluations; le taux de rétention est de 80 %. Ces taux aideront à estimer la durée de l’essai principal.

La différence de qualité de vie entre les bras à 3 mois est estimée à 3,1 points, avec un IC à 95% de -1,8 à 8,0, et SD = 11,2. La figure 1 montre plusieurs IC démontrant que l’intervention est prometteuse, car chaque IC contient le MID of 4. Ainsi, l’objectif de l’étude pilote de fournir des preuves préliminaires d’efficacité a été atteint.

Figure 1 Différence moyenne des scores FACT-G entre l’intervention de l’étude pilote et les bras de contrôle avec des intervalles de confiance. Abréviations: FACT-G, Évaluation fonctionnelle du traitement du cancer – Genres; MID, différence importante minimale.

Calculs de la taille de l’échantillon et analyses de sensibilité

Le tableau 2 montre la taille des échantillons en fonction de l’écart-type de l’étude pilote, de sa limite supérieure de l’IC à 80 % (prise comme racine carrée de l’IC pour la variance) et de l’estimation originale de la littérature. La taille des échantillons est également donnée pour le taux d’abandon observé (20 %) et pour >5 et < 5 %. Pour une puissance de 90%, la taille de l’échantillon varie de 392 à 692. Pour une puissance de 80%, la taille des échantillons varie de 296 à 518. Il est à noter que l’analyse de sensibilité est quantifiée en fonction de l’effet des hypothèses sur la taille de l’échantillon. Une autre approche consiste à fixer la taille de l’échantillon (à 392 par exemple) et à observer comment la puissance varie en fonction des hypothèses.

Tableau 2 Une gamme de tailles d’échantillon variant de l’abandon scolaire, du taux de recrutement et de l’écart-type estimé en supposant une taille d’effet de quatre points Notes: abaissée sur 1,5 année de recrutement. Basé sur le taux de recrutement de l’étude pilote de 25 participants par mois. Abréviation : SD, écart type.

Faisabilité de l’essai principal

Nous considérons maintenant la faisabilité. Plus précisément, les chercheurs sont-ils susceptibles de pouvoir recruter le nombre requis de participants dans le délai imparti à l’étude? Sur la base du financement et du temps de suivi de 3 mois, le recrutement peut prendre 1,5 ans. Si le taux de recrutement pilote de 25 participants par mois est une bonne estimation, l’étude pourra recruter et inscrire 450 participants. Ce chiffre est inférieur à plusieurs des estimations du tableau 2. Il faudra peut-être examiner plus avant comment élargir le bassin de participants.

Conclusion

Nous avons illustré comment des études pilotes peuvent aider à la conception de futurs essais avec des résultats continus en fournissant des estimations du développement durable de la population, des preuves du potentiel d’efficacité de l’intervention et une quantification de la faisabilité sous forme de taux de recrutement et de rétention. Nous avons introduit des lignes directrices sur la taille de l’échantillon de l’étude pilote et l’analyse de sensibilité démontrée de la taille de l’échantillon. L’exemple a montré comment les estimations de la taille de l’échantillon principal de l’essai peuvent varier considérablement en modifiant de manière plausible les hypothèses.

La décision de passer d’un essai pilote à un essai principal est généralement prise en utilisant des estimations de faisabilité, ainsi que des questions telles que la nonadhérence du protocole. Pour plus d’informations sur la progression, se référer à Avery et coll., 11 et pour des informations sur le contexte des pilotes internes, se référer à Hampson et coll.14 Que les chercheurs décident ou non de passer à un essai définitif, les résultats des études pilotes devraient être publiés. Une extension CONSORT pour la communication des résultats des études pilotes et de faisabilité fournit des lignes directrices détaillées.9

Remerciements

Cette recherche n’a reçu aucune subvention spécifique d’un organisme de financement des secteurs public, commercial ou sans but lucratif. L’adresse actuelle d’ALW est Southampton Clinical Trials Unit, Université de Southampton, Southampton, Royaume-Uni.

Divulgation

Le professeur MLB est soutenu par le Centre du cancer de l’Université de l’Arizona, grâce à la subvention NCI P30CA023074. Le professeur SAJ est financé par l’Université de Sheffield. Le Dr ALW a été financé par une bourse d’études de l’Université de Sheffield. Les auteurs ne signalent aucun autre conflit d’intérêts dans ce travail.

		Thabane L, Ma J, Chu R, et al. Un tutoriel sur les études pilotes: le quoi, le pourquoi et le comment. Méthode BMC Med Res. 2010;10:1.
		Arain M, Campbell MJ, Cooper CL, Lancaster GA. Qu’est-ce qu’une étude pilote ou de faisabilité? Un examen des pratiques actuelles et de la politique éditoriale. Méthode BMC Med Res. 2010;10:67.
		Craig P, Dieppe P, Macintyre S, et al. Élaborer et évaluer des interventions complexes : la nouvelle orientation du Conseil de recherches médicales. BMJ. 2008; 337: a1655.
		Lancaster G, Campbell M, Eldridge S, et al. Essais en soins primaires: questions statistiques dans la conception, la conduite et l’évaluation d’interventions complexes. Méthodes statistiques Med Res. 2010; 19 (4): 349-377.
		Coqs K, Torgerson DJ. Calculs de la taille de l’échantillon pour les essais pilotes randomisés : une approche par intervalle de confiance. J Clin Epidemiol. 2013;66(2):197–201.
		Shanyinde M, Pickering RM, Weatherall M.Questions posées et répondues dans des essais contrôlés randomisés pilotes et de faisabilité. Méthode BMC Med Res. 2011;11(1):117.
		Julious SA. Taille des échantillons pour les essais cliniques avec des données normales. Stat Med. 2004;23(12):1921–1986.
		Wittes J, Brittain E. The role of internal pilot studies in increasing the efficiency of clinical trials. Stat Med. 1990;9(1–2):65–72.
		Eldridge SM, Chan CL, Campbell MJ, et al. Déclaration CONSORT 2010 : extension aux essais pilotes randomisés et aux essais de faisabilité. BMJ. 2016; 355: i5239.
		Sully B, Julious SA, Nicholl J. A reinvestigation of recruitment to randomised, controlled, multicenter trials: a review of trials funded by two UK funding agencies. Essai. 2013;14:166.
		Avery KNL, Williamson PR, Gamble C, et al. Informer des essais contrôlés randomisés efficaces: exploration des défis liés à l’élaboration de critères de progression pour les études pilotes internes. BMJ Ouvert. 2017; 7(2): e013537.
		Bell ML, Fiero M, Horton NJ, Hsu CH. Traitement des données manquantes dans les ECR; une revue des meilleures revues médicales. Méthode BMC Med Res. 2014;14(1):118.
		Bell ML, Fairclough DL. Problèmes pratiques et statistiques dans les données manquantes pour les résultats longitudinaux rapportés par les patients. Méthodes statistiques Med Res. 2014; 23 (5): 440-459.
		Hampson LV, Williamson PR, Wilby MJ, Jaki T. Un cadre de définition prospective des règles de progression pour les études pilotes internes de suivi du recrutement. Méthodes statistiques Med Res. Epub 2017 Jan 01.
		Hislop J, Adewuyi TE, Vale LD, et al. Methods for specifying the target difference in a randomised controlled trial : the Difference ELicitation in TriAls (DELTA) systematic review. PLoS Med. 2014; 11(5): e1001645.
		Revicki DA, Cella D, Hays RD, Sloan JA, Lenderking WR, Aaronson NK. Réactivité et différences importantes minimes pour les résultats rapportés par les patients. Résultats de la vie de Qualité de santé. 2006;4:70.
		King M. Un point de différence minimale importante (MID): une critique de la terminologie et des méthodes. Résultats de l’Expert Rev Pharmacoecon Res. 2011; 11(2):171–184.
		Norman GR, Sloan JA, Wyrwich KW. L’universalité vraiment remarquable d’un demi-écart type: la confirmation par un autre regard. Expert Rev Pharmacoecon Outcomes Res. 2004; 4 (5): 581-585.
		Kraemer HC, Mintz J, Noda A, Tinklenberg J, Yesavage JA. Mise en garde concernant l’utilisation d’études pilotes pour guider les calculs de puissance pour les propositions d’études. Psychiatrie d’Arch Gen. 2006;63(5):484–489.
		Loscalzo J.Essais pilotes en recherche clinique: de quelle valeur sont-ils? Circulation. 2009;119(13):1694–1696.
		Lee EC, Whitehead AL, Jacques RM, Julious SA. L’interprétation statistique des essais pilotes : faut-il reconsidérer les seuils de signification? Méthode BMC Med Res. 2014;14(1):41.
		Lancaster GA, Dodd S, Williamson PR. Conception et analyse d’études pilotes : recommandations de bonnes pratiques. J Eval Clin Pract. 2004;10(2):307–312.
		Browne RH. Sur l’utilisation d’un échantillon pilote pour la détermination de la taille de l’échantillon. Stat Med. 1995;14(17):1933–1940.
		Vickers AJ. Sous-alimentation dans les essais randomisés rapportant un calcul de la taille de l’échantillon. J Clin Epidemiol. 2003;56(8):717–720.
		Thabane L, Mbuagbaw L, Zhang S, et al. Un tutoriel sur les analyses de sensibilité dans les essais cliniques: quoi, pourquoi, quand et comment. Méthode BMC Med Res. 2013;13(1):92.
		Lewis JA. Principes statistiques pour les essais cliniques (ICH E9): une note introductive sur une directive internationale. Stat Med. 1999; 18(15):1903–1942.
		Whitehead A, Julious S, Cooper C, Campbell MJ. Estimation de la taille de l’échantillon pour un essai pilote randomisé afin de minimiser la taille globale de l’échantillon de l’essai pour l’essai pilote externe et l’essai principal pour une variable de résultat continu. Méthodes statistiques Med Res. 2016; 25 (3): 1057-1073.
		Cella DF, Tulsky DS, Gray G, et al. L’évaluation fonctionnelle de l’échelle de traitement du cancer: développement et validation de la mesure générale. J Clin Oncol. 1993;11(3):570–579.
		Webster K, Cella D, Yost K. The functional assessment of chronic illness therapy (FACIT) measurement system: properties, applications, and interpretation. Résultats de la vie de Qualité de santé. 2003;1:79.
		Bell ML, McKenzie JE. Conception d’essais randomisés en psycho-oncologie et d’essais randomisés en grappes: composantes de variance et corrélation intra-grappes de mesures psychosociales couramment utilisées. Psychooncologie. 2013;22(8):1738–1747.
		Bell, ML, Fiero MH, Dhillon HM, Bray VJ et Vardy JL. Controverses statistiques dans la recherche sur le cancer: utilisation de graphiques normalisés de la taille des effets pour améliorer l’interprétabilité des essais cliniques liés au cancer avec les résultats rapportés par les patients. Ann Oncol. 2017;28(8):1730–1733.