Guidance for using pilot studies to inform the design of intervention trials with continuous outcomes

wprowadzenie

przed ostatecznym badaniem interwencyjnym można przeprowadzić badanie pilotażowe. Próby pilotażowe są często małymi wersjami próby głównej, podejmowanymi w celu przetestowania metod i procedur próbnych.1,2 ogólnym celem badań pilotażowych jest wykazanie, że można podjąć próbę w przyszłości. Aby osiągnąć ten cel, istnieje szereg celów badania pilotażowego, w tym ocena wskaźników rekrutacji i retencji, uzyskanie szacunków parametrów wymaganych do obliczenia wielkości próby oraz dostarczenie wstępnych dowodów na potencjał skuteczności.3-6

ilustrujemy, jak wykorzystać badania pilotażowe, aby poinformować o projektowaniu przyszłych randomizowanych badań kontrolowanych (rcts), aby Prawdopodobieństwo odpowiedzi na pytanie badawcze było wysokie. Pokazujemy, w jaki sposób badania pilotażowe mogą odnieść się do każdego z celów wymienionych wcześniej, jak optymalnie zaprojektować próbę pilotażową i jak przeprowadzić analizę wrażliwości wielkości próbki. Nasz przykład wykorzystuje ciągły wynik, ale większość treści można zastosować do badań pilotażowych w ogóle.

rozważania dotyczące projektowania próby

projektując ostateczne badanie, należy wziąć pod uwagę

• rozmiar docelowego efektu, taki jak różnica w środkach dla ciągłych wyników;
• wariancja dotycząca oszacowań dla wyników ciągłych, która jest używana do uzyskania szeregu odpowiedzi dla osób w badaniu;
• wykonalność, w tym wskaźniki skierowania, rekrutacji i retencji.

wyniki prób pilotażowych mogą informować o każdym z tych elementów. Czynniki takie jak błąd typu I i moc są ustalane niezależnie od pilota i są szczegółowo omawiane w innym miejscu.7 koncentrujemy się na zewnętrznych badaniach pilotażowych, w których badanie jest przeprowadzane przed badaniem głównym, a wyniki nie są łączone.8

wykonalność

pierwszą kwestią jest wykonalność: czy naukowcy będą w stanie zrekrutować wymaganą liczbę uczestników w ramach czasowych badania i utrzymać ich w głównym badaniu? Podczas gdy przegląd dokumentacji klinicznej może być stosowany w celu wskazania potencjalnej puli uczestników, badania pilotażowe zapewniają szacunki liczby uczestników, którzy faktycznie zapisują się i wyrażają zgodę na randomizację, a szacunki te powinny być zawarte w rękopisach, które raportują wyniki badania pilotażowego.9 wiele prób ma problemy z osiągnięciem celu wielkości próby, co może skutkować przedłużeniem prób lub brakiem rekrutacji do wcześniej określonej wielkości próby.10 Brak rekrutacji jest głównym problemem w badaniach finansowanych ze środków publicznych w Wielkiej Brytanii, gdzie 45% nie osiąga docelowej wielkości próby.10 wraz z przeglądem wcześniejszych badań w tych samych ośrodkach w podobnych populacjach, badania pilotażowe mogą również dać oszacowania stopy retencji i stopy przylegania.11 brakujące dane i zaniechania stanowią problemy w większości RCTs12 i muszą być brane pod uwagę na każdym etapie procesu badawczego13,w tym projektowania, raportowania,9 i przechodzenia do większego ostatecznego badania.

wielkość efektu docelowego i potencjalna skuteczność

Hislop i wsp.15 przeprowadzili systematyczny przegląd w celu zidentyfikowania siedmiu podejść do określenia wielkości efektu docelowego dla RCT i zaklasyfikowali je jako klinicznie ważne i (lub) realistyczne. Szczególnym rodzajem klinicznie istotnej różnicy jest najmniejsza wartość, która może mieć znaczenie dla pacjentów lub która może zmienić opiekę, ilość określana jako minimalna istotna różnica (MID) lub czasami minimalnie istotna różnica kliniczna. MID może być trudne do określenia, zwłaszcza, że może zmieniać się wraz z populacją pacjentów. Jednak naukowcy z różnych dziedzin zbadali estymację MID i dostarczają wskazówek dotyczących estymacji.16,17 w przypadku braku znanej wartości MID dla wyników ciągłych, w szczególności wyników zgłaszanych przez pacjentów, zaleca się znormalizowaną wielkość efektu15 w zakresie od 0,3 do 0,5.17,18 opinii eksperta używa się również do określenia istotnych różnic.15 chociaż niektórzy badacze używają wielkości efektu pilotażowego do zasilania ostatecznego badania, jest to praktyka, której należy ogólnie unikać, ponieważ szacowanie jest słabe ze względu na małą wielkość próby i może wprowadzać w błąd.19

docelowy rozmiar efektu musi być również realistyczny, a szacowany rozmiar efektu i przedział ufności (CI) z programu pilotażowego może dać pewne dowody, tj. czy istnieją jakiekolwiek przesłanki, że interwencja jest skuteczna i można uzyskać istotne różnice w badaniu głównym.5 niewielki rozmiar próby pilota sprawia, że szacowanie jest niepewne, dlatego należy zachować ostrożność.19,20 jednym ze sposobów radzenia sobie z tą niepewnością jest zastosowanie poziomów istotności innych niż „tradycyjne” 5% w celu dostarczenia wstępnych dowodów na skuteczność, z odpowiednimi CIs, takimi jak 85 I 75% oprócz 95% CIs.21 Liczba pokazująca te wartości CIs, MID i null może być pomocnym sposobem wyświetlania wyników pilotażowych, ułatwiając ocenę zarówno istotności statystycznej, jak i potencjalnego znaczenia klinicznego.31 podczas gdy niektórzy autorzy sprzeciwiają się przeprowadzaniu testów hipotez i ocenie skuteczności od pilotów, a nawet potencjalnej skuteczności, większość badań pilotażowych podejmuje testy hipotez.6 zdecydowanie podkreślamy, że wstępne dowody skuteczności z badania pilotażowego nie powinny być zawyżone,a naukowcy powinni unikać pokusy rezygnacji z głównego badania.20,22

Szacowanie odchylenia standardowego (SD)

SD populacji jest kolejnym kluczowym elementem szacowania wielkości próby dla wyników ciągłych, a jej szacowanie jest jednym z celów przeprowadzenia badania pilotażowego. Jednak, podobnie jak wielkość efektu, SD może być nieprecyzyjnie oszacowana ze względu na mały rozmiar próbki pilota. Wykorzystanie SD badania pilotażowego do zaprojektowania przyszłej wielkości próby wykazano często prowadzić do niedostatecznego badania.23,24 należy zatem przeprowadzić analizy wrażliwości.

analiza wrażliwości dla wielkości próby

analizy wrażliwości są ważne dla oceny wiarygodności wyników badań do założeń przyjętych w analizie pierwotnej.25 analizy wrażliwości powinny być również wykonywane na etapie projektowym26 i mogą przyjmować formę uwzględniania niepewności w szacowaniu poprzez obliczanie wielkości próby na podstawie szeregu wiarygodnych SDs oraz wskaźników retencji/porzucania. Browne23 zasugerował wykorzystanie górnej granicy 80% CI dla SD w badaniu pilotażowym do obliczenia wielkości próby w kolejnym badaniu. Można również rozważyć SDs z literatury.

wielkość próby badania pilotażowego

aby mieć największą szansę na odpowiedź na pytanie badawcze, naukowcy powinni dokładnie rozważyć rozmiar nie tylko ostatecznego badania, ale także pilotażowego. Chociaż tradycyjne obliczenia mocy są nieodpowiednie dla badań pilotażowych (ponieważ głównym celem badania pilotażowego nie jest sprawdzenie wyższości jednego leczenia nad drugim), uzasadnienie wielkości próby jest ważne. Chociaż istnieje kilka zasad dotyczących wielkości badania pilotażowego, w zakresie od 12 do 35 osób na ramię, 5,27 żadna z tych wytycznych nie uwzględnia prawdopodobnej wielkości przyszłego badania.

Whitehead i al27 pokazali, jak, jeśli znasz wielkość efektu docelowego głównego badania, możesz oszacować optymalną wielkość próby w badaniu pilotażowym, minimalizując liczbę pacjentów rekrutowanych w obu badaniach. Na podstawie tych prac zaproponowano stopniowane zasady dotyczące badań pilotażowych w oparciu o rozmiar efektu docelowego i rozmiar przyszłej próby. Zasady te podsumowano w tabeli 1. Na przykład, jeśli przyszłe badanie zostanie zaprojektowane wokół małego efektu, liczba pacjentów na ramię w badaniu pilotażowym powinna wynosić 25 dla 90% mocy. Stosowanie tych zasad zwiększa prawdopodobieństwo uzyskania odpowiedniej władzy na przyszły proces. Cocks i Torgerson5 zalecają również oparcie rozmiaru badania pilotażowego na rozmiarze przyszłego badania, jeśli SD jest znane.

Tabela 1, jako funkcja wielkości efektu docelowego (standaryzowana różnica) i mocy głównej próby uwagi: . Pokazano również odpowiedni prawdopodobny rozmiar głównego badania. int jest ramieniem interwencyjnym, a CTL ramieniem kontrolnym.

przykład

Załóżmy, że zespół badawczy planuje pilot w oczekiwaniu na zaprojektowanie ostatecznego badania. Głównym badaniem będzie dwuramienny RCT porównujący nowy schemat leczenia wspomagającego pacjentów z chorobą nowotworową ze standardową terapią, z oceną na początku badania, 6 tygodni i 3 miesięcy. Ich podstawowym wynikiem jest jakość życia po 3 miesiącach mierzona za pomocą 27-elementowego kwestionariusza Functional Assessment of Cancer Therapy-General (FACT-G), obejmującego aspekty dobrego samopoczucia fizycznego, społecznego, rodzinnego, emocjonalnego i funkcjonalnego.28

Rozmiar próbki badania pilotażowego

aby użyć stopniowanych zasad kciuka dla wielkości próbki pilotażowej, naukowcy muszą wziąć pod uwagę docelowy rozmiar efektu i SD dla głównego badania w celu obliczenia znormalizowanej różnicy (Rozmiar efektu). Odkryli oni, że szacowana wartość FACT-G MID wynosi od trzech do sześciu punktów29, a wartość SD z literatury30 wynosi 14 w podobnych populacjach. Używając średniej estymacji czterech punktów i SD 14, standaryzowany rozmiar efektu wynosi 4/14=0,29. W przypadku próby głównej z zasilaniem w 90% należy użyć próbki o wielkości 25 Na Ramię dla pilota (Tabela 1).

wyniki badań pilotażowych

Załóżmy, że teraz naukowcy podejmują badania pilotażowe 50 uczestników z rekrutacją w ciągu 2 miesięcy. Spośród 100 potencjalnych uczestników 70 uczestników zostało skierowanych przez swojego onkologa, 60 uczestników spełniło kryteria kwalifikacyjne, a 50 uczestników wyraziło zgodę na udział. Oznacza to wskaźnik rekrutacji wynoszący 50% kwalifikujących się pacjentów, przy 25 rekrutacjach miesięcznie. Spośród 50 uczestników 40 uczestników ukończyło wszystkie trzy oceny; retencja wynosi 80%. Stawki te pomogą oszacować główny czas trwania badania.

różnicę w jakości życia pomiędzy grupami po 3 miesiącach szacuje się na 3, 1 punktu, przy 95% CI -1, 8 do 8, 0 i SD =11, 2. Rysunek 1 pokazuje kilka CIs wykazujących, że interwencja jest obiecująca, ponieważ każdy CI zawiera środek 4. W związku z tym Cel badania pilotażowego polegający na dostarczeniu wstępnych dowodów skuteczności został osiągnięty.

Rysunek 1 średnia różnica w wyniku FACT-G między interwencją badania pilotażowego i ramiona kontrolne z przerwami ufności. skróty: FACT-G, Functional Assessment of Cancer Therapy-Genera; MID, minimum important difference.

obliczenia wielkości próby i analizy wrażliwości

Tabela 2 przedstawia rozmiary próbek w oparciu o SD badania pilotażowego, jego górną granicę CI 80% (przyjmowaną jako pierwiastek kwadratowy CI dla wariancji) oraz pierwotne oszacowanie z literatury. Rozmiary próbek są również podane dla obserwowanego wskaźnika porzucania (20%) oraz dla >5 I <5%. Dla mocy 90% wielkość próbki waha się od 392 do 692. Dla mocy 80% rozmiary próbek wahają się od 296 do 518. Należy zauważyć, że analizę wrażliwości określa się ilościowo pod względem wpływu założeń na wielkość próby. Alternatywnym podejściem jest ustalenie wielkości próby (w 392 powiedzieć) i obserwować, jak zmienia się moc w oparciu o założenia.

Tabela 2 Zakres rozmiarów próbek różniących się liczbą przerw, tempem rekrutacji, i szacowany sd przy założeniu wielkości efektu 4 pkt uwagi: 1,5 roku rekrutacji. w oparciu o wskaźnik rekrutacji do badania pilotażowego wynoszący 25 uczestników miesięcznie. Skrót: SD, odchylenie standardowe.

wykonalność głównej próby

obecnie rozważamy wykonalność. W szczególności, czy naukowcy mogą być w stanie zrekrutować wymaganą liczbę uczestników w ramach czasowych badania? W oparciu o finansowanie i okres monitorowania wynoszący 3 miesiące, Rekrutacja może potrwać 1,5 roku. Jeśli wskaźnik rekrutacji pilotażowej 25 uczestników miesięcznie jest dobrym oszacowaniem, badanie będzie w stanie zrekrutować i zapisać 450 uczestników. Jest to poniżej kilku szacunków przedstawionych w tabeli 2. Konieczne może być dalsze rozważenie, jak rozszerzyć pulę uczestników.

wnioski

zilustrowaliśmy, w jaki sposób badania pilotażowe mogą pomóc w projektowaniu przyszłych prób o ciągłych wynikach, dostarczając szacunków SD populacji, dowodów na potencjał skuteczności interwencji oraz kwantyfikacji wykonalności w postaci wskaźników rekrutacji i utrzymania. Wprowadziliśmy wytyczne dotyczące wielkości próby badania pilotażowego i zademonstrowaliśmy analizę wrażliwości wielkości próby. Przykład wykazał, jak główne szacunki wielkości próby próbnej mogą się dramatycznie różnić dzięki wiarygodnej zmianie założeń.

decyzja o przejściu od próby pilotażowej do próby głównej jest zazwyczaj podejmowana na podstawie szacunków wykonalności, a także kwestii takich jak nonadherence protokołu. Aby uzyskać więcej informacji na temat postępów, patrz Avery et al, 11 oraz informacje na temat kontekstu wewnętrznych pilotów, patrz Hampson et al.14 niezależnie od tego, czy naukowcy zdecydują się przejść do ostatecznego badania, czy nie, Wyniki badań pilotażowych powinny być publikowane. Szczegółowe wytyczne zawiera rozszerzenie dotyczące raportowania wyników badań pilotażowych i studiów wykonalności.9

podziękowania

te badania nie otrzymały żadnej konkretnej dotacji od żadnej agencji finansującej w sektorach publicznym, komercyjnym lub nienastawionym na zysk. Aktualny adres ALW to Southampton Clinical Trials Unit, University of Southampton, Southampton, UK.

ujawnienie

profesor MLB jest wspierany przez University of Arizona Cancer Center, poprzez grant NCI P30CA023074. Profesor SAJ jest finansowany przez University of Sheffield. Dr ALW został sfinansowany przez University of Sheffield studentship. Autorzy nie zgłaszają żadnych innych konfliktów interesów w tej pracy.

		Tutorial na temat badań pilotażowych: co, dlaczego i jak. BMC Med Res Methodol. 2010;10:1.
		Arain M, Campbell MJ, Cooper CL, Lancaster GA. Co to jest pilot lub studium wykonalności? Przegląd aktualnej praktyki i polityki redakcyjnej. BMC Med Res Methodol. 2010;10:67.
		Opracowanie i ocena złożonych interwencji: nowe wytyczne Medical Research Council. BMJ. 2008; 337: a1655.
		Lancaster G, Campbell M, Eldridge S, et al. Badania w podstawowej opiece zdrowotnej: zagadnienia statystyczne w projektowaniu, prowadzeniu i ocenie złożonych interwencji. Stat Methods Med Res. 2010;19(4):349-377.
		Cocks K, Torgerson DJ. Obliczenia wielkości próbki dla pilotażowych badań randomizowanych: podejście przedziału ufności. J Clin Epidemiol. 2013;66(2):197–201.
		Shanyinde m, Pickering RM, Weatherall M. pytania zadawane i udzielane w pilotażowych i randomizowanych badaniach wykonalności. BMC Med Res Methodol. 2011;11(1):117.
		Wielkości próbek do badań klinicznych z normalnymi danymi. Stat Med. 2004;23(12):1921–1986.
		Wittes J, Brittain E. rola wewnętrznych badań pilotażowych w zwiększaniu efektywności badań klinicznych. Stat Med. 1990;9(1–2):65–72.
		Eldridge SM, Chan CL, Campbell MJ, et al. CONSORT 2010 statement: extension to randomized pilot and feasibility trials. BMJ. 2016; 355:i5239.
		Sully B, Julious SA, Nicholl J. Ponowne badanie rekrutacji do randomizowanych, kontrolowanych, wieloośrodkowych badań: przegląd badań finansowanych przez dwie Brytyjskie agencje finansujące. Próby. 2013;14:166.
		Informowanie o efektywnych randomizowanych badaniach kontrolowanych: badanie wyzwań w opracowywaniu kryteriów progresji dla wewnętrznych badań pilotażowych. BMJ Open. 2017; 7(2):e013537.
		Bell ML, Fiero M, Horton NJ, Hsu CH. Obsługa brakujących danych w RCTs; Przegląd najlepszych czasopism medycznych. BMC Med Res Methodol. 2014;14(1):118.
		Bell ML, Fairclough DL. Zagadnienia praktyczne i statystyczne w zakresie brakujących danych dla wyników podłużnych zgłaszanych przez pacjentów. Stat Methods Med Res. 2014;23(5):440-459.
		Hampson LV, Williamson PR, Wilby MJ, Jaki T. a framework for prospektywnie defining Progress rules for internal pilot studies monitoring recruitment. Stat Methods Med Res. Epub 2017 Jan 01.
		Hislop J, Adewuyi TE, vale LD, et al. Methods for specificing the target difference in a randomized controlled trial: The Difference ELicitation in TriAls (DELTA) systematic review. PLoS Med. 2014; 11 (5):e1001645.
		Revicki DA, Cella D, Hays RD, Sloan JA, Lenderking WR, Aaronson NK. Czas reakcji i minimalne istotne różnice dla wyników zgłaszanych przez pacjentów. Zdrowie Qual Wyniki Życia. 2006;4:70.
		King M. a point of minimal important difference (MID): A critique of terminology and methods. Expert Rev Pharmacoecon Results Res. 2011;11(2):171–184.
		Norman GR, Sloan JA, Wyrwich KW. Naprawdę niezwykła uniwersalność połowy odchylenia standardowego: potwierdzenie przez inne spojrzenie. Expert Rev Pharmacoecon Results Res. 2004;4(5):581-585.
		Kraemer HC, Mintz J, Noda a, Tinklenberg J, Yesavage JA. Uwaga dotycząca wykorzystania badań pilotażowych do prowadzenia obliczeń mocy dla propozycji badań. Arch Gen Psychiatry. 2006;63(5):484–489.
		Loscalzo J.: jaką mają wartość? Krążenie. 2009;119(13):1694–1696.
		Lee EC, Whitehead AL, Jacques RM, Julious SA. Statystyczna interpretacja badań pilotażowych: czy należy ponownie rozważyć progi istotności? BMC Med Res Methodol. 2014;14(1):41.
		Lancaster GA, Dodd S, Williamson PR. Projektowanie i analiza badań pilotażowych: zalecenia dotyczące dobrych praktyk. J Eval Clin Pract. 2004;10(2):307–312.
		W sprawie wykorzystania próbki pilotażowej do określenia wielkości próby. Stat Med. 1995;14(17):1933–1940.
		Niedostateczna moc w badaniach randomizowanych raportowania obliczenia wielkości próby. J Clin Epidemiol. 2003;56(8):717–720.
		Thabane L, Mbuagbaw L, Zhang s, et al. Poradnik dotyczący analizy wrażliwości w badaniach klinicznych: co, dlaczego, kiedy i jak. BMC Med Res Methodol. 2013;13(1):92.
		Statystyczne zasady badań klinicznych (ICH E9): wprowadzenie do wytycznych międzynarodowych. Stat Med. 1999; 18(15):1903–1942.
		Whitehead a, Julious S, Cooper C, Campbell MJ. Oszacowanie wielkości próby dla pilotażowego badania randomizowanego w celu zminimalizowania całkowitej wielkości próby dla zewnętrznego badania pilotażowego i badania głównego dla zmiennej wyników ciągłych. Stat Methods Med Res. 2016;25(3):1057-1073.
		Cella DF, Tulsky DS, Gray G, et al. Ocena funkcjonalna skali terapii nowotworowej: opracowanie i Walidacja miary ogólnej. J Clin Oncol. 1993;11(3):570–579.
		Webster K, Cella D, Yost K. system oceny funkcjonalnej terapii chorób przewlekłych (FACIT): właściwości, zastosowania i interpretacja. Zdrowie Qual Wyniki Życia. 2003;1:79.
		Bell ML, McKenzie JE. Projektowanie randomizowanych badań psychoonkologicznych i klastrowych badań randomizowanych: składowe wariancji i korelacja wewnątrz klastrowa powszechnie stosowanych środków psychospołecznych. Psychoonkologia. 2013;22(8):1738–1747.
		Bell, ML, Fiero MH, Dhillon HM, Bray VJ i Vardy JL. Kontrowersje statystyczne w badaniach nad rakiem: wykorzystanie znormalizowanych wykresów wielkości efektu w celu zwiększenia możliwości interpretacji badań klinicznych związanych z rakiem z wynikami Zgłaszanymi przez pacjentów. Ann Oncol. 2017;28(8):1730–1733.