w ramach cieszącego się uznaniem Nowojorskiego Festiwalu Szekspirowskiego Joe Pappa, Carroll pomógł otworzyć drzwi dla aktorów kolorowych, przyjmując nietradycyjne role, które rzadko były przedstawiane przez czarnych aktorów w dramatach szekspirowskich. W 1987 Carroll zapoznał się z twórczością Augusta Wilsona. Obiecujący i utalentowany młody aktor otrzymał pozwolenie na odtworzenie swojej roli w broadwayowskiej produkcji uznanej przez krytyków historii the Piano Lesson. Sztuka nie tylko zdobyła Nagrodę Pulitzera za dramat, ale Carroll zdobył nominację do Tony i Drama Desk.
znany jest z roli ne ’ er-do-well muzyka Joey Emerson w FOX comedy-drama Roc. Miał również główną rolę jako dr Keith Wilkes w serialu Chicago Hope. Carroll wystąpił gościnnie w kilku innych programach telewizyjnych, w tym The Agency, Boston Legal, Family Law, the West Wing, Law & Order, The Game, ER i Grey ’ s Anatomy. Carroll miał role w wielu hollywoodzkich filmach, takich jak Born on the Fourth Of July, The Ladies Man, Crimson Tide, The Great White Hype, Prelude to A Kiss, The Chase, Best Laid Plans i Yes Man.
w piątym sezonie serialu CBS NCIS, Carroll pojawił się w powracającej roli jako asystent reżysera Leon Vance. W ten sposób ponownie połączył się z kolegami z Chicago Hope, Markiem Harmonem i Lauren Holly. Po śmierci dyrektorki NCIS Jenny Shepard (grana przez Holly), jego postać została nowym dyrektorem NCIS i zastąpiła Holly w głównej obsadzie. Wystąpił również gościnnie jako Vance w spin-offach NCIS w Los Angeles i Nowym Orleanie.
dzieli swoje urodziny z byłym współpracownikiem NCIS Michaelem Weatherly.
oprócz tego, że był regularnym serialem w NCIS, Carroll wyreżyserował także siedem odcinków NCIS, debiutując 12 odcinkiem sezonu, „budujemy, walczymy”.