ca parte a apreciatului Festival Shakespeare din New York al lui Joe Papp, Carroll a ajutat la deschiderea ușilor pentru actorii de culoare, preluând roluri netradiționale care erau rareori portretizate de actorii negri din dramele Shakespeare. În 1987, Carroll a fost introdus în lucrările lui August Wilson. Tânărului actor în devenire și talentat i s-a permis să-și recreeze rolul pentru producția de pe Broadway a poveștii apreciate de critici a lui Wilson lecția de pian. Piesa nu numai că a câștigat un premiu Pulitzer pentru dramă, dar Carroll a câștigat o nominalizare la Tony și Drama Desk.
este cunoscut pentru portretizarea muzicianului ne ‘ er-do-well Joey Emerson în comedia-dramă FOX Roc. De asemenea, a avut un rol principal ca Dr.Keith Wilkes în serialul TV Chicago Hope. Carroll a jucat în mai multe alte programe TV, inclusiv Agenția, Boston Legal, Dreptul Familiei, aripa de Vest, Legea & ordine, jocul, ER și Anatomia lui Grey. Carroll a avut roluri în multe filme de la Hollywood, cum ar fi Born on the Fourth of July, the Ladies Man, Crimson Tide, The Great White Hype, Prelude to A Kiss, The Chase, Best Laid Plans și Yes Man.
În al cincilea sezon al dramei CBS NCIS, Carroll a fost prezentat într-un rol recurent ca asistent de regizor Leon Vance. În acest sens, el a fost reunit cu Chicago Hope castmates Mark Harmon și Lauren Holly. După moartea regizorului NCIS Jenny Shepard (interpretat de Holly), personajul său a devenit noul director al NCIS și l-a înlocuit pe Holly în distribuția principală. De asemenea, a jucat ca Vance în spin-off-urile NCIS Los Angeles și New Orleans.
își împărtășește ziua de naștere cu fostul co-star al NCIS, Michael Weatherly.
pe lângă faptul că este un serial obișnuit pe NCIS, Carroll a regizat și șapte episoade din NCIS, debutând în regie cu episodul din sezonul 12, „construim, luptăm”.