som en del af Joe Papps anerkendte Shakespeare Festival hjalp Carroll med at åbne døre for farveskuespillere ved at påtage sig ikke-traditionelle roller, der sjældent blev portrætteret af sorte skuespillere i Shakespeare-dramaer. I 1987 blev Carroll introduceret til værkerne fra August. Den kommende og talentfulde unge skuespiller fik lov til at genskabe sin rolle i produktionen af den kritikerroste historie The Piano Lesson. Stykket tjente ikke kun en Pulitserpris for Drama, men Carroll fik en Tony og Drama Desk nominering.
Han er kendt for at portrættere ne ‘ er-gør-godt musiker Joey Emerson på ræv komedie-drama Roc. Han havde også en hovedrolle som Dr. Keith Vilkes i tv-serien Chicago Hope. Carroll har gæstestjerne i flere andre TV-programmer, herunder agenturet, Boston Legal, familieret, vestfløjen, lov & Bestil, spillet, er og Grey ‘ s Anatomy. Født den fjerde juli, Ladies Man, Crimson Tide, den store hvide Hype, optakt til et kys, jagten, bedst lagt planer og ja mand.
i den femte sæson af CBS-dramaet NCIS, Carroll blev vist i en tilbagevendende rolle som assisterende instruktør Leon Vance. Derved, han var blevet genforenet med sine Chicago Hope-rollebesætningsmedlemmer Mark Harmon og Lauren Holly. Efter NCIS-instruktørens død Jenny Shepard (spillet af Holly) blev hans karakter den nye direktør for NCIS og erstattede Holly i hovedrollen. Han har også gæstestjernede som Vance i NCIS spin-offs Los Angeles og ny Orleans.
han deler sin fødselsdag med den tidligere NCIS co-star Michael vejrlig.
ud over at være en serie regelmæssig på NCIS, har Carroll også instrueret syv episoder af NCIS, der debuterer med Sæson 12-episoden, “Vi bygger, vi kæmper”.