som en del av Joe Papps hyllade New York Shakespeare Festival hjälpte Carroll till att öppna dörrar för skådespelare av färg genom att ta på sig icke-traditionella roller som sällan porträtterades av svarta skådespelare i Shakespeare-drama. 1987 introducerades Carroll till August Wilsons verk. Den kommande och begåvade unga skådespelaren fick återskapa sin roll för Broadway-produktionen av Wilsons kritikerrosade berättelse The Piano Lesson. Pjäsen tjänade inte bara ett Pulitzerpris för Drama, men Carroll fick en Tony och Drama Desk nominering.
Han är känd för att porträttera ne ’ er-do-well musiker Joey Emerson på FOX komedi-drama Roc. Han hade också en huvudroll som Dr. Keith Wilkes i tv-serien Chicago Hope. Carroll har gästspelat i flera andra TV-program inklusive byrån, Boston Legal, familjerätt, the West Wing, Law & Order, The Game, ER och Grey ’ s Anatomy. Carroll har haft roller i många Hollywood-filmer som Born on the Fourth Of July, the Ladies Man, Crimson Tide, The Great White Hype, förspel till en kyss, jakten, bästa planer och ja Man.
i den femte säsongen av CBS drama NCIS, Carroll var med i en återkommande roll som biträdande regissör Leon Vance. Genom att göra så, han hade återförenats med sina Chicago Hope-kollegor Mark Harmon och Lauren Holly. Efter NCIS-regissörens död Jenny Shepard (spelad av Holly) blev hans karaktär den nya regissören för NCIS och ersatte Holly i huvudrollen. Han har också gästspelat som Vance i NCIS spin-offs Los Angeles och New Orleans.
han delar sin födelsedag med tidigare NCIS co-star Michael Weatherly.förutom att vara en serie regelbundet på NCIS har Carroll också regisserat sju avsnitt av NCIS och gjort sin regidebut med säsong 12 avsnitt, ”We Build, We Fight”.