osana Joe Pappin ylistämää New Yorkin Shakespeare-festivaalia Carroll auttoi avaamaan ovia värillisille näyttelijöille ottamalla vastaan ei-perinteisiä rooleja, joita Shakespeare-draamoissa harvoin esittivät Mustat näyttelijät. Vuonna 1987 Carroll tutustui August Wilsonin teoksiin. Nouseva ja lahjakas nuori näyttelijä sai luoda roolinsa Broadway-tuotantoon Wilsonin kriitikoiden ylistämä tarina Piano Lesson. Näytelmä sai draaman Pulitzer-palkinnon lisäksi Carroll sai Tony-ja Drama Desk-ehdokkuudet.
hänet tunnetaan muun muassa ne ’ er-do-well-muusikko Joey Emersonin roolista FOX-kanavan draamakomediassa Roc. Hänellä oli myös pääosassa rooli tohtori Keith Wilkes TV-sarjassa Chicago Hope. Carroll on vieraillut useissa muissa TV-ohjelmissa kuten The Agency, Boston Legal, Family Law, the West Wing, Law & Order, The Game, ER ja Greyn anatomia. Carrollilla on ollut rooleja monissa Hollywood-elokuvissa, kuten Born On the Fourth Of July, Ladies Man, Crimson Tide, The Great White Hype, Prelude to a Kiss, The Chase, Best Laid Plans ja Yes Man.
CBS: n draamasarjan NCIS viidennellä kaudella Carroll esiintyi toistuvassa roolissa apulaisohjaaja Leon Vancena. Näin hän oli päässyt jälleen yhteen Chicago Hope-näyttelijäkavereidensa Mark Harmonin ja Lauren Hollyn kanssa. NCIS: n johtajan Jenny Shepardin (Hollyn esittämä) kuoltua hänen hahmostaan tuli NCIS: n uusi johtaja ja hän korvasi Hollyn pääosissa. Hän on myös vieraillut Vancen roolissa NCIS: n spin-offeissa Los Angeles ja New Orleans.
hän jakaa syntymäpäivänsä entisen NCIS: n vastanäyttelijän Michael Weatherlyn kanssa.
sen lisäksi, että sarja säännöllisesti NCIS, Carroll on myös ohjannut seitsemän jaksoa NCIS, tekee debyyttinsä kauden 12 episodi, ”We Build, We Fight”.