Joe Papp elismert New York-i Shakespeare-fesztiváljának részeként Carroll segített megnyitni az ajtókat a színes színészek előtt, olyan nem hagyományos szerepek felvállalásával, amelyeket a fekete színészek ritkán ábrázoltak Shakespeare-drámákban. 1987-ben Carroll bemutatta August Wilson munkáit. A feltörekvő és tehetséges fiatal színésznek megengedték, hogy újrateremtse szerepét Wilson kritikusok által elismert the Piano Lesson című történetének Broadway-produkciójában. A darab nemcsak Pulitzer-díjat kapott a drámáért, de Carroll Tony and Drama Desk jelölést is kapott.
arról ismert, hogy a No ‘ er-do-well zenészt, Joey Emersont ábrázolja a FOX vígjáték-drámájában Roc. Ő is volt egy főszerepet, mint Dr. Keith Wilkes a TV-sorozat Chicago Hope. Carroll vendégszerepelt több más televíziós műsorban is, mint például az Ügynökség, Boston Legal, Family Law, The West Wing, Law & Order, The Game, ER és Grey anatómiája. Carroll számos hollywoodi filmben szerepelt, mint például a Born on the Fourth Of July, A Ladies Man, A Crimson Tide, a nagy fehér Hype, a prelude to a Kiss, A Chase, A Best Laid Plans és az Yes Man.
a CBS dráma ötödik évadjában NCIS, Carroll visszatérő szerepet kapott rendezőasszisztensként Leon Vance. Ennek során újra találkozott a Chicago Hope Castmate-jeivel, Mark Harmonnal és Lauren Holly-val. Az NCIS rendezőjének, Jenny Shepardnak (Holly alakításában) halála után karaktere lett az NCIS új rendezője, és Holly helyére került a főszerepben. Vendégszerepelt az NCIS Los Angeles-i és New Orleans-i spin-offjaiban is.
megosztja születésnapját az NCIS korábbi társsztárjával, Michael Weatherly-vel.
amellett, hogy rendszeres sorozat Az NCIS-en, Carroll hét epizódot is rendezett NCIS, rendezői debütálása a 12.Évad epizódjával, “építünk, harcolunk”.