Im Rahmen von Joe Papps gefeiertem New York Shakespeare Festival half Carroll, Türen für farbige Schauspieler zu öffnen, indem er nicht-traditionelle Rollen übernahm, die von schwarzen Schauspielern in Shakespeare-Dramen selten dargestellt wurden. 1987 wurde Carroll in die Werke von August Wilson eingeführt. Der aufstrebende und talentierte junge Schauspieler durfte seine Rolle für die Broadway-Produktion von Wilsons von der Kritik gefeierter Geschichte The Piano Lesson nachbilden. Das Stück erhielt nicht nur einen Pulitzer-Preis für Drama, sondern Carroll erhielt auch eine Tony- und Drama Desk-Nominierung.
Er ist bekannt für die Darstellung des Ne’er-do-well-Musikers Joey Emerson im FOX-Comedy-Drama Roc. Er hatte auch eine Hauptrolle als Dr. Keith Wilkes in der TV-Serie Chicago Hope. Carroll war Gaststar in mehreren anderen TV-Programmen, darunter The Agency, Boston Legal, Familienrecht, The West Wing, Law & Order, The Game, ER und Grey’s Anatomy. Carroll hatte Rollen in vielen Hollywood-Filmen wie Born on the Fourth of July, The Ladies Man, Crimson Tide, The Great White Hype, Prelude to a Kiss, The Chase, Best Laid Plans und Yes Man.In der fünften Staffel des CBS-Dramas NCIS war Carroll in einer wiederkehrenden Rolle als Regieassistent Leon Vance zu sehen. Dabei, Er war mit seinen Chicago Hope-Castmates Mark Harmon und Lauren Holly wiedervereinigt worden. Nach dem Tod von NCIS-Regisseurin Jenny Shepard (gespielt von Holly) wurde sein Charakter der neue Direktor von NCIS und ersetzte Holly in der Hauptbesetzung. Er hat auch als Vance in den NCIS-Spin-offs Los Angeles und New Orleans zu Gast.Er teilt seinen Geburtstag mit dem ehemaligen NCIS-Co-Star Michael Weatherly.
Carroll ist nicht nur regelmäßig bei NCIS zu sehen, sondern hat auch sieben Folgen von NCIS gedreht und sein Regiedebüt mit der Episode der 12. Staffel „We Build, We Fight“ gegeben.