Dans le cadre du célèbre Festival Shakespeare de New York de Joe Papp, Carroll a aidé à ouvrir des portes aux acteurs de couleur, en endossant des rôles non traditionnels rarement interprétés par des acteurs noirs dans des drames de Shakespeare. En 1987, Carroll a été initié aux œuvres d’August Wilson. Le jeune acteur prometteur et talentueux a été autorisé à recréer son rôle pour la production à Broadway de l’histoire acclamée par la critique de Wilson, La leçon de piano. La pièce a non seulement remporté un prix Pulitzer pour le théâtre, mais Carroll a également été nommé Tony et Drama Desk.
Il est connu pour avoir interprété le musicien ne’er-do-well Joey Emerson dans la comédie dramatique ROC de la FOX. Il a également joué le rôle principal du Dr Keith Wilkes dans la série télévisée Chicago Hope. Carroll a joué dans plusieurs autres émissions de télévision, notamment The Agency, Boston Legal, Family Law, The West Wing, Law &Order, The Game, ER et Grey’s Anatomy. Carroll a eu des rôles dans de nombreux films hollywoodiens tels que Born on the Fourth of July, The Ladies Man, Crimson Tide, The Great White Hype, Prelude to a Kiss, The Chase, Best Laid Plans et Yes Man.
Dans la cinquième saison du drame de CBS NCIS, Carroll a été présenté dans un rôle récurrent en tant qu’assistant réalisateur Leon Vance. Ce faisant, il avait retrouvé ses camarades de casting de Chicago Hope, Mark Harmon et Lauren Holly. Après la mort de la directrice du NCIS Jenny Shepard (jouée par Holly), son personnage est devenu le nouveau directeur du NCIS et a remplacé Holly dans la distribution principale. Il a également joué le rôle de Vance dans les spin-offs NCIS de Los Angeles et de la Nouvelle-Orléans.
Il partage son anniversaire avec l’ancienne co-star de NCIS Michael Weatherly.
En plus d’être un habitué de la série sur NCIS, Carroll a également réalisé sept épisodes de NCIS, faisant ses débuts de réalisateur avec l’épisode de la saison 12, « We Build, We Fight ».