Como parte del aclamado Festival Shakespeare de Nueva York de Joe Papp, Carroll ayudó a abrir puertas para actores de color, al asumir roles no tradicionales que rara vez eran interpretados por actores negros en dramas de Shakespeare. En 1987, Carroll conoció las obras de August Wilson. Al prometedor y talentoso joven actor se le permitió recrear su papel para la producción de Broadway de la aclamada historia de Wilson, The Piano Lesson. La obra no solo ganó un Premio Pulitzer de Drama, sino que Carroll ganó una nominación a Tony y Drama Desk.
Es conocido por interpretar al músico ne’er-do-well Joey Emerson en la comedia dramática de FOX Roc. También tuvo un papel protagonista como el Dr. Keith Wilkes en la serie de televisión Chicago Hope. Carroll ha sido estrella invitada en varios otros programas de televisión, incluyendo The Agency, Boston Legal, Family Law, The West Wing, Law & Order, The Game, ER y Grey’s Anatomy. Carroll ha tenido papeles en muchas películas de Hollywood como Born on the Fourth of July, The Ladies Man, Crimson Tide, The Great White Hype, Prelude to a Kiss, The Chase, Best Laid Plans y Yes Man.
En la quinta temporada del drama de la CBS NCIS, Carroll apareció en un papel recurrente como el Asistente del Director Leon Vance. Al hacerlo, se reunió con sus compañeros de reparto de Chicago Hope, Mark Harmon y Lauren Holly. Después de la muerte de la directora del NCIS Jenny Shepard (interpretada por Holly), su personaje se convirtió en el nuevo director del NCIS, y reemplazó a Holly en el elenco principal. También ha sido estrella invitada como Vance en los spin-offs de NCIS Los Ángeles y Nueva Orleans.
Comparte su cumpleaños con el ex co-estrella del NCIS Michael Weatherly.
Además de ser un regular de la serie en NCIS, Carroll también ha dirigido siete episodios de NCIS, haciendo su debut como director con el episodio de la temporada 12, «We Build, We Fight».