Come parte dell’acclamato New York Shakespeare Festival di Joe Papp, Carroll ha contribuito ad aprire le porte agli attori di colore, assumendo ruoli non tradizionali che raramente venivano interpretati da attori neri nei drammi di Shakespeare. Nel 1987, Carroll fu introdotto alle opere di August Wilson. Il giovane attore emergente e talentuoso è stato permesso di ricreare il suo ruolo per la produzione di Broadway della storia acclamata da Wilson The Piano Lesson. Il gioco non solo ha guadagnato un premio Pulitzer per il dramma, ma Carroll ha guadagnato una nomination Tony e Drama Desk.
Egli è noto per aver interpretato il musicista ne’er-do-well Joey Emerson sulla FOX commedia-dramma Roc. Ha anche avuto un ruolo da protagonista come Dr. Keith Wilkes nella serie TV Chicago Hope. Carroll ha recitato in diversi altri programmi televisivi tra cui The Agency, Boston Legal, Family Law ,The West Wing, Law& Order, The Game, ER e Grey’s Anatomy. Carroll ha avuto ruoli in molti film di Hollywood come Born on the Fourth of July, The Ladies Man, Crimson Tide, The Great White Hype, Prelude to a Kiss, The Chase, Best Laid Plans e Yes Man.
Nella quinta stagione del dramma della CBS NCIS, Carroll è stato descritto in un ruolo ricorrente come assistente alla regia Leon Vance. In tal modo, era stato riunito con i suoi compagni di cast Chicago Hope Mark Harmon e Lauren Holly. Dopo la morte della regista di NCIS Jenny Shepard (interpretata da Holly), il suo personaggio divenne il nuovo direttore di NCIS e sostituì Holly nel cast principale. Ha anche guest-star come Vance negli spin-off NCIS Los Angeles e New Orleans.
Condivide il suo compleanno con l’ex co-protagonista dell’NCIS Michael Weatherly.
Oltre ad essere una serie regolare su NCIS, Carroll ha anche diretto sette episodi di NCIS, facendo il suo debutto alla regia con la Stagione 12 episodio, “We Build, We Fight”.