La chanson a été reprise de nombreuses fois, le plus souvent avec la version de Jimmie Rodgers. Les artistes qui l’ont chantée incluent Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother Mccree’s Uptown Jug Champions (avec Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (avec Chet Atkins) Pokey LaFarge et Tim Blake Nelson avec Les Soggy Bottom Boys dans le film et la bande originale de O Brother, Where Are Thou?. C’était aussi l’une des premières chansons apprises par une adolescente Joan Baez. La chanson apparaît sous différents titres, y compris « He’s in the Jailhouse Now », et certaines versions utilisent la ligne « She’s in the graveyard now » dans le refrain.
Avant 1930, plusieurs versions différentes de celui-ci ont été enregistrées et protégées par le droit d’auteur. La première est la version de 1915 de Davis et Stafford, qui contient des vers sur un homme nommé Campbell trichant à un jeu de cartes et une élection corrompue. En 1924, le Jug Band de Whistler de Louisville, dans le Kentucky, l’a enregistré sous le titre « Jail House Blues », qui était le même titre qu’un célèbre air de blues de Bessie Smith, mais était en fait la même chanson que « In the Jailhouse Now ».
En 1927, le Louisville Jug Band original d’Earl McDonald fait un autre enregistrement de la chanson. Deux bluesmen afro-américains ont également enregistré la chanson avant Rodgers : Blind Blake (en 1927) et Jim Jackson (en janvier 1928). Jackson a également protégé la chanson avant Rodgers. Enfin, en 1930, les Memphis Sheiks (pseudonyme du Memphis Jug Band) l’enregistrent dans une version que les chercheurs ont souvent prétendu, bien qu’à tort, être une reprise de Jimmie Rodgers. La version de la mélodie et des paroles qu’ils ont utilisées est clairement dérivée des performances du Louisville Jug Band, pas de Rodgers. Sur certains disques des Memphis Sheiks, un interprète de vaudeville afro-américain nommé Bert Murphy est crédité pour l’écriture de la chanson.
Peu de temps après l’enregistrement de la chanson, trois versions supplémentaires sont apparues qui n’étaient décidément pas des reprises de Rodgers. Boyd Senter et ses Senterpedes en ont fait une version jazz en 1929 pour Victor Records (publiée le #22010, et rééditée plus tard sur Bluebird Records #5545); Gene Kardos et Son Orchestre en ont également fait une version jazz en 1932 pour Victor; et Billy Mitchell en a fait une version piano stride et shouter en 1936 pour le label Bluebird.
Après Rodgers, la version la plus connue de la chanson est celle de Webb Pierce, qui a eu un succès country numéro 1 avec la chanson en 1955. La version de Pierce a passé le numéro 1 du Billboard country chart pendant 21 semaines, devenant la troisième chanson de l’histoire du classement à passer autant de temps dans le classement; auparavant, Eddy Arnold (« Je Te Tiendrai dans Mon Cœur (Jusqu’à ce que Je Puisse Te tenir dans Mes bras) », 1947) et Hank Snow (« I’m Movin’ On », 1950) ont réalisé l’exploit. Pendant 58 ans, ces trois chansons ont détenu le record de longévité pour la plupart des semaines au numéro 1 avec 21 semaines, avec seulement une poignée de chansons dans le mois suivant le record jusqu’au début des années 1960. Enfin, le 10 août 2013, « Cruise » de Florida Georgia Line a dépassé « In the Jailhouse Now » de Pierce pour la plupart des semaines au Numéro 1 alors qu’il passait sa 22e semaine au numéro 1.
Lorsque Johnny Cash a enregistré la chanson en 1962, il a utilisé un ensemble de paroles plus humoristiques, basé sur la version de 1915; après que Campbell est enfermé, sa femme Sadie entretient une liaison avec le shérif. Cash a appris cette version des musiciens de jug band afro-américains à Memphis. Malgré cela, la plupart des écrivains affirment que Cash couvrait la chanson de Jimmie Rodgers, ce qui occulte davantage le fait que la chanson est originaire d’artistes afro-américains et a été maintenue vivante dans une tradition de vaudeville et de jug band pendant de nombreuses décennies.
La chanson a retrouvé sa popularité des années plus tard lorsque Sonny James a enregistré une version live lors d’un concert en 1976 à la prison d’État du Tennessee. La version de James inclut le soutien du Tennessee State Prison Band, et atteint la 15e place du Hot Country Singles chart en 1977.
La version de Jimmie Rodgers a été chantée par Gene Autry dans son film de 1941 » Back in the Saddle. »
En Ô Frère, Où Es-Tu?, « Delmar » (Tim Blake Nelson) chante une interprétation, avec « Pete » (John Turturro) yodelant entre les couplets, avant le numéro principal des Soggy Bottom Boys, « Man of Constant Sorrow ». Les autres chansons de « Soggy Bottom Boys » sont synchronisées sur les lèvres, mais Tim Blake Nelson chante sa propre voix sur cette chanson, tandis que le yodeling de Turturro est en fait interprété par Pat Enright du Nashville Bluegrass Band.
En 1979, la chanson a été interprétée en blackface dans la comédie musicale One Mo’Time de Vernel Bagneris. La comédie musicale a été relancée à Broadway en 2002. La version de la chanson utilisée dans le spectacle était la même que celle enregistrée par les Louisville Jug Bands dans les années 1920.
Brad Paisley a utilisé le refrain pour la fin de « Mr. Policeman », une chanson de son album 5th Gear de 2007. De nouvelles paroles ont été écrites pour donner une fin à l’histoire de la chanson.