Das Lied wurde viele Male gecovert, am häufigsten mit Jimmie Rodgers ‚Version. Zu den Künstlern, die es gesungen haben, gehören Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCrees Uptown Jug Champions (mit Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (mit Chet Atkins), Pokey LaFarge und Tim Blake Nelson mit den Soggy Bottom Boys im Film und Soundtrack für O Brother, Where Art Thou?. Es war auch eines der ersten Lieder, die eine jugendliche Joan Baez lernte. Das Lied erscheint unter verschiedenen Titeln, darunter „Er ist jetzt im Gefängnis,Und einige Versionen verwenden die Zeile „Sie ist jetzt auf dem Friedhof“ im Refrain.
Vor 1930 wurden verschiedene Versionen davon aufgenommen und urheberrechtlich geschützt. Die früheste ist Davis und Staffords Version von 1915, die Verse über einen Mann namens Campbell enthält, der bei einem Kartenspiel und einer korrupten Wahl betrügt. Im Jahr 1924 nahm Whistler’s Jug Band aus Louisville, Kentucky, es unter dem Titel „Jail House Blues“ auf, der den gleichen Titel wie eine berühmte Blues-Melodie von Bessie Smith hatte, aber tatsächlich das gleiche Lied wie „In the Jailhouse Now“ war.1927 machte Earl McDonald’s Original Louisville Jug Band eine weitere Aufnahme des Songs. Zwei afroamerikanische Bluesmen nahmen das Lied auch vor Rodgers auf: Blind Blake (1927) und Jim Jackson (im Januar 1928). Jackson hat das Lied auch vor Rodgers urheberrechtlich geschützt. Schließlich nahmen die Memphis Sheiks (ein Pseudonym für die Memphis Jug Band) es 1930 in einer Version auf, die Wissenschaftler oft, wenn auch fälschlicherweise, als Cover von Jimmie Rodgers bezeichnet haben. Die Version der Melodie und der Texte, die sie verwendeten, ist eindeutig von den Auftritten der Louisville Jug Band abgeleitet, nicht von Rodgers. Auf einigen Platten der Memphis Sheiks wird ein afroamerikanischer Vaudeville-Performer namens Bert Murphy für das Schreiben des Songs ausgezeichnet.Kurz nachdem Rodgers den Song aufgenommen hatte, erschienen drei weitere Versionen, die entschieden keine Cover von Rodgers waren. Boyd Senter und seine Senterpedes machten 1929 eine Jazzversion für Victor Records (herausgegeben auf # 22010 und später auf Bluebird Records # 5545 neu aufgelegt); Gene Kardos und sein Orchester machten 1932 auch eine Jazzversion für Victor; und Billy Mitchell machte 1936 eine Stride Piano- und Shouter-Version davon für das Bluebird-Label.Nach Rodgers war die bekannteste Version des Songs von Webb Pierce, der mit dem Song 1955 einen Country-Hit Nr. 1 hatte. Pierces Version verbrachte 21 Wochen lang Platz 1 in den Billboard Country Charts und war damit der dritte Song in der Geschichte der Charts, der so lange in den Charts war; zuvor hatten Eddy Arnold („I’ll Hold You in My Heart (Till I Can Hold You in My Arms)“, 1947) und Hank Snow („I’m Movin’On“, 1950) das Kunststück vollbracht. 58 Jahre lang hielten diese drei Songs den Langlebigkeitsrekord für die meisten Wochen auf Platz 1 mit 21 Wochen, wobei nur eine Handvoll Songs innerhalb eines Monats nach dem Abgleich mit dem Rekord in die frühen 1960er Jahre kamen. Schließlich, am 10. August 2013, übertraf „Cruise“ von Florida Georgia Line Pierces „In the Jailhouse Now“ für die meisten Wochen auf Platz 1, als es seine 22. Woche auf Platz 1 verbrachte.Als Johnny Cash das Lied 1962 aufnahm, verwendete er einen humorvolleren Satz von Texten, basierend auf der Version von 1915; Nachdem Campbell eingesperrt ist, führt seine Frau Sadie eine Affäre mit dem Sheriff. Cash lernte diese Version von den afroamerikanischen Jug-Band-Musikern in Memphis. Trotzdem behaupten die meisten Autoren, dass Cash das Lied von Jimmie Rodgers abdeckte, was weiter verschleiert, dass das Lied von afroamerikanischen Künstlern stammt und viele Jahrzehnte lang in einer Vaudeville- und Jug-Band-Tradition am Leben erhalten wurde.Das Lied gewann Jahre später wieder an Popularität, als Sonny James 1976 während eines Konzerts im Tennessee State Prison eine Live-Version aufnahm. James ‚Version enthielt Unterstützung durch die Tennessee State Prison Band und erreichte 1977 Platz 15 der Hot Country Singles Charts.Die Jimmie Rodgers-Version wurde von Gene Autry in seinem Film „Back in the Saddle“ von 1941 gesungen.“
In O Bruder, wo bist du?“Delmar“ (Tim Blake Nelson) singt eine Interpretation, wobei „Pete“ (John Turturro) zwischen den Versen jodelt, bevor die Soggy Bottom Boys die Hauptnummer „Man of Constant Sorrow“ spielen. Die anderen „Soggy Bottom Boys“ -Songs sind lippensynchron, aber Tim Blake Nelson singt seinen eigenen Gesang zu diesem Song, während Turturros Jodeln tatsächlich von Pat Enright von der Nashville Bluegrass Band aufgeführt wird.
1979 wurde das Lied in einer Blackface-Performance im Musical One Mo’Time von Vernel Bagneris aufgeführt. Das Musical wurde 2002 am Broadway wiederbelebt. Die Version des Liedes, das in der Show verwendet wurde, war die gleiche wie die, die von den Louisville Jug Bands in den 1920er Jahren aufgenommen wurde.
Brad Paisley benutzte den Refrain für das Ende von „Mr. Policeman“, einem Lied auf seinem 2007er Album 5th Gear. Neue Texte wurden geschrieben, um die Geschichte des Songs zu beenden.