La canción ha sido versionada muchas veces, la mayoría de las veces con la versión de Jimmie Rodgers. Los artistas que la han cantado incluyen a Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother Mccree’s Uptown Jug Champions (con Jerry García), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (con Chet Atkins ) Pokey LaFarge, y Tim Blake Nelson con The Soggy Bottom Boys en la película y la banda sonora de O Brother, Where Art Thou?. También fue una de las primeras canciones aprendidas por un adolescente Joan Baez. La canción aparece bajo diferentes títulos, incluyendo «He’s in the Jailhouse Now», y algunas versiones usan la línea» She’s in the graveyard now » en el coro.
Antes de 1930, varias versiones diferentes de la misma fueron grabadas y con derechos de autor. La primera es la versión de Davis y Stafford de 1915, que tiene versos sobre un hombre llamado Campbell haciendo trampa en un juego de cartas y una elección corrupta. En 1924, Whistler’s Jug Band de Louisville, Kentucky, la grabó bajo el título «Jail House Blues», que era el mismo título que una famosa canción de blues de Bessie Smith, pero era, de hecho, la misma canción que «In the Jailhouse Now».
En 1927, Earl McDonald’s Original Louisville Jug Band hizo otra grabación de la canción. Dos bluesmen afroamericanos también grabaron la canción antes de Rodgers: Blind Blake (en 1927) y Jim Jackson (en enero de 1928). Jackson también registró los derechos de autor de la canción antes de Rodgers. Finalmente, en 1930, the Memphis Sheiks (un seudónimo de la Memphis Jug Band) lo grabó en una versión que los académicos a menudo han afirmado, aunque erróneamente, que era una versión de Jimmie Rodgers. La versión de la melodía y la letra que usaron, se deriva claramente de las actuaciones de Louisville Jug Band, no de Rodgers. En algunos de los discos de los Memphis Sheiks, un artista de vodevil afroamericano llamado Bert Murphy recibe el crédito por escribir la canción.
Poco después de que Rodgers grabara la canción, aparecieron tres versiones adicionales que definitivamente no eran covers de Rodgers. Boyd Senter y sus Senterpedes hicieron una versión de jazz en 1929 para Victor Records (publicada en el #22010, y más tarde reeditada en Bluebird Records #5545); Gene Kardos y Su Orquesta también hicieron una versión de jazz en 1932 para Victor; y Billy Mitchell hizo una versión para piano de zancada y voz en voz alta en 1936 para el sello Bluebird.
Después de Rodgers, la versión más conocida de la canción fue de Webb Pierce, quien tuvo un éxito country No. 1 con la canción en 1955. La versión de Pierce pasó el número 1 en la lista Billboard country durante 21 semanas, convirtiéndose en la tercera canción en la historia de la lista en pasar tanto tiempo en la lista; anteriormente, Eddy Arnold («I’ll Hold You in My Heart (Till I Can Hold You in My Arms)», 1947) y Hank Snow («I’m Movin’ On», 1950) lograron la hazaña. Durante 58 años, esas tres canciones mantuvieron el récord de longevidad durante la mayoría de las semanas en el número 1 con 21 semanas, con solo un puñado de canciones que llegaron dentro de un mes de igualar el registro a principios de la década de 1960. Finalmente, el 10 de agosto de 2013, «Cruise» de Florida Georgia Line superó a «In the Jailhouse Now» de Pierce durante la mayoría de las semanas en el número 1 cuando pasó su semana 22 en el número 1.
Cuando Johnny Cash grabó la canción en 1962, usó un conjunto de letras más humorísticas, basadas en la versión de 1915; después de que Campbell está encerrado, su esposa Sadie tiene una aventura con el sheriff. Cash aprendió esta versión de los músicos afroamericanos de jug band en Memphis. A pesar de esto, la mayoría de los escritores afirman que Cash estaba covereando la canción de Jimmie Rodgers, lo que oscurece aún más que la canción se originó con artistas afroamericanos y se mantuvo viva en una tradición de vodevil y jug band durante muchas décadas.
La canción recuperó popularidad años más tarde cuando Sonny James grabó una versión en vivo durante un concierto de 1976 en la Prisión Estatal de Tennessee. La versión de James incluyó el respaldo de la Tennessee State Prison Band, y alcanzó el puesto número 15 en la lista Hot Country Singles en 1977.
La versión de Jimmie Rodgers fue cantada por Gene Autry en su película de 1941 «Back in the Saddle».»
En Oh Hermano, ¿Dónde Estás?, «Delmar» (Tim Blake Nelson) canta una versión, con «Pete»(John Turturro) cantando al tirolés entre los versos, antes del número principal de the Soggy Bottom Boys, «Man of Constant Sorrow». Las otras canciones de «Soggy Bottom Boys» están sincronizadas con los labios, pero Tim Blake Nelson canta su propia voz en esta canción, mientras que el canto tirolés de Turturro es en realidad interpretado por Pat Enright de la Nashville Bluegrass Band.
En 1979, la canción se hizo en una actuación de cara negra en el musical One Mo’ Time de Vernel Bagneris. El musical fue revivido en Broadway en 2002. La versión de la canción utilizada en el show fue la misma que la grabada por las Louisville Jug Bands en la década de 1920.
Brad Paisley usó el coro para el final de «Mr.Policeman», una canción de su álbum de 2007 5th Gear. Nuevas letras fueron escritas para proporcionar un final a la historia de la canción.