de cijfers die in cryptogrammen worden gebruikt, zijn oorspronkelijk niet gemaakt voor amusementsdoeleinden, maar voor echte versleuteling van militaire of persoonlijke geheimen.
het eerste gebruik van het cryptogram voor amusementsdoeleinden vond plaats tijdens de Middeleeuwen door monniken die vrije tijd hadden voor intellectuele spelletjes. Een manuscript gevonden in Bamberg stelt dat Ierse bezoekers aan het Hof van Merfyn Frych AP Gwriad (overleden 844), koning van Gwynedd in Wales, een cryptogram kregen dat alleen kon worden opgelost door het omzetten van de letters van het Latijn in het Grieks. Rond de dertiende eeuw schreef de Engelse monnik Roger Bacon een boek waarin hij zeven versleutelmethoden opnoemde, en stelde dat ” een man gek is die een geheim op een andere manier schrijft dan een die het zal verbergen voor de vulgaire.”In de 19e eeuw hielp Edgar Allan Poe om cryptogrammen te populariseren met veel krantenartikelen en tijdschriftartikelen.
bekende voorbeelden van cryptogrammen in de hedendaagse cultuur zijn de gesyndiceerde krant puzzels Cryptoquip en Cryptoquote, van King Features.
in a public challenge, schrijver J. M. Appel kondigde op September 28, 2014, dat de inhoudsopgave van zijn korte verhaal collectie, Scouting for the Reaper, ook verdubbeld als een cryptogram, en hij beloofde een award voor de eerste om het op te lossen.