szyfry używane w kryptogramach nie były pierwotnie tworzone w celach rozrywkowych, ale do prawdziwego szyfrowania tajemnic wojskowych lub osobistych.
pierwsze użycie kryptogramu do celów rozrywkowych miało miejsce w średniowieczu przez mnichów, którzy mieli wolny czas na intelektualne zabawy. Rękopis znaleziony w Bambergu podaje, że irlandzcy przybysze na dwór Merfyn Frych AP Gwynedd (zm. 844), króla Gwynedd w Walii otrzymali kryptogram, który można było rozwiązać jedynie poprzez transpozycję liter z łaciny na grekę. Około XIII wieku angielski mnich Roger Bacon napisał książkę, w której wymienił siedem metod szyfrowania i stwierdził, że ” człowiek jest szalony, który pisze sekret w inny sposób niż ten, który ukryje go przed wulgarnością.”W XIX wieku Edgar Allan Poe pomógł spopularyzować kryptogramy wieloma artykułami z gazet i czasopism.
dobrze znanymi przykładami kryptogramów we współczesnej kulturze są zagadki gazetowe cryptoquip i Cryptoquote z King Features.
w publicznym wyzwaniu, autor J. M. 28 września 2014 roku Appel ogłosił, że strona spisu treści jego zbioru opowiadań, Scouting for the Reaper, również podwoiła się jako kryptogram i obiecał nagrodę dla pierwszego, który ją rozwiąże.