de cifre, der blev brugt i kryptogrammer, blev ikke oprindeligt oprettet til underholdningsformål, men til reel kryptering af militære eller personlige hemmeligheder.
den første brug af kryptogrammet til underholdningsformål fandt sted i middelalderen af munke, der havde fritid til intellektuelle spil. Et manuskript fundet i Bamberg siger, at Irske besøgende ved retten i Merfyn Frych ap Gviad (død 844) fik et kryptogram, som kun kunne løses ved at transponere bogstaverne fra Latin til græsk. Omkring det trettende århundrede, den engelske munk Roger Bacon skrev en bog, hvor han anførte syv krypteringsmetoder, og sagde, at “en mand er skør, der skriver en hemmelighed på nogen anden måde end en, der vil skjule den for det vulgære.”I det 19.århundrede hjalp Edgar Allan Poe med at popularisere kryptogrammer med mange avis-og magasinartikler.
kendte eksempler på kryptogrammer i nutidig kultur er de syndikerede avispuslespil Kryptokvip og Kryptokvittering fra King Features.
i en offentlig udfordring, forfatter J. M. Appel meddelte den 28. September 2014, at indholdsfortegnelsessiden i hans novellesamling, Scouting for Reaper, også blev fordoblet som et kryptogram, og han lovede en pris for den første til at løse det.