šifry používané v šifer nebyly původně vytvořen pro zábavu účely, ale pro skutečné šifrování vojenské nebo osobní tajemství.
první použití kryptogramu pro zábavní účely nastalo během středověku mnichy, kteří měli volný čas na intelektuální hry. Rukopis nalezený v Bambergu uvádí, že Irská návštěvníků k soudu Merfyn Frych ap Gwriad (zemřel 844), krále Gwyneddu ve Walesu dostali kryptogram, který by mohl být vyřešen pouze v provedení písmen z latiny do řečtiny. Kolem třináctého století, anglický mnich Roger Bacon napsal knihu, ve které uvedl sedm šifrovací metody, a uvedl, že „muž je blázen, který píše o tajemství jiným způsobem, než ten, který se bude skrývat to od vulgární.“V 19. století pomohl Edgar Allan Poe popularizovat kryptogramy mnoha novinovými a časopiseckými články.
známými příklady kryptogramů v současné kultuře jsou syndikované novinové hádanky Cryptoquip a Cryptoquote, od King Features.
ve veřejné výzvě spisovatel J. M. Appel 28. Září 2014 oznámil, že obsahová stránka jeho sbírky povídek Scouting for the Reaper se také zdvojnásobila jako kryptogram a slíbil cenu za první, kdo ji vyřešil.