Depuis le Moyen Âge, le terrain du jardin sert de parvis au château de Prague. Au début de l’ère moderne, il y avait des jardins utilitaires et une maison de jardin construite par Rodolphe II, appartenant à la ferme située à l'est, derrière le manège du château de Prague. Les autres propriétaires fonciers étaient la famille Černín. Humprecht Jan Černín les fit transformer en jardins d'ornement, y planta des arbres et construisit des serres[2]. Au début du XVIIIe siècle, la limite nord-ouest des jardins était entourée d'un mur de briques de fortifications baroques, dont les talus et le remblai sont encore conservés.
La maison fut ajoutée à ce mur de fortification au début du XIXe siècle, et les terrasses du jardin supérieur de Lumbe furent modifiées à cet effet. L'entrée principale de la maison se fait du nord-ouest par un élégant portail baroque dans le mur d'enceinte. La maison a été achetée en 1852 par un homme politique pragois et professeur à l'École polytechnique de Prague, le Docteur Josef Tadeáš Lumbe[2],[1]. Lumbe l'a utilisé comme résidence secondaire[3]. Les jardins Lumbe entourent la maison. Les parcelles nord-est du jardin de Lumbe appartenaient au frère de Josef Lumbe, Karl, qui vivait dans la proche villa Lumbe. L'État tchécoslovaque a acheté la maison et le terrain aux héritiers de Lumbe en 1925. Le bâtiment a subi des rénovations mineures, la dernière en date au début du XXIe siècle, lorsque la couleur de la façade est passée du jaune au bleu-blanc après une étude de restauration.