Le musée a été fondé à Karlsruhe en 1934 comme musée de l'armée de Bade (Badisches Armeemuseum), afin de regrouper les collections du musée régional de Bade et certains objets du musée des Augustins de Fribourg-en-Brisgau[2].
Il a emménagé en 1956 dans le château de Rastatt. Quelques objets supplémentaires, tirés du fonds de l'ex-musée des armées du Wurtemberg, sont venus l'enrichir[2]. Au fil des années, par donations et ventes, les collections se sont agrandies. Jusqu'en 1996, le musée était administré par la Bundeswehr.
Après quatre ans de travaux, le musée a rouvert ses portes en 1999. Il est désormais géré par une société privée, sous la tutelle du Land de Bade-Wurtemberg, de la ville de Rastatt et d'une association de donateurs, où siège le Ministère fédéral de la Défense en tant que financeur du musée. Les collections, riches de près de 80 000 documents, sont majoritairement propriété du Land de Bade-Wurtemberg.
