Venngarn era conocida al menos desde el siglo XIII. Durante el siglo XV, la finca fue propiedad de la familia noble Banér. En 1441, fue dada a Cecilia Haraldsdotter (Gren) tras su matrimonio con un miembro de la familia Banér: fue heredado por su hija Sigrid Eskilsdotter (Banér), la abuela materna del rey Gustav Vasa de Suecia, y a través de ella pasó a formar parte de la casa real en 1555. En 1568, fue dado a la Princesa Sofía de Suecia tras su matrimonio y sirvió como su residencia junto al Castillo de Ekolsund: durante la década de 1590, la finca fue a menudo utilizada por su hijo adulto Gustavo de Sajonia-Lauenburgo (1570-1597).[2]
Venngarn fue vendido al conde Frans Berendt von Thurn en 1619, y comprada por Magnus Gabriel De la Gardie (1622-1686) en 1653. El castillo fue mayormente construido en 1670 por Magnus Gabriel De la Gardie en colaboración con el arquitecto Jean de la Vallée.[3][4]
El Castillo de Venngarn fue confiscado por la corona durante la Reducción de Carlos XI y desde 1686 ha sido alquilado por la corona. Entre 1916-1997, sirvió como institución para la rehabilitación de personas con alcoholismo, y desde 1997, sirve como centro de salud.
