Les premières fortifications furent construites en bois par le duc du grand-duché de Lituanie, Gediminas. Plus tard, la première pierre du château fut achevée en 1409 par le grand duc Vytautas le Grand. Certains vestiges de l'ancien château ont été restaurés, guidés par la recherche archéologique.
Reconstruction
Le palais des grands-ducs de Lituanie (en lituanien: Lietuvos Didžiosios Kunigaikštystės valdovų rūmai Vilniaus žemutinėje pilyje; Zamek Dolny w Wilnie) a été construit à l’origine au XVesiècle pour les dirigeants du grand-duché de Lituanie et les futurs rois de Pologne. Le palais, situé dans le château inférieur de Vilnius, se trouve au pied de la colline sur laquelle se dresse la tour de Gediminas. Son architecture a évolué au fil des ans et a prospéré au cours du XVIe et du milieu du XVIIesiècle. Le palais a été reconstruit dans le style Renaissance pour correspondre à la cathédrale de Vilnius. On pense que la reconstruction a été faite pour les cérémonies de proclamation de Sigismond II Auguste, le fils unique de Sigismond Ier le Vieux, en tant que grand-duc de Lituanie. Pendant quatre siècles, le palais a été le centre politique, administratif et culturel de l'Union polono-lituanienne. Incendié et gravement endommagé en 1655, il a ensuite été laissé à l'abandon pendant près de 150 ans. Ses restes en ruines ont été démolis en 1801.
Les travaux d’un nouveau palais ont commencé en 2002 sur le site du bâtiment d’origine et il a fallu 16 ans pour les achever en 2018. Le bâtiment a été partiellement ouvert lors de la célébration du millénaire du nom de la Lituanie à l’été 2009, bien qu’il n’ait pas encore été entièrement achevé en raison du manque de financement. Le , la partie du palais connue sous le nom de Bloc A a été officiellement achevée. Le , il a été officiellement ouvert au public, 760 ans après le couronnement de Mindaugas. La présidence du Conseil de l’Union européenne s'y est tenue le . De 2014 à 2018, la partie du palais connue sous le nom de Bloc B était en construction. Le Bloc B et le bâtiment du musée dans son ensemble ont ouvert leurs portes le .