一帯がラジヴィウ家のものになったのは1533年 のことである。その年に、前の領主であったキシュカ家 （Kiszka ）の断絶にともない、女系子孫のミコワイ・ラジヴィウ・チャルヌィ と弟のヤン・ラジヴィウに与えられたのである。それ以来、ラジヴィウ家はリトアニア大公国 でも屈指の影響力と財力を誇る存在となった。1551年にはリトアニア古文書館の資料が、城内に移送された。1586年、ネスヴィジ一帯はラジヴィウ家のオルディナツィア （世襲領地）として認められた。
1582年にリトアニア大ヘトマン 、シャウレイ 城主にしてトラカイ 県とヴィリニュス 県の知事であったミコワイ・クシシュトフ・ラジヴィウ・シェロトカ は、3階建ての威風堂々たる城を建造した。その城の土台をなしていたのは元からあった中世の城だったが、そうした古い要塞建築はルネサンス様式 やバロック様式 へとすっかり様変わりした。この城は1604年までには完成したが、半世紀後にいくつかの回廊が付け加えられた。城の四隅は八角形の塔で強化されていた。
大北方戦争 中であった1706年 に、カール12世 の軍が城で略奪行為に及び、その城塞を破壊した。その数十年後に、ラジヴィウ家は城の実質的な修復と巨大化のために、ドイツやイタリアから建築家を招聘した。Antoni Zaleski はバロック様式の化粧漆喰（スタッコ ）作品でその黄色いファサード を飾り立てた。16世紀の城門も再建され、2階建ての守衛詰所の塔も、兜（helm）で飾られた。中庭を取り囲む3つの別棟が、城に接合されたのもこの時代のことである。
ネスヴィジで最も重要な建物は、1587年から1603年に建てられたキリスト聖体教会（Corpus Christi Church）である。この建物は水路越しの堰堤によって、城と繋がっている。この聖堂には、ラジヴィウ家の者たちが72人葬られており、めいめいがTrąby Coat of Arms の印された樺製の柩に納められている。
イタリア人建築家ジャン・マリーア・ベルナルドーニ （Gian Maria Bernardoni, 1541年-1605年）の手がけたこの聖堂は、ローマのIl Gesù を範とした最初のイエズス会 聖堂であり、なおかつバロック様式 のファサードを備えたドーム型天井 を持つ世界初のバシリカ 式聖堂、そして東ヨーロッパにバロック様式建築が持ちこまれた最初の例と見なされている。
精緻な君主たちの墓とは別に、1760年代以降に作成されたバロック様式のフレスコ 画や、1583年にヴェネツィア人彫刻家たちによって手がけられた聖十字架の祭壇などがある。
1770年代に、城はロシア軍に略奪され、ラジヴィウ家は追い出された。ほどなくして所蔵されていたリトアニアの古文書はサンクトペテルブルク に移送され、それは今でもその地に置かれたままである。他方で、城にあった美術品の大半は様々なロシア貴族たちの手に渡る形で散らばってしまった。
その後、元の持ち主からもロシア軍からも見捨てられた城は、次第に朽ちていった。しかし、ラジヴィウ家の手に再び渡ると、1881年 から1886年 にかけて、当主アントニ・ヴィルヘルム・ラジヴィウ （Antoni Wilhelm Radziwiłł ）とそのフランス人妻マリー・ド・カステラーヌ によって、内装の復元作業が行われた。彼らはイギリス流 の風景式庭園 もデザインしたが、面積1 km2 を越えるこの庭園は、今日でもその種の庭園のなかでヨーロッパ最大級である。
ネスヴィジ城の中庭 1939年に赤軍 の侵攻によってラジヴィウ家は再び城を逐われた[ 1] ソ連 時代には、この城はサナトリウム として使われていたが、庭園の方は段々と省みられなくなっていった。
1994年に、城の建造物群は国の歴史的・文化的保護区となり、11年後、ユネスコ の世界遺産 に登録された。継続中の再建事業を巡っては、鐘楼のような長い間破壊されていた建物を、正当性を欠く形で再建するものとして、批判も起こっている。
2002年には火災によって住居の上階部分が損壊した。
