トスカーナ大公国のオルドイーニ侯爵の娘としてフィレンツェに生まれた。ニックネームの"Nicchia"で知られていた。17歳の時、カスティリオーネ伯爵と結婚し、1子をもうけた。
1855年にフランスへ向かい、同年12月25日、夫と子供を伴いパリに到着し、テュイルリー宮殿ないしサントノレ通り界隈カスティリオーヌ通り (fr) 10番地に居住した。翌1856年1月9日、マチルド・ボナパルト王女主催のバルでナポレオン3世に出会う。マチルドと対立関係にあったウジェニー皇后は出産のため欠席していた。
ナポレオン3世とは、1856年から1857年4月までの間、愛人ないし愛妾関係が続くが、皇帝と伯爵夫人は偽装結婚をし、この姦通は宮廷スキャンダルになった。イタリアの寵姫カスティリオーネの名前が醜聞となることで、夫の要求で別居し離婚に等しい状態となった。カスティリオーヌ通りにある豪華な館を引き払わざるをえず、帰国したイタリアでは、妻が作った借金を返済するためにすべての財産を売却しなければならなかった。
2年間の関係でしかなかったにもかかわらず、根拠のない噂や世間話によると、カスティリオーネ伯爵夫人は1862年に皇帝の非嫡出子である、後に歯科医になるアーサー・ヒューゲンシュミット（アルチュール・ユーゲンシュミット, fr）の母親であると言われる。のちに、下記のように彼女に熱狂したロベール・ド・モンテスキュー伯がヒューゲンシュミットへの詩で触れている。
伯爵夫人は、ナルシストで自己陶酔的、あるいは気まぐれで、皇帝が宮廷秘密資金から提供する贈り物を公に誇ったりしたが、皇帝が自分自身を無愛想にし、新しい愛人マリアンヌ・ヴァレフスカ伯爵夫人（Comtesse Marianne Walewska）に心変わりした皇帝を相手にすることに疲れた。
また、このような形で欧州王室社交界にデビュタントをしたため、半社交界の婦人（ドゥミ＝モンデーヌ, Demi-mondaine）ないしクルチザンヌとも括られる。けれども伯爵夫人ヴィルジニアは、従兄にあたるカヴールに依頼されナポレオン3世の愛人となり、別れた後もその影響力でフランスとサルデーニャとの同盟関係（1858年7月のプロンビエールの密約）に結びつけたと主張していた。
ナポレオン3世との関係が続く間、というよりこのスキャンダルのおかげで、彼女は後に普仏戦争により"統一ドイツ皇帝"となるヴィルヘルム1世の王妃アウグスタ・フォン・ザクセンやプロイセン宰相ビスマルク、後にフランス第三共和政の初代大統領となるアドルフ・ティエール、その他当時の大物王侯貴族らと接触することができた。
ヴィルジニアの服装の一つが『ハートの女王』[1]とうたわれていたように、彼女が宮廷で着用する服装が常に話題を呼んだ。ジョージ・フレデリック・ワッツが1857年に彼女の絵画を残しているように[2]、多くの画家や写真家のモデルとなり、多くの写真を残している。なかでも、彼女に熱狂した唯美派のロベール・ド・モンテスキューは、13年かけて1913年に彼女の伝記を書き上げ、彼女の死後、彼女に関する433枚にのぼる蒐集写真はメトロポリタン美術館に所蔵されることとなった[3]。
カスティリオーネ伯爵夫人、1860年
1857年、同年4月5日から6日にかけて、カスティリオーヌ伯爵夫人邸から出てきたカルボナリのジュゼッペ・マッツィーニの配下3人が皇帝暗殺未遂容疑の被告人とされた。伯爵夫人も無実ながら共犯としてフランス国外退去処分になったため、ナポレオン3世と別れイタリアへ戻った。しかし、マチルド・ボナパルト王女やイタリア統一運動での"共犯"で信頼関係にあったジョゼフ・ポニャトフスキ（スタニスワフ家の出でトスカーナ大公国育ち）のおかげで翌月には戻ってきていた。
4年後の1861年、"統一イタリア"が成されたイタリア王国建国は、想像の域を出ないが、ナポレオン3世への彼女の影響力が大きかった。この年、彼女はパリへ戻りパッシー（パリ16区）に定住した[4]。
普仏戦争においてフランス帝国が敗北し、ナポレオン3世が追放された直後の1871年、彼女は秘密裡にやってきていたプロイセン宰相ビスマルクと会見し、プロイセンによる「パリ占領」がいかに"致命的"なものになるかを説得、結果、パリがその占領を免れたことで分かるように、彼女の交渉が非常に説得的だったのかもしれなかった[4]。
ヴィルジニアは、残りの人生をヴァンドーム広場26番地及び、1893年からカンボン通り（fr, パリ1区）14番地のアパルトマンで暮らした。その部屋は、きっちりブラインドが下げられ、葬式のように黒く塗られ、鏡は全て曇っていた。自身が美と若さを失ったことを人に知られたくなかった彼女は、夜にならないと外出しないのだった。また、実現しなかったものの、1900年パリ万国博覧会において彼女の写真が展示されることを望んでいた。しかし1899年、ヴィルジニアは62歳で他界した[5]。
墓所はパリ20区のペール・ラシェーズ墓地[5]。
フランス共和国（第三共和政）、パリ.svg){kind=small}
フランス共和国（第三共和政）、パリ
.svg){kind=small}
トスカーナ大公国、フィレンツェ
