ロレーヌのゴフォンテーヌ(現ドイツ領のザールブリュッケン)にフランス人の父とドイツ人の母との間に生まれた。
ゴフォンテーヌ(ザールブリュッケン)は、歴史的にドイツとフランスの係争地帯であるザール地方にあり、生まれた時にはナポレオンの敗退によって同地がすでにプロイセン王国に支配されていた。このためグヴィは、フランスの市民権を獲得することができず、パリ音楽院に進学することも叶わなかった。音楽は、ベルリンやライプツィヒなどで個人的に学んだといわれる。フランス国籍は32歳のとき取得した。
グヴィは、フランスとドイツの二つの文化に引き裂かれた人物であり、その着想や作風・表現力はその二つに影響されている。存命中はそれなりに認められていたにもかかわらず、ドイツに客死すると忘れられていった。
エクトル・ベルリオーズは、1851年4月13日付の『ジュルナル・デ・デバ』誌において、グヴィとその作品の重要性がパリで理解されていないことは、まことに嘆かわしい限りであると訴えた。ベルリオーズの好意的な評価にもかかわらず、大きな変化はその後も起こらず、グヴィは20世紀の末まで忘れられたままだった。グヴィの《レクイエム(フランス語版)》がロレーヌで再発見され、精悍な楽章「怒りの日」によって一躍その他のグヴィ作品が脚光を浴びたのは、1994年のことである。