オー＝ラン県のタンで生まれた。父親はミュルーズの壁紙製造業者であった。装飾美術を学んだ後、パリの私立の美術学校、アカデミー・コラロッシで絵画を学んだ。1888年にポン＝タヴァンに移り、最終的には近傍の港町、ル・プリュドゥ(Le Pouldu)に住んだ。ポン＝タヴァンでは、ポール・ゴーギャンと知り合い、ポール・セリュジエ、シャルル・ラヴァルといった画家と「ポン＝タヴァン派」として活動した。またセリュジエを中心とする「ナビ派」の画家たちとも活動した。パトロンのアントワーヌ・ド・ラ・ロシュフコーから定期的な援助を受け取っていた。パリのアンデパンダン展や画廊「Le Barc de Boutteville」のナビ派の展覧会、象徴派の展覧会である「薔薇十字サロン」（Salon de la Rose + Croix）などに出展した。
最初、「ポスト印象派」の画家、エミール・ベルナールに影響を受けたスタイルであったが、より単純化された構成の独自なスタイルに変わり、「象徴主義」の画家とされることもある。
「ポン＝タヴァン派」は1895年にゴーギャンがタヒチへ出発した後、活動が低調となり、フィリジェの画家としての成功にも陰りが訪れた。パトロンのロシュフコーからの支援が打ち切られ、生活に窮し、アルコールと薬物に溺れ、友人の画家とも会うことのない暮らしとなった。ブルターニュの宿を転々とし、アルコール依存症の治療のため病院に入院した後、1928年にブレストで没した。
1948年に文学者でシュルレアリストのアンドレ・ブルトンによって、「再発見」された。ブルトンはフィリジェを'avant la lettre'の（シュルレアリストという言葉が生まれる前の）シュルレアリストだと評価した。
