慶長15年（1610年）、三条西実条の五男として三条西殿において誕生。
2歳のとき、母方の従兄である堀尾忠晴の養子となり、出雲国へ行く。5歳のとき、叔母の長松院とともに証人（人質）となるため江戸へ下向。堀尾山城守江戸屋敷に住居する。
忠晴の死後、24歳のとき帰京。西村と号する。42歳のとき、再び江戸に下向。
万治4年（1662年）、52歳のとき江戸の旅宿にて死去。堀尾右京泰長改め、堀尾右京公紀（藤原公紀）として京都の盧山寺に葬られた。なぜ松江藩は無嗣断絶となったのか？幼い子供達を京の都に残しての二度目の江戸への下向は何をするためだったのか？など、非常に謎の多い人物である。
2歳で父と別離した泰長の息子押小路公音は、父親の容貌を覚えていないことを終生悲嘆している。