天徳4年（960年）正月に遠量は従五位上に叙せられたが、同時に伊尹・兼通・兼家・忠君ら兄弟も叙位を受ける。兄弟5人が同時に叙位を受けることは前代未聞であり、父の右大臣・藤原師輔は「若是栄華之極哉」と歓喜している[1]。その後、右馬頭を経て、康保4年（967年）には冷泉天皇の五位蔵人に補せられた。
備前守を経て、円融朝の天禄3年12月（973年2月）には昇殿を聴される。その後の除目で大蔵卿に任ぜられ、天禄4年（973年）3月の石清水八幡宮臨時祭では祭使を務めた。また、宮内卿も務めたという[要出典]。極位は従四位上であった。