宝亀10年（779年）従五位下・造東大寺次官に叙任され、翌宝亀11年（780年）因幡介に遷る。
天応元年（781年）桓武天皇が即位すると、春宮亮に任ぜられ、春宮・早良親王に仕える。延暦3年（784年）従五位上に昇叙される。延暦4年（785年）9月に藤原種継暗殺事件が発生すると、直前まで春宮大夫を務めていた故・大伴家持や東宮学士・林稲麻呂ら他の春宮坊の官人と共に連座して、白麻呂は隠岐国への流罪となる。
没年は不明だが、延暦25年（806年）桓武天皇が重態となる中で恩赦があり、藤原種継暗殺事件で罰せられた者に対する復位がおこなわれ、白麻呂は正五位上の贈位を受けている。