もともと河内国に在住した郎党で、後に常陸掾になった事から、天慶2年（939年）平将門が攻略した常陸国の官人の常陸介藤原維幾の下僚であったと思われ、どういう経緯でいつ頃に将門に組したかは不明である。後に将門の下で興世王らと共謀して独自に除目を発令し、自らは常陸介に任命されている事などから、将門の側近の実力者の一人であったと考えられている。
天慶3年（940年）1月下旬、平貞盛・藤原秀郷らが兵を集めているとの報を聞いた将門が2月1日に出陣した際には副将軍として後陣を任された。部下の多治経明と坂上遂高らは貞盛・秀郷らの軍を発見すると、将門に報告もせず攻撃を開始する。しかし軍略に通じた秀郷に返り討ちにされ、この玄茂らの軽挙により将門軍は後々の命運を決める手痛い敗北を喫してしまった。
同年2月14日の北山の決戦で将門が討ち死にすると、将門の勢力は一気に瓦解して首謀者は次々と討たれ、玄茂も逃亡先の相模国にて討たれた。
藤原玄茂や藤原玄明は、『将門記』に見える「奈何久慈両郡の藤氏」の一族であり、桓武平氏のように東国に留住していた藤原氏であった可能性が指摘されている[1]。