張家は西晋の名臣として知られる張華を祖に持つとされ、名門貴族の家柄であった。高祖父の張嘉貞は玄宗のとき中書令に任じられ、曾祖父の張延賞は徳宗のとき、祖父の張弘靖は憲宗のとき、それぞれ唐朝の宰相となっていることから「三相張家」と称揚された。また張家は「芸術の世家」といわれ、文芸・芸術を好み、一族の多くが書を得意とし、さらに音楽にも通じたものが現れた（『法書要録』）。父は殿中侍御史の張文規。
張嘉貞より代々書画の収集に傾注し、朝廷の収蔵に匹敵するコレクションを蓄えていた。しかし、宦官の魏弘簡の嫉みから、誣告を受けてしまいコレクションの大半を朝廷に没収される。さらには、朱克融の乱（828年）にあって残されたコレクションのほとんどを亡失してしまう。彦遠は先祖から伝わった書画のコレクションを失ったことを生涯にわたり悔やみ、哀惜の念が深かった。この痛恨の思いは彦遠を書画の収集に熱中させ、やがては中国美術史上の画期的な著述『歴代名画記』が誕生する原動力となった。
彦遠の生きた晩唐の時代には科挙制度が浸透して新興勢力が台頭しつつあり、六朝時代からの貴族社会はすでに斜陽を迎えていた。
官僚経歴は、30歳頃に低級官吏からスタートし、舒州の地方官に経て、大中元年（847年）に尚書省祠部員外郎を歴任し、僖宗のときに大理卿に昇った。この間に国史である『続唐暦』の編纂に加わっている。典籍・歴史・故実・卜占・医薬・天文・仏道に詳しく博学多才であった。また幼い頃より文芸の気風溢れる家庭で過したことから、書画に造詣が深く高い鑑識眼を得ていたとされる。
