文治元年（1185年）に源頼朝の重臣の加藤景廉が遠山荘地頭に赴任し、景廉の子の景朝は地名をとって遠山氏と改姓した。これが美濃国の遠山氏の祖である。
遠山氏は本家の岩村遠山氏の他にも遠山荘内の各地に分家し、戦国時代末期には居城ごとに（安木・苗木・明知・飯羽間・串原・明照）に分かれており七遠山(遠山七頭)と呼ばれた。
遠山氏二代目で岩村遠山氏初代の遠山景員の三男の遠山景賢(三郎左衛門)が安木遠山氏の初代という（恵那叢書）。
景賢（三郎左衛門）→景経（左衛門太郎）→景高（太郎）→景平（式部又太郎）と続いたという（蓬左文庫 加藤遠山系図）。
永享3年（1431年）の『永享以来御番帳』・文安元年（1444年）の『交安年中御番帳』と長享元年（1487年）の『常徳院殿』の全てに遠山安木孫太郎の名が見える。
長享元年（1487年）と延徳3年（1491年）に長享・延徳の乱が勃発した際に将軍足利義尚方として土岐政房と共に三番衆として、遠山安岐孫次郎の名が記されている。
元亀元年（1570年）12月には、明知遠山氏・苗木遠山氏・串原遠山氏・飯羽間遠山氏と共に、安城遠山某が武田氏の侵攻に抵抗し[1]、武田家重臣の秋山虎繁と戦っている（上村合戦）。
遠山譜によると、遠山某については安木遠山三郎左衛門と記述されている。
天正2年（1574年）武田勝頼の軍勢が東濃に侵攻した際に、阿木城と、阿木村の龍泉寺・大禅寺が 焼討され滅亡した。その後、安木遠山氏の記録は無いため、この時に滅亡したとみられる。
武田氏の東濃侵攻を記した『甲陽軍鑑』に安木の名は見当たらないが、ふったという地名が記載されており[2]、『巖邑府誌』ではこれを安木とする[3]。