江戸幕府旗本。元来の苗字は名児耶（なごや、寛永諸家系図伝では名児那（なごな））であったが、旗本になった代で岩佐氏に改姓している。かつての主君である高家今川氏家中にも名児耶氏がおり、これと通婚関係があった。また、一族に越後長岡藩に仕官した名児耶氏がいる。
寛永諸家系図伝および寛政重修諸家譜で初代扱いになっている名児耶時吉（伊豆守）は駿河国出身で、初め今川氏真に仕え、後に武田信玄及び武田勝頼に仕えた。後に出家して勝応斎と称する。
次代の吉助の代で年代不詳ながら岩佐氏に改姓。吉助は初め武田勝頼に仕えるが、武田氏は滅亡したので徳川家に属し、慶長3年（1598年）に徳川家康に仕えて200石の旗本となる。その次の吉勝（金左衛門）の代で、加増されて寛永10年（1633年）に常陸国信太郡のうちにおいて合計500石を知行したが、次の武清（初め吉正、善兵衛）が7歳で家督相続すると200石没収されて300石となった。
武清は摂津国多田院造営の奉行を寛文8年と寛文10年の2度務めたが、2度目に故あって閉門となり、後に許されて二条城守衛となる。
子孫は大番や新番を勤めたが、一方で享保9年（1724年）に地方知行の信太郡300石から蔵米知行300俵に切り替えられる。寛政3年（1791年）に当主の不行跡により、小普請に降格の上、出仕停止となり、寛政11年（1799年）に許される。
天保7年（1836年）将軍家慶の時代、近義が父岩佐摂津守御賄頭のおり山吹の間初出。
安政5年（1858年）摂津守は天璋院御用人となり、文久元年（1861年）には和宮御用人となる。文久2年（1862年）御持之頭次席、1200俵高に御足高。
7月御役御免、勤仕並寄合。文久４年（1864年）隠居。慶応元年（1865年）12月死去、義行が家督相続。布衣（6位の官位で儀式の時、無紋の狩衣を着用した。この下の者は素包を着用）を着用する事を許される。
