狩野介と同じ一族のうち、北条家当主に近侍する系統の出身と思われる。
弘治元年(1555年)に史料から確認されており、この時期に石巻家貞と共に評定衆を務めており、北条家の評定衆は御馬廻衆のうちで家老となった者から選出されるため、泰光もその立場にあったと思われる。
『北条氏所領役帳』には御馬廻衆として513貫430文の知行高が記されている。
永禄11年(1568年)2月までは評定衆としての活動が確認されるが、永禄12年11月までの間に出家して狩野一庵宗円を名乗り、北条氏照の家老へと転身した。主に奏者として氏照支配下の国人衆との連絡役を務めたり、八王子城や滝山城の留守居役などを任されている。