永禄12年（1569年）、兄の氏興が主君の今川氏真から離反し、徳川家康に内通するとそれに従った。
天正2年（1574年）の第一次高天神城の戦いの際、高天神城への援軍要請のため浜松城主の家康の元に人質として供出された。
致仕後は出家して善宗と号した。墓碑によれば寛永8年（1631年）3月16日に91歳で死去したとするが、慶長9年（1604年）に死去した孫・良忠（義時の子）の没年齢が53歳で、逆算すると天文21年（1552年）に生まれたことになるが、それでは清広が12歳の時に生まれた孫となるため、清広の没年に疑義があるとされる（寛永8年（1631年）は、墓碑を再建した年の可能性もあり）。また、義頼を兄、清広を弟とする系譜もある。
慶長8年（1603年）、孫の良忠が徳川頼宣に附属し、子孫は代々紀州徳川家の家臣となった。頼宣が紀州に移される前、駿河国駿府城主として遠江も支配下としていたことから、紀州藩には遠江国系の家臣が多い。高天神小笠原氏の当主であったとされる義頼の子の小笠原義信も、紀州徳川氏に仕えている。