芳賀氏は清原氏の後裔。下野国の有力武士団・清党の棟梁で益子氏の紀党と共に紀清両党と呼ばれる。高秀の家系は芳賀高清を祖とする芳賀氏庶流。
宇都宮尚綱が当主で壬生綱房や芳賀高経が宇都宮家中で絶大な権力を奮うようになった頃の勝山城（氏家城）主であり、氏家地方の領主であったという。勝山城主の芳賀氏は、政治的な面では飛山城主の芳賀氏宗家と一線を画し、独自の立場を取っていた事が明らかにされている。
天文8年（1539年）に芳賀氏宗家の清党の棟梁・芳賀高経が宇都宮尚綱に誅殺された際、芳賀家臣は尚綱に背き内紛が発生したが、そのような深刻な状況下でも高秀は尚綱から信頼されており、緊密な関係を築いていた。
天文11年（1542年）の今宮神社の棟札に主君・尚綱の名前の隣に高秀の名前の記されている。