相模国の有力武士・波多野氏の一族である広沢実方の子。波多野一族は治承・寿永の乱で源頼朝に従った者と反抗した者に分かれたが、広沢氏は前者に属した。文治元年（1185年）実高は鎌倉の勝長寿院落成供養に叔父の波多野忠綱らとともに随兵として参列しているのが見える。建久元年（1190年）頼朝の上洛に父とともに随行。
建暦元年（1211年）所領の備後国で賊徒が蜂起したため、討伐のために現地に下向した。建暦3年（1213年）5月、鎌倉で和田合戦が発生する。和田義盛は侍所別当の地位を利用して将軍実朝の命と称して備後の実高に征矢尻100腰を催促したため、実朝の命と信じた実高はその通りに和田氏方へ送り届けた。そのため和田合戦の終息後に実高が和田氏に通じていたとの讒言が起き、在京御家人に実高討伐の命すら下された。そんな中6月に実高は鎌倉に帰参する。従兄弟の波多野経朝を始めとする波多野一門が御所に出頭して実方を弁護し、和田義盛からの催促の書状も証拠に採用されたため疑いは解かれ、同年8月の実朝の新御所移徙に従者として従っている。