当初は桓武天皇の第七皇子・賀陽親王の邸宅で、中御門南、堀川東にあった。その後所有者は転々とした。
保安元年（1021年）摂政 関白・藤原頼通は、この地を大いに気に入り、敷地を倍に広げて豪華な寝殿造の建物を造営した。『栄花物語』によれば寝殿の四方を池に囲まれたつくりだったといい、藤原実資の日記『小右記』にもその豪華絢爛なさまが描かれている。『駒競行幸絵巻』には万寿元年（1024年）に後一条天皇の行幸をあおいで催された競馬の模様が描かれている。
頼通はここを拠点に長期政権を運営したが、宇治平等院に引退した後は、その所有権は摂家当主に継承させるものの、邸宅自体は里内裏として提供することとした。これを受けて後冷泉天皇以後5代の天皇がここに居住し「累代の皇居」と呼ばれた。鳥羽上皇の皇后となった藤原泰子（頼通の曾孫にあたる摂政関白・藤原忠実の長女）に「高陽院」の女院号が与えられたのも、ここに居住していたことに由来する。
その後、長暦3年（1039年）、天喜2年（1054年）、承暦4年（1080年）、天永3年（1112年）に焼失したがその都度再建された。鎌倉時代に入ると後鳥羽上皇が院御所として院政の拠点とし、承久3年（1221年）に承久の乱につながる謀議を行ったのもこの高陽院だった。
承久の乱後の貞応2年（1223年）放火にあい焼亡、以後再建されることはなかった。今日では丸太町通堀川東入ルにあるマンションの一角にある「高陽院邸跡」の銘板がわずかにその名を留めている。