1276年に元軍が南宋に侵攻し、首都臨安は陥落、南宋の恭帝は降伏して俘虜となった。これにより南宋は事実上滅亡した。
しかし、文天祥・陸秀夫・張世傑らは皇族とともに南方に落ち延び、元に対する抵抗運動を展開した。彼らは恭帝の兄の端宗を、その病死後はその弟の衛王を皇帝に立てたが、福建から広東と南へと追い詰められた末、1279年の崖山の戦いで敗北し、南宋は名実ともに滅亡した。
九龍湾に面した標高35メートルほどの小高い山は、その抵抗運動のさなかに端宗と衛王が休息を取った場所と言われるようになり、誰からともなく「聖山」「宋王台」と呼ばれるようになった。
後年、石碑が建てられ、歴史の犠牲になった2人の幼君を偲ぶ場所として知られるようになった。現在ある石碑は「清嘉慶丁卯重修」とあり、1807年に再建されたものである。
香港が英国の植民地になってから、周辺が採石場となったが、住民の請求によって宋王台の保全が唱えられ、1896年に「宋王台条例」が制定され史跡となった。第二次世界大戦で香港を占領した日本軍は、1942年に啓徳空港の拡張工事のため、石碑のある小山を破壊したが、工事の完成前に終戦を迎え、宋王台は石碑のみ残された。
大戦後にも、英国の香港総督府が空港の拡張計画を止めなかったため、宋王台の石碑は馬頭囲の宋王台花園（1960年開園）に移設された。このときに石碑は元来の3分の1の大きさにまで縮小していた。
香港国際空港がランタオ島に開港し、啓徳空港が廃港になって以後、宋王台石碑を当初の場所に戻す計画も取りざたされている。
