大同江を望むこの地に最初に亭閣が建てられたのは高麗時代の1111年で、当時は山水亭と名づけられた。幾度かの再建を経ており、現存するものは1670年に建てられたものである。
高麗の高名な詩人金黄元が、ここから望む風景の美しさを詠おうとして終日詩を練ったものの、納得のいく作品を完成させることができず、ついに泣きながら去ったという逸話が残されている。文禄の役(壬辰倭乱)の折には、練光亭で小西行長と沈惟敬が会見をした。1609年、使臣として訪れた明の書画家・朱之蕃が練光亭からの景観に感銘し、「天下第一江山」と揮毫した懸板を練光亭に掲げた。