梁山泊のあった場所（現在の山東省西部）は、黄河によって形成された海抜ゼロメートル以下の内陸低地であり、一帯は古くから黄河の氾濫が繰り返されることによって無数の水路と沼沢が生まれた。特に五代十国時代の944年の黄河の氾濫のとき堤防が決壊して河水が流れ込み、この地には大沼沢が生まれた。梁山泊の名があらわれるのは五代から北宋の頃で、近くに梁山という名の山があったことから梁山泊と呼ばれた。
梁山泊の上流にあたる現在の河南省東部では黄河の大氾濫が北宋の時代にも1019年、1077年と相次ぎ、梁山泊はさらに規模を大きくした。やがて11世紀の末頃から、水路とかつては小丘陵だった島が入り組んだ梁山泊は盗賊や政府に反抗する者たちの巣窟となり、宋王朝を大いに悩ませた。
北宋にかわってこの地を支配した金の時代の1194年には黄河の大氾濫が起こって河はこの地域で南北に分かれ、山東半島の南、淮河の方面に流れる南流が1855年まで700年にわたって本流となるが、その当初は黄河は梁山泊に注いで分かれていたという。その後、頻繁な河道の変遷を経てやがて干上がり始め消失した。
梁山泊近辺に横行した反抗者の中でも、北宋末期の12世紀初頭に河北で蜂起し山東一帯で10郡を制圧した宋江の反乱軍は猛威をふるった。14世紀の元の時代に編纂された『宋史』侯蒙伝には、「宋江 京東に寇す」「（宋）江 三十六人を以（ひきい）て斉・魏に横行し、官軍 数万なるも敢えて抗する者無し」とある。まもなく宋江の反乱は鎮圧されるが、やがてこの史実をもとに、梁山泊に宋江以下36人の好漢たちが立てこもる物語が生み出され、明の初め頃に、梁山泊に集う108人の好漢を主人公とする小説『水滸伝』へとまとめられた。
現在の梁山泊は、沼沢の面影を全く残していないが、一帯は水泊梁山風景区と観光地化され、小説中の山塞を復元した施設がある。