覇上が明確に文献上に現れるのは戦国時代後期からで、『史記』王翦列伝には「始皇自送至灞上」と記録されている。『漢書』高帝紀には「沛公軍霸上」とあり、沛公劉邦が率いる反乱軍が武関（中国語版）を突破して覇上に駐屯したことが記録されている。
秦末の蜂起では、紀元前206年に劉邦が大軍を率いて覇上に進駐し、秦王子嬰に降伏勧告を発すると、子嬰は降伏し、秦は滅亡した。漢王朝においては、史書に覇上に関する記録が頻繁に見られ、それは漢代以降も同様である。 中でも霸上での迎送がよく見られる。歴史上の数多くの戦例が示すように、覇上の得失は王朝の安危に極めて重要な意味を持っていた。
五代十国時代以降、政治・経済・交通の中心が東方に移るにつれて長安はその存在感を薄めていき、覇上の要衝としての重要性も低下していった。