愛宕山の東の麓には、小さな円墳が2つ、愛宕下切通上古墳と大窪谷地古墳があった。北斜面と南東斜面には、7世紀に横穴墓が多数作られ、愛宕山横穴墓群という。急斜面の横から、岩を削って掘り込み、内部に1メートルから3メートルほどの空間を作り、次々に人を埋葬したものらしい。
中世まで、大窪谷地を通って当時は荒れ野だった今の仙台市都心部を通過する道がよく使われた。16世紀前半に経塚が築かれ、1931年（昭和6年）に発掘されて愛宕山経塚と呼ばれた。
江戸時代に愛宕神社が山上に建てられ、経ヶ峯から虚空蔵堂が移転してきた。愛宕山は奥州街道から外れていたが、嘉永5年（1852年）に立ち寄った吉田松陰など、仙台を訪れるついでに登る人も多かった[2]。ここから仙台の町が展望できたためである。現代の観光客は青葉山から仙台市街を見下ろすが、そこは仙台城本丸であるから、江戸時代に一般人が立ち寄ることはできなかった。
5月の端午の節句には、町に林立する幟旗を眺めるために登る人がいた[3]。仙台藩ではこの日に武家が幟を上げることを禁じていたので、幟は町人町にそって列をなした。茶店で売る土器の平皿を山上から広瀬川に向けて投げる遊びがあったが、川に届く前に落ちてしまうのが常であった[4]。
明治時代の鉄道唱歌の中では、有名な大和田建樹作詞の1900年（明治33年）「地理教育鉄道唱歌」第3集で「愛宕の山の木々青く、広瀬の川の水白し」と、同年の四釜仁通作詞「智育鉄道唱歌」第1集でも「眺も尽ぬ愛宕山、山郭公空高く」と歌われた[5]。「展望は市内第一」との評は、昭和に入っても変わらない[6]。
愛宕山は1934年（昭和9年）11月に、19.78ヘクタールをもって「愛宕風致地区」に指定された[7]。仙台の市街が拡大し、愛宕山の麓まで住宅が建てられると、斜面の横穴は民家の物置に使われた。第2次世界大戦中には、防空壕に転用されたものもあった。こうした転用で多くの遺物・遺骨が失われた。さらに後には、宅地造成のために壊されたものもあった。
1970年代に、広瀬河畔通りが建設され、愛宕山の東の尾根が削られた。1976年（昭和51年）には、愛宕大橋建設に伴う道路工事で愛宕山装飾横穴古墳が見つかり、緊急発掘の後、取り壊された。
