優れた常緑広葉樹林などがあり、1979年（昭和54年）3月30日に大分県霊山自然環境保全地域に指定されている（面積2.8ha）[1]。大分市が2006年に実施した「私が選ぶおおいた100景」のアンケートでは、霊山からの市街地の眺望が2位に入っている[2]。
中腹にある飛来山霊山寺は天台宗の寺院で、九州西国霊場の第八番。九六位山の円通寺、神角寺山の神角寺とともに豊後の三大寺院と称される[3]。708年に地元の豪族が夢のお告げにより山中で十一面観音像を発見し、草堂に安置したのが起源であり、その後、中国の那伽法師が伽藍を建立し、山容がインドの霊鷲山に似ていたことから飛来山霊山寺と名付けた。このため、それまで稙田山と呼ばれていたこの山は霊山と呼ばれるようになった。
また、この山の中腹には、1972年11月に大分市の青少年向けの研修施設である大分市霊山青年の家が開設され、市民に利用されてきたが、老朽化、利用者減に加え、2004年の台風の被害により水源確保が困難になったために、2006年3月末に廃止された[4]。
校歌で霊山を歌っている学校
地元のいくつかの学校の校歌では歌詞に霊山がでてくる。
