あたかも中国古来の五岳のように、華南地方を除き、中国の各地に所在する四つの名山を総称して、このように呼んでいるが、その由来は、それぞれに異なっている。
五台山と峨眉山が文殊と普賢の聖地とされた起源は、南北朝時代以前に遡る。恐らくは、元より霊山として信仰されていた山を、文殊菩薩や普賢菩薩が住む仏教の霊山として、その聖性を鼓吹したものが定着し、それが広く伝播して釈迦如来の両脇侍である文殊・普賢が中国の霊山に今も住している、という信仰になったものと考えられる。
対して、九華山と普陀山の場合は、唐五代の実在の僧、しかも、新羅僧と日本の入唐僧に由来する聖地であり、前二者とは由来が異なっており、その起源も、地蔵と慧萼という僧の生きた時代とはっきりしている。ただ、九華山の方は、実在の地蔵という僧が、実は地蔵菩薩の化身であり、その地蔵がこの山で入定したことが信仰の起源になったのに対し、普陀山の方は、慧萼が日本に招来しようとした観音菩薩像の方に、実は生身の観音菩薩であったという聖性が認められており、その菩薩が去ることを拒んだ、という故事が起因となって、観音霊場になった、という違いがある。