平安時代の京都に、浅茅という琴の名手がおり、左大臣の子息の通麿という若者に見初められるが、身分の違いで仲は許されず、駆け落ちする。
二人は有馬温泉で幸せに暮らし子供も生まれるが、通麿が病死してしまう。
悲しみに暮れた浅茅は、致し方なく両親の許へ帰るため、赤子を胸に有馬街道を降ったが、蓬萊峡あたりで赤子までもが急死。
全ての希望を失った浅茅はこの山に登り、生者必滅の曲を奏でながら死んでいった。
それから、夜になると山からは悲しげな琴の音が、谷からは赤子の泣き声が聞こえるようになり、人々は山を「琴鳴山」、谷を「赤子谷」と呼ぶようになったという。