名前の由来はこの峡谷のシンボルでもある乳岩山で、標高670メートルにも及ぶ岩山。この辺りは炭酸カルシウムを主成分とする鍾乳石が多く見られ、その鍾乳石が乳房に見える事から一帯を乳岩と呼ぶ。近くには洞窟が多く見られ、最大の乳岩洞窟は胎内くぐりを楽しむことができ、子安観音が祀られている。また、河床は平坦な一枚岩で形成され、表面が滑らかである。
これら一帯は天竜奥三河国定公園にも含まれる。その一方で、一帯は険しい岩山が多く鬼岩を中心として全国有数のフリークライミングのメッカとしても知られる。一帯の岩山は自然公園法、または文化財保護法によって保護されている。