この寺の始まりは、嘉吉3年(1443年)、足利義勝が寄進した土地に、劫庵寂永が田代谷に沿って登り、康正元年（1455年）5月8日、擂鉢状に開けた 和泉 字 外山 に草庵を結んで開基したのが始まりと伝わる。
由緒書によると、劫庵寂永は、静寂なこの地を好み、参禅などの修行を続けていたところ、近在の老婆が仏法の精神を願い、末永く居てほしいとの願いから飲食などの世話を続けた。そのため、劫庵寂永は、文明18年(1486年)9月28日に寂するまで、草庵に住した。
慶長9年（1604年）、土岐郡日吉村平岩の開元院の十世の傳室梵的によって草庵の場所に堂宇を創建し、洞雲寺と号した。
そのため、開元院の末寺であり、傳室梵的が開山となっている。
慶長11年（1606年）、田代山寺村は穀物不足のため年貢が上納できなくなり、百姓が全員逃散するという危機があったが乗り越えた。
傳室梵的は、さらに黒川村に向陽山 正法寺を開基し、坂ノ東村に石城山 廣通寺を開基して末寺とした。
また洞雲寺の二世の善中春良は、大利村に萬嶽山 臨川寺と、恵那郡加子母村に萬燈山 法禅寺を開基した。
黒川村の向陽山 正法寺は苗木藩領であったため、明治3年(1870年)の苗木藩の廃仏毀釈によって廃寺とされた。
当時の正法寺の住職であった鳳仙が、加子母村の法禅寺を通じて廃寺となった顛末を洞雲寺に報告しているが、副住職の全勇から洞雲寺への報告内容には、前住職の鳳仙とは縁を切り還俗して帰農したと報告している。その一方で正法寺の開山の傳室梵的の木造を、密かに洞雲寺に避難させて、廃仏毀釈が終焉すると、正法寺の跡地に開山堂を建てて傳室梵的の木造を戻して安置している。
江戸時代になると寺請制度により檀徒は、田代山寺・水戸野・和泉・小原・名倉・鷲原・葛牧・野原・若松・広野・宇都尾・油井の12箇村に及んでいたが、名倉・若松・広野・宇都尾・油井の5箇村は苗木藩領であったため、明治3年(1870年)に苗木藩の廃仏毀釈によって神道への改宗を強制されて檀徒から離れた。
昭和33年(1958年)4月に創建の地を離れ、白川沿いの現在の地に移転して全面改築した。
