日向国臼杵郡出身の僧・明窓和尚が能登国定光寺の実峯和尚からの教えを受け、至徳2年（1385年）伝法の僧衣を頂き薩摩国へと降った。明窓和尚は薩摩で永源寺、大明寺、泉徳寺を、更に故郷に戻り安居寺を建立した後、北原氏の治める真幸院飯野（えびの市）を訪ねたのであるが、その地で北原5代当主の北原範兼の庇護の元、建立されたのが長善寺である。
本尊は弥勒菩薩の座像で、曹洞宗大本山である總持寺の末寺に当たる。しかしながら、長善寺そのものが北原範兼の元で発展を続け、100町の寺領を寄贈され、更に50に及ぶ末寺を持つに至り、周辺に於ける影響力は絶大となった。なお、大本山の制度に則り、末寺のうち「竜昌院（後の宗江院）」、「清涼院」、「徳泉寺」、「昌明寺」、「大円寺」の五つの寺を輪番寺とし、それらの住職が交代で長善寺の住職を務めた。
北原氏の庇護下にあり続けた為、伊東義祐による北原氏の家督介入にも影響を及ぼされる。永禄4年（1561年：永禄6年説あり）10月24日、長善寺にいた北原狩野介ら伊東氏の家督介入に反対の者達を、伊東右衛門、長倉勘解由らが攻め討ち取っている。
その後、真幸院から伊東の勢力を駆逐した島津氏の庇護下に入ると、島津義弘より400石の寺領を寄贈され影響力を持続させた。だが、天正年間に行われた寺社領整備に伴い、禄高は低下することとなった。
文禄3年（1594年）に火災に見舞われる。当時の住職である喜雲和尚の尽力により復旧がなされたものの、それから20年足らずの慶長17年（1612年）に再び火災が発生し、建物や旧記録、宝物などが焼失した。天保年間の再建により仁王門、鐘楼などが造られ、大伽藍へと造成されたが、明治元年（1868年）の廃仏毀釈により廃寺となり、明治3年（1870年）に撤去された。