Dans la plupart de la littérature jusqu'à la période Edo, il est décrit comme ayant une rivalité avec Abe no Seimei (considéré comme le fondateur de l'onmyōdō), étant le « mauvais Dōman » (悪の道満, Aku no Dōman?), homologue du « Seimei de la justice » (正義の晴明, Seigi no Seimei?). Il avait un pouvoir de jujutsu (faisant référence au lancement de sorts, écrit 呪術) en rien inférieur à celui de Seimei. Il essayait souvent d'embarrasser Seimei afin qu'il puisse usurper sa position. Une histoire remarquable impliquait Dōman et le jeune Seimei dans un duel divinatoire pour révéler le contenu d'une boîte particulière. Dōman a demandé à une autre personne de mettre quinze mandarines dans la boîte et "devina" qu'il y avait quinze oranges dedans. Seimei a compris la ruse, a métamorphosé les oranges en rats et a déclaré qu'il y avait quinze rats dans la boîte. Lorsque les rats furent révélés, Dōman fut choqué et vaincu.
Finalement vaincu par Seimei dans un combat utilisant des shikigami, Ashiya Dōman fut exilé dans la province de Harima. Alors qu'Abe no Seimei était un onmyōji employé par Fujiwara no Michinaga, Dōman était un onmyōji employé par Fujiwara no Akimitsu. Akimitsu avait une énorme rancune contre Fujiwara no Michinaga, parce que sa fille Enshi était l'épouse du prochain empereur du Japon, le prince Atsuakira, jusqu'à ce que le prince l'abandonne ainsi que leur fils pour épouser la fille de Michinaga. La légende dit que le désespoir a amené Enshi à tomber malade et à mourir, et Akimitsu a donc chargé Ashiya Dōman de jeter un sort à Michinaga. Une malédiction fit mourir rapidement toutes les filles de Michinaga, et les gens qui craignaient Akimitsu pour ce qu'ils supposaient être son pouvoir divin commencèrent à l'appeler « Ministre démoniaque de la gauche » (悪霊左府, Akuryō-safu?). Il y a également des allégations selon lesquelles un parent de Korechika, Takashina no Mitsuko, aurait tenté de jeter un sort à Michinaga et aurait été arrêté pour cela[2].
À mesure que la légende d'Abe no Seimei s'est répandue, la légende de Dōman s'est également répandue, et il reste de nombreux tumulus (kubizuka) présumés dans diverses régions du Japon. De plus, le temple Shoganji à Nishikankicho Kishi à Kakogawa préserve la légende d'Ashiya Dōman.
