八橋郡退休寺は前述したように敦忠が正平12年/延文2年（1357年）に建立した寺であるが、『伯耆民諺記』の退休寺の条には建立に関しての伝承が載せられている。それによると箆津豊後守には愛妻がいたが病によって死別してしまったという。亡き妻を想う敦忠は連日悪夢に悩まされ続け、伯州を行脚していた高僧源翁和尚に依頼して供養を行ってもらった。代わりに敦忠は退休寺を建立、すると悩まされ続けていた悪夢がぴたりと止んだという話である。伝承であるため事実かどうかは定かではないが、敦忠は現在、退休寺において妻と共に祀られている。