フュン島のアッセンズに商人の息子に生まれた。アッセンズでは同じ年に、彫刻家のイェンス・アドルフ・イアイコウ(Jens Adolf Jerichau) が生まれている。幼い頃から絵画の才能を示し、15歳でコペンハーゲンに出て、デンマーク王立美術院で学び、歴史画や肖像画をヨハン・ルートヴィッヒ・ルンドやクリストファー・エカスベアに学んだ後、風景画に転じ、クリステン・ケプケの指導を受けた。
当時の多くのデンマークの画家はドイツやイタリアに留学したが、ドライヤーは国外に出ることなくデンマーク各地の風景を描いた。1830年代から1840年代は同世代の画家、ヨハン・トマス・ロンビューやスコウゴー(Peter Christian Skovgaard)らと並んで、批評家のホイエン(Niels Lauritz Høyen)が推進した「ナショナル・ロマンティシズム」の動きを代表する画家の一人となった。その後、徐々にその運動からも離れ、毎年行われる、シャーロッテンボー宮殿の展覧会への出展もやめた。1848年にフュン島に戻りアッセンズ近くの村で暮らし36歳でチフスに罹り、死去した。