古賀政男・藤山一郎の代表曲としての認知度にとどまらず、昭和流行歌の傑作との呼び声が高い[2]。メロディーは殆ど『美しき天然』(作曲：田中穂積）のものを流用している。
本作には作曲家古賀政男の人生の苦悩・絶望からの魂の叫びが込められている[3]。
昭和初期、モダニズムの翳ともいうべき暗い世相が日本に蔓延していた。1928年の夏、古賀は悲恋などが原因で青根温泉（川崎町）で自殺を図った[3][4]。そのときに蔵王にかかった夕焼けを見て『影を慕いて』の一片の詩が浮かんだ[4]。
大学卒業直後の1929年（昭和4年）6月、明治大学マンドリン倶楽部の定期演奏会でギター合奏曲として発表。演奏会にゲストで出演していた当時の人気歌手佐藤千夜子が流行歌にすることを古賀に勧めた。その年の秋、アンドレス・セゴビアの演奏に感銘し触発された古賀は『影を慕いて』の完成を急ぐ。佐藤が『影を慕いて』を1930年（昭和5年）10月日本ビクターで明大マンドリン倶楽部の伴奏でレコーディングし、翌年1月[5]『日本橋から』（作詞：浜田広介、作曲：古賀政男）のB面として発売されたが、このレコードはあまり売れなかった[6]。このレコードを浅草・鳥越の斉藤楽器店で発見した人物が、日本コロムビアレコードの営業マン伊藤正憲だった。
1931年頃にデビューした正体不明の流行歌手藤山一郎に歌わせる予定であったが、藤山が正体を告発されたことから停学とレコードの吹き込み禁止処分が下されてしまう。しかし、藤山が学校側に「録音済み」と虚偽のリスト提出をして発売に漕ぎつけた。
1932年（昭和7年）3月新譜で日本コロムビアから改めて藤山一郎の歌唱によって発売された。藤山が古賀の芸術を開花させたという大きな功績を残した。
その後もこの曲は、美空ひばり、森進一など多くの歌手によって歌われ続けた。