中学卒業と同時に上京後、幼少時から得意としていた民謡を武器にのど自慢あらしをしていた。その後マイナー・レーベルから歌手活動をしていた所を日本コロムビアの関係者に認められ、作曲家・船村徹のレッスンを受ける[1]。
1963年、船村が作曲を手掛けた『朝焼け太平洋』でデビュー。芸名の由来は、レッスン中の叱責にも動じることなく受け流す事から船村があきれて評した「たいした野郎だ」から大下八郎と命名された[1]。
1964年、コロムビアでの初吹込み曲『おんなの宿』を6作目のシングルとして発売しヒット。自身の代表曲となった[1]。