2001年12月、美術大学の軽音楽同好会内で、ウエノが金井、カナを誘い結成。2002年4月にサークルの新入生歓迎イベントにて初ライブを行う。その際に披露した4曲を収録した自主制作の1stデモシングル「くるる」を、同年12月から約1年かけて、都内ライブ会場にて200枚無料配布する。2003年4月には高円寺GEARにて共同主催イベント「BACK TO SCHOOL」を開催し、毎回100人以上の観客を動員する。2004年1月に、初のフルアルバムとなる「ゆ」を発表。ライブ会場限定の販売で、100枚が完売している。
2004年4月、金井が就職を機に脱退し、軽音楽同好会の後輩である菊池、村岡を迎え、新体制で始動する。同年11月にはキセル、つじあやの、THE BACK HORNなどが所属する事務所スピードスター・ミュージックの新レーベルspmdiscの主催するオーディションイベント「STAR'S NIGHT」に出演するが、CDデビュー権獲得は逃した。
2005年4月、菊池は会社設立のため、村岡は消防士の道を目指すために脱退。村岡脱退前のラストライブの際に、別のバンドを見に来ていたナカジーがゆやゆよんに加入することになり、現在のスリーピースの形となる。2ヶ月後には自主企画としてスリーマンイベント「ゆやゆよん×高速スパム×mothercoat」を開催。同年10月にはTV番組「ガッツだゼ！」(テレビ埼玉)に、2006年3月にはラジオ番組「Gateway Success radio」(かわさきFM)に出演している。
2006年6月、渋谷O-EASTにてイベンターwild gun crazyが主催するライブイベントに出演。その1ヶ月後に6曲入りミニアルバム「踊る阿呆」を発売。また、この頃から1年かけて自主企画イベント「×」を隔月開催する。その集大成として2007年4月に初のワンマンライブを企画。オープニングアクトでは、メンバーがそれぞれソロプロジェクトを企画し、カナはチンドンライブ、ナカジーはオーケストラ、ウエノはラップを発表した。同年10月には大坂で開催された大型ライブイベントMINAMI WHEELに出演している。
2008年1月からの半年は、6ヶ月連続新曲リリース企画として毎月シングルを発表。6種のシングルは特製の紙ジャケットで、サイコロの面がデザインされており、6枚を組み立ててサイコロを作ることができる。
