揚州は漢代より塩業が発達したが、隋の煬帝による大規模な土木事業によって運河が開かれると南北の水運交通の要衝となり、唐代には目覚ましい商業的発展がみられた。揚州商人の中でもことに塩商人は大きな利権を得て、その豪勢な生活ぶりは天下に知られた。宋代には一時杭州にその地位を奪われるが、明代中期には再び奪還し、明末には唐代を凌ぐ繁栄をみせた。明滅亡後、揚州においても清軍による大虐殺が行われ一旦は廃墟となったが、その後急速な復興を果たし乾隆期には絶頂期を迎えた。
揚州の塩商人や織物商人はその巨万の富をもって積極的に文化・芸術のパトロン的な役割を担い競って楼閣庭園を築き書画を多く求めた。このため全国各地から文人墨客が雲集し揚州は絢爛たる学芸都市となっていった。揚州二馬と称される馬氏兄弟は塩商人の代表格で小玲瓏山館は文人のサロンとして全国に名を知られた。この他にも徐氏や汪棣などのところにも多くの文人・学者が寄寓している。
揚州八怪もこのような揚州商人の庇護を受けてその芸術を開花させた。彼らは皆、伝統的な教養をもった正統な文人であり、画のみならず詩や書にも巧みであった。八怪の画法は当時正統とされた四王呉惲の水墨画の画法とは異なり、逸格の水墨画の流れを汲む。輪郭線を基本とせず、墨の面的な使用を特徴とする技法であり、この流れは宋末の牧谿にまで遡り、明代の沈周・陳淳・徐渭、清初の八大山人・石濤と続き、八怪になると彩色にも応用された。八怪の怪とは、当時の伝統的画法に比べて奇異であるとともになおかつ優れている点にあり、また彼らが高潔を重んじる文人でありながら近代的な職業画家として活動したことも含んでいると思われる。
八怪の呼称は清末の光緒年間に出版された李玉棻の『甌鉢羅室書画過目録』（1897年）が初見で、羅聘・李方膺・李鱓・金農・黄慎・鄭燮・高翔・汪士慎の八人が記述されている。同じく光緒年間に出版された汪鋆の『揚州画苑録』では、「怪以八名」として、李勉を加えている。その後、近代になって黄賓虹は『古画微』で、黄慎を削り辺寿民・陳撰・華嵒を加え、陳衡恪は『中国絵画史』において閔貞を加えている。
