霧峰林家の祖籍は漳州平和県五寨郷埔坪村で、1746年に台湾に渡ってきた。初代の林石は1786年に林爽文の反乱に参加している。林石の孫の林甲寅のときに阿罩霧(今の台中市霧峰区)に移住し、家族経営を開始した。
林甲寅の孫の林文察は小刀会の反乱、太平天国の乱、戴潮春の乱の鎮圧に活躍し、総兵の地位を得て、霧峰林家は大きく発展した。
1884年、林文察の子の林朝棟が郷勇2千人を率いて清仏戦争で功績を建て、官職を得た。林朝棟はその後、施九緞の反乱の鎮圧にも活躍している。こうして霧峰林家は1890年代は樟脳販売の独占権を得るなどして、大きな利益を得ていた。しかし日清戦争後に台湾が日本領となると、林朝棟は台湾民主国に参加し、日本軍に敗北して福建省に逃れ、上海で客死した。
1900年代、林朝棟の子の林資鏗の代になると、林家の資産の大部分は日本に接収された。1915年、林資鏗は大陸に渡り孫文の中華革命党に参加し、1921年には大元帥府の武官となった。しかし彼は1925年に軍閥のために暗殺され、霧峰林家で政治・軍事に関わった最後の人物となった。
林文察の従兄弟で挙人の林文欽(中国語版)とその子の林献堂は文学・演劇・美術を愛好し、以後霧峰林家は文芸で知られるようになる。林文欽は萊園という庭園を建設し、林献堂は郷紳たちとともに台中一中を建設したことで知られている。