役人の家庭に生まれる。1897年（光緒23年）に秀才となった後、英語・日本語を学び、翻訳業に携わった。
1906年（光緒32年）、杭州東文学校を経て日本に留学し、1908年（光緒34年・明治42年）に早稲田大学大学部政治経済学科を卒業、学士を取得した[1]。この時期に福建同郷会会長をつとめている。なお、中野正剛・風見章とは同じ班で学んだ。この他にも、張謇・岑春煊・湯化竜・孫洪伊・劉崇佑・徐仏蘇・楊度・宋教仁に加え、犬養毅・尾崎行雄とも交流している。
1909年（宣統元年）に帰国する。福建官立法政学堂教務長兼咨議局書記長に就任した。まもなく、上海で開催された各省咨議局会議に出席し、国会請願同志会書記に推薦された。
1911年（宣統3年）の辛亥革命では、4月27日の黄花崗起義において慶応義塾大学哲学科の学生だった従弟の林覚民が黄花崗七十二烈士として壮絶な死を遂げた。その直後から革命活動に身を投じ、南京で開催された各省都督府代表会議に林長民は福建代表として参加。孫文（孫中山）が中華民国臨時大総統に選出されると、林長民は内務部参事に就任。中華民国臨時約法の作成に参加した。
1912年（民国元年）1月、林長民は張謇・程徳全らと統一党を組織し、その幹事となった。5月に共和党が結成されると、ここでも幹事をつとめている。翌年、衆議院議員に選出され、5月には進歩党の政務部部長となった。
衆議院では秘書長兼憲法起草委員をつとめ、天壇憲法の制定に関わっている。北京での活動の一方で、福建私立法政学校校長の任にも就いた。1914年（民国3年）に政事堂参議に任じられ、5月には、参政院代理秘書長となった。1915年（民国4年）、法制局局長となったが、まもなく辞任している。
1917年（民国6年）7月、段祺瑞内閣の司法総長に任命されたが、同年11月の汪大燮臨時内閣を経て辞任した。翌1918年（民国7年）、総統府外交委員会委員兼事務主任をつとめる。1919年（民国8年）には、国際連盟同志会理事となった。この時に林長民は、パリ講和会議における山東利権回収交渉不調を見て、北京の『晨報』で列強を批判する文を載せた。これは五四運動のきっかけの一つにもなっている。
その翌年に、林長民はロンドンに赴き、梁啓超・汪大燮らと講学社を組織した。1921年（民国10年）5月、国際連盟同志会首席代表に推され、イタリアのミラノで開催された国際連盟の会議で演説を発表している。
同年10月に帰国し、1922年（民国11年）の（第2次回復）国会で衆議院議員に再選され、憲法起草委員会委員に補選された。しかし、翌1923年（民国12年）の曹錕賄選に反発して上海へ逃れた。1924年（民国13年）、福建私立法政学院を改組した福建大学（現福建師範大学）で校長に就任する。また、『日本人に告ぐ』（原題：『敬告日本人』）という書を公表し、日本の対中政策を批判した。その翌年には、段祺瑞の執政政府でやはり憲法起草委員会委員を務めている。
同年11月、奉天派の軍人郭松齢が、奉天派指導者の張作霖に対して兵変を起こした。この時に郭松齢は、林長民を秘書長として招聘し、林長民もこれに応じて随従を承諾した。しかし、郭松齢は張作霖の反撃に遭って敗北してしまう。12月24日、林長民もまた奉天省新民県小蘇家屯で乱戦に巻き込まれ、流れ弾を受けて戦死した。享年50（満49歳）。
中華民国奉天省新民県小蘇家屯.svg){kind=small}
清福建省福州府閩県三坊七巷（現・福州市鼓楼区）