若い頃から書物を読んで法家の思想に通じており、智謀もあって安徽では長者として名が通っていた。至正14年（1354年）、朱元璋率いる紅巾軍が安徽に攻め入ったとき、儒服を着て朱元璋に目通りした。
朱元璋「四方で戦闘が行われているが、何時になったら混乱は治まると思われるか」。
李善長は答えた。
李善長「秦の世の中が乱れた時、漢の高祖劉邦は平民より身を起こしました。大きな度量で人材を抜擢し、殺人を好まなかったため、五年にして帝業を成し遂げることができました。いま元朝の政治は乱れ、天下は瓦解の寸前にあります。公は濠州のお生まれですが、濠州は高祖の生まれた沛（江蘇省）にほど近く、そこには山川の王気が立ち籠めております。公こそそれをお受けになる方であります。高祖のやり方を手本といたしますならば、苦も無く天下を平定できましょう」。
この言葉を気に入った朱元璋は、その場で李善長を掌書記に任命し機密に参与させることにした。これ以後李善長は朱元璋の参謀として、武将間の意見の調停や有能な人材の抜擢に努めるなど朱元璋の王朝成立までの覇業を支えた。
明王朝成立後は筆頭功臣として、明王朝の財政・行政の整備に全力を尽くし、その功績により中書左丞相となり韓国公に封じられた。だが、洪武13年（1380年）、李善長が洪武帝（朱元璋）に推挙して、姻戚関係をもった胡惟庸が胡惟庸の獄のために殺されると、その連座として罪を問われることとなり、李善長は失脚してしまった。
そして洪武23年（1390年）、洪武帝からその時の連座の罪状を再び問われて、親族を処刑させられて自身も強制的に自害させられた（李善長の獄）。享年77。これも洪武帝の功臣の粛清の一つである。
『元史』『祀訓録』などを監修した。
