12人きょうだいの末っ子。小学生の頃から絵が得意で、16歳で池上秀畝の門下となるが、日本画家としてはふるわず、帝展に落選すること三度。また、山川秀峰に美人画を学ぶ。生活のために挿絵を始め、1933年に独立した。
まもなく新聞の挿絵を担当し、1934年、「キング」連載の江戸川乱歩「妖虫」の挿絵を担当していた岩田専太郎の急病で、代役に抜擢されたのが転機であった。これが菊池寛の目にとまり、菊池の「貞操問答」の挿絵を担当する。文壇の大家の挿絵を担当することができたのは、菊池の高い原稿料のために安い画料の画家が求められたからだという。
以後、岩田、志村立美とともに挿絵界の三羽烏と称された。過労のために結核をわずらい、入退院を繰り返し、小林の代わりに岩田が1ヶ月間、岩田の名前を出さずに描いたこともあるという。実際の活動期間は戦前の7年間ほどの短さであった。小林が描いた怪人二十面相の黒のシルクハット・アイマスク・マントという姿はそのまま定着した。
息子はモデルガンのボックスアートで知られた、イラストレーターの小林弘隆。その息子で秀恒の孫にあたる小林秀樹もイラストレーター。
門下に小松崎茂がいる。
