山梨県初狩村（現大月市）において、酒造業を営む小林亀麿、ふくの二男として生まれる。二男であるが、兄が早逝したので実質的には長男として育つ。
父亀麿は、初狩村の村長や、北都留郡議会、山梨県議会で議員をつとめ、都留電燈会社（後に東京電力に統合）の社長をつとめた地元の実力者であった。
小林は、山梨県立都留中学校（現・山梨県立都留高等学校）を経て、1931年、慶應義塾大学法学部政治学科を卒業し、甲州財閥の縁で、東武鉄道に入社した。
1937年、東武鉄道を退社し、父が関わった都留電燈の取締役に転じるも、翌1938年には再び上京し、京王電気軌道に入った。同社への入社は、この年に小林の係累である甲州財閥の穴水熊雄が京王に資本参加していることが関係していると思われる。京王での初任配属は、駅員であったが、小林は楽しんで仕事に励んだという。
1944年、京王電気軌道は、東京急行電鉄（東急）に合併し、小林は、東急の京王支社庶務課長となる。戦後の1948年、東急から京王帝都電鉄が分離独立すると、小林は新会社の労働課長として、悪化していた労使関係の改善に努めた。
1949年に取締役となり、1953年には自動車部長を委嘱される。1957年に常務取締役、1963年に専務取締役、1967年に取締役副社長を歴任し、1969年、井上定雄社長の後任として、第3代取締役社長に就任した。前任の井上社長は、当時、東洋最大のホテルといわれた京王プラザホテルを建て、「西新宿を創った男」の異名をとった。井上とともに、ホテル建設に情熱を注いだのが、副社長の小林であった。
社長在任中は、多摩ニュータウンの開発に伴う相模原線の建設を推進した。相模原線の建設にあたっては、開発主体である東京都庁が、ニュータウン域内での民間資本による開発を禁じたため、ニュータウンに乗り入れる京王、小田急は、土地の先行取得ができず、新線開業後も建設費回収の目処が立たない状況であった。つまり、鉄道事業者は、運賃収入だけで開発利益を見込めない。営利企業である私鉄にとっては、まさにボランティアに近い事業でしかなかった。結局、新線の建設費には、公費が投入されることになったが（日本鉄道建設公団による敷設P線方式）、小林は住民の利便を第一に考え、出来る限り当局に協力する姿勢を示した。このときの京王の対応について、鉄道アナリストの広岡友紀は、著書『京王電鉄』（毎日新聞社）の中で、「紳士的」、「ずるさがない」と好意的に評している。
1975年、小林は、社長職を井上正忠副社長に譲り、取締役会長に就任。その後、間もなく辞任し、相談役となった。ほかに京王グループ各社、東急車輛製造、東急レクリエーション、関東バス、よみうりランドなどの取締役や、関東鉄道協会会長も務めた。
1989年6月27日、慢性呼吸不全のため東京都新宿区の病院で死去。82歳没[1]。
