佐賀県神埼郡東脊振村（現・吉野ヶ里町）において、旧・佐賀藩士で地主（庄屋）小林利吉の六男として生まれる。旧制中学卒業後、鉄道院九州鉄道管理局（後の鉄道省門司鉄道局、日本国有鉄道門司鉄道管理局、現・九州旅客鉄道（JR九州））に入局。鉄道教習所を優等で卒業。中学時代から、テニスを嗜み、門司鉄道局庭球部の選手としても活躍した。
門司鉄道局では、後の内閣総理大臣佐藤栄作とは同僚の時期もあった。その後、累進して、現業長となり、諫早駅等の駅長を務め、昭和18年（1943年）、第23代門司港駅長に就任。
ときに、太平洋戦争による物資欠乏で、金属類回収令が公布されたが、門司港駅の駅舎を守るために、駅員に駅舎の真鍮製板張りの円柱を黒色ペンキで塗装するように命じ、カムフラージュを施した。そのため、真鍮製のその板は供出を免れたという。後世、ペンキが剥げた箇所から真鍮が露出したため、駅員がさらに磨いたところ、美しい真鍮が顕わとなり、駅員は当時の小林の機転と、駅舎を守る鉄道員魂に感服したという。
門司港駅の駅舎は後に国指定の重要文化財となり、現在は門司港レトロのメインスポットとして観光客に親しまれている。
昭和20年（1945年）門司港駅長を退任。戦後、退官し、佐賀県神埼町（現・神埼市）長選への出馬を要請されたが固辞している。昭和49年（1974年）、福岡県八女市で死去した。