神奈川県厚木市生まれ。厚木市立依知小学校、厚木市立依知中学校、神奈川県立中央農業高等学校、日本大学農獣医学部農工学科卒業。1972年、厚木市役所に入庁した[2]。
1991年8月、厚木市議会議員選挙に立候補し、初当選。2003年まで3期12年務める。2003年、神奈川県議会議員選挙に自由民主党公認で立候補し、当選。
2007年、県議を1期目の任期途中で辞職。前市長の山口巖雄の多選（4選）を阻止すべく、自民党を離党し、同年1月28日に行われた厚木市長選挙に無所属で立候補し「多選防止」を掲げ初当選[3]。山口前市長の行っていた継続中の政策を引継ぐ。
2011年の市長選挙では、元厚木市議会議長の石射正英を約8千票差で破り、再選。
2015年の市長選挙も石射との再戦となり、約4千票差まで迫られるものの、3選。同年12月、市長の任期を3期12年までとする多選自粛条例を制定[4]。
多選自粛条例を自ら制定した小林であるが、「やる仕事がまだいっぱいある」として2018年12月5日、4選出馬を表明し市長として初めて自ら制定した条例を無視した形で立候補[5]。2019年2月17日の市長選で、3度目の挑戦となる石射（自民党推薦）、元県議の佐藤知一（神奈川ネット推薦）らを破り4選した[6]。その後、多選自粛条例については「次の市長を縛るべきではない」として撤廃した[7]。
2022年9月29日、持続化給付金の不正受給における自身の次男の逮捕の報道を受け、「ただただ驚いているというのが正直な心境です。現時点では私自身も報道以上の情報を持ち合わせておらず、情報の収集に努めております。容疑が事実であれば到底許されるものではなく、次男には取り調べに対して真摯に向き合ってほしいと願っております。」とのコメントした[8]。
2022年12月6日、市議会本会議の答弁で、翌2023年2月に予定される任期満了に伴う次期市長選に立候補しない事を表明した[9]。2月の市長選においては元市議会議長の井上武が小林の後継候補として出馬したが、元厚木市長である山口巖雄の息子の元県議会議員山口貴裕に敗れ落選した[10]。
