1899年1月13日、鳥取県に生まれる。旧制鳥取県立鳥取中学校（現・鳥取県立鳥取西高等学校）を経て1918年7月、海軍兵学校49期生に入学。1921年（大正10年）7月16日卒業、少尉候補生。1922年5月海軍少尉に任官。1924年5月第11期航空術学生拝命。1925年3月大村海軍航空隊付。1927年3月大村空分隊長。6月横須賀海軍航空隊付。7月赤城乗組。11月霞ヶ浦海軍航空隊分隊長。 1929年7月イギリス出張、イギリス飛行学校留学。1930年4月17日ロンドン近郊のフェンチャーチ飛行場からシスキン戦闘機で操縦訓練中、突如エンジントラブルで空中火災が起きた。小林は地上が人家の密集地であったため、すぐに落下傘降下せず、大火傷を負いながら懸命に耐えて乗機を人家のない原野の上空まで導いて落下傘降下で脱出した。この事件は英国の新聞にも取り上げられ、小林の名前は美談とともに英全土に広まった[1]。
1930年（昭和5年）12月横空分隊長。分隊長として特殊編隊飛行のアクロバット飛行チームの初代リーダーを務め、間瀬平一郎、青木與などを率いて公演を行っていた。1932年12月加賀分隊長 1933年8月航空技術廠部員。11月少佐。1935年11月横空飛行隊長。1936年11月龍驤飛行長。1937年12月1日第2航空戦隊参謀。1938年11月中佐。1938年12月航空本部。1940年12月空技廠飛行実験部。1942年10月十七試艦戦は速度を第一にするという意見に対し、横空戦闘機隊長花本清登少佐が「実戦的にはあまりに速力を偏重することに不安がある。零戦は速力だけでなく空戦性能がすぐれているから敵を制することができるのであって十七試艦戦にも零戦程度の空戦性能を確保する必要がある」と反論し、小林も花本と同意見と主張した。結局、軍令部も従来の空戦第一に決めた[2]。
1942年11月1日第二五三海軍航空隊司令（-1943年7月）。1943年5月大佐。1944年8月航本教育部第2課長。9月3日航空用呂号兵器委員会委員。1945年6月横空副長。1947年5月極東軍事裁判で供述。1950年11月8日病没。