尾張国名古屋（現・愛知県名古屋市）出身。1885年（明治18年）に愛知県警の巡査となり、やがて巡査部長に昇進。1890年（明治23年）には海部郡津島町の有力者からの要請に応じて、第2代津島町長に就任した。小島は特に消防団の新設に取り組み、1891年（明治24年）の濃尾地震の際には小島が手掛けた消防団が大活躍した。
1900年（明治33年）には愛知県第三中学校（現・愛知県立津島高等学校）を津島町に誘致することに成功したが、この事業では莫大な起債も負っている。明治30年代には津島町立図書館の司書や『津島町誌』の編纂委員となり、津島の教育や文化面の発展にも尽力した。1902年（明治35年）には津島町長の座を退いたものの、その後も津島町助役を3回、津島町会議員を4期半務めるなど、陰から津島町の町政を支えた。
