神奈川県横浜市に生まれる。1917年（大正6年）に東洋大学国文学科を卒業。苦学し、23歳で中等学校国語国文科教員無試験検定合格、33歳で高等学校国語科教員検定に合格する。いずれも、当時はかなりの難関試験であった。
立命館大学・関西学院大学、一時は国立北京師範大学教授をも兼任する。専攻は国語国文学（近代短歌史）[1]。古典から近代まで研究対象は多岐にわたり、『明治大正短歌資料大成』は貴重な資料として評価が高い。
和歌は尾上柴舟に師事し、歌誌『車前草』をへて『水甕』の同人となる。一時は『水甕』の編輯にも関わる。京城にいた時代に『ポトナム』誌を創刊し、『水甕』の同人を辞す。「現実的新抒情主義短歌」を提唱。雑誌の統制期に入ると『ポトナム』を『アララギ』に併合させて休刊している[1]。弟子に和田周三など。白川静も若い頃に小泉の講義に影響を受け[2]、後年には『明治大正短歌史研究』の手伝いをした[3]。
満州事変後に陸軍省嘱託として北支・中支に従軍し、板垣征四郎が序文を寄せた歌集『山西前線』を公刊していたために、敗戦後は戦争協力者として公職追放の憂き目に遭う[1]。1952年（昭和27年）9月に追放解除されるが、長男の戦死のショックもあり著作活動を行うエネルギーを失ったまま死去した。墓所は京都市法然院。
