生誕地は新見市中心部より約4km北に離れた地で、幼少期は中心部にある小学校まで毎日徒歩で通学したという[2]。また農閑期に演じられる備中神楽を愛好し、自身も演じるに至った[2]。
旧制岡山県立高梁中学校（現：岡山県立高梁高等学校）に進み、縁戚の者の家に下宿して通学した[2]。中学卒業後は旧制第一高等学校に進学した[2]。一高進学の理由について、小出自身は小学校OBで進学した先輩からの影響と語っているほか[2]、教え子の一人は小出の入学前に一高校長を務めていた新渡戸稲造への憧れがあったと記している[3]。小出は一高進学後に、新渡戸を囲む一高関係者の集まり「アゼリア会」に参加したという[3]。
一高卒業後は東京帝国大学法学部に進み、大学卒業後は同大法科大学院で学んだ後、1926年（大正15年）に修了した[1]。同じ岡山県出身で明治法律学校を卒業した弁護士・小出五郎に見込まれて養子となり、これが明治大学とかかわる機縁となった[3]。東京帝大時代は穂積重遠に学び、また河合栄治郎からも影響を受けたとされる[3]。
1925年（大正14年）4月から明治大学法学部で教壇に立った[2]。明治大学では、専門として主に民法の財産法に関する研究を多く行っていた。太平洋戦争末期の1944年からは石川島造船所に学生とともに勤労動員にかり出されて過労・心労で体調を崩し、戦後もしばらく赤倉で静養した[3]。
終戦後 、明治大学名誉教授となったが、明治大学の行政事務に携わる機会が多くなり、大学の理事会に席を置くこと3回の間に法科専門部長、図書館長、法学部長（1954年10月 - 1960年3月[4]）を歴任した[2]。1960年から明治大学学長を務めるが、60年安保や学費値上げ反対闘争などに見舞われた。
当時、学生として学費値上げ反対闘争に関与した重信房子は小出について「比較的民主的考えの方」「自ら60年安保に学生に国会へのデモを呼びかけて（中略）紫紺の校旗を掲げたデモの先頭に立った人として、知られていました」と記している[5]。1967年に退任。小出自身は「定年退職」と記しているが[2]、教え子の鍛冶良堅は大学紛争の責任を取ったとしている[3]。
この間、1966年に勲二等旭日重光章受章した[1]。
定年退職後も、NHK等のメディアに出演し、学生運動が盛んだった1968年には、自らの学長時代の経験を基に、学生運動が盛んな時代の学長の苦労をメディアに語っている[6]。
1978年2月18日、新見市より長年の功績を称えられて新見市名誉市民となる[1]。
1994年2月14日、満99歳で死去[1]。
