桂氏は藩主と同じく大江広元を祖とし、藩政を担い藩主側近も輩出する家柄である。家格は大組（八組・馬廻り）、桂波門家で「木戸桂」とも呼ばれていた。のちに小五郎が木戸姓に改名したのは、この「木戸桂」にちなんでいる。
孝古は嗣子を失っており、病床にあって家名断絶の恐れがあった事から、天保11年（1840年）4月13日、近所の藩医・和田昌景の子である7歳の和田小五郎を末期養子に迎えた。その十数日後、62歳で没。藩により桂家の存続は認められるが、規則により家禄150石から60石は召し上げとなり、 残り90石を小五郎が相続となる。6月15日、小五郎が桂家の家督を相続。翌年1月には孝古の妻も病死し、小五郎は桂家で数ヶ月過ごしたのち、生家の和田家に戻って育つ事になる。