審判時代は強気の「強権発動」で鳴らし、つまらない野次やルール無知によるクレームはガンとして撥ね付けていた。グランド外でも強気な性格は変わらず、また大変な酒好きであり、飲酒の席で喧嘩となることもしょっちゅうであった。1969年には、喧嘩相手を海に落としたかどで逮捕されたことがある。
特定の監督と抗議をめぐって口論になることが多く、特に近藤貞雄とはたびたび面をつき合わせての怒鳴り合いをしたため、この2人は「犬猿の仲」といわれた。だが実際は犬猿の仲どころか、柏木は近藤を尊敬しており、怒鳴り合いについても互いに「パフォーマンス」「ファンサービス」として捉えていた。近藤が日本ハムの監督に就任した際にも、オープン戦の時に柏木を捕まえて「パ・リーグはお客が少ないから、お前もパに来て、一緒になんかやらかして客集めしよう」と言っていたという。
現役引退まで、アウトサイドプロテクター使用にこだわり続けた。1990年と1991年には、台湾プロ野球の審判をつとめた（100試合に出場）。2003年2月25日に膵臓がんのため死去。71歳没。