バブル崩壊期に奈良県政を担当し、1997年12月には1億5000万円に上る県庁食料費不正流用事件も発覚した。この時は柿本知事始め県庁幹部が私費で返済し、刑事事件となるのを免れた。さらに2000年11月には奈良県立医科大学教授陣の汚職事件、2001年3月には奈良県警察本部を舞台にした奈良佐川急便事件など大掛かりな不祥事が多発した。2001年9月明日香村にオープンした奈良県立万葉文化館（建設費140億円）も古代遺跡の上に立地しているとして物議をかもしながらオープンしたものの利用者数の低迷から年間約4億円の赤字が発生している。知事就任以来「遊」の哲学を提唱していたが、県勢は衰退に追い込まれた。
2006年12月の奈良県議会本会議で、「選挙経費節減と有権者の関心を高めるため」任期満了を6ヶ月前倒して、突然今季限りでの引退を表明した。（2007年1月の記者会見で同年5月2日付での退任を発表）。辞職願そのものは2月14日に提出された。
引退発表後の2007年1月30日、国道169号（吉野郡上北山村西原地内）において法面崩落災害が発生し、3名の死者とこの地域の唯一のライフラインである国道が長期に渡り通行止め（解除は同年4月20日）に追い込まれるなど、地元経済及び医療福祉等住民生活に多大な影響を及ぼした。
それにも拘わらず現地になかなか行こうとせず（災害が継続していれば現地に行くが、継続している災害ではなく、また地元村長から土木事務所を通じて意見を聞いているので行く必要がないとマスコミや議会で表明）、議会で日本共産党議員から「知事はこんなに冷たい人だとは思いませんでした。裏切られました」との地元住民のコメントを発表され、議会でどよめきが起こった。
崩落から44日後の3月15日に現場入りし、議員や区長、団体の代表者ら約20人が出席した約40分間の懇談会を開催した。この日は十津川村内の国道168号宇宮原バイパスの完成供用開通式の日であったが、そちらにも出席している。
4月に行われた統一地方選挙では後継者に参議院議員の荒井正吾を事実上指名し（荒井自身は後継者ではないと後に言明）、知事選（県議選と同日選）が実施された（柿本氏が退任時期を早めたため、1979年以来28年ぶりに奈良県知事選挙が統一地方選挙期間に実施された。）。平城遷都1300年記念事業実施への執念を燃やしていた柿本の突然の引退表明の真相は不明である（この時期、鳥取県知事も2期目の任期満了（2007年4月）での退任を表明。2期目であった和歌山県知事は不祥事により2006年12月に辞職）。
また、叙勲を県在住者へ直接渡したいとの本人の意向から統一地方選終了後1ヶ月も経過した同年5月2日付まで在任（このため荒井新知事は5月3日付け就任となったが、ゴールデンウィーク中のため実際の登庁は5月7日までずれ込んだ）したが、このため5月に2日間在任しただけで退任後の6月にボーナスが約120万円支給されたことが報道された。
