信濃国佐久郡東長倉村（現長野県北佐久郡軽井沢町）の柳沢家に生まれ、19歳で姉の嫁ぎ先である桜井家に相続入籍した。
幕末、横浜に出て勝海舟に師事するとともに写真技術を修め、1882年に飯田の憲兵屯所跡地に写真店を開業し、売薬の行商も営む。1883年、自由民権運動の政治結社「愛国正理社」を設立。愛知県の村松愛蔵、八木重治らと政府転覆のための挙兵を計画するが、事前に発覚して逮捕される。禁固3年半の実刑となり、のち大日本帝国憲法発布の大赦で出獄した。1896年頃大阪に移り、「無煙無声火薬製造所」の工場を建設した。晩年は郷里の軽井沢で没した。
