福島県久慈川近くで生まれる。中央大学経済学科に通学する傍ら、東京帝大法学研究室でアルバイトとして吉野作造の私設秘書となる。1926年に中央大卒業後、1928年9月に吉野の口利きで京城帝国大学法文学部経済研究室助手として、資料室の配属となった。1933年には、京城帝大朝鮮経済研究所研究員として、四方博の下で書誌の整理を行っている。1941年、京城帝大を離れ、朝鮮総督府文書課に転じ、調査係主査として朝鮮総督府機関誌『朝鮮』の編集にあたった。
戦後は、元京城帝大法文学部長の上野直昭の紹介で東京芸術大学に勤務した後、1950年東京都立大学 (1949-2011)図書館事務長となり、1956年同大学の図書館学・書誌学の専任講師となっている。1950年に朝鮮学会が設立されると、常任幹事として会務にあたった。1968年に定年を迎えると、元京城帝大法文学部教授で京城帝大図書館長であった船田享二の招きで、船田が理事長を務める作新女子短期大学の図書館学主任教授となった。1974年、1984年の二回に分けて桜井が個人で蒐集した蔵書を東京経済大学に寄贈し、桜井義之文庫を創設した。
