石川県金沢市出身。加賀藩士の子として生まれた。東京高等師範学校英語専修科卒業後、東京府第三中学校（現・両国高校）の英語科教諭に就任。芥川龍之介の1年生担任となると、芥川の才能を見出し、以後卒業までの5年間、第一高等学校を受験の際は自宅へ呼んで講義するなど英語を熱心に教えたり、積極的に文学書を貸した。これ以降、芥川と広瀬の深い関係ができたといわれている。広瀬は小石川に住んでいたが、芥川の斡旋により住居を田端に移している。
1919年、府立三中の初代校長として手腕を発揮していた八田三喜の旧制新潟高等学校の初代校長への転任が決まると、広瀬は学校長兼教諭に任ぜられ、八田の築き上げた厳格な規律を重んじる校風を受け継いで、成績評価や生活指導でスパルタ的な教育を実践した。1923年5月には、府立三中を卒業し一高へ入学していた堀辰雄を、家が隣り合わせで交流が深かった室生犀星に紹介した。本人は府立三中で終えるつもりであったが、1930年に東京府立第三高等女学校への転任を命ぜられ第3代校長に就任。当初は経験のない女子教育への戸惑いもあったが、次第に府立三女の空気に順応。校友会活動の振興に力を注ぎ、1940年3月まで10年間、府立三女の校長職を務めた。
英和辞典の編纂に大きく貢献したことでも知られている。
