三河の矢作（現在の愛知県岡崎市）生まれ。1796年[2]（寛政8年）に斎藤家の相続に伴い、改姓する。後に江戸に入り、石見の浜田藩士となり、松平康任に仕えた。その後、伊勢貞丈の門人となり有職故実を、賀茂季鷹に入門して和歌をそれぞれ学んだ。
後に本居大平から古学等の国学を学ぶ。なお、このころに彦麿は本居宣長の門人と自称していた事があった。この学びを活かして神道や古学、随筆等数多くの学問の種類を執筆、刊行し、同時期に活動していた村田春海を痛烈に批判する等、堂々の活躍をみせた。また、山東京伝ら戯作者とも親交を持ったとされている。彦麿の門人は数多く、500人ほど存在したとされている。
