儀智の仕えた稲垣氏はもともと下野国烏山藩主であったが、享保10年（1725年）10月に志摩国2万石と伊勢国の一部1万石を合わせた鳥羽藩に転封させられた大名家である。だが、儀智の実家・遠藤氏は稲垣氏が転封させられる以前より稲垣氏の家臣であった。儀智の実父の遠藤市郎左衛門儀一は郷手代で五石二人扶持であった。遠藤市郎左衛門儀一の父である遠藤市郎左衛門勝元は伊勢国津藩士・柳生又三郎の次男であったのだが、遠藤氏を相続した。そのため儀智は、血縁上では柳生氏の流れを組むもので、柳生宗矩の末裔であることになる。
儀智は文化13年（1816年）に子がないまま病没した近藤平八鉚弥の介抱人となり、鉚弥が没したのち、近藤家の養子となり近藤家を継いだ。
